被LangChain的Document对象坑了3小时,我总结了两种解法,建议收藏
你是不是也遇到过这种情况明明只是想把PDF解析后的文本拼起来结果发现输出根本不是JSONjson.loads直接报错事情是这样的最近在做LangChain项目用PDF解析器把一份公司员工手册拆成了多个Document对象准备把内容按页码拼成完整文本。逻辑很简单对吧遍历列表、取page_content、拼接就完事了。但问题来了——输出长这样[Document(metadata{pk: 12, page: 2}, page_content2. 费用报销业务活动中产生的费用...), Document(metadata{pk: 27, page: 2}, page_content...), Document(metadata{pk: 14, page: 3}, page_content...)]乍一看像JSON仔细一看——Document()是Python类实例单引号字典\n转义符混杂其中。我第一反应是json.loads()结果JSONDecodeError: Expecting value: line 1 column 2 (char 1)报错了。因为JSON标准只认双引号、[]、{}根本不认识Document()这种Python对象写法。坑在哪里90%的人第一步就走错了很多人包括我第一反应是用正则硬拆或者eval()一把梭。千万别用eval()。eval()会执行任意Python代码如果字符串里有恶意内容你的系统就直接裸奔了。这不是技术风格问题是安全问题。解法一ast.literal_eval强烈推荐Python标准库里有个被严重低估的模块——ast。ast.literal_eval()可以安全地解析Python字面量字符串只认列表、字典、元组、字符串、数字这些基本类型不会执行任何代码。import ast from langchain.schema import Document ​ # 原始字符串 raw_str [Document(metadata{pk: 12, page: 2}, page_content...)] ​ # 一步到位安全解析 doc_list ast.literal_eval(raw_str) ​ # 遍历提取 all_pages [] all_content ​ for doc in doc_list: page_num doc.metadata[page] content doc.page_content all_pages.append(page_num) all_content content \n\n ​ print(所有页码, all_pages) print(拼接文本\n, all_content)输出结果所有页码[2, 2, 3] 拼接文本 2. 费用报销业务活动中产生的费用... ...为什么推荐这个方案优势说明安全性不执行任意代码生产环境可用完整性得到完整的Document对象metadata、page_content随便取零依赖Python标准库不需要额外安装兼容性只要字符串是合法的Python字面量就能解析解法二正则提取轻量无依赖如果你的环境装不了LangChain或者只需要提取文本和页码不需要完整的Document对象正则也能搞定。import re ​ raw_str [Document(metadata{pk: 12, page: 2}, page_content...)] ​ # 提取页码 page_pattern re.compile(rpage: (\d)) page_nums [int(m.group(1)) for m in page_pattern.finditer(raw_str)] ​ # 提取内容 content_pattern re.compile(rpage_content(.*?), re.S) content_list [m.group(1) for m in content_pattern.finditer(raw_str)] ​ # 拼接 full_text \n\n.join(content_list) ​ print(页码列表, page_nums) print(拼接全文\n, full_text)适用场景不想装LangChain的轻量项目只需要文本内容不关心metadata其他字段字符串格式不标准ast.literal_eval也解析不了时进阶技巧按页码去重仔细看上面的数据你会发现page2出现了两次pk12和pk27内容一模一样——这是PDF解析时常见的重复分块问题。直接拼接会导致内容重复解决办法是按页码去重page_content_map {} ​ for doc in doc_list: p doc.metadata[page] if p not in page_content_map: page_content_map[p] doc.page_content ​ # 按页码排序后拼接 sorted_text \n\n.join([ page_content_map[p] for p in sorted(page_content_map.keys()) ])这样每页只保留一份内容按顺序拼成完整文本干净利落。三种方案的对比场景推荐方案原因本地LangChain项目ast.literal_eval完整保留Document对象字段随取随用无第三方依赖环境正则提取零依赖轻量灵活有重复数据需要清洗ast.literal_eval 去重先解析再清洗逻辑最清晰写在最后LangChain的Document对象输出格式是个经典坑。很多人第一次遇到都会下意识用json.loads()然后碰壁。记住这个判断逻辑看到Document(metadata{...}, page_content...)这种格式 → 不是JSON → 用ast.literal_eval简单、安全、可靠。如果你也在做RAG项目、文档解析、知识库搭建这篇文章建议收藏。早晚用得上。你有遇到过类似的解析坑吗评论区聊聊你的解法。关注我持续分享LangChain实战中的踩坑经验和高效解法。

相关新闻

Seedance 2.0 使用指南:官方 prompt 规范详解、6 种常见故障修复与费用分析

Seedance 2.0 使用指南:官方 prompt 规范详解、6 种常见故障修复与费用分析

Seedance 2.0 吃文本、图片、视频、音频四种输入,吐 4 到 15 秒带同步声音的片子,按输出秒数计费,最低 $0.04/s。字节其实为它发过一份正经的提示词规范:一条公式、四个模型认得的标点符号、一份它希望你别用满的素材预算&#xf…

2026/8/11 4:27:55 阅读更多 →
从宁波公交悬挂系统看软件架构设计:性能优化与用户体验的跨界思考

从宁波公交悬挂系统看软件架构设计:性能优化与用户体验的跨界思考

前言:一次难忘的城乡公交乘坐体验作为一名技术博主,我习惯于从代码和架构中寻找逻辑与美感。但最近一次在宁波的出行经历,却让我从另一个维度——工业设计与机械工程——感受到了“顶级优化”的魅力。这无关软件算法,而关乎物理世…

2026/8/11 4:27:55 阅读更多 →
CSP-J网络连接模拟题解析:字符串处理与状态管理实战技巧

CSP-J网络连接模拟题解析:字符串处理与状态管理实战技巧

1. 从一道CSP-J真题,聊聊网络连接模拟与字符串处理的实战心法最近在带学生准备信息学奥赛,特别是CSP-J级别的比赛,发现很多同学在面对“网络连接”这类题目时,容易陷入两个极端:要么被看似复杂的网络协议描述吓住&…

2026/8/11 4:27:55 阅读更多 →

最新新闻

一键式生成AI漫剧怎么选?知漫剧模型聚合方案与传统管线成本对比

一键式生成AI漫剧怎么选?知漫剧模型聚合方案与传统管线成本对比

在当下的内容自动化生产实践中,AI漫剧已经从原先繁琐的本地多节点串联,转向更高集成度的端到端工作流,不少创作者开始借助工具整合站点知漫剧( qq.jiaxunai.cn )这类AI模型聚合平台,将生图、动态扩展与TTS语音合成统一调度&#x…

2026/8/11 5:18:48 阅读更多 →
C/C++数据库编程:ADO核心接口、实战技巧与性能优化指南

C/C++数据库编程:ADO核心接口、实战技巧与性能优化指南

1. 项目概述:为什么C/C开发者绕不开ADO?如果你用C或C写过需要连接数据库的桌面应用、服务端程序,或者维护过一些遗留的企业级系统,那你大概率听说过甚至用过ADO。ActiveX Data Objects,这个微软在二十多年前推出的数据…

2026/8/11 5:18:48 阅读更多 →
Ubuntu 20.04与Windows双系统安装:从分区原理到引导配置完整指南

Ubuntu 20.04与Windows双系统安装:从分区原理到引导配置完整指南

1. 项目概述:为什么双系统依然是刚需?每次看到“双系统”这个词,很多朋友可能会觉得有点“复古”——现在虚拟机、WSL2(Windows Subsystem for Linux)不是更方便吗?确实,对于轻度使用或者开发测…

2026/8/11 5:18:48 阅读更多 →
pandas 性能排查开发短记:等待发生在哪一段

pandas 性能排查开发短记:等待发生在哪一段

pandas 性能排查开发短记:等待发生在哪一段 pandas/NumPy/SciPy 数据处理高阶技巧里,延迟、吞吐与资源占用的性能调优很容易被写成一串泛泛的建议。真正需要先回答的是:这篇方法要约束哪一类任务,读者据此能做出什么判断。性能和正…

2026/8/11 5:18:48 阅读更多 →
Ubuntu 20.04开机自启动:从rc.local到systemd服务管理的完整指南

Ubuntu 20.04开机自启动:从rc.local到systemd服务管理的完整指南

1. 项目概述:当Ubuntu 20.04的rc.local“消失”时如果你和我一样,从更早的Ubuntu版本或者像CentOS这样的发行版迁移过来,第一次在Ubuntu 20.04上想编辑/etc/rc.local文件来添加开机自启动脚本时,大概率会愣住——这个文件根本不存…

2026/8/11 5:18:48 阅读更多 →
C++ decltype深度解析:从类型推导到模板元编程实战

C++ decltype深度解析:从类型推导到模板元编程实战

1. 项目概述:为什么我们需要深入理解decltype? 如果你已经写过一段时间的C,尤其是接触过模板和泛型编程,那么 decltype 这个关键字对你来说肯定不陌生。它就像C类型系统里的一个“侦探”,专门负责在编译时“侦查”一…

2026/8/11 5:17:48 阅读更多 →

日新闻

如何用Video2X实现专业级视频画质提升:AI视频增强完整指南

如何用Video2X实现专业级视频画质提升:AI视频增强完整指南

如何用Video2X实现专业级视频画质提升:AI视频增强完整指南 【免费下载链接】video2x A machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018. 项目地址: https://gitcode.com/GitHub_Trending/vi/v…

2026/8/11 0:00:02 阅读更多 →
前后端分离项目中控制台与接口工具数据差异排查指南

前后端分离项目中控制台与接口工具数据差异排查指南

1. 问题现象解析:控制台与Apifox的数据差异 最近在调试一个前后端分离项目时,遇到了一个典型问题:后端服务在本地开发环境控制台能正常输出查询数据,但通过Apifox测试时却返回空结果。这种"控制台有数据,接口工具…

2026/8/11 0:00:03 阅读更多 →
AI编程实战:从Claude Code踩坑到游戏开发入门

AI编程实战:从Claude Code踩坑到游戏开发入门

1. 从“AI能帮我做游戏”到“AI让我重新学编程”最近身边不少朋友,尤其是一些非技术背景、但对游戏开发有浓厚兴趣的朋友,都在问我同一个问题:“听说现在用Claude Code这种AI编程工具,小白也能做游戏了,是真的吗&#…

2026/8/11 0:00:03 阅读更多 →

周新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/11 1:08:05 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/11 1:08:05 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/11 1:08:05 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/10 17:07:33 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/11 1:08:06 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/10 17:07:33 阅读更多 →