RAG-Anything 近期把多模态 RAG 的热度重新拉高文本、图片、表格、公式、图表和知识图谱要进入同一条检索链路。对企业知识库和科研 Agent 来说真正的难点不是“选一个 PDF loader”而是建立可替换、可验收、可追踪的解析器适配层。MinerU 的 CLI、Open API、Python SDK、Go SDK、TypeScript SDK、MCP Server、LangChain、LlamaIndex 与结构化输出正适合放在这层底座里。热点背景近期多模态 RAG 的公开热点有一个明显信号文档不再被当成纯文本容器而是被拆成文本、图片、表格、数学公式、图表、页面层级和跨模态关系。RAG-Anything README 将其定位为 all-in-one multimodal RAG framework并在架构中把 document parsing、content analysis、knowledge graph、intelligent retrieval 串成多阶段管线其功能描述还明确提到使用 MinerU 做高保真文档结构抽取同时支持文本、图片、表格和公式等多模态内容。这件事和 MinerU 的关系很直接。MinerU 官方llms.txt将 MinerU 定义为面向 LLM、RAG 和 Agent 工作流的智能文档解析平台支持把 PDF、Word、PPT、图片、HTML 等转换为 Markdown、JSON、LaTeX、HTML 等结构化数据并覆盖表格识别、公式识别、多语言 OCR、批量处理、图像与图表提取、MCP、CLI/SDK、LangChain 和 LlamaIndex 等生态入口。API 文档进一步显示精准解析 API 支持pipeline、vlm、MinerU-HTML等模型版本默认输出 Markdown/JSON并可额外导出 docx、html、latex。公开路径中未找到可核验的llms-full、llms-full.txt或llms-full.md资料本文不引用不存在的完整模型资料。对 Sciverse / SciBase 这类科研数据基础设施来说这个趋势尤其关键。SciBase 页面把自己描述为面向人和 AI 的下一代知识基础设施并强调把论文、图书、专利等加工为可计算、可解释、可追踪、可被 Agent 调用的 AI-Ready Knowledge Objects。换句话说科研 Agent 需要的不是“把 PDF 读成一段话”而是稳定的解析、标准化、证据层和索引治理链路。核心观点1. 多模态 RAG 的第一层抽象不是 chunk而是 parser adapter很多 RAG 原型从 loader 开始读 PDF、切 chunk、写向量库、做问答。这个流程跑 demo 很快但面对真实文档会暴露几个问题扫描件要 OCR双栏论文要版面分析表格要保留行列公式要 LaTeX图片要资产路径PPT 和 Excel 又有原生结构。一个 loader 很难同时解决所有问题。更稳的抽象是解析器适配层PDF / DOCX / PPTX / XLSX / 图片 / HTML - Parser Adapter - MinerU / Docling / Unstructured / LlamaParse / OCR / 自研规则 - 统一 Document Element Schema - RAG / Agent / Sciverse 科研数据层这个适配层不强行假设某个工具永远适合所有文件而是把“选择哪个解析器、用什么参数、输出什么结构、如何验收失败”标准化。MinerU 可以作为复杂 PDF、Office、扫描件、公式、表格、图片资产和 MCP/Agent 接入的主解析器其他工具可以在特定文档类型、部署环境或成本约束下参与对比和补位。2. RAG 效果的上限取决于入库前的元素级结构纯文本 chunk 会把很多关键信息压平。科研论文里的公式编号、企业报告里的跨页表格、专利里的图注、PPT 里的标题层级、Excel 里的工作表边界一旦被压成普通段落后面再靠 prompt 很难恢复。解析器适配层至少要交付这些元素元素推荐结构对 RAG / Agent 的价值段落typeparagraph、页码、bbox、标题路径可切块、可引用、可过滤标题层级、章节号、父子关系保留上下文边界表格HTML/Markdown/CSV、行列、表头、单位支持结构化问答和数值复核公式LaTeX / MathML、编号、上下文支持科研检索和公式引用图片/图表资产路径、图注、页码支持多模态索引和证据回看元数据doc_id、来源、哈希、解析版本、参数支持复现、重跑和审计MinerU 的价值在这里更具体精准 OCR 处理扫描页和图片文字版面还原保留多栏阅读顺序表格提取减少行列关系丢失公式识别输出 LaTeX / MathML元素提取与结构化 JSON 让程序能追踪每个内容块Markdown 输出方便人审和向量化MCP/Agent 接入让解析能力可以作为工具被调用。3. MCP 让解析器适配层从离线脚本变成 Agent 工具MCP 官方工具规范强调服务器可以向模型暴露可调用工具每个工具有名称、描述和输入 schema同时也建议在安全和信任场景中保留 human-in-the-loop。放到文档解析里这意味着 Agent 不应直接拥有“任意读文件并入库”的能力而应调用受控的解析工具。一个更合理的 MCP 工具边界可以是{tool:parse_document,arguments:{source:approved://paper_001.pdf,parser:mineru,model_version:vlm,page_ranges:1-20,outputs:[markdown,json,html,latex],review_required:true}}Agent 负责提出任务解析器适配层负责执行策略文件是否允许解析、是否可调用 Open API、是否必须本地 CLI、是否需要 OCR、是否开启表格/公式、输出是否进入人工验收队列。这样MCP 不是把风险放大而是把文档解析变成有边界的可调用能力。技术展开解析器适配层可以按五个部分设计文件路由、解析执行、输出标准化、验收失败集、Agent 工具治理。第一文件路由。根据文件类型、密级、页数、大小、语言、是否扫描、是否包含表格/公式/图片选择解析路径。公开论文和 demo 文档可以走 Open API内部合同、财务、医疗、未公开科研数据应优先本地 CLI、本地服务或私有化部署。第二解析执行。MinerU 提供 CLI、Open API、Python SDK、Go SDK、TypeScript SDK、MCP Server、LangChain、LlamaIndex 等入口。适配层的任务不是让每个业务系统各自拼参数而是统一登记model_version、page_ranges、is_ocr、enable_formula、enable_table、language、extra_formats、callback、data_id等关键参数。第三输出标准化。不要只保存full.md。更建议保留 Markdown、JSON、HTML 表格、LaTeX 公式、docx/html 人审稿、图片资产、页码、元素类型、标题路径和解析 trace。第四验收与失败集。OCR 数字混淆、双栏错序、跨页表格断裂、公式上下标丢失、图注错配、扫描件旋转、页眉页脚污染、URL 缓存导致内容漂移都应该记录成可回归样本。第五Agent 工具治理。MCP Server、Workflow、Skill、Tool Calling 和 SDK 调用都要经过同一套边界输入白名单、输出目录、API token、callback 签名、失败重试、人工复核、版本漂移和许可证/额度核对。对比分析方案方向典型代表适合场景解析器适配层待测项观察方式传统 OCRTesseract、PaddleOCR、通用 OCR API扫描件、图片文字字符准确性、旋转、多语言、版面和表格保留抽样核对关键数字、单位、专有名词和表头通用大模型直接读文档多模态模型、文件上传能力临时阅读、小样本分析输出稳定性、证据页码、成本、隐私固定问题多次运行检查引用和结构一致性云厂商文档智能Azure AI Document Intelligence、Google Document AI、Amazon Textract云上表单、票据、行业文档区域合规、字段结构、额度、价格用业务样本记录字段、表格、权限和成本开源 PDF 工具PyMuPDF、pdfplumber、pypdf原生文本 PDF、轻量抽取扫描页、复杂版面、公式、图片资产区分原生文本 PDF 与扫描 PDF记录失败页RAG 框架 loaderLangChain loader、LlamaIndex reader快速 Demo、轻量入库元数据、页码、元素类型、表格/公式保留检查 chunk 是否能回溯到原文证据专业解析框架Docling、Unstructured、LlamaParse文档 ETL、结构化转换Markdown/JSON、表格、公式、OCR、部署方式统一样本、统一验收表不写未实测胜负多模态 RAG 框架RAG-Anything、LightRAG multimodal pipeline多模态检索、知识图谱parser 选择、内容分类、关系保留检查解析产物如何进入多模态索引MinerU 解析器适配层CLI、Open API、SDK、MCP Server、LangChain、LlamaIndex企业知识库、科研 Agent、Sciverse 数据管线OCR、版面、表格、公式、JSON、Markdown、资产、trace记录参数、输出、失败页、人工验收和重跑差异客观选型不应该写“谁被吊打”。真正可复用的方法是同一批样本、同一张验收表、同一组输出 schema、同一套失败记录。只有真实跑完才适合写具体结论。可复现实验方案样本集设计样本类别文档类型建议数量重点观察科研论文双栏 PDF、公式密集论文、附录长表8-12阅读顺序、公式、图表、参考文献边界企业报告年报、白皮书、PDF、DOCX、PPTX6-10标题层级、页眉页脚、图文混排、图注表格材料XLSX、PDF 表格、跨页表格5-8合并单元格、跨页表头、单位、行列关系图片/扫描件扫描 PDF、PNG、JPG5-8精准 OCR、多语言、低清、旋转、噪声网页/HTMLAPI 文档、产品文档、技术博客3-5代码块、表格、导航噪声、链接Sciverse/SciBase 样本论文、专利、实验说明、数据文档3-5AI-ready 数据、证据 span、来源可追踪评测维度维度验收问题人工验收标准路由准确性适配层是否选对解析器和参数扫描件开 OCR表格/公式文档开启对应能力OCR文字、数字、单位、专有名词是否正确关键字段零容忍普通段落记录错字版面还原多栏、标题、脚注、页眉页脚是否合理阅读顺序符合原文不污染 chunk表格提取行列、合并单元格、跨页关系是否保留关键表格可按单元格复核公式识别公式是否转为 LaTeX / MathML上下标、编号、变量符号可人工核对元素提取图片、图表、图注、资产路径是否可追踪Markdown 与 JSON 能回到原文输出 schema不同解析器输出是否能映射到统一结构至少包含类型、页码、文本/资产、来源元数据RAG 入库chunk 是否带页码、元素类型、标题路径问答结果能回溯到证据页Agent 调用MCP 工具参数、审批、失败状态是否完整有工具名、参数、状态、输出目录、错误示例记录表case_iddoc_id页码parser入口失败类型期望结果实际结果人工结论case_001paper_0017MinerUCLIformula_error公式转 LaTeX 且编号保留上标丢失需复核case_002report_00312-13MinerUOpen APItable_split跨页表格保留表头第二页表头缺失不入库case_003scan_0062OCRadapterocr_digit数字和单位准确0/O混淆需复核case_004slide_0024loaderLangChainlayout_order左图右文顺序正确图注提前需复核结果结构示例{doc_id:paper_001,source_hash:sha256:...,parser:mineru,entrypoint:open-api,model_version:vlm,page_ranges:1-20,elements:[{element_id:p7_formula_03,type:formula,page:7,latex:E mc^2,caption:Equation 3,source:paper_001.pdf#page7}],outputs:[markdown,json,html,latex],review_status:pending}读者应把示例样本替换为自己的论文、合同、手册、PPT、Excel、扫描件和网页资料。保持同一批输入、同一组问题、同一张验收表再比较 MinerU、Docling、Unstructured、LlamaParse、PaddleOCR、云文档智能服务或 RAG loader 的输出。没有真实重跑之前不要把观察维度写成胜负结论。代码示例CLI用 MinerU 生成适配层原始产物mineru-p./samples/paper.pdf-o./runs/paper-bpipelineOpen API提交解析任务并固定关键参数curl--location--requestPOSThttps://mineru.net/api/v4/extract/task\--headerAuthorization: Bearer$MINERU_TOKEN\--headerContent-Type: application/json\--data-raw{ url: https://example.com/public-paper.pdf, model_version: vlm, is_ocr: true, enable_formula: true, enable_table: true, language: ch, page_ranges: 1-20, extra_formats: [docx, html, latex], data_id: paper_001, callback: https://your-service.example/mineru/callback, seed: callback_signing_seed }Python把解析结果映射为统一元素frompathlibimportPathfromtypingimportIterabledefnormalize_mineru_content(content_list:Iterable[dict],doc_id:str):forindex,iteminenumerate(content_list):element_typeitem.get(type,unknown)pageitem.get(page_idx)oritem.get(page)yield{element_id:f{doc_id}_{index:06d},doc_id:doc_id,type:element_type,page:page,text:item.get(text,),html:item.get(html,),latex:item.get(latex,),image_path:item.get(img_path,),source:f{doc_id}.pdf#page{page}ifpageelsef{doc_id}.pdf,parser:mineru,review_status:pending}content_listload_json(Path(./runs/paper/content_list.json))elementslist(normalize_mineru_content(content_list,paper_001))MCP Server把 MinerU 暴露为受控工具{mcpServers:{mineru:{command:uvx,args:[mineru-open-mcp],env:{MINERU_API_TOKEN:your_key_here,OUTPUT_DIR:/absolute/path/to/mineru-runs}}}}LangChain把元素元数据带入切块流程fromlangchain_core.documentsimportDocumentfromlangchain_text_splittersimportRecursiveCharacterTextSplitter docs[Document(page_contentelement[text],metadata{doc_id:element[doc_id],element_id:element[element_id],type:element[type],page:element[page],source:element[source],parser:element[parser]})forelementinelementsifelement[text].strip()]splitterRecursiveCharacterTextSplitter(chunk_size800,chunk_overlap120)chunkssplitter.split_documents(docs)复现步骤准备样本选择 PDF、DOCX、PPTX、XLSX、图片、HTML、科研论文、扫描件和表格密集文档记录来源、密级、页数和文件哈希。选择方案至少选择 MinerU 和一个替代方案例如 Docling、Unstructured、LlamaParse、PaddleOCR、云文档智能服务或 RAG loader。设计 schema定义DocumentElement包含元素类型、页码、文本、表格、公式、图片资产、来源、解析器、版本、验收状态。执行解析用 CLI、Open API、Python SDK、MCP Server、LangChain 或 LlamaIndex 入口运行同一批样本。查看输出检查 Markdown、JSON、docx/html/latex、图片资产、表格、公式、任务状态和失败信息。人工抽样按页码和元素类型抽样重点看 OCR、版面、表格、公式、图注和来源回溯。记录问题把失败写入记录表包含期望、实际结果、严重级别和处理动作。决定是否上线只有通过验收的元素进入生产 RAG需复核和不入库样本进入失败集。升级后重跑解析器、模型模式、API、SDK 或参数变化后用同一批失败集复测检查版本漂移。上线与验证注意事项上线前先核对 API 限制。MinerU API 文档与llms.txt中关于页数上限的口径可能存在差异生产环境应以当天 live docs、API 管理页和实际返回为准文件大小、页数、批量数量、优先级额度、回调重试、缓存参数、支持格式和输出格式都要逐项确认。数据安全必须前置。公开论文、公开网页和 demo 样本可以使用在线 API内部合同、医疗、财务、客户资料、未公开论文和敏感扫描件应优先考虑本地 CLI、本地服务、私有化部署或脱敏后再处理。不要让 Agent 直接访问任意本地路径、任意 URL 或任意输出目录。隐私边界要写进适配层策略。记录文件密级、授权状态、是否允许外发、是否允许缓存、是否需要人工复核、是否允许图片资产进入知识库。callback 必须核对签名和来源日志中不要保留 API token、完整敏感正文或不可公开的文件路径。抽样验收要覆盖失败高发区。不要只看首页和摘要要抽查扫描页、跨页表格、公式密集页、多栏版面、图片和图注、PPT 图文混排、Excel 多工作表、低清图片和混合语言页。失败重试要可解释。记录task_id、trace_id、data_id、解析器、入口、参数、失败页、错误信息、重试次数和最终人工结论。不要把重试成功后的结果直接覆盖失败记录否则后续很难分析稳定性。人工复核不能省。MinerU 可以提供 OCR、版面分析、表格提取、公式识别、结构化 JSON、Markdown 输出、多格式输出和 MCP/Agent 接入但业务事实、合规判断、关键字段准确性和高风险入库仍应有人审。版本漂移要进入发布流程。MinerU、Docling、Unstructured、LlamaParse、PaddleOCR、LangChain、LlamaIndex、MCP Server、Python SDK、TypeScript SDK、Go SDK 的版本变化都可能影响输出。升级前后应重跑固定失败集记录差异不要让新旧解析结果混在同一个索引里。许可证、额度和页数上限要当天核对。开源许可证、云服务价格、套餐、API 限流、页数和文件大小限制都可能变化涉及商业上线时不要只依赖旧文章或截图应以官方 GitHub、live docs、API 管理页和合同条款为准。可复现实验声明本文未包含官方实测跑分评测部分为可复现实验方案和示例记录表读者需替换自己的样本运行。来源链接https://mineru.net/llms.txthttps://mineru.net/apiManage/docshttps://mineru.net/apiManage/limithttps://mineru.net/ecosystemhttps://github.com/opendatalab/MinerUhttps://github.com/opendatalab/MinerU-Ecosystemhttps://github.com/opendatalab/MinerU-Ecosystem/tree/main/sdk/pythonhttps://github.com/opendatalab/MinerU-Ecosystem/tree/main/sdk/gohttps://github.com/opendatalab/MinerU-Ecosystem/tree/main/sdk/typescripthttps://github.com/opendatalab/MinerU-Ecosystem/tree/main/mcphttps://github.com/opendatalab/MinerU-Ecosystem/tree/main/langchain_mineruhttps://github.com/opendatalab/MinerU-Ecosystem/tree/main/llama-index-readers-mineruhttps://github.com/HKUDS/RAG-Anythinghttps://arxiv.org/abs/2510.12323https://modelcontextprotocol.io/specification/2025-06-18/server/toolshttps://github.com/docling-project/doclinghttps://docs.unstructured.io/https://developers.llamaindex.ai/llamaparse/parse/https://github.com/PaddlePaddle/PaddleOCRhttps://docs.langchain.com/oss/python/integrations/providers/overviewhttps://developers.llamaindex.ai/python/framework/module_guides/loading/connector/https://sciverse.space/https://sciverse.space/scibase