企业实战:导入数据节点
目录1 入口与类型判断 (node_entry)2 节点作用与实现思路3 步骤分解4 工具类解读任务追踪5 代码实现6 单元测试1 入口与类型判断 (node_entry)文件:app/import_process/agent/nodes/node_entry.py相关工具类位置:app/utils/task_utils.py2 节点作用与实现思路节点作用: 作为数据加载流程的“总调度员”负责接收外部输入的文件识别文件类型PDF或Markdown并根据类型开启相应的处理分支。同时它提取文件名作为全局元数据并初始化任务追踪状态确保后续流程可追溯、可监控。实现思路:路由分发: 采用轻量级的条件判断逻辑通过文件后缀 (.pdf/.md) 决定激活is_pdf_read_enabled还是is_md_read_enabled状态位实现不同格式文件的差异化处理。元数据提取: 在入口处统一提任务标记(task_id)作为贯穿整个知识库构建流程的唯一标识避免后续节点重复解析。任务监控初始化: 集成task_utils记录当前任务 ID 和初始状态为前端提供实时的进度反馈。3 步骤分解接收状态: 获取local_file_path。判断类型: 检查文件后缀是.pdf还是.md。设置标记: 更新 state 中的is_pdf_read_enabled或is_md_read_enabled供主图路由使用。提取标题: 从文件名中提取file_title后续作为元数据。4 工具类解读任务追踪文件:app/utils/task_utils.py实现思路:内存管理: 使用简单的内存字典_tasks_running_list和_tasks_done_list记录任务状态轻量高效。状态映射: 维护_NODE_NAME_TO_CN字典将技术性的节点名称如node_entry映射为用户友好的中文名称如检查文件方便前端展示。SSE 集成: 集成 SSE (Server-Sent Events) 推送机制允许实时将任务进度推送到前端。操作封装: 提供add_running_task和add_done_task接口方便各节点调用屏蔽底层状态管理细节。5 代码实现importosfrompathlibimportPathfromapp.core.loggerimportlogger,node_logfromapp.import_process.agent.stateimportImportGraphState,create_default_statefromapp.utils.task_utilsimportadd_running_task,add_done_tasknode_log(node_entry)defnode_entry(state:ImportGraphState)-ImportGraphState: 节点: 入口节点 (node_entry) 为什么叫这个名字: 作为图的 Entry Point负责接收外部输入并决定流程走向。 未来要实现: 1. 进行任务状态记录,开始和结束列表记录 2. 根据state中 local_file_path属性判断数据类型进而修改 相关参数, is_md_read_enabled 或者 is_pdf_read_enabled md_path 或者 pdf_path 3. 不可解析结果类型不可用,直接输出对应警告日志! 逻辑路由节点会自动处理 4. 获取file_tile标识,用于后期识别pdf对应的主体(item_name)进行兜底 # 1. 任务状态记录处理add_running_task(state[task_id],node_entry)# 2. 判断文件类型local_file_pathstate[local_file_path]ifnotlocal_file_path:logger.warning(f没有输入文件地址,无法处理,直接跳转到结束节点!)add_done_task(state[task_id],node_entry)returnstateiflocal_file_path.endswith(.md):state[is_md_read_enabled]Truestate[md_path]local_file_patheliflocal_file_path.endswith(.pdf):state[is_pdf_read_enabled]Truestate[pdf_path]local_file_pathelse:logger.warning(f虽然输出了loclal_file_path,但是无法识别文件类型,请检查输入文件类型是否正确,目前只支持md和pdf文件,请检查!{local_file_path})add_done_task(state[task_id],node_entry)returnstate# 3. 获取文件标识# 基于os.path处理file_title_osos.path.basename(local_file_path).split(.)[0]# 基于pathlib处理file_titlePath(local_file_path).stem# 文件名 .name 文件夹名 .parent 文件后缀 .suffixstate[file_title]file_title add_done_task(state[task_id],node_entry)returnstate关键语法补充说明语法 / 函数具体作用执行示例os.path.basename(document_path)从完整路径提取文件名/data/kb/test.pdf→test.pdfp.stemsplitext(file_name)拆分文件名和后缀test.pdf→(test, .pdf)state.get(key, )安全提取状态值无 key 时返回默认值state.get(a, )→ 无 “a” 则返回 “”sys._getframe().f_code.co_name动态获取当前函数名本节点中返回node_entryadd_running_task/add_done_task记录任务的节点运行状态用于任务监控面板展示节点执行进度(fastapi使用)6 单元测试您可以在node_entry.py文件底部直接运行以下测试代码if__name____main__:# 单元测试覆盖不支持类型、MD、PDF三种场景logger.info( 开始node_entry节点单元测试 )# 测试1: 不支持的TXT文件test_state1create_default_state(task_idtest_task_001,local_file_path联想海豚用户手册.txt)node_entry(test_state1)# 测试2: MD文件test_state2create_default_state(task_idtest_task_002,local_file_path小米用户手册.md)node_entry(test_state2)# 测试3: PDF文件test_state3create_default_state(task_idtest_task_003,local_file_path万用表的使用.pdf)node_entry(test_state3)logger.info( 结束node_entry节点单元测试 )

相关新闻

Resources原语:让AI读取你的数据

Resources原语:让AI读取你的数据

摘要:MCP Resources原语让AI按需读取外部数据源,支持静态URI和模板URI。本文详解资源定义、订阅通知、分页读取和与Tools原语的协作模式。 Resources原语让AI读取你的数据 上个月我给团队搭了个代码审查助手,想让模型读项目里的配置文件和日…

2026/10/16 5:09:15 阅读更多 →
点赞动画可以先跑,接口状态必须能回滚

点赞动画可以先跑,接口状态必须能回滚

点赞动画可以先跑,接口状态必须能回滚 点赞、收藏需要即时反馈,也必须面对网络延迟与连续点击。等接口成功再播动画会显得迟钝,忽略乱序响应则会让本地状态与服务端各说各话。 比较稳妥的做法是:前端先更新可回滚的本地状态&#…

2026/10/15 15:14:45 阅读更多 →
Prompts原语:标准化提示词模板

Prompts原语:标准化提示词模板

摘要:MCP Prompts原语提供标准化提示词模板,支持参数化注入和组合调用。本文详解提示定义、消息构建、客户端调用流程和提示与工具的联动设计。 Prompts原语标准化提示词模板 前阵子我给团队维护一坨提示词,散落在十几个Python文件里&#x…

2026/10/15 6:36:20 阅读更多 →

最新新闻

Unity场景嵌入Ionic壳工程:基于Cordova桥接的AR集成方案

Unity场景嵌入Ionic壳工程:基于Cordova桥接的AR集成方案

简介:面向需要在 Ionic(Cordova)应用中嵌入 Unity 3D 场景的开发者,这是一份以 Cordova 插件方式打通 Unity 与混合应用双向通信的完整集成指南,覆盖 Android 与 iOS 双端,并已在带 Vuforia 插件的商业级 U…

2026/10/17 14:44:28 阅读更多 →
贝叶斯网络讲课稿设计:从结构到推断的实战指南

贝叶斯网络讲课稿设计:从结构到推断的实战指南

简介:这是一份系统讲解贝叶斯网络的讲课课件,面向人工智能、机器学习方向的教学与入门自学者,旨在帮助读者掌握用图模型表达不确定性并进行概率推理的核心方法。课件以参加晚会、宿醉、头疼、脑瘤等日常场景作为引例,先介绍先验概…

2026/10/17 14:44:28 阅读更多 →
工业智能体架构实战:从龙虾柔性分拣看制造业AI落地

工业智能体架构实战:从龙虾柔性分拣看制造业AI落地

1. “龙虾”项目复盘:为什么一个自动化Demo能引发行业围观 最近制造业圈子里有个叫“龙虾”的自动化项目Demo在技术社区里刷了屏——一套基于工业智能体架构的柔性分拣系统,用机械臂配合视觉识别,把生鲜龙虾按大小、活力、品相自动分级&#…

2026/10/17 14:44:28 阅读更多 →
C#上位机开发:基于Modbus RTU与PLC通信的完整实战指南

C#上位机开发:基于Modbus RTU与PLC通信的完整实战指南

做上位机开发的工程师,迟早会和PLC打交道。尤其是现场设备需要联网监控、数据采集或者远程控制的时候,PC端和PLC之间的通信就是绕不开的坎。这两年我陆陆续续用C#对接过好几个品牌的PLC,其中用基于Modbus RTU协议和某国产品牌PLC做实时数据通…

2026/10/17 14:44:28 阅读更多 →
AI转型真实门槛:数据感知、工具链、问题翻译三大能力

AI转型真实门槛:数据感知、工具链、问题翻译三大能力

1. 这不是“学AI”的入门指南,而是帮你避开90%人踩坑的决策地图 “想转型AI?先搞懂AI培训需要什么基础”——这句话背后藏着太多被忽略的真实语境。我接触过上百位从运营、财务、教师、销售甚至传统制造业转行过来的学员,他们点开课程页面的…

2026/10/17 14:44:28 阅读更多 →
Agent上下文数据库 OpenViking 详解:Docker部署与API实操

Agent上下文数据库 OpenViking 详解:Docker部署与API实操

用半年时间拆了三个 Agent 项目的架构,我最大的感受是:绝大多数所谓的 "智能 Agent" 卡在同一个地方,不是模型不够聪明,而是它根本记不住事。Chat 对话可以靠 system prompt 塞历史,但真正做自主任务、多轮规…

2026/10/17 14:43:27 阅读更多 →

日新闻

DeepSeek选型与部署:V3/R1、Ollama、API全攻略

DeepSeek选型与部署:V3/R1、Ollama、API全攻略

简介:《DeepSeek使用方法.pdf》是一份面向DeepSeek入门及进阶用户的完整使用指南,重点围绕V3与R1两款模型的能力差异与适用场景展开,帮助读者根据任务类型与成本选择合适的模型。资源共1个PDF文件,压缩包大小约311KB,篇…

2026/10/17 0:00:25 阅读更多 →
200+Deepseek润色指令拆解:从底层原理到场景落地的完整指南

200+Deepseek润色指令拆解:从底层原理到场景落地的完整指南

简介:这是一份聚焦DeepSeek提示词优化的《200Deepseek润色指令》PDF文档,共收录两百余条可直接套用的润色指令,涵盖语法修正、风格统一、逻辑梳理、表达精炼等维度,并针对商务写作、学术论文、广告文案等场景给出差异化建议。文档…

2026/10/17 0:00:25 阅读更多 →
OpenCV轮廓法物体计数系统:轻量、可控、可落地的工业级实现

OpenCV轮廓法物体计数系统:轻量、可控、可落地的工业级实现

简介:本资源是一份基于OpenCV的本科课程设计完整报告,面向计算机视觉初学者、图像处理学习者及高校通信/信息类专业学生,解决物体智能计数与检测结果结构化记录的实际问题。项目覆盖图像预处理、轮廓检测、边界框绘制、轨迹栏交互式参数调节、…

2026/10/17 0:00:25 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/16 21:35:51 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/17 1:44:59 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/16 15:04:24 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 21:54:38 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 3:49:43 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/16 14:23:36 阅读更多 →