fetch-mcp开发指南:从源码解析到自定义功能扩展
fetch-mcp开发指南从源码解析到自定义功能扩展【免费下载链接】fetch-mcpA flexible HTTP fetching Model Context Protocol server.项目地址: https://gitcode.com/gh_mirrors/fe/fetch-mcpfetch-mcp是一个灵活的HTTP抓取模型上下文协议MCP服务器能够将网页内容转换为HTML、Markdown、纯文本、JSON或YouTube转录文本。本文将带您从源码解析到自定义功能扩展全面掌握这个强大工具的开发技巧。项目概述fetch-mcp核心功能解析fetch-mcp作为MCP服务器和CLI工具主要解决网页内容抓取与格式转换的需求。从package.json可以看到项目使用TypeScript开发依赖了modelcontextprotocol/sdk作为MCP协议基础同时集成了jsdom、mozilla/readability和turndown等工具处理网页内容解析与格式转换。fetch-mcp项目logo展示了霓虹风格的FETCHMCP文字与电路板图案体现其技术属性主要技术栈核心语言TypeScript运行环境Node.js (18)构建工具Bun主要依赖modelcontextprotocol/sdkMCP协议支持jsdomDOM解析mozilla/readability文章内容提取turndownHTML转Markdownzod类型验证快速开始环境搭建与基础使用一键安装步骤首先克隆项目仓库git clone https://gitcode.com/gh_mirrors/fe/fetch-mcp cd fetch-mcp使用Bun安装依赖bun install构建项目bun run build基础命令示例fetch-mcp提供了直观的CLI工具支持多种内容抓取命令。以下是几个常用示例获取网页HTMLmcp-fetch html https://example.com转换网页为Markdownmcp-fetch markdown https://example.com --max-length 5000提取YouTube视频转录文本mcp-fetch youtube https://www.youtube.com/watch?vexample --lang en完整的命令说明可通过mcp-fetch --help查看或参考src/cli.ts源码。源码解析核心模块与工作原理Fetcher类内容抓取的核心实现src/Fetcher.ts是项目的核心模块实现了各种内容类型的抓取与转换功能。该类包含多个静态方法对应不同的内容处理策略html()获取原始HTML内容markdown()将HTML转换为Markdownreadable()使用Readability提取文章核心内容txt()提取纯文本内容json()处理JSON响应youtubeTranscript()获取YouTube视频转录文本Fetcher类实现了完善的安全机制包括验证URL协议、检查私有IP地址防止SSRF攻击等安全措施。例如validateUrl()方法确保只允许HTTP和HTTPS协议private static validateUrl(url: string): void { const parsedUrl new URL(url); if (parsedUrl.protocol ! http: parsedUrl.protocol ! https:) { throw new Error( Fetcher blocked URL with disallowed protocol ${parsedUrl.protocol}. Only HTTP and HTTPS are allowed., ); } // 私有IP检查逻辑... }CLI模块命令行交互实现src/cli.ts实现了命令行交互功能解析用户输入的命令和参数并调用Fetcher类的相应方法。CLI支持的命令包括html、markdown、readable、txt、json和youtube每个命令都有特定的参数选项。命令解析流程主要在parseArgs()函数中实现它负责验证命令合法性、解析URL和各种标志参数并返回结构化的参数对象。自定义功能扩展从零开始开发新特性扩展Fetcher类添加新的内容处理方法要添加新的内容处理功能最直接的方式是扩展Fetcher类。例如我们可以添加一个pdf()方法来支持PDF内容提取static async pdf(requestPayload: RequestPayload) { try { const response await this._fetch(requestPayload); // PDF处理逻辑... return { content: [{ type: text, text: pdfText }], isError: false }; } catch (error) { return { content: [{ type: text, text: error instanceof Error ? error.message : String(error) }], isError: true, }; } }扩展CLI添加新命令添加新命令需要修改src/cli.ts文件主要包括以下步骤在SUBCOMMANDS数组中添加新命令名称在fetchers对象中添加命令与Fetcher方法的映射添加新命令所需的参数解析逻辑例如添加pdf命令// 在SUBCOMMANDS中添加 const SUBCOMMANDS [html, markdown, readable, txt, json, youtube, pdf] as const; // 在fetchers对象中添加 const fetchers: Recordstring, (p: any) Promiseany { // ...现有命令 pdf: Fetcher.pdf.bind(Fetcher), };类型定义扩展如果添加了新的参数或返回类型需要更新src/types.ts文件中的类型定义确保类型安全。测试与调试确保代码质量fetch-mcp项目使用Bun的测试框架进行测试测试文件以.test.ts结尾如Fetcher.test.ts和YouTubeTranscript.test.ts。运行测试bun test添加新测试为新功能添加测试时可以创建新的测试文件或在现有测试文件中添加测试用例。例如为新的pdf功能添加测试test(Fetcher.pdf returns pdf text content, async () { const result await Fetcher.pdf({ url: https://example.com/test.pdf }); expect(result.isError).toBe(false); expect(result.content[0].type).toBe(text); // 更多断言... });部署与发布分享你的扩展构建项目bun run build本地测试./dist/cli.js 新命令 测试URL发布到npm维护者bun run publish:npm常见问题与解决方案问题YouTube转录文本获取失败解决方案确保已安装yt-dlp工具fetch-mcp会优先使用yt-dlp获取转录文本若未安装则尝试直接获取。安装方法# Ubuntu/Debian sudo apt install yt-dlp # macOS brew install yt-dlp问题处理大型网页时内存溢出解决方案使用--max-length参数限制返回内容大小或修改src/types.ts中的maxResponseBytes常量调整默认限制。总结fetch-mcp开发的最佳实践通过本文的介绍您已经了解了fetch-mcp的核心功能、源码结构和扩展方法。在开发自定义功能时建议遵循以下最佳实践保持类型安全利用TypeScript的类型系统为新功能添加完善的类型定义实现错误处理遵循现有代码的错误处理模式确保错误信息清晰添加测试用例为新功能编写测试保证代码质量更新文档修改README.md添加新功能的使用说明fetch-mcp作为一个灵活的内容抓取工具其模块化设计使得扩展功能变得简单直观。无论是添加新的内容格式支持还是优化现有功能都可以通过本文介绍的方法实现。希望这篇指南能帮助您更好地理解和使用fetch-mcp【免费下载链接】fetch-mcpA flexible HTTP fetching Model Context Protocol server.项目地址: https://gitcode.com/gh_mirrors/fe/fetch-mcp创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

GNU Emacs notebook-mode配置指南:自定义Python解释器、CSS样式与导出选项

GNU Emacs notebook-mode配置指南:自定义Python解释器、CSS样式与导出选项

GNU Emacs notebook-mode配置指南:自定义Python解释器、CSS样式与导出选项 【免费下载链接】notebook-mode GNU Emacs notebook mode 项目地址: https://gitcode.com/gh_mirrors/no/notebook-mode GNU Emacs notebook-mode是一款基于org-mode的轻量级笔记本工…

2026/11/21 0:45:08 阅读更多 →
Kun 完整上手教程:一条主线从安装到交付可交互 UI 设计稿

Kun 完整上手教程:一条主线从安装到交付可交互 UI 设计稿

Kun 完整上手教程:一条主线从安装到交付可交互 UI 设计稿 【免费下载链接】Kun Local-first AI agent workspace for coding, writing, design, research, and automation — one runtime for desktop GUI and TUI. 项目地址: https://gitcode.com/gh_mirrors/de/…

2026/11/9 4:24:34 阅读更多 →
BetterJoy 从零到精通:5 步让 Switch 手柄在 PC 上满血复活

BetterJoy 从零到精通:5 步让 Switch 手柄在 PC 上满血复活

BetterJoy 从零到精通:5 步让 Switch 手柄在 PC 上满血复活 【免费下载链接】BetterJoy Allows the Nintendo Switch Pro Controller, Joycons and SNES controller to be used with CEMU, Citra, Dolphin, Yuzu and as generic XInput 项目地址: https://gitcode…

2026/11/17 6:32:12 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻