wigolo crawl的5种策略:BFS、DFS、sitemap、map模式与robots.txt合规
wigolo crawl的5种策略BFS、DFS、sitemap、map模式与robots.txt合规【免费下载链接】wigoloThe go-to web for your AI coding agent — local-first search, fetch, crawl research over MCP. No API keys, no cloud, $0/query. Public beta.项目地址: https://gitcode.com/GitHub_Trending/wi/wigolowigolo 是一个本地优先local-first的 AI 编程代理网络工具其crawl工具可以把整个站点抓取进本地缓存供后续的搜索、研究和缓存问答使用。本文介绍 wigolo crawl 的 5 种抓取策略BFS、DFS、sitemap、map 模式以及默认的 robots.txt 合规机制帮你用最少的配置拿到最干净的站点内容全程无需 API key$0/query。先认识一下 wigolo crawlcrawl是 wigolo 面向 AI 代理的多页抓取工具它从一个种子 URL 出发自动发现链接、抓取页面、提取 Markdown并把结果写进本地知识缓存——之后cache、search、find_similar等工具都可以直接复用这些内容。核心逻辑在 src/crawl/crawler.ts入口封装在 src/tools/crawl.ts。调用时只需要传 4 个常用参数参数默认值说明url必填种子 URLstrategybfs抓取策略bfs/dfs/sitemap/map/automax_depth2map 为 3最大跳转深度max_pages20map 为 200最大抓取页数 抓取完成后页面还会按max_total_chars默认 10 万字符和 token 预算做自动裁剪保证喂给 AI 上下文的内容不会爆掉见 src/tools/crawl.ts。策略一BFS 广度优先默认最稳BFSBreadth-First Search是 wigolo crawl 的默认策略。它从种子 URL 出发逐层向外扩散先抓完第 0 层再抓第 1 层……队列取页逻辑见 crawler.ts 的队列循环。适合场景想快速覆盖站点浅层最重要页面比如文档站的前几层目录。wigolo 对 BFS 做了两个贴心优化文档页优先同一层链接中路径包含/docs/、/guide/、/api/的页面会被排到前面抓取营销页靠后isDocPage锚点去重/page#a和/page#b会被折叠成同一条边不会重复抓取同一页策略二DFS 深度优先挖垂直内容把strategy设为dfs后队列改为后进先出会沿着一条链接链不断向下钻直到到达max_depth才回头。适合场景沿着下一篇导航深入抓取某个主题的全部文章需要完整拿到深层页面BFS 在页数上限内可能永远轮不到注意DFS 消耗页数更快建议把max_pages调小、配合exclude_patterns排除无关路径。策略三sitemap 站点地图驱动最快最全strategy: sitemap不靠链接跳转而是直接读取网站的 sitemap先从robots.txt里找Sitemap:声明extractSitemapUrlFromRobots找不到就探测默认路径/sitemap.xml支持sitemap index多级子 sitemap逐个展开抓取按lastmod排序最近更新的页面优先生存避免max_pages截断后只剩陈旧的词汇表页面sitemap 解析与排序逻辑见 src/crawl/sitemap.ts 和 crawler.ts 的 discoverSitemapUrls。适合场景内容站的批量入库——官方推荐的先 map 后 crawl组合拳就是它先用 map 模式摸清全部 URL再用 sitemap 策略精准抓取见 examples/one-shot-cli。策略四map 模式只列 URL不抓内容strategy: map是侦察兵模式它只发现 URL 列表不提取页面正文所以又快又省。map 模式分两个阶段src/crawl/mapper.tsSitemap 发现尽力读取 sitemap把其中的 URL 并入结果BFS 链接遍历纯 HTTP 抓取 HTML不渲染 JS只提取a href链接默认max_pages高达200、max_depth为 3返回urls列表 sitemap_found标记。适合场景抓取前先踩点评估站点规模生成站点 URL 清单交给后续 pipeline 处理配合 examples/shell-ndjson-pipeline 的 NDJSON 管道做批量调度策略五auto 自动策略 robots.txt 全程合规auto策略会先探测 sitemapprobeSitemap找到可用地图就走 sitemap 路径否则回退 BFS——一条命令兼顾两种场景。而robots.txt 合规则是所有策略共享的隐形第六策略wigolo 默认开启respectRobotsTxt抓取前解析站点robots.txt遵守Allow/Disallow规则且最长匹配优先RobotsParser读取Crawl-delay指令并让它与本地限流取更严格的值RateLimiter按域名做并发 间隔限流内网地址自动降速降并发即使你显式传了 sitemap URL 列表被 robots 禁掉的页面依然会被跳过这意味着 wigolo crawl 开箱即用就是礼貌爬虫无需任何额外配置。五种策略怎么选一张表看懂策略速度内容完整度最佳用途bfs默认⭐⭐⭐浅层优先文档站、官网概览dfs⭐⭐⭐深层优先追踪单条内容链sitemap⭐⭐⭐⭐官方全量清单内容站批量入库map⭐⭐⭐⭐⭐仅 URL抓取前侦察、URL 清单auto⭐⭐⭐⭐自动择优不确定时的一键兜底上手小贴士先 map 后 crawl大站点先用strategy: map看规模再决定max_pages用模式过滤include_patterns/exclude_patterns支持路径通配只抓docs/*能省下大量 token缓存为王crawl 的页面都会进本地缓存重复提问时cache工具直接从磁盘应答成本为零——详见 docs/tools.md进阶资料完整工具参数见 docs/tools.md架构与配置见 docs/configuration.md核心源码目录一览抓取器主体src/crawl/crawler.tssitemap 解析src/crawl/sitemap.tsmap 模式src/crawl/mapper.tsrobots 解析src/crawl/robots.ts限流器src/crawl/rate-limiter.ts工具入口src/tools/crawl.ts掌握这 5 种策略你就拥有了 wigolo crawl 的全部武器库——从快速侦察到全量入库总有一款适合你的 AI 代理工作流。【免费下载链接】wigoloThe go-to web for your AI coding agent — local-first search, fetch, crawl research over MCP. No API keys, no cloud, $0/query. Public beta.项目地址: https://gitcode.com/GitHub_Trending/wi/wigolo创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

LLM Agent敏感数据脱敏:三种方案让工具调用不停摆

LLM Agent敏感数据脱敏:三种方案让工具调用不停摆

最近在给一个电商客服 Agent 做数据合规改造时,遇到一个很典型的问题:Agent 需要读取用户订单、核对手机号、查询收货地址,然后调用 CRM 和物流接口去处理售后。功能链路本身没问题,但安全评审一看就发现了问题——用户的姓名、手…

2026/10/26 13:25:44 阅读更多 →
Upscayl 免费开源 AI 图像增强完整指南:本地 4 倍超分修复老照片与批量处理实战

Upscayl 免费开源 AI 图像增强完整指南:本地 4 倍超分修复老照片与批量处理实战

Upscayl 免费开源 AI 图像增强完整指南:本地 4 倍超分修复老照片与批量处理实战 【免费下载链接】upscayl 🆙 Upscayl - #1 Free and Open Source AI Image Upscaler for Linux, MacOS and Windows. 项目地址: https://gitcode.com/GitHub_Trending/up…

2026/10/26 13:25:45 阅读更多 →
设计师的Git版本管理实战指南:从入门到资产协作

设计师的Git版本管理实战指南:从入门到资产协作

在设计圈摸爬滚打久了,很多人都会遇到一个尴尬场景:设计稿改了十几版,桌面上的文件名从 首页终版.fig 一路变成了 首页最终版_v12_真的不改了.fig ,最后自己也分不清哪一版才是交付给开发的那一版。平时我们做设计协作&#x…

2026/10/25 13:28:34 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻