Scrapegraph-ai 快速上手一句自然语言把网页抓成结构化数据【免费下载链接】Scrapegraph-aiPython scraper based on AI项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai产品经理甩来一沓竞品链接要求下班前交出结构化对比表——手写选择器逐个抠页面注定超时。Scrapegraph-ai 就是为解决这种场景而生的 Python AI 爬虫库你用一句自然语言描述要什么信息它负责打开页面、清洗内容、调用大模型最后直接返回结构化 JSON全程不碰 CSS 选择器和 XPath。15 行代码跑通第一个单页 AI 爬虫先在虚拟环境里装好两样东西库本体以及 Playwright 浏览器内核抓取网页依赖它pip install scrapegraphai playwright install然后是核心示例。SmartScraperGraph是最常用的流水线一个 URL、一句 prompt产出 JSONfrom scrapegraphai.graphs import SmartScraperGraph graph_config { llm: {model: ollama/llama3.2, format: json}, verbose: True, } scraper SmartScraperGraph( promptExtract the page title and all product prices, sourcehttps://example-shop.com/best-sellers, configgraph_config, ) print(scraper.run())三个参数值得记住prompt你要什么说人话就行模型负责理解source目标 URL也可以指向本地文件config.llm模型配置这是整个框架里唯一必须选的东西。返回值是一个字典字段名由 prompt 中隐含的结构决定。想让字段更可控就在 prompt 里直接写出期望的字段名如 return a dict with title, prices。这条流水线的内部链路是 Fetch取页面→ Parse清洗切块→ RAG按 prompt 检索相关片段→ Generate Answer生成 JSON。理解这条链路后面排错就快了很多。能力地图什么任务用哪条流水线Scrapegraph-ai 预置了多条流水线graphs按任务选型即可不必都学你的任务选哪条流水线输入 → 输出单页提取SmartScraperGraphURL prompt → JSON搜索引擎多页聚合SearchGraph一个问题 → 综合 top N 搜索结果的回答一批固定 URLSmartScraperMultiGraphURL 列表 prompt → 逐页结果多层深度抓取DepthSearchGraph入口 URL → 多层页面聚合答案本地文件XML/JSON/文档DocumentScraperGraph、XmlScraperGraph、JsonScraperGraph文件 prompt → 结构化数据网页转语音SpeechGraphURL prompt → 音频文件产出可复用脚本ScriptCreatorGraphURL prompt → Python 抓取脚本选型建议已知 URL 就用SmartScraperGraph或其 Multi 版URL 未知、需要搜索 抓取才用SearchGraph。每条流水线的完整代码都在 examples/ 里每个 graph 目录按 ollama / openai 分好了变体照着改 prompt 即可。模型从哪来本地 Ollama 与云端 API 二选一config.llm里只写一个model键就能决定用哪家的模型框架通过 LangChain 做统一适配方案模型写法示例适用代价本地 Ollamaollama/llama3.2开发调试、无外网环境、隐私敏感零费用但需ollama pull拉模型占内存云端 APIopenai/gpt-4o-mini等生产、批量任务按 token 计费需要 API key几个配置细节比换模型本身更影响结果format: json要求模型输出 JSON生产环境建议常开model_tokens页面内容分块上限长页面可上调但直接推高 token 消耗embeddingsRAG 检索用不写则默认跟随所选 LLMOllama 下推荐nomic-embed-textbase_urlOllama 跑在 Docker 或远程机器时改这个云端密钥也可放进环境变量读取不必硬编码。推荐路径先用 Ollama 本地模型把 prompt 调顺再切到gpt-4o-mini这类便宜的小模型上生产。大模型在爬虫场景里带来的增量有限而 token 账单不会。完整的各厂商配置写法见 docs/source/scrapers/llm.rst。真实任务批量抓 30 个 URL 并控制成本把示例里的单 URL 换成列表就是批量场景。Multi版流水线的关键差异对多个 source 的 LLM 调用是并行的而不是排队串行from scrapegraphai.graphs import SmartScraperMultiGraph scraper SmartScraperMultiGraph( promptExtract the product name, price and stock, source[https://shop-a.com/item/1, https://shop-b.com/item/9], configgraph_config, ) print(scraper.run())批量任务的三个成本控制手段只给 Multi 版喂真正不同的页面同构页面同一站点的分页可以共享 prompt别为每页单独构造对象cache_path指定缓存目录重跑同一批 URL 时直接读缓存不重新请求 LLMmax_resultsSearchGraph 专用限制聚合的搜索结果数这是搜索类任务最大的 token 变量。一次批量任务的总成本 ≈ 页面数 ×页面 token 数 输出 token 数× 单价。本地模型时把这项当 0云端时先按上式估算再跑全量——这是多数人在首次批量任务前漏掉的一步。结果不对时四步排查法跑不出理想结果按顺序查这四项能覆盖大部分问题模型没连上API key not found、模型加载失败确认ollama服务在跑且模型已 pull或云端配置里api_key确实存在页面没抓到输出为空或超时先执行playwright install仍不行就把headless设为False肉眼观察页面加载情况JS 重渲染站点给足时间即可超时参数参考 docs/source/timeout_configuration.mdJSON 结构不合预期确认format: json已设置并在 prompt 里显式写出期望字段框架还支持additional_info在默认 prompt 之外追加约束文本被 robots 或反爬拦截框架内置 RobotsNode 会先检查 robots 规则调试期可强制跳过被反爬挡住时可配置代理轮换写法见 docs/source/scrapers/graph_config.rst。还有一个常被忽略的开关verbose: True会把每个节点的中间产物打到控制台。排错时开它比猜快得多。抓完之后的扩展生成脚本、多模态与自定义流水线三条预置之外的进阶路径按需取用ScriptCreatorGraph不直接给你数据而是给你一段可独立运行的 Python 抓取脚本。适合这个页面以后要反复抓的场景——一次性付 LLM 的钱之后跑脚本零成本OmniScraperGraph/OmniSearchGraph在文本之外同时分析页面里的图片适合信息大量存在于截图、banner 里的站点自定义流水线用BaseGraph把FetchNode、ParseNode、RAGNode、GenerateAnswerNode等现成节点按自己的连线方式组装成图完整范例见 examples/custom_graph/openai/custom_graph_openai.py。预置流水线满足不了流程比如要插入自定义去重节点时才需要走到这一步Burr 可视化安装scrapegraphai[burr]后可用图形界面查看每次执行的节点数据流调试自定义图时很有用。下一步clone 仓库git clone https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai打开examples/smart_scraper_graph/里与你模型对应的示例把source换成你的真实目标 URL 跑一遍——10 分钟内你就有一个能交付的 AI 爬虫了。【免费下载链接】Scrapegraph-aiPython scraper based on AI项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考