网页爬虫人工智能AI 应用【免费下载链接】Scrapegraph-aiPython scraper based on AI项目地址https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai点击查看免费下载本文围绕 Scrapegraph-ai 官方示例 examples/speech_graph/README.md 展开系统讲解 SpeechGraph 的核心能力一条集网页抓取、内容解析、LLM 文本分析与语音合成Text-to-Speech于一体的端到端管线。你将掌握 SpeechGraph 的图结构与节点调用链、graph_config的完整配置方法、环境变量设置以及如何把示例 speech_graph_openai.py 改造为可直接运行的语音摘要生成脚本并学会解读执行统计信息。SpeechGraph 是什么SpeechGraph 是 Scrapegraph-ai 提供的语音摘要图它抓取指定网页让 LLM 根据用户 prompt 生成一段文字回答再调用 TTS 模型把回答合成为音频文件输出。从源码类注释看它的定位是a scraping pipeline that scrapes the web, provide an answer to a given prompt, and generate an audio file见 speech_graph.py。官方 README 归纳的四大能力分别为Speech-to-text conversion语音转文本——对音频输入做语音识别与内容提取Audio processing音频处理——音频数据的预处理与输出Text analysis文本分析——对抓取内容进行 LLM 语义分析Sentiment analysis情感分析——对文本做情绪/倾向性判断。安装与初始化环境安装依赖在仓库根目录下通过requirements-dev.txt安装开发所需依赖包含dotenv、openai等运行 SpeechGraph 必需的库pip install -r requirements-dev.txt若希望最小化安装至少需要scrapegraph-ai主体、python-dotenv加载.env、以及openai驱动 TTS 客户端。配置环境变量复制环境变量模板将 examples/speech_graph/.env.example 拷贝为同目录下的.env文件cp examples/speech_graph/.env.example examples/speech_graph/.env在.env中填入你的 API Key# OpenAI API Configuration OPENAI_API_KEYyour-openai-api-key-here # Whisper API Configuration (Optional) WHISPER_API_KEYyour-whisper-api-key-here # Optional Configurations MAX_TOKENS4000 MODEL_NAMEgpt-4-1106-preview TEMPERATURE0.7 # Speech Settings AUDIO_FORMATmp3 SAMPLE_RATE16000READMEE 明确给出的两个核心变量为变量必填性作用OPENAI_API_KEY必需同时驱动 LLM 回答生成与 TTS 语音合成WHISPER_API_KEY可选用于 Whisper 语音识别语音转文本场景模板中的MODEL_NAME、TEMPERATURE、MAX_TOKENS、AUDIO_FORMAT、SAMPLE_RATE为可选配置示例脚本本身仅从环境读取OPENAI_API_KEY其余参数可直接写进graph_config。核心使用方式一行图、一段话、一个音频README 给出的最小调用范式如下from scrapegraphai.graphs import SpeechGraph graph SpeechGraph() text graph.process(audio_file.mp3)需要说明的是这是 README 的示意性 API。在当前仓库的实际实现中SpeechGraph 的构造与运行接口是prompt source config三元组配合run()见 speech_graph.py 与run()方法process并非现有公开方法。真实可运行的写法请以下一节示例为准。完整可运行示例解析仓库提供了官方可运行脚本 examples/speech_graph/speech_graph_openai.py其目标是把https://perinim.github.io/projects/页面内容总结成一段语音。逐段拆解如下1) 定义音频输出路径import os from dotenv import load_dotenv from scrapegraphai.graphs import SpeechGraph from scrapegraphai.utils import prettify_exec_info load_dotenv() FILE_NAME website_summary.mp3 curr_dir os.path.dirname(os.path.realpath(__file__)) output_path os.path.join(curr_dir, FILE_NAME)脚本把生成的音频命名为website_summary.mp3输出到脚本所在目录即examples/speech_graph/下。2) 构造 graph_configopenai_key os.getenv(OPENAI_API_KEY) graph_config { llm: { api_key: openai_key, model: openai/gpt-4o, temperature: 0.7, }, tts_model: {api_key: openai_key, model: tts-1, voice: alloy}, output_path: output_path, }配置分三层对应三种模型/职责llm回答生成的基座模型。model采用provider/model形式openai/gpt-4o会被 abstract_graph.py 拆分为 provideropenai、modelgpt-4o并交给init_chat_model实例化temperature控制回答随机性。tts_model语音合成模型配置默认值见 openai_tts.pymodel默认tts-1voice默认alloyOpenAI 内置音色之一。output_path音频落盘路径。若不提供run()会回退到默认文件名output.mp3见 speech_graph.py。3) 实例化并运行speech_graph SpeechGraph( promptMake a detailed audio summary of the projects., sourcehttps://perinim.github.io/projects/, configgraph_config, ) result speech_graph.run() print(result)prompt决定 LLM 回答的内容与风格source为抓取目标。SpeechGraph 在初始化时会根据 source 前缀自动判断输入类型source.startswith(http)时输入键为url否则为local_dir见 speech_graph.py因此 source 也可以是本地目录路径run()返回图执行后的最终回答文本final_state[answer]同时会把生成的音频写入output_path。4) 打印执行统计graph_exec_info speech_graph.get_execution_info() print(prettify_exec_info(graph_exec_info))get_execution_info()返回各节点的执行明细token 数、请求数、成本、耗时prettify_exec_info会将其格式化为表格文本见 prettify_exec_info.py便于观测全链路开销。图结构与底层调用链SpeechGraph 通过_create_graph()串联四个节点见 speech_graph.pyFetchNode → ParseNode → GenerateAnswerNode → TextToSpeechNodeFetchNode根据url | local_dir抓取页面内容。URL 场景下默认使用 ChromiumLoader 渲染页面headless得到doc若use_soup为 True 则改用requests直接拉取 HTML见 fetch_node.py。ParseNode将 HTML 转为纯文本Html2TextTransformer再按chunk_size切块产出parsed_doc。SpeechGraph 传入的chunk_size取自self.model_token——即 LLM 模型的 token 上限见 parse_node.py。GenerateAnswerNode把user_prompt与文档内容交给 LLM 生成回答写入answer。单文档走TEMPLATE_NO_CHUNKS直接回答多分块则并行分块作答后合并见 generate_answer_node.py。TextToSpeechNode从状态取出answer文本交给 TTS 模型合成音频字节写入audio见 text_to_speech_node.py。图由 BaseGraph 驱动从入口节点FetchNode开始沿边依次执行execute()结束后的final_state中同时含有answer文本与audio字节。音频落盘的关键一步run()中TextToSpeechNode产出的只是字节数据真正写文件的是 save_audio_from_bytesaudio self.final_state.get(audio, None) if not audio: raise ValueError(No audio generated from the text.) save_audio_from_bytes(audio, self.config.get(output_path, output.mp3))OpenAITextToSpeech.run()调用client.audio.speech.create(model, voice, input)并返回response.content见 openai_tts.py即音频的二进制内容。若图执行后未产生audio会直接抛出ValueError提醒检查 TTS 配置。运行前提与注意事项网络与 Key 依赖整个流程需要能访问 OpenAI API 的网络环境且OPENAI_API_KEY同时用于 LLM 与 TTSKey 失效会先后在回答生成和语音合成阶段失败。模型可用性gpt-4o、tts-1均为示例所写模型实际可用性以你的 API 账号为准。若要切换只需修改graph_config中的model字段。输出文件output_path指向脚本同目录的website_summary.mp3运行时该目录需可写。输入类型灵活source支持 URL 或本地目录SpeechGraph 自动在url/local_dir两种输入键间切换。成本观测TTS 调用按字符计费回答越长、合成音频越大、成本越高建议先用prettify_exec_info查看生成节点的 token 与成本统计后再规模化运行。小结SpeechGraph 把网页抓取 → LLM 文本分析 → 语音合成三条能力串成一条可复用管线graph_config只暴露llm、tts_model、output_path三个核心配置块图内部则由 Fetch → Parse → GenerateAnswer → TextToSpeech 四个节点协作完成。官方 README 与 speech_graph_openai.py 共同构成了最快上手的路径配置.env、组装配置字典、实例化SpeechGraph并run()即可获得一份由任意网页生成的音频摘要。想要进一步定制可参照 speech_graph.py 的节点组装逻辑替换tts_model或接入 schema 结构化输出。赞分享网页爬虫人工智能AI 应用【免费下载链接】Scrapegraph-aiPython scraper based on AI项目地址https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai点击查看免费下载相关推荐基于 CrewAI 的 ScrapegraphScrapeTool使用 Scrapegraph AI 智能抓取网页内容实战指南基于 CrewAI 的 ScrapegraphScrapeTool使用 Scrapegraph AI 智能抓取网页内容实战指南 导读 ScrapegraphS人工智能AI AgentAgent 框架多智能体工作流自动化后端openGauss事务处理机制华为数据库内核经验的深度解析openGauss事务处理机制华为数据库内核经验的深度解析 openGauss作为华为在数据库领域多年内核经验的结晶其事务处理机制体现了企业级数据库的高性能数据库关系型数据库后端零代码玩转AI抓取Scrapegraph-ai集成Hugging Face模型实战指南零代码玩转AI抓取Scrapegraph ai集成Hugging Face模型实战指南 你还在为复杂的网页数据抓取烦恼还在为API调用限制发愁本文将带你零网页爬虫人工智能AI 应用上一篇Dagger File.withReplaced 指南FileWithReplacedOpts 类型详解与文件内容替换实战下一篇mistral.rs 本地 GGUF 模型加载与推理实战从零运行离线 GGUF 文件创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考