MediaCrawler 多平台采集:从装环境到跑通
MediaCrawler 多平台采集从装环境到跑通【免费下载链接】MediaCrawler小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 评论爬虫、微博帖子 评论爬虫、百度贴吧帖子 百度贴吧评论回复爬虫 | 知乎问答文章评论爬虫项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler你需要把小红书上一个话题下的笔记连同评论批量拿下来做分析手动复制粘贴效率太低还经常漏。MediaCrawler 是一个多平台自媒体数据采集工具覆盖小红书、抖音、快手、B站、微博、贴吧、知乎 7 个平台基于 Playwright 和浏览器登录态工作不需要你去逆向各家的加密签名参数。这篇文章带你走完装好依赖→配好浏览器→改几个配置→跑通第一次采集这条最短路径再讲清楚代理、频率和存储怎么配才稳。 装依赖把第一次采集跑通先克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler cd MediaCrawler uv sync项目默认走 CDP 模式也就是接管你自己日常使用的 Chrome这样浏览器指纹、Cookie、扩展都是真实的比无头浏览器不容易触发风控。准备步骤只有两个Chrome 升到 144 以上版本地址栏输入chrome://version可查地址栏输入chrome://inspect/#remote-debugging勾选 Allow remote debugging for this browser instance看到 9222 端口提示即就绪更完整的说明见 CDP模式使用指南。然后改 config/base_config.py 里真正要动的几个字段其余全部保持默认PLATFORM xhs # 要采集的平台 KEYWORDS 咖啡探店 # 搜索关键词英文逗号分隔 CRAWLER_TYPE search # search 关键词 / detail 指定帖子 / creator 创作者主页 CRAWLER_MAX_NOTES_COUNT 20 # 最多采集的帖子数 SAVE_DATA_OPTION jsonl # 存储格式默认 jsonl运行uv run main.py --platform xhs --lt qrcode --type search命令行参数会覆盖配置文件里的同名项所以调参时改哪边都行。首次运行会拉起浏览器扫码登录后自动保存登录态SAVE_LOGIN_STATE默认开启之后的运行就直接复用数据落在data/目录下。 三种玩法搜索、盯帖、盯人配置里只有一行CRAWLER_TYPE决定采集模式--type命令行参数同理三种模式的区别如下模式你输入什么采到什么关键配置项searchKEYWORDS关键词关键词命中的帖子列表 每帖评论CRAWLER_MAX_NOTES_COUNT、CRAWLER_MAX_COMMENTS_COUNT_SINGLENOTESdetail帖子链接列表指定帖子的详情和评论ENABLE_GET_COMMENTS、ENABLE_GET_SUB_COMMENTS二级评论默认关creator博主主页链接该博主的头像昵称等主页数据 近期发帖CRAWLER_MAX_NOTES_COUNT三个补充点想要视频或图片素材把ENABLE_GET_MEIDAS改成True默认只采元数据不下载媒体文件评论默认开ENABLE_GET_COMMENTS True单帖一级评论条数由CRAWLER_MAX_COMMENTS_COUNT_SINGLENOTES控制想要评论词云把ENABLE_GET_WORDCLOUD打开仅 json/jsonl 存储模式下生效️ 把采集跑稳代理、频率、存储代理池的工作机制把ENABLE_IP_PROXY改成True开启代理同时指定服务商IP_PROXY_PROVIDER_NAMEkuaidaili快代理、wandouhttp豌豆HTTP、static静态代理和池大小IP_PROXY_POOL_COUNT。工作机制是这样的启动时按池大小向服务商拉一批 IP 存进内存池每次请求前随机抽一个用完即从池中移除抽到的 IP 会先通过一个测试地址验证连通性不通就换IP 带有效期is_current_proxy_expired会按过期时间提前缓冲判断过期或请求连续失败时自动重新拉取一批。static模式则直接把STATIC_PROXY_URL填成http://用户:密码地址:端口这种固定代理。服务商的密钥不写在配置文件里而是读环境变量大小写均可以豌豆HTTP为例是WANDOU_APP_KEY快代理是KDL_SECERT_ID/KDL_SIGNATURE/KDL_USER_NAME/KDL_USER_PWD具体读取逻辑在 proxy/providers/ 目录。拿 IP 用的账密和提取 API 长这样请求间隔怎么设控制频率的核心是CRAWLER_MAX_SLEEP_SEC默认 2 秒表示每次请求间随机等待 0 到 2 秒。小批量几十条保持 2 秒就够量大或目标平台风控严时调到 3-5 秒配合代理一起用。并发数MAX_CONCURRENCY_NUM默认 1不建议一开始就调大——并发越高IP 消耗越快登录态也越容易被平台判定异常。存储格式怎么选SAVE_DATA_OPTION可选csv、json、jsonl、excel、sqlite、dbMySQL、postgres文件类格式都落在data/目录jsonl默认每行一个 JSON 对象追加写入性能好适合自己用脚本二次处理csv结构最简单的表格快速查看够用excel带格式的多工作表内容、评论、创作者分开适合直接发给人分析sqlite/db/postgres入库前先跑uv run main.py --init_db sqlite初始化建表数据库方式自带去重适合同一批任务反复跑的场景各平台的落盘逻辑在 store/ 目录按平台拆分想加自定义存储可以从这里入手。存储方式的完整示例见 data_storage_guide。 卡住了怎么办三个最高频的问题都按现象→原因→两步排查处理。问题登录态失效总是跳回扫码页现象上次还好好的今天一运行又弹出二维码或者扫码后提示失败。最可能的原因是 Cookie 过期或无头模式下没通过滑块验证。两步排查第一把HEADLESS保持False让浏览器有界面手动滑一次滑块再让它保存登录态第二如果反复失效改用 CDP 连接你自己天天在用的 Chrome默认配置CDP_CONNECT_EXISTING True已开真实浏览器的登录状态基本不会突然失效具体步骤看 CDP模式使用指南。问题代理池空了日志反复报错拉不到 IP现象开了代理后启动日志里出现获取 IP 失败、然后不停重试。最可能的原因是环境变量没配或服务商额度用尽。两步排查第一确认对应的环境变量真的导入了比如WANDOU_APP_KEY而不是还留着配置里的your_wandou_http_app_key占位值第二登录服务商后台核对 API 额度与有效期额度为 0 时拉取必然为空。问题数据能采到但某个字段是空的现象jsonl 文件里某列比如作者粉丝数、点赞数全是 null。最可能的原因是平台接口字段改版解析规则对不上。两步排查第一翻运行日志里打印的原始响应确认接口里到底还有没有这个字段第二定位到 media_platform/ 目录下对应平台的field.py那里集中了字段名到数据模型的映射按实际响应改字段名即可。写在最后采集频率请控制在合理范围数据仅用于学习和研究项目 LICENSE 是明确禁止商业用途的。想继续深入建议直接读三个地方docs/ 目录下的常见问题、CDP 与存储指南media_platform/ 里各平台的 API 客户端实现以及 proxy/ 目录的代理池源码。【免费下载链接】MediaCrawler小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 评论爬虫、微博帖子 评论爬虫、百度贴吧帖子 百度贴吧评论回复爬虫 | 知乎问答文章评论爬虫项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

Threebox 实战指南:Mapbox 地图加 3D 动画

Threebox 实战指南:Mapbox 地图加 3D 动画

Threebox 实战指南:Mapbox 地图加 3D 动画 【免费下载链接】threebox A Three.js plugin for Mapbox GL JS, with support for animations and advanced 3D rendering. 项目地址: https://gitcode.com/gh_mirrors/thr/threebox 想在地图坐标上钉一颗真实的 3…

2026/10/24 16:41:41 阅读更多 →
VTube Studio 上手实录:10 分钟跑通 Live2D 形象并让它连上你的直播

VTube Studio 上手实录:10 分钟跑通 Live2D 形象并让它连上你的直播

VTube Studio 上手实录:10 分钟跑通 Live2D 形象并让它连上你的直播 【免费下载链接】VTubeStudio VTube Studio API Development Page 项目地址: https://gitcode.com/gh_mirrors/vt/VTubeStudio 不用会写代码,也能让 Live2D 形象对观众的礼物做…

2026/11/8 16:00:08 阅读更多 →
Zydis 零依赖 x86 反汇编库:高性能指令解析与代码生成指南

Zydis 零依赖 x86 反汇编库:高性能指令解析与代码生成指南

Zydis 零依赖 x86 反汇编库:高性能指令解析与代码生成指南 【免费下载链接】zydis Fast and lightweight x86/x86-64 disassembler and code generation library 项目地址: https://gitcode.com/gh_mirrors/zy/zydis Zydis 是一款追求速度与低内存占用的 x86…

2026/11/13 18:13:31 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻