零基础如何完整采集B站全部评论5分钟上手、1小时批量、半天玩透的爬虫进阶路线图【免费下载链接】BilibiliCommentScraperB站视频评论爬虫 Bilibili完整爬取评论数据包括一级评论、二级评论、昵称、用户ID、发布时间、点赞数项目地址: https://gitcode.com/gh_mirrors/bi/BilibiliCommentScraper如果你想认真做一次B站评论数据采集最怕遇到什么大概是忙活半天只拿到二三十条评论、评论区里的一二级关系全乱、视频一多就手动到崩溃。开源工具 BilibiliCommentScraper 正是冲着这三个痛点来的它模拟真实浏览器滚动加载把一级评论、二级评论、昵称、用户ID、发布时间、点赞数完整落进 CSV还支持多视频批量处理与断点续爬。这篇文章按5分钟上手 → 1小时批量 → 半天玩透三条路线带你从零把它用起来。第一站5分钟快速上手完成B站评论爬虫环境搭建并导出第一份数据很多新手一听爬虫两个字就发怵其实这个工具的门槛低到只需要三步装环境、填链接、跑命令。1. 三步完成B站评论爬虫环境搭建第一步确认电脑里有 Python 3打开命令行输入python --version就能看到版本号没有就去官网装一个。第二步安装三个依赖库一行命令搞定pip install selenium beautifulsoup4 webdriver-manager第三步把代码拿到本地git clone https://gitcode.com/gh_mirrors/bi/BilibiliCommentScraper.git cd BilibiliCommentScraper小提示webdriver-manager 会自动匹配你的 Chrome 版本并下载对应驱动省去了手动配 chromedriver 的麻烦——这是新手最容易卡住的一步现在完全不用管了。2. 在video_list.txt里填上你要爬的视频链接打开项目里的 video_list.txt每行放一个 B 站视频地址像这样https://www.bilibili.com/video/BV17M41117eg https://www.bilibili.com/video/BV1QF411q73H先放一个视频练手就好。文件里写几个地址程序就会爬几个视频这就是后面批量的雏形。3. 扫码登录一次之后全部自动运行python Bilicomment.py浏览器会弹出来并跳转到 B 站个人空间页。第一次运行你会看到一行提示请登录登录成功跳转后按回车键继续...扫码登录账号跳转回页面后回到命令行按回车。程序会把登录状态存进 cookies.pkl下次再跑就不再需要扫码。之后浏览器会切到无头模式默默干活你盯着控制台看滚动进度就行。4. 查看你的第一份B站评论数据CSV文件爬完一个视频项目目录里会多出一个以视频ID命名的 CSV 文件比如 BV17M41117eg.csv。用记事本或 VS Code 打开它你会看到这样的表格结构这一份文件里每条评论都带 9 个字段编号、隶属关系、被评论者昵称/ID、评论者昵称/ID、评论内容、发布时间、点赞数。也就是说除了谁说了什么你连这条评论回复的是谁、几点发的、有多少人点赞都一并拿到了。第一站小结从装环境到出数据实际只需要一个命令。现在就找一个小视频试跑一遍10 分钟内的反馈比看十篇教程都管用。第二站1小时深入玩法掌握多视频批量采集配置方法与数据解读第一个视频跑通后你的需求会自然升级能不能一口气把十几个视频的评论都抓下来抓下来的数据怎么读懂这一站解决的就是这两个问题。1. 多视频批量采集配置方法往列表里加行就行批量采集不需要额外配置。把 video_list.txt 里的地址按行补全重新运行python Bilicomment.py程序会按顺序处理每一个视频各自生成独立的 CSV 文件顺序、命名都不用你操心。不过批量之前有个动作建议先做删掉第一站练手时生成的 progress.txt如果存在的话。因为进度文件记录的是上次爬到哪了你不删它程序会接着上次的位置继续而不是从头爬新列表。想重新开始记住这一条删除 progress.txt。2. 看懂CSV里的评论层级关系一级、二级与被评论者B 站评论区是树状结构一级评论直接回复视频二级评论挂在某条一级评论下面。工具在隶属关系这一列把它们区分开隶属关系 一级评论被评论者昵称/ID 显示为up主因为它直接回复的是视频作者。隶属关系 二级评论被评论者昵称/ID 就是它回复的那条一级评论的作者。所以哪怕评论多到几千条你也能用一列字段把整棵评论树还原出来——这对做话题讨论链分析特别关键。3. 三个高频报错的快速解法新手跑批量时最容易遇到下面三个问题先存个档CSV 用 Excel 打开乱码文件是 UTF-8 编码Excel 默认按 GBK 读。换记事本/VS Code 打开或者在 Excel 里用数据→从文本/CSV 导入并选择 UTF-8 即可。报错 Permission denied多半是 CSV 或 progress.txt 正被 Excel 占用或者目录没有写入权限。关掉占用程序必要时以管理员身份运行。单元格显示 $NAME?某个昵称以-开头被 Excel 当成了公式。这是 Excel 的显示问题数据本身没坏不影响后续用 pandas 读取分析。4. 让爬虫自己过夜自动重试与错误清单批量最怕中途崩掉。这个工具内置了容错机制遇到网页崩溃、网络中断会自动重启浏览器并接着爬某个视频实在爬不动会被记录到 video_errorlist.txt 里程序跳过它继续处理下一个不会因为一个坏链接卡死整批任务。第二站小结批量采集的核心就是列表 进度文件的组合拳。现在可以把 5~10 个视频放进列表试跑一次感受一下挂机过夜、早上看结果的省心体验。第三站半天玩透高级功能断点续爬设置与性能调优到这一站你已经不是新手了。接下来要掌握的三件事决定了你能不能用它处理热门大视频、能不能把爬取效率和安全度都调到自己满意。1. 断点续爬设置progress.txt 是爬虫的游戏存档程序每完成一个节点都会把进度写进 progress.txt格式类似{video_count: 1, first_comment_index: 15, sub_page: 114, write_parent: 1}四个字段的含义分别是video_count已完成第几个视频first_comment_index当前视频已爬到第几条一级评论sub_page当前一级评论的二级评论翻到了第几页write_parent这条一级评论是否已写入 CSV。读懂了它你就掌握了整个任务的控制权想从头开始删掉 progress.txt。想跳过某个爬不动的视频把 video_count 加 1。想跳过前面 N 条评论把 first_comment_index 改成 N。注意三个数字都是从 0 开始计数的write_parent 只取 0 或 1。每次改完程序下次运行就会自动从新位置继续这就是爬了一半断电也不慌的底气。2. 调优爬取深度MAX_SCROLL_COUNT 与 max_sub_pages 怎么设评论加载靠模拟滚动每向下滚一次加载约 20 条一级评论。代码里的两个参数决定爬多深MAX_SCROLL_COUNT默认 45控制滚动次数大约对应 920 条一级评论。滚动越多页面越吃内存热门大视频可以把值调小来防崩溃。max_sub_pages默认 150控制每条一级评论下的二级评论翻页上限设为 None 表示不限页数。给个上限能显著降低内存占用建议保持默认。这两处都在 Bilicomment.py 里找到对应行改数字即可不需要动其他逻辑。3. 降低反爬风险与内存占用随机延时、无头模式与缓存清理爬得太频繁B 站可能懒得理你表现就是控制台长时间没动静。这时候把固定延时改成随机延时模拟真人节奏import random time.sleep(random.uniform(1, 5)) # 在需要延时的位置替换原 sleep内存方面程序默认已经开启无头模式、禁用了图片加载来省内存浏览器临时缓存会放在项目目录下跑完大批量任务后可以手动清掉。如果大视频在滚动加载阶段就反复崩溃优先把 MAX_SCROLL_COUNT 调小再考虑延长延时。第三站小结进度文件是控制台两个参数是油门随机延时是刹车——三者配合热门大视频也能稳稳拿下来。建议今晚就拿一个评论量几千的视频做一次全参数实战。下一步行动现在就动手开始你的B站评论数据采集路线图走到这里剩下的就是动手git clone https://gitcode.com/gh_mirrors/bi/BilibiliCommentScraper.git cd BilibiliCommentScraper pip install selenium beautifulsoup4 webdriver-manager python Bilicomment.py给新手的两条建议第一先从评论量小的视频试跑确认 CSV 字段和层级关系都符合预期再上热门视频第二cookies.pkl 和 progress.txt 不要随手删前者是免登录凭证后者是续爬存档搞清楚它们的作用再动手。祝你今晚就拿到第一份完整的 B 站评论数据。【免费下载链接】BilibiliCommentScraperB站视频评论爬虫 Bilibili完整爬取评论数据包括一级评论、二级评论、昵称、用户ID、发布时间、点赞数项目地址: https://gitcode.com/gh_mirrors/bi/BilibiliCommentScraper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考