实战 WorkBuddy+反爬+爬虫固化 Skill,6大能力搞定浏览器自动化
AI Agent 时代最大的资源是什么信息信息还是信息。别人的 Agent 可以抓取到的信息你抓取不到那你的产品再好也只能成为空中楼阁。明明都是抓网页、抓内容为什么别人可以 Goal 干活到天亮而你的 Agent 不是告诉你获取不到网页信息就是告诉你遇到了反爬动不了。能力差在浏览器自动化和信息抓取上。说简单点就是反爬。最近我在 github 看到一个升星特别快的 Skill ——BrowseAct。它是一款专为 Agent 配置的浏览器自动化 CLI 工具专门用来解决 Agent 无法深度开展浏览器使用以及容易被反爬挡住的问题。在使用它之前我还专门找了几个真正体验并分享过的内容。嘿一看一研究还发现这个 Skill 是真的有点东西。它不只是一个简单的浏览器反爬或者浏览器操作或者是无头浏览器的能力。它是真正把浏览器指纹伪装、TLS 轮换、代理切换、验证码处理、受保护页面提取、远程人工接管、无头浏览器、会话隔离、多账号身份隔离、并发任务管理以及面向 Agent 的索引化页面交互整合到一起的浏览器控制系统。它解决的不是“能不能打开网页”这么浅的问题而是 Agent 在真实互联网环境里持续干活时很容易遇到的几个痛点打不开、进不去、看不懂、登录态不能复用、不能并发、遇到风控、遇到验证、遇到问题不会主动找人无缝接管。所以它的价值不只是反爬而是把浏览器变成了 Agent 的一只“专业手臂”。接下来骑上我们心爱的小摩托 WorkBuddy。词元神启动第一关抓取网页先来看看白板 WorkBuddy 的抓取能力吧。我让它分别抓取了公众号、小红书的信息。从结果来看它对前几篇公众号WebFetch毫无问题但是当遇到公众号限制以及小红书搜索时整个 Agent 直接抓瞎无能为力了属于是。再来看看安装了 BrowserAct 之后的 WorkBuddy。同样抓取小红书内容分分钟拿下而且每一篇都可以抓取到标题、作者、互动数、日期。我仔细翻看了 WorkBuddy 调用 BrowserAct CLI 的过程发现整个 CLI 工具通过了两个层级来执行这次抓取任务。层级一是 BrowserAct 的内置服务叫做stealth-extract它是一个可以自动提取受保护页面的工具。可惜这一层在处理小红书的时候撞墙了小红书必须有登录态。层级二浏览器自动化操作BrowserAct 启动本地 Chrome 浏览器模拟人为操作和搜索。这一次顺利抓到了相关信息。这里要感慨一下 WorkBuddy 的主动性非常给力。数据返回后它第一时间把数据整理成了规范的 Markdown 格式并且列出了表格、排序比单独看文字要丰满很多。除了小红书我还尝试去抓了一些有校验的网站当然具体的网址就不透露了。在这里 Browser-Act 另外一个强大的能力solve-captcha大放异彩。它是 Browser-Act 的一个云端服务免费注册既可以享受。而且另外还赠送了 5 个可并发的stealth 浏览器。我翻看了一下 Browser-Act 的 Github 仓库里面介绍stealth 浏览器本身就拥有降低自动化特征的能力所以它搭配solve-captcha这个网站的滑杆被 WorkBuddy 顺利解决了。第二关并发批量抓取第一关过的很轻松于是我准备测试一下第二关批量操作和并发抓取信息。对于普通的 Agent 来说Browser USE 能力可以算是一个基础能力了但是一遇到大批量的并发数据抓取就会有点困难。它的难不在于传统Playwright不支持并发而更多在于高频下的浏览器校验、限定以及大模型的决策可靠性上。我让 WorkBuddy 帮我分别从知乎、值得买、公众号、小红书上搜索 NAS docker 相关的 AI 教程并且汇总。大致上是三个阶段1️⃣使用stealth-extract并行抓取知乎、SMZDM 数据本地 Chrome 浏览器操控小红书2️⃣开启隐身浏览器批量获取 知乎、小红书、什么值得买平台数据公众号使用 WorkBuddy 内置 WebSearch 搜索信息3️⃣公众号单独启用stealth-extract抓取获取到的信息然后全平台详情汇聚出报告。这里 WorkBuddy 使用 Browser-Act 把四个平台分成了三类来处理。第一类 浏览器操作 隐身浏览器。知乎、小红书两类需要登录才能搜索内容的平台WorkBuddy 直接切换到了本地 Chrome 并发处理。Browser-Act 支持同时开启多个浏览器并分别访问不同的网站彼此之间的会话、上下文完全隔离。更厉害的是在启动本地浏览器后它还并发开启了Stealth browser隐私浏览器这种模式下可以模拟正常的浏览器指纹来进行操作会大大降低平台的风控触发。因此很快也就拿到了数据。第二类 stealth-extract。这里以什么值得买平台为例它不需要登录态WorkBuddy 可以快速提取浏览器返回的渲染页面然后通过正文结构化的处理后将内容从网页里抽取出来。整个过程非常快而且没有 html 里的各种格式文件和其它不必要的功能按钮。第三类 WebSearch stealth-extract。 这里的坑点是公众号。因为公众号我不像第一关那样给一个非常具体的 URL 而是要求它搜索公众号的信息。这就存在了一个信源问题。于是 WorkBuddy 就调用了自身的另外一个搜索能力来获取公众号相关文章的列表获取到详细 URL 后再来调用stealth-extract抓取实际内容。整套流程我看下来这就有点 Nice 了。可以用各司其职来体现我最大的感受。其实最让我心动的浏览器能力就是并发执行了。我想每一个善于使用 Agent 进行网络信息采集的人都应该懂这个点。毕竟时间就是金钱时间就是一切。但是并发真的很难它不仅有我刚才说的问题甚至对你的电脑性能都是一个考验你总不能开几十个窗口在那边跑任务吧。所以 WorkBuddy 搭配 Browser-Act Skill 在并发任务执行这一关的表现非常优秀。它甚至可以确保每一个打开的查询页面都拥有独立的 Sessions 互相之间不串台、不冲突一个账号的登录态就可以满足多个并发任务下对不同页面、任务的执行需求。第三关可复用的抓取路径回顾以往我在使用一些反爬的 Skill 或者三方软件遇到最大的问题不是没办法抓取。而且每一次抓取 Agent 的呈现结果都不稳定。明明第一次可以成功但是过几天再去尝试Agent 就会说没办法解决必须把当时的资料喂给它才能继续。这个问题最终还是源自于 LLMs 的能力并且依靠 Memory 也只能治标而不能治本。那么回到 WorkBuddy 的工作里说说我的解决方案。依旧是 Browser-Act 不过这次不是它的 CLI 能力了而是它提供的一个叫browser-act-skill-forge的能力。browser-act-skill-forge是一个用于创建网页数据抓取的 Skill 的工具它的目标就是将单一的网页数据采集工作转换为本地可复用、可执行稳定高效的 Skill。我使用这个 Skill 要求它对值得买里批量的 NAS 好价数据进行整理。具体的工作流程是这样子的。第一步是使用browser-act-skill-forge对网站进行探索了解我的数据需求以及它们分别分布在网站的什么地方。第二步是验证这些数据能否通过stealth-extract提取即避免每次都跑完整的浏览器。第三步是通过browser-act创建隐身浏览器跑一遍完整的流程看看能否正确跑出数据来。第四步开始是对数据的具体处理和调用。最后一步是处理网页数据整理过程中遇到的验证码问题跑通自动解决和转人工协助解决的流程。这里提一嘴人工协助的时候WorkBuddy 会调用 Browser-Act 的服务到会话里我们直接点击就可以处理就是哪怕人在外只要手机可以连接 WorkBuddy 就可以解决。WorkBuddy 跑完整个流程后输出了一套 Skill 框架给我里面包含了具体的流程、py 代码等等然后在我的要求下将其创建成了完整的 Skill 。专门用来满足我跑这一个网站数据的任务。在 Skill 对应的说明文档里可以看到每一个步骤以及操作流程。这样一整套稳定、可复用的 Skill 就真正落地在了 Agent 里真正成为了扩展能力。牛牛牛。干脆再跑一遍吧。所以我这里直接复用这个创建好的 Skill 并发批量去跑四台 NAS 的价格数据。下面是结果非常的快12 秒钟内完成了四款 NAS 产品型号的并且整理成了详细的价格对比和曲线波动 HTML 单文件。写在最后最近不是 Vibe Coding 么所以在我之前的 TRADIS 容器管理工具里我增加了一个 NAS 导购的功能主要目的就是给大家介绍促销时期的 NAS 选购指南以及对比型号等等。这下好了 真的是瞌睡了送枕头来了数据源和及时性的问题被 WorkBuddy Browser-Act 彻底解决了。如果你平时经常有一些浏览器操作或者数据整理的需求并且一直没有找到一个很好的浏览器控制方案的。那么 Browser-Act 觉得可以试一试它在当前真的非常火而且有效。对比其它工具而言不是说其它工具做不到这一套效果。而是说 Browser-Act 真的把之前浏览器操作的所有能力整合在一起了。抓取流程 Skill 化、多任务/多账号的 profile、Session 保持、本地浏览器登录态复用、本地浏览器操作、自动过验证等等它把 Agent 的浏览器自动化操作真正带进了浏览器执行层。部署方法很简单直接把这个指令发给AgentInstall browser-act. Skill source: https://github.com/browser-act/skills/tree/main/browser-act . Verify it works after installation.如果说我前面体验过的这些能力还无法满足你的数据整理需求甚至你还需要更稳定的 IP、指纹、并行处理那么可以体验一下 Browser-Act 的官方 SAAS 服务它可以提供动态/静态的代理能力并且并发限制也会有所增加对于大规模的浏览器控制上会更有价值。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相关新闻

基于CH32V208的PWM呼吸灯实现与优化

基于CH32V208的PWM呼吸灯实现与优化

1. 呼吸灯项目概述呼吸灯是一种常见的嵌入式开发入门项目,通过PWM(脉冲宽度调制)技术控制LED亮度周期性变化,模拟人类呼吸的效果。使用沁恒CH32V208开发板实现呼吸灯功能,不仅能学习基础GPIO操作,还能深入理…

2026/10/18 5:13:29 阅读更多 →
睡眠负债与强制关机:从生理机制到伴侣沟通的睡眠科学指南

睡眠负债与强制关机:从生理机制到伴侣沟通的睡眠科学指南

你有没有过这样的经历:深夜加班结束,终于能跟伴侣说上几句话,结果对方眼皮打架、反应迟钝,没说几句就转身睡去。那一刻,你心里是不是闪过一丝失落——“是不是我对他来说不重要了?”但真相可能恰恰相反。这…

2026/10/18 5:13:51 阅读更多 →
全志R128驱动ST7789V LCD屏的SPI接口实战

全志R128驱动ST7789V LCD屏的SPI接口实战

1. 全志R128平台与ST7789V LCD屏的基础认知第一次拿到全志R128开发板和这块1.3寸ST7789V LCD屏时,说实话有点无从下手。R128作为全志面向IoT领域的主力芯片,其丰富的接口资源确实很适合做显示驱动开发。而ST7789V这款控制器驱动的LCD屏,在1.3…

2026/10/18 5:15:10 阅读更多 →

最新新闻

实测五大论文降重方案:AI改写、翻译法、结构重组与规范引用

实测五大论文降重方案:AI改写、翻译法、结构重组与规范引用

1. 2026届毕业季,降重为什么成了“刚需”每年到毕业季,论文查重总是绕不开的话题。2026届的同学们面对的情况其实更加特殊:主流的查重系统在近几年完成了好几次算法迭代,对语义相似度的识别比前几年精准得多,以前那种“…

2026/10/19 5:57:35 阅读更多 →
家庭本地4K观影架构实战:一套服务端搞定电视、电脑、手机和平板的多场景观影

家庭本地4K观影架构实战:一套服务端搞定电视、电脑、手机和平板的多场景观影

我真正下定决心把家里所有观影设备统一到一套架构上,是因为一个很普通的晚上。那天我想在客厅电视上接着看之前用手机刷了一半的片子,结果翻了半天:手机里有一段缓存,电脑里躺着完整文件,电视自带系统里又装了好几个客…

2026/10/19 5:57:35 阅读更多 →
2026届论文降重实测:五大方案效果对比与避坑指南

2026届论文降重实测:五大方案效果对比与避坑指南

2026届的毕业季还没真正到来,但论文查重的焦虑已经提前蔓延开了。最近我周围不少正在写论文的朋友都在讨论同一个问题:降重复率到底用什么方法才靠谱。市面上的说法五花八门,有人推荐AI工具一键改写,有人坚持人工逐句润色&#xf…

2026/10/19 5:57:35 阅读更多 →
AI周报:从OpenAI被超越传闻到模型、应用与算力新趋势

AI周报:从OpenAI被超越传闻到模型、应用与算力新趋势

1. 本周“OpenAI被超越”传闻的三种真相先聊大家最关心的那个问题:OpenAI是不是真的被超越了?这个话题这周在技术社群、投资圈和自媒体几乎同时发酵,标题一个比一个惊悚:“GPT系列地位不保”“王者落幕”之类的说法全出来了。作为…

2026/10/19 5:57:35 阅读更多 →
48V/0.6A高频同步降压转换器HF8406C实战设计要点

48V/0.6A高频同步降压转换器HF8406C实战设计要点

做过宽压输入电源设计的朋友,肯定经历过这类纠结:系统要一颗能扛住 48V 输入的降压芯片,输出电流不用太大,但一定要稳定、低纹波、外围还不能太复杂。早年我习惯性地先找老牌欧美大厂的型号,选来选去要么耐压够但静态电…

2026/10/19 5:57:35 阅读更多 →
自助KTV系统开发:智能门禁与线上预约的完整闭环方案

自助KTV系统开发:智能门禁与线上预约的完整闭环方案

近年来,线下娱乐行业对"无人化、自助化"的诉求越来越强烈,传统KTV面临的人力成本高、闲时资源浪费、用户体验割裂等痛点,催生了一整条自助娱乐系统开发的赛道。这个"自助KTV系统开发:智能门禁与线上预约"项目…

2026/10/19 5:56:35 阅读更多 →

日新闻

频率跟踪型PWM电源设计:臭氧发生器谐振点漂移与软开关实现

频率跟踪型PWM电源设计:臭氧发生器谐振点漂移与软开关实现

简介:本资源为电源技术方向的学术研究文档,聚焦介质阻挡放电型臭氧发生器电源的频率跟踪型PWM控制策略,面向电力电子、高压电源及臭氧应用领域的科研人员与工程技术人员。针对负载呈容性、等效电容随外加电压升高而增大、谐振频率随之漂移的难…

2026/10/19 0:00:47 阅读更多 →
Vibe Coding 遇上 TaoToken:把开发者思维圣殿的灵感流接入统一 Key 通道

Vibe Coding 遇上 TaoToken:把开发者思维圣殿的灵感流接入统一 Key 通道

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 0:00:47 阅读更多 →
HundredCV-Chat话题建模实战教程:利用4,871个内置话题标签构建主题分析系统

HundredCV-Chat话题建模实战教程:利用4,871个内置话题标签构建主题分析系统

【免费下载链接】HundredCV-Chat 项目地址: https://ai.gitcode.com/hf_mirrors/Jax-dan/HundredCV-Chat 点击查看 免费下载 HundredCV-Chat 是一个由 100 位青年简历数据开发而来的中文多轮对话数据集,共包含 24,750 组日常闲聊对话和 4,871 个话题标签…

2026/10/19 0:00:47 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/18 0:00:55 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/19 1:30:52 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 2:54:50 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/17 17:22:31 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 12:16:16 阅读更多 →