各位读者朋友大家好。今天要聊一个在 GitHub 上已经突破 11 万 Star 的开源项目Browser Use。这名字听起来很直白——“让浏览器给 AI 用”。但它的实际能力远比字面意思更有想象力你可以让 AI 像人一样打开网页、移动鼠标、点击按钮、填写表单、阅读页面内容甚至完成多步骤的复杂操作比如查资料、比价格、填报销单、管理后台数据。过去我们调用浏览器自动化第一反应往往是 Selenium、Playwright、Puppeteer 这类工具。它们确实强大但有一个明显的门槛写脚本的人必须自己设计每一步操作逻辑。页面结构一改脚本就废逻辑稍微复杂代码量就成倍上涨。而 Browser Use 换了一条思路——它把浏览器的控制能力直接交给大模型AI 自己“看”页面、“想”步骤、“动”鼠标键盘。开发者只需要给 AI 一个任务描述剩下的事情由模型决定怎么执行。这篇文章会围绕 Browser Use 展开从它的定位和核心原理讲起带大家完成环境搭建跑通第一个“AI 自动上网”的 Demo再深入解析它的实现机制、API 调用方式、常见问题与工程化落地建议。无论你是刚接触 AI Agent 的新手还是正在做 RPA、自动化测试、智能爬虫的开发者这篇文章都能给你一个比较完整的参考。1. Browser Use 是什么解决什么问题1.1 从“脚本控制浏览器”到“AI 操控浏览器”先看传统浏览器自动化工具的工作方式。以 Selenium 为例你需要写类似下面的代码from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver webdriver.Chrome() driver.get(https://www.example.com) search_box WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.NAME, q)) ) search_box.send_keys(Browser Use) search_box.submit() driver.quit()这段代码的优点是稳定、可控缺点是每一步都要人来设计。如果页面元素name变了、按钮位置调整了、登录流程多了一步脚本就会断掉。而且遇到验证码、动态加载、弹窗提示、文件上传这类场景脚本代码会迅速膨胀维护成本非常高。Browser Use 的逻辑完全不同。你给 AI 一个目标它自己决定先访问哪个 URL在页面上找哪个元素点击还是输入等待页面加载还是直接继续下一步遇到错误如何处理是换个方式重试还是终止任务。官网给了一个非常直观的例子用自然语言让 AI “在 Google 搜索 ‘Browser Use’然后提取前三条结果的标题和链接”。传统做法需要写十几行定位代码Browser Use 只需要一句话。所以它的定位可以概括为Browser Use 是一个将大语言模型与浏览器操作深度融合的开源工具。它把浏览器的 DOM 信息、截图、元素交互能力封装成 AI 可以直接理解和使用的内容让 AI 成为“会操作浏览器的智能体”。1.2 典型应用场景从应用场景来看Browser Use 能覆盖的方向很多智能信息检索让 AI 访问多个网站自动搜索、比对和汇总信息。自动化业务流程在 HR 系统、OA 系统、后台管理页面中自动录入和审批数据。竞品分析与价格监控定时访问电商页面提取商品价格、库存和评价信息。无代码 RPA 场景业务人员用自然语言描述流程AI 代替手动操作。自动化测试辅助在 Web 应用上自动执行用户路径测试减少写测试脚本的工作量。个人效率工具比如自动抢课、自动签到、自动整理网页收藏夹。这里要提前说明一个边界凡是涉及登录、账号、支付、数据修改的操作必须在合法授权、符合平台规则的前提下使用。浏览器自动化可以提效但也可能违反网站服务条款甚至触碰法律风险。这一点在工程化落地时尤其重要。1.3 Browser Use 与传统工具的区别为了更直观地理解差异我做了一张对比表维度Selenium / PlaywrightBrowser Use操作方式开发者编写明确脚本步骤自然语言描述目标页面结构变化脚本容易失效AI 可动态适应元素定位依赖 id、name、xpath、cssAI 根据 DOM 和截图理解多步骤决策开发者预设逻辑模型自主规划适用人群开发人员开发人员 业务人员核心依赖测试框架驱动大模型 浏览器控制当然Browser Use 并不是要完全取代 Selenium 这类工具。在需要高频、稳定、可重复执行的场景中传统自动化工具仍然有优势。Browser Use 更适合那些逻辑多变、流程不固定、需要 AI 理解能力的场景。2. 环境准备与版本说明2.1 你需要准备什么在正式安装之前先列一下基本要求。需要注意的是开源项目版本迭代比较快本文以常见环境为例重点演示配置思路。实际安装时请以你本地环境的当前版本为准。硬件与操作系统一台可以正常联网的电脑Windows / macOS / Linux 均可建议至少 8GB 内存显卡不是必需项。Browser Use 的“大脑”通常来自云端大模型 API本地主要承担浏览器控制和页面解析工作。软件环境Python 3.9 及以上版本Chrome 或 Chromium 浏览器一个可用的 LLM API Key比如 OpenAI、Anthropic、Google Gemini、DeepSeek 等pip 包管理工具。如果你希望数据完全本地化也可以选择 Ollama 这类本地模型方案但本地模型对页面上下文的理解能力通常弱于云端模型需要根据任务复杂度自行取舍。2.2 安装 Browser Use安装过程非常简单直接用 pip 安装即可。建议先创建一个独立的虚拟环境避免依赖冲突mkdir browser-use-demo cd browser-use-demo python -m venv venv # Windows venv\Scripts\activate # macOS / Linux source venv/bin/activate激活虚拟环境后安装 Browser Usepip install browser-use如果你计划使用 Playwright 作为浏览器驱动还需要安装浏览器内核playwright install chromium注意一个细节Browser Use 的底层浏览器控制可以选择不同的实现方式官方默认支持 Playwright。考虑到后续我们需要查看 AI 操作的中间过程建议同时安装可视化依赖。2.3 配置模型 API以 OpenAI 为例需要在环境变量中配置 API Keyexport OPENAI_API_KEYsk-xxxxxxxxxxxxxxxx如果你是 Windows 用户可以用set OPENAI_API_KEYsk-xxxxxxxxxxxxxxxx国内开发者也可以选择 DeepSeek、智谱、Kimi 等支持 OpenAI 兼容接口的模型。以 DeepSeek 为例可以通过自定义 LLM 的方式配置from langchain_openai import ChatOpenAI from browser_use import Agent llm ChatOpenAI( base_urlhttps://api.deepseek.com/v1, modeldeepseek-chat, api_keyyour-deepseek-api-key ) agent Agent(task打开百度搜索 Browser Use, llmllm)这里提前提醒一下不同模型对工具调用的能力有差异。Browser Use 依赖模型的函数调用Function Calling能力如果模型本身不支持结构化输出可能会导致 AI 无法正确规划步骤。建议优先选择工具调用能力强的模型。2.4 示例项目结构为了方便后续实战我建议按下面的结构组织项目browser-use-demo/ ├── venv/ # Python 虚拟环境 ├── basic_demo.py # 基础 Demo ├── custom_llm_demo.py # 自定义模型 Demo ├── multi_step_demo.py # 多步骤任务 Demo └── requirements.txt # 依赖清单在终端中可以执行下面的命令生成requirements.txtpip freeze requirements.txt这样项目可以随时在新环境复现。3. 核心概念与运行原理拆解这一节我们深入一点看看 Browser Use 内部大概是怎么工作的。3.1 浏览器、AI Agent 与工具调用理解 Browser Use先理解一个核心概念AI Agent。在传统编程中逻辑是开发者写的。而 AI Agent 是一种能够“感知 → 决策 → 行动 → 观察结果 → 再决策”的循环程序。它的决策来自大模型而不是写死的if-else。Browser Use 的角色是连接大模型和浏览器之间的“手和眼睛”眼睛读取页面 DOM 结构、截图、URL 信息转换成模型能理解的文本描述手执行模型决定的操作比如点击、输入、滚动、按键、切换标签页、等待大脑由外部大模型担任负责理解任务、拆分步骤、判断结果。这种设计模式在今天叫做Agent Tools。浏览器本身就是 Agent 最复杂、最有用的工具之一。3.2 Browser Use 的工作流程一次完整任务的大致流程如下用户输入自然语言任务。Browser Use 启动浏览器实例加载目标页面。系统提取页面状态信息包括 URL、可见文本、可交互元素、截图等。系统将这些信息组装成 Prompt发送给大模型。模型分析后返回一个“动作指令”比如“点击 ID 为 submit 的按钮”。Browser Use 执行该动作。动作完成后重新提取页面状态进入下一轮循环。直到模型判定任务完成或达到最大迭代次数流程结束。可以看到这本质上是一个多轮推理循环。正因为每一步都由模型动态决策Browser Use 才能应对页面结构变化和未预见的异常情况。3.3 DOM 信息提取与元素定位浏览器页面本身对 AI 来说是一堆 HTML 标签。常见工具处理方式是直接抓取 HTML但完整 HTML 往往非常长既浪费 Token又给模型带来大量噪音。Browser Use 的思路是提取结构化、精简的交互视图只保留与用户操作相关的元素为每个元素分配唯一 ID描述元素的高层语义例如“登录按钮”、“搜索输入框”、“下拉选项”。这样做的好处有两个降低 Token 消耗页面信息传递效率更高让模型可以像人类看页面一样理解“哪里能点、哪里能输入”。根据官方文档描述Browser Use 还结合了视觉模型能力在必要时通过截图辅助判断。截图能捕捉到 CSS、图片、布局等 DOM 文本里看不到的信息。3.4 动作空间Browser Use 支持多种浏览器动作主要包括动作类型说明示例页面导航打开 URL、返回、刷新goto(https://example.com)元素操作点击、输入、选择、悬停click(1)、input_text(2, hello)滚动操作向上、向下、按元素滚动scroll_down()标签页操作新开标签页、切换标签页switch_tab(1)键盘操作回车、快捷键、组合键press(Enter)等待操作等待固定时间或条件wait(2)提取内容获取网页内容或 DOM 状态extract_content(标题)终止任务结束当前任务finish()正是这套完整的“动作空间”让 AI 几乎能做到浏览器里人类能做的所有操作。3.5 Token 优化与上下文管理大模型的上下文窗口是有限的。当任务步骤很长时页面状态信息会越积越多可能超出模型的上下文限制。Browser Use 的应对方法包括每次只保留关键 DOM 信息而不是整个页面 HTML压缩历史动作记录只保留最近的交互摘要对过期或无用的页面状态做清理必要时支持记忆功能和外部存储扩展。从工程角度看这种设计类似于“滑动窗口”机制让 Agent 在长期任务中保持决策质量。你可以在配置中调整历史记录保留策略来平衡成本与效果。4. 完整实战让 AI 自动控制浏览器接下来进入最关键的部分。我们会从零开始编写一个完整的 Browser Use 实战项目包含基础 Demo、带验证码的登录操作、多步骤数据抓取以及常见报错修复。4.1 我的第一个 DemoAI 自动搜索并提取结果先写一个最简单的程序验证环境是否正常。文件路径basic_demo.pyimport asyncio from browser_use import Agent from langchain_openai import ChatOpenAI # 初始化大模型 llm ChatOpenAI( modelgpt-4o-mini, temperature0, ) # 定义任务 task 打开百度首页搜索 Browser Use 开源项目然后提取搜索结果的前3个标题和链接。 # 创建 Agent agent Agent(tasktask, llmllm) async def main(): result await agent.run() print(最终结果) print(result) if __name__ __main__: asyncio.run(main())运行python basic_demo.py运行期间你会看到一个 Chrome 浏览器窗口自动弹出来AI 会自己输入关键词、点击搜索按钮然后读取搜索结果。如果一切正常终端会输出类似下面的信息最终结果 1. GitHub - Browser Use 链接: https://github.com/browser-use/browser-use 2. Browser Use 官方文档 链接: https://docs.browser-use.com/ 3. Browser Use 教程 链接: https://example.com/tutorial注意实际输出取决于搜索结果。这里演示的是结构不是固定值。4.2 任务参数逐项拆解上面这段代码虽然短但有几个关键参数值得展开解释。Agent接收的参数task一个字符串描述 AI 需要完成的任务。任务描述越具体AI 的表现越稳定。llm大模型实例决定 AI 的“智商水平”。max_steps最大执行步数防止 AI 陷入死循环。headless是否以无头模式运行浏览器。默认False便于观察。use_vision是否启用截图识别能力默认True。browser自定义浏览器配置对象。比如如果你希望限制 AI 最多操作 20 步可以这样写agent Agent( tasktask, llmllm, max_steps20, use_visionTrue, )4.3 使用自定义模型DeepSeek 示例不少国内开发者无法直接访问 OpenAI API这时候可以通过兼容接口接入 DeepSeek。文件路径custom_llm_demo.pyimport asyncio from browser_use import Agent from langchain_openai import ChatOpenAI llm ChatOpenAI( modeldeepseek-chat, api_keyyour-deepseek-api-key, base_urlhttps://api.deepseek.com/v1, ) task 打开 GitHub 首页搜索 browser-use点击第一个仓库并总结这个项目是做什么的。 agent Agent(tasktask, llmllm) async def main(): response await agent.run() print(response) if __name__ __main__: asyncio.run(main())使用 DeepSeek 时注意一个点DeepSeek 的模型是否会完整返回工具调用参数取决于你选的模型和 API 版本。如果运行中 AI 频繁“卡住”或没有调用工具可以换用 OpenAI 兼容性更好的模型或者调整 Prompt。4.4 场景实战自动完成带验证码的登录操作很多自动化工具都倒在“验证码”上。Browser Use 本身的策略是尽量模拟人类行为减少触发验证码的概率但也不能保证 100% 绕过更不应该用于绕过验证码。这里更推荐的思路是在自动化流程中加入“人工介入”机制。先看一个带登录的示例import asyncio from browser_use import Agent from browser_use.browser.browser import Browser, BrowserConfig from browser_use.controller.service import Controller from langchain_openai import ChatOpenAI # 配置浏览器参数 browser Browser( configBrowserConfig( headlessFalse, # 不隐藏浏览器窗口便于观察 disable_securityTrue, # 部分网站需要处理跨域或证书问题按需开启 ) ) # 创建 Controller 实例用于注册自定义操作 controller Controller() # 注册一个自定义动作等待用户手动完成人机验证 controller.action(等待用户在浏览器中手动完成人机验证) async def wait_for_human_verification(): 暂停 AI 操作等待人工介入完成验证码 import time print( 请在浏览器中手动完成人机验证程序将在20秒后继续...) time.sleep(20) return 用户已完成验证码验证 llm ChatOpenAI(modelgpt-4o-mini) async def main(): task ( 打开示例网站 https://example-login.com 输入用户名和密码登录。 如果遇到验证码使用 wait_for_human_verification 动作等待用户手动处理。 ) agent Agent( tasktask, llmllm, browserbrowser, controllercontroller, ) await agent.run() if __name__ __main__: asyncio.run(main())这个示例的意义在于在合法合规的前提下将繁琐的重复操作交给 AI同时把高风险步骤保留给人类确认。这是工程化部署中最稳妥的模式。4.5 场景实战多步骤数据抓取下面演示一个更复杂的任务。假设我们要在一个商品列表页上提取所有商品的名称和价格并保存成 JSON 文件。文件路径multi_step_demo.pyimport asyncio import json from browser_use import Agent from langchain_openai import ChatOpenAI llm ChatOpenAI(modelgpt-4o-mini) task 访问 https://example-products.com 这个商品列表页面。 1. 页面上有多个商品卡片每个卡片包含商品名称、价格和链接。 2. 请提取第一页中所有商品的名称、价格和对应的详情页链接。 3. 将结果以 JSON 数组格式返回。 agent Agent( tasktask, llmllm, max_steps30, ) async def main(): result await agent.run() print(AI 返回的内容) print(result) # 部分任务可以配合额外的 Python 代码来保存数据 # 这里我们直接把结果打印出来方便演示 # 实际项目中你可以解析 result 中的结构化数据并写入文件 if __name__ __main__: asyncio.run(main())值得注意的是Browser Use 返回的result类型通常包含了 Agent 的最终回答、执行历史、动作轨迹等信息。如果你需要结构化数据建议在任务描述中明确要求“以 JSON 数组格式返回”并在后续代码中做解析。保存文件的思路示例import json # 假设 result_str 是 AI 返回的 JSON 字符串 try: data json.loads(result_str) with open(products.json, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2) print(数据已保存到 products.json) except json.JSONDecodeError: print(AI 返回内容不是合法 JSON需要人工整理)4.6 运行与预期输出在上面这个例子中运行时会看到浏览器自动打开。AI 依次访问页面、等待加载、滚动屏幕、点击元素。终端逐步打印 AI 的“思考”和动作记录。最后输出结构化结果。设计良好的任务会得到类似下面的输出[ { name: 无线鼠标, price: ¥79.00, link: https://example-products.com/item/1001 }, { name: 机械键盘, price: ¥399.00, link: https://example-products.com/item/1002 } ]如果结果不够理想通常不是代码问题而是任务描述不够具体或者模型对页面结构的理解不够准确。5. 常见问题与排查思路如果你在实际使用中遇到问题可以参考下面的排查方向。我本人最开始跑 Browser Use 时也踩了不少坑按这个顺序检查基本都能解决。5.1 环境与安装问题问题现象常见原因解决思路安装 Browser Use 失败Python 版本过低升级到 Python 3.9并重试安装pip 安装时依赖冲突与 langchain 等包版本冲突使用虚拟环境重新安装固定版本浏览器启动失败未安装 Chromium / Chrome执行playwright install chromium浏览器窗口一闪而过缺少系统动态库根据系统安装 Playwright 依赖库5.2 API 与模型问题问题现象常见原因解决思路程序报 401 错误API Key 错误或过期检查环境变量和 Key 是否有效报 429 限流错误API 请求频率超限增加等待时间或更换高额度模型AI 一直重复同一个动作模型对页面理解不足启用use_vision或换用更强模型返回内容为空任务描述不清晰将任务拆成更小步骤明确输出格式没有调用工具只输出文字模型不支持 Function Calling换成支持工具调用的模型这里单独提一个常见误区很多人第一次运行basic_demo.py时会发现 AI 不按照预期操作而是直接把“思考过程”打印出来了。这通常不是 Bug而是模型没有把操作指令发回给工具层。解决办法是检查模型是否支持 OpenAI 的 Function Calling 接口以及 API 地址是否正确。5.3 浏览器操作问题问题现象常见原因解决思路元素点击无效元素被遮挡或未加载让 AI 先滚动到元素位置再点击输入框搜索无反应页面使用了自定义输入框先点击输入框再输入文本最后按回车登录状态丢失浏览器上下文没有持久化配置BrowserConfig的 user_data_dir页面一直白屏无头模式下有些页面不渲染改成有头模式或增加等待时间弹窗出现后 AI 卡住AI 没识别到弹窗是干扰元素在任务中描述“忽略促销弹窗”5.4 排查清单如果你遇到一个找不到原因的报错可以按这个顺序排查确认 Python 环境和依赖版本。确认浏览器驱动已正确安装。确认模型 API Key 有权限账户有余额。确认任务描述是否足够具体。开启debug日志观察 AI 每一步的思考和动作。把headlessFalse打开观察浏览器真实行为。换一个模型或换一个网站测试判断是模型问题还是站点问题。开启 Debug 日志的示例import logging logging.basicConfig(levellogging.DEBUG)日志会输出模型返回的原始消息和工具调用参数对定位“AI 为什么不点击”这类问题非常有帮助。6. 进阶用法与工程化建议6.1 自定义动作前面提到过Controller它可以让你扩展 Browser Use 的能力。比如让 AI 调用一个本地 Python 函数去查询数据库、运行脚本、执行计算。示例注册一个“查询库存”的动作。from browser_use import Controller controller Controller() controller.action(查询商品库存数量输入参数为商品ID) def check_inventory(product_id: int) - str: # 这里可以对接真实数据库或 API inventory_map { 1001: 20, 1002: 5, 1003: 0, } stock inventory_map.get(product_id, 0) return f商品 {product_id} 的库存为 {stock} 件然后在创建 Agent 时传入controlleragent Agent( task检查商品 1002 的库存如果库存不足 10 件就在后台页面提交补货申请。, llmllm, controllercontroller, )这种设计可以让 AI 不仅仅操作浏览器还能与业务系统联动构建真正的 RPA 智能体。6.2 浏览器状态持久化很多业务场景需要保持登录态。比如每天早上自动登录企业 OA你不希望每次都重新登录。解决方法是指定浏览器的用户数据目录让 Cookie 和本地存储保持持久化from browser_use.browser.browser import Browser, BrowserConfig browser Browser( configBrowserConfig( headlessFalse, user_data_dir./browser_data, # 存放浏览器用户数据 ) )这样首次手动登录之后后续任务可以直接复用已登录状态。6.3 定时任务与无人值守如果你在公司内网上做自动化巡检可以使用schedule库设定定时任务import schedule import time import asyncio def job(): asyncio.run(run_inspection_task()) # 每天早上 9 点执行 schedule.every().day.at(09:00).do(job) while True: schedule.run_pending() time.sleep(1)从工程角度更推荐的方式是使用 APScheduler 或部署为独立服务。如果是生产环境建议将任务注册到运维平台统一管理、监控。6.4 成本与 Token 控制Browser Use 的每一步操作都会调用大模型 API因此 Token 消耗是实际落地时最需要关注的问题。控制成本的方法精简任务描述不是描述越长越好精确最重要。设置max_steps避免 AI 无限探索。使用use_vision开关截图会增加视觉 Token 消耗如果页面比较简单可以关闭视觉能力。选择合适的模型简单任务用便宜的小模型复杂任务用强模型。开启缓存或会话复用避免重复初始化浏览器和模型上下文。举个例子同样是提取网页标题用gpt-4o-mini和gpt-4o的成本差别很大。实际项目中可以先小规模验证再决定在成本与效果之间怎么取舍。6.5 安全与合规建议必须重申浏览器自动化是一把双刃剑。以下几点建议请务必记住只在获得授权、不违反平台服务条款的前提下执行自动化任务。涉及账号登录时优先使用官方 API而不是模拟浏览器操作。不要将 Browser Use 用于批量注册账号、抢购秒杀、刷票刷量、绕过限制等用途。生产环境部署时设置操作审计日志记录每个 AI 动作。密钥、密码、API Key 绝不能硬编码在代码或公开仓库里。涉及支付、下单、删除、审批等高风险操作建议加入人工确认环节。6.6 与向量数据库、知识库结合更强的用法是把 Browser Use 和 Agent 框架结合起来。比如让 AI 先查询企业知识库里的“报销流程”再根据流程打开报销系统、填写单据、提交审批。这种模式可以用在内部智能客服、自动化业务助手等场景。Browser Use 作为“操作执行层”与上层 Agent 的规划能力、下层的知识库记忆能力协同工作能完成比较复杂的真实业务流程。7. 总结与下一步学习建议通过这篇文章我们完整走了一遍 Browser Use 的认知、环境搭建、基础实战和进阶用法。你现在应该理解Browser Use 是什么以及它和 Selenium、Playwright 的区别它的运行原理大模型如何通过“观察页面 → 决策动作 → 执行操作”循环完成浏览器任务如何用 Python 写一个最小可运行的 AI 浏览器操作 Demo如何接入 DeepSeek 等自定义模型如何通过 Controller 扩展自定义动作如何排查常见的环境、模型和浏览器操作问题在生产环境中控制成本、保证安全和合规的基本思路。如果接下来想深入学习可以从这几个方向入手阅读 Browser Use 官方文档了解最新的版本特性和 API 变化。研究 Playwright 的底层操作能力理解 Browser Use 依赖的浏览器协议。学习 LangChain 或 LangGraph掌握 Agent 的状态管理与编排能力。尝试将 Browser Use 接入企业内部的 RPA 系统做一个完整的自动化业务助手。关注 AI Agent 领域的前沿进展了解多模态模型如何提升浏览器操作的准确性。从 11 万 Star 这一现象可以看出Browser Use 已经不只是一个小众开发工具而是 AI Agent 走向真实应用的代表性项目之一。技术的迭代速度很快今天很多需要编写脚本的自动化工作未来可能只需要一句自然语言。分享一个实用的经验不要一开始就想着做“完全无人值守”的复杂流程。先从一个小任务跑通闭环观察 AI 的行为模式再逐步增加任务难度。你会发现真正限制 Agent 能力的往往不是代码而是我们对任务的拆解方式和对模型的调教能力。希望这篇教程对你有所帮助。如果你在配置过程中遇到具体报错欢迎在评论区带上环境信息和完整日志一起讨论。需要快速参考时收藏本文以便随时回查。