如何 5 分钟用零代码让浏览器自动干活Midscene Chrome 扩展完整指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene还在手动填表单、截图、对数据吗Midscene 是一个开源的 AI 浏览器自动化工具GUI Agent for E2E Testing它的 Chrome 扩展让你用一句自然语言就能控制网页输入在搜索框输入关键词并点击搜索剩下的交给它。本指南带你从零装好 Midscene Chrome 扩展跑通第一个自动操作任务。它到底能做什么AI 视觉感知操作Midscene 像人一样看屏幕按外观和位置识别按钮、输入框连只有图标的按钮和 canvas 内容都能点中你不用写任何 CSS 选择器。自然语言替代脚本一句搜索耳机并筛选出 100 美元以下的商品就能替代一长串 Selenium 脚本。页面结构变了它照样能干活。可视化断言与报告用一句中文页面顶部显示导航栏检查界面是否符合预期每次执行都会生成带截图、操作时间线的 HTML 报告出问题时一眼看到卡在哪一步。谁在什么场景下用它电商价格与页面数据采集运营同学定时打开商品页让扩展提取页面中的商品{name, price}这类结构化数据导出后直接进报表。页面改版也不怕因为定位靠视觉而非选择器。网站 E2E 功能测试测试人员把登录、下单、提交表单等用例写成自然语言流程配合断言检查每一步的界面结果执行报告直接发给开发定位问题省掉维护大堆脆弱脚本的时间。重复表单与后台操作自动化日常要填的内部系统、重复提交的审批单描述一遍操作即可自动完成还能批量处理多个相似页面。Android / iOS 移动端操作同一套视觉能力也覆盖真机连接 Android 设备后一句打开设置查看系统版本就能执行适合做跨端回归测试。5 分钟从零跑通克隆仓库并构建扩展推荐也可以直接从 Chrome 应用商店安装git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene/apps/chrome-extension pnpm install pnpm run build打开chrome://extensions/开启开发者模式点加载已解压的扩展程序选择dist目录。打开 Midscene 侧边栏的设置粘贴你的多模态模型配置API 地址与密钥并保存。打开任意网页在侧边栏输入第一条指令点运行。第一个可运行示例打开任意搜索页面输入在搜索框输入 Midscene 并回车点击运行Midscene 会自动截图理解页面、定位输入框、输入并触发搜索。Chrome 扩展模式最轻量的入口打开网页就能试适合验证想法和调试指令。Bridge 模式用本地终端脚本远程操控桌面 Chrome能复用你已登录的 cookies 和浏览器状态适合编排复杂流程。Playground 沙盒扩展自带的调试环境实时看操作效果不用碰生产数据。让它更稳更快的几个技巧先等再动流程里加入等待某界面出现的步骤对应aiWaitFor页面加载慢时 Midscene 会耐心等待而不是盲目点击失败。指令先验证、再进代码所有指令先在扩展里跑通确认措辞稳定后再转成aiAct/aiQuery/aiAssert写进自动化脚本返工最少。用 YAML 模板沉淀流程把常用操作写成 YAML 脚本交给团队复用示例脚本可以参考仓库里的 midscene_scripts 目录。读懂执行报告每次运行都会生成 HTML 报告含每步截图和 AI 的决策过程调试时先看报告再看代码定位速度翻倍。装不上连不上先看这里Q运行报错 Cannot access a chrome-extension:// URL of different extensionA通常是其他扩展注入了冲突的 iframe 或脚本。用开发者工具找到该chrome-extension://地址对应的扩展 ID到chrome://extensions/禁用它再刷新页面。Q用本地 Ollama 模型时出现 403 错误A设置环境变量OLLAMA_ORIGINS*允许扩展访问本地模型服务然后重启 Ollama。QBridge 模式连接失败A确认模型配置写在终端侧的环境变量里不是浏览器里并且终端脚本与 Chrome 在同一台机器。如果脚本要上传本地文件还需在扩展详情页开启允许访问文件网址。Q加载扩展后面板不显示A确认dist目录已完整生成构建脚本会打包该目录然后到扩展页刷新 Midscene或重启浏览器。去哪继续挖中文官方文档从快速开始到 Playwright 集成的完整路径快速开始指南配置模型、安装扩展、第一条指令Bridge 模式文档终端脚本控制桌面 Chrome 的写法示例 YAML 脚本可直接参考的真实任务模板从一句自然语言到一份自动生成的测试报告Midscene 把看屏幕、做操作、验结果这套人类测试流程直接搬给了浏览器。零代码操作、视觉级元素定位、跨 Web 与移动端、自动报告可追溯。打开浏览器现在就把你的第一个任务跑起来。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考