OmniParser3 步跑通纯视觉 GUI 自动化让 AI 看懂并操控你的屏幕【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser想让 AI 像你一样点鼠标、敲键盘吗OmniParser 是一个纯视觉的界面解析工具给它一张截图它就能把屏幕上每个按钮、图标、文字框定位出来再交给大模型决定下一步该点哪里、输什么。它不依赖系统底层接口只看画面所以无论网页、桌面应用还是虚拟机只要看得见的界面它都能处理。认识它截图进来结构化元素出去一句话讲清定位OmniParser 把一张 GUI 截图翻译成「带编号方框的图 一份元素清单」让 GPT-4o、Claude 这类视觉模型能准确地把动作落到界面对应区域上。下面这张图就是它的典型输出——原截图上每个可交互元素都被框住并编号右侧还能读出一条条文本描述。它有两个入口轻量的单图解析页和更完整的 OmniTool 智能体带 Windows 11 虚拟机 实时画面 模型决策闭环。快速上手最小可行路径先跑通单图解析下面是最短路径目标是先在浏览器里看到「截图 → 标注 → 元素列表」这条链路。1. 克隆仓库并准备 Python 3.12 环境把依赖一次性装齐git clone https://gitcode.com/GitHub_Trending/omn/OmniParser cd OmniParser conda create -n omni python3.12 conda activate omni pip install -r requirements.txt2. 下载两个模型权重YOLO 图标检测器 Florence2 元素描述模型后者需要改个目录名huggingface-cli download microsoft/OmniParser-v2.0 icon_detect_v3/model.pt --revision refs/pr/37 --local-dir weights for f in icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 $f --local-dir weights done mv weights/icon_caption weights/icon_caption_florence3. 启动解析页浏览器会自动打开python gradio_demo.py服务默认起在http://127.0.0.1:7861。上传一张截图、点 Submit右侧立刻给出标注图和元素清单。想换端口在 gradio_demo.py 末尾的demo.launch(...)里改server_port即可。想要「AI 真的动手操作一台 Windows」的完整体验走 OmniTool它由三部分组成——跑 OmniParser 的 omniparserserver、Docker 里的 Windows 11 虚拟机omnibox、以及 omnitool/gradio/app.py 这个操作面板。三者都在同一台机器上拉起后用python app.py --windows_host_url localhost:8006 --omniparser_server_url localhost:8000启动面板即可。场景走一遍让 AI 填一张 Excel 表假设你给智能体下达任务「打开 Excel在 A1 到 C3 填入数据并设置表格格式」。面板左侧是决策记录右侧是虚拟机的实时画面。下达任务在输入框写好上面那句话点 Send。左侧随即显示Analysis:开头的分析说明 AI 当前看到了什么、打算做什么。执行过程左侧滚动出Next I will perform the following action:这样的动作说明点击图标、双击启动应用、键入文本右侧画面同步回放鼠标移动、点击落点、键盘输入——你看着它一步步操作全程可追。看到结果应用按预期打开单元格被填好、边框和格式被调整完任务在聊天区收尾。鼠标和键盘的底层动作都由 omnitool/gradio/tools/computer.py 统一封装涵盖移动、单击、双击、拖拽、右键、键入、截图等十几类操作。想暂停随时点 Stop。原理速览先检测后解析机制不复杂核心是「两阶段」。第一阶段·检测YOLO 模型先找出屏幕上所有可交互区域OCRPaddleOCR / EasyOCR负责把文字连同位置一起捞出来。这一步回答「界面上有哪些东西、它们在哪」。第二阶段·解析Florence2 模型给每个图标生成一句功能描述比如「红色删除按钮」「用户名输入框」再把编号、坐标、文字、描述拼成结构化清单交给大模型。这一步回答「这些是什么、该怎么用」。两张模型各司其职最终产出下面这种带编号方框的画面和一份可被大模型直接读取的清单。检测与解析的合并逻辑集中在 util/omniparser.py 的Omniparser.parse整条链路读起来不到百行。调优与避坑参数怎么调问题怎么解参数不多但每个都对应一个可见效果。⚙️检测太松杂框多还是太严漏框在 gradio_demo.py 里调Box Threshold默认 0.05越低框越多和IOU Threshold默认 0.1管重叠框的合并。漏了小图标把Icon Detect Image Size从 640 往上调检测更精细。智能体记太多画面 / 记太少在 omnitool/gradio/app.py 的N most recent screenshots滑块控制喂给模型的最近几张截图默认 2长任务可适当调大。模型怎么选面板下拉里omniparser gpt-4o是默认均衡档omniparser o1更强分析claude-3-5-sonnet走 Anthropic 通道。换模型后 API 提供方会自动跟着切填对应 Key 就行。几个高频问题都是「现象 → 一句话解法」现象点 Send 报Windows Host is not responding→ 虚拟机内的命令服务还没就绪等它装完终端提示VM server is up and running!或重开 omnibox。现象Windows 上装依赖报libpaddle ... module could not be found→ 缺 C 运行时装好 C Redistributable 再重装一次 requirements。现象提示模型文件缺失→ 权重没下全重跑上面的huggingface-cli download命令并确认icon_caption已改名为icon_caption_florence。下一步OmniParser 把「看懂界面」这件最难的事抽成了一个独立工具检测、解析、操控各归其位任何视觉模型即插即用。你可以先拿自己的截图在单图解析页试手感再升级到 OmniTool 让它真的动手想深挖评测数据可以看 docs/Evaluation.md完整说明以 README.md 为准。换个截图、换条任务跑起来就是最快的学习。【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考