OmniParser纯视觉屏幕解析的GUI Agent方案【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParserOmniParser 是一款纯视觉的屏幕解析工具给它一张界面截图它能返回图标、按钮、文本等结构化元素清单让 GPT-4V 这类视觉大模型真正看懂该点屏幕上的哪里。它不依赖任何应用内部接口只靠一张图就能工作。AI 操作电脑为什么总点歪想让 AI 自动帮你操作电脑最直观的想法是让视觉模型看图找按钮但模型常常看得懂画面却点不准位置——一整屏像素里没有任何坐标信息。另一条路是调用应用的可访问性接口比如 Windows 的 UIA即系统给辅助软件暴露的界面结构描述可不少软件压根不开放这类接口结构还随版本乱变脚本写了等于白写。举个例子想让 AI 点某工具里一个 16 像素的小齿轮图标接口拿不到它的位置模型也点不准最后只能人肉来点。OmniParser 的思路是绕开这两头不碰接口、不碰代码只把截图当输入。屏幕解析的思路先检测再描述核心路线一句话就能讲完先用 YOLOv9 这类目标检测模型擅长在图里框出物体位置的网络找出截图中所有可能可交互的图标区域再用 OCR从图片里识别文字的技术把画面上的文字提出来然后借助 Florence2 这样的视觉语言模型看图并生成文字描述的模型给每个图标补一句功能说明比如这个齿轮是设置。OmniParser 的屏幕解析结果就是这样一份带坐标、带文字的结构化元素列表。想让 AI 直接动手仓库里的 OmniTool 再叠一层把元素列表交给 GPT-4o、DeepSeek R1、Claude Computer Use 等任选的大模型由模型决策点哪里、输入什么再在 Windows 11 虚拟机上执行。三步跑起本地 Demo git clone https://gitcode.com/GitHub_Trending/omn/OmniParser把代码拉到本地。pip install -r requirements.txt安装依赖建议先按 README 建好 Python 3.12 的 conda 环境并按说明把模型权重放到 weights 目录。python gradio_demo.py浏览器里上传一张截图右侧即输出标注图和元素清单。拿它能做什么 给 AI 装上眼睛和手用 OmniTool 把 OmniParser 接上你自选的视觉大模型输入帮我在记事本里写一段话并保存这类指令模型负责决策OmniParser 负责在 Windows 11 虚拟机里定位并点击。看懂办公界面对 Word、Excel、Teams 这类软件的截图做解析把菜单、按钮、表格文本拆成结构化数据适合做界面理解和信息抽取的预处理。攒训练数据仓库支持把完整操作轨迹记录到本地可以配合 OmniTool 批量生成截图 元素 动作的标注流水用来训练自己领域的 Agent。一句话收尾OmniParser 最大的价值是把看懂界面这件麻烦事先做成标准化的结构化输出让接在后面的任何视觉大模型都能直接上手操作。如果你也在做 GUI Agent或者想让 AI 可靠地点击屏幕上的东西可以试试 OmniParser。【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考