3 分钟跑通 GUI 智能体 UI-TARS部署实操笔记【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是开源的 GUI 智能体项目给它一张界面截图和一句指令它能自己定位元素并完成点击、输入、滚动等操作。适合想入门多模态智能体使用、做 GUI 自动化部署的同学。它帮你解决什么先不看原理直接看它干的三件事办公场景在浏览器里填表单、在办公软件里执行一连串点击和快捷键不用你一步步写脚本应用内导航在手机上打开某个应用、向下滚动、往输入框里填内容靠的是它看懂界面而不是预置的元素树网页任务多步网页操作跳转、检索、下单类流程官方在 WebVoyager 这类基准上测得 84.8 分。共同点是这些任务里的元素位置每次都不一样传统脚本很难写而 UI-TARS 走的是看图找位置的路线。3 分钟跑起来模型本体需要先把推理端点跑起来具体硬件选择和配置项见 部署文档。工具包安装和解析部分如下git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS # 安装解析工具包用 uv 的话uv pip install ui-tars pip install ui-tars装好后再看一条最短的调用示例。模型吐出的response是思考 动作文本工具包把它还原成可直接执行的 PyAutoGUI 代码from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code response Thought: Click the button\nAction: click(start_box(100,200)) w, h 1920, 1080 parsed parse_action_to_structure_output( response, factor1000, origin_resized_heighth, origin_resized_widthw, model_typeqwen25vl) print(parsing_response_to_pyautogui_code(responsesparsed, image_heighth, image_widthw))打印出来的就是一行 PyAutoGUI 点击代码拷进你的自动化流程即可执行。下面这张图展示的就是工具包内部做的坐标换算过程一句话看懂核心机制UI-TARS 的做法像老司机开车先扫一眼后视镜再打方向盘。它输出的每一步都长这样Thought: 先点开页面右上角的设置按钮 Action: click(start_box(1024, 512))先说出打算做什么Thought再给出一个具体操作Action。这种先思考再行动的习惯是训练出来的强化学习说白了就是做对了给奖励的训练方式让它学会在动作前多推理一步。所谓多模态智能体指的就是这种能同时看懂图片和文字的 AI。还有一个容易踩的细节——坐标。模型给出的坐标是按它自己看到的图片算的和你屏幕分辨率不一定一致。工具包里的解析函数负责把坐标按原图尺寸缩放回去这一步叫坐标归一化就是把坐标换算到统一刻度避免不同分辨率下点偏位置坐标处理指南里有更细的说明。模板怎么选提示词模板都在 提示词源码 里按运行环境挑即可模板选择对照表你的场景推荐模板一句话差异桌面电脑Windows / macOS / LinuxCOMPUTER_USE覆盖鼠标单双击、右键、拖拽、快捷键、文本输入和滚动手机或 Android 模拟器MOBILE_USE多出long_press、open_app、press_home、press_back等移动端专属动作只关心定位准不准做训练和评估GROUNDING只输出Action不带Thought推理过程桌面任务别错用移动端模板反之亦然——动作集合对不上解析会直接失败。实力如何不铺全表挑三处有信息量的数据桌面任务 OSWorld100 步内拿到 42.5 分而此前的最佳是 200 步下的 38.1 分——步数预算只花一半分数反而高出 4.4手机任务 Android World64.2 分对比此前最佳的 59.5 分元素定位 ScreenSpotPro61.6 分此前最佳只有 43.6 分定位能力是拉开差距最明显的一项。游戏方面一句话带过Poki 的 14 款浏览器小游戏中除一款三家模型都零分的游戏外其余 13 款全部 100 分。也要说句公道话网页任务 WebVoyager 上是 84.8 分略低于 OpenAI CUA 的 87 分并非全面领先。避坑指南资源消耗7B 规模的模型云端部署建议 L40S 或 A100 级别的 GPU 实例长时间游戏、多步任务场景下推理开销不小先小批量试跑再放量。幻觉模型偶尔会描述错界面元素、认错按钮或者基于错误推理做出次优动作。关键操作付款、删除类建议保留人工确认环节。滥用风险它的 GUI 能力足以通过某些验证码校验意味着也能被用来做未授权访问。自动化受保护内容前先确认你有权这么做。能力边界当前发布的 7B 版本主要面向通用计算机使用能力并没有针对游戏场景专门优化游戏上的表现属于顺带很强而非专门调优的结果。延伸阅读技术报告UI_TARS_paper.pdf模型部署与推理配置README_deploy.md坐标处理与可视化README_coordinates.md提示词模板源码codes/ui_tars/prompt.py响应解析器实现codes/ui_tars/action_parser.py从上面的最小示例开始把模型输出的动作接进自己的执行环境就是使用 UI-TARS 的完整闭环——剩下的就看你想让它替你点多少下鼠标了。引用article{qin2025ui, title{UI-TARS: Pioneering Automated GUI Interaction with Native Agents}, author{Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others}, journal{arXiv preprint arXiv:2501.12326}, year{2025} }【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考