UI-TARS:让 7B 视觉模型替你操作 GUI 的开源方案
UI-TARS让 7B 视觉模型替你操作 GUI 的开源方案【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是一个开源的 GUI 自动化智能体给一张截图加一句自然语言指令它会先输出思考再给出可执行的点击动作。本文整理它的 4 个核心能力、三步上手指引以及与商业模型对比后的选型建议适合 QA 和自动化方向的工程师。一个场景过去要跑两天的回归测试测试工程师在 App 新版本上线前需要在多台设备、多种分辨率上验证改设置、存文件、导出数据等核心流程。用元素树工具做这件事第一份工作就是维护大量定位器界面一改脚本一半失效。UI-TARS 的路子不同把当前截图和把图片颜色模式改成灰度这样的句子给它模型先输出 Thought 说明判断依据再输出动作。官方部署文档里有一条真实响应Thought: 我看到 Preferences 窗口已经打开了但这里显示的都是系统资源相关的设置……让我点击它看看里面有什么选项。Action: click(start_box(177,549))。整个过程不依赖任何元素 ID 或 XPath。UI-TARS-1.5 的四个核心能力先思考后行动模型经强化学习训练每次动作前必须输出 Thought。官方数据显示Minecraft 200 任务平均得分带思考版本为 0.42不带思考为 0.35。统一动作空间、三套提示词模板codes/ui_tars/prompt.py提供 COMPUTER_USE桌面覆盖单击/双击/右键、拖拽、快捷键、MOBILE_USE移动端含open_app、long_press、press_back等移动专属动作、GROUNDING只输出动作不带思考用于评测三套模板。坐标换算工具链底层 Qwen2.5-VL 使用绝对坐标模型输出的坐标要映射回原图分辨率。action_parser.py里实现了 smart_resize边长取 28 的倍数和parse_action_to_structure_output仓库自带示例图data/coordinate_process_image.png及红点定位结果可直接对照调试。官方基准成绩README 显示 Android World 64.2此前最佳 59.5、OSWorld 42.5100 步此前最佳 38.1 为 200 步、ScreenSpotPro 61.6此前最佳 43.6。UI-TARS 快速上手从安装到解析动作的 3 步第 1 步部署模型。官方 README_deploy.md 采用 HuggingFace Inference Endpoints导入 UI-TARS-1.5-7BGPU 建议 L40S 48GL4 或 A100 亦可环境变量加CUDA_GRAPHS0避免部署失败和PAYLOAD_LIMIT8000000防止大图请求失败。第 2 步装后处理库。执行pip install ui-tars或uv pip install ui-tars。第 3 步把模型输出解析成可执行动作。下面示例使用官方 README 中的样例响应from ui_tars.action_parser import parse_action_to_structure_output response Thought: Click the button\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl, ) print(parsed)解析得到结构化字典后再交给parsing_response_to_pyautogui_code即可生成能直接跑的 pyautogui 脚本细节见codes/ui_tars/action_parser.py。UI-TARS 和商业 GUI 智能体怎么选下表分数来自官方 README基准测试场景UI-TARS-1.5OpenAI CUAClaude 3.7Android World移动端64.2--OSWorld 100 步桌面端42.536.428ScreenSpotPro元素定位61.623.427.7WebVoyager网页端84.88784.1桌面与移动操作是 UI-TARS-1.5 的优势区间元素定位得分超过商业模型一倍以上网页浏览大体持平WebVoyager 上 CUA 略高。开源方案与商业方案的差距主要体现在本地设备操作这一侧。适合用在哪不适合用在哪适合界面经常变动、跨分辨率的回归测试视觉理解不依赖元素树界面改动后脚本维护成本低定位能力评测官方 ScreenSpot-V2 得分 94.2ScreenSpotPro 61.6桌面或移动端的本地自动化README 同时列出了 UI-TARS-desktop 与 Midscene 浏览器自动化两条衔接路径不适合大规模、低延迟的在线生产任务官方 README 明确仍需大量计算资源推理成本随任务时长线性增长用 7B 版本打游戏官方说明 UI-TARS-1.5-7B 未针对游戏场景专门优化纯确定性脚本任务流程固定、元素树稳定时传统脚本更可预测集成前的 3 条建议先调坐标再谈任务按 README_coordinates.md 的示例跑一遍确认点击坐标在 smart_resize 映射后落在正确位置坐标错位是集成时的第一坑。先用 7B 在 L4/A100/L40S 等硬件上验证流程再考虑更大模型官方 7B 的 OSWorld 得分为 27.5够做流程验证UI-TARS-1.5 为 42.5。调用时固定 temperature0.0部署文档示例代码即采用该值避免动作输出在多次运行间漂移。UI-TARS 把看图操作变成了可部署的开源方案。下一步建议clone 仓库把 README 里的样例响应跑通一遍。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

SurfSense for Obsidian 插件完全指南:把 Obsidian 笔记库同步为 SurfSense 可检索知识源

SurfSense for Obsidian 插件完全指南:把 Obsidian 笔记库同步为 SurfSense 可检索知识源

SurfSense for Obsidian 插件完全指南:把 Obsidian 笔记库同步为 SurfSense 可检索知识源 【免费下载链接】SurfSense Open-source NotebookLM alternative. Research the open web with live data(Reddit, YT, IG, TikTok, Indeed, Google Search, Maps etc) throu…

2026/10/25 2:45:10 阅读更多 →
UI-TARS 坐标定位总打偏?3 步找到根源并完成修复

UI-TARS 坐标定位总打偏?3 步找到根源并完成修复

UI-TARS 坐标定位总打偏?3 步找到根源并完成修复 【免费下载链接】UI-TARS Pioneering Automated GUI Interaction with Native Agents 项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS 你让 UI-TARS 点一下"确定"按钮,光标…

2026/10/25 3:31:38 阅读更多 →
Bytebase React 表格 Checkbox 整格点击区域设计:三种表形下的选中交互统一方案

Bytebase React 表格 Checkbox 整格点击区域设计:三种表形下的选中交互统一方案

Bytebase React 表格 Checkbox 整格点击区域设计:三种表形下的选中交互统一方案 【免费下载链接】bytebase Database governance built for humans and agents — controlling changes and access across every major database. 项目地址: https://gitcode.com/Gi…

2026/10/25 4:25:44 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻