UI-TARS 实战10 分钟跑通一条基于视觉的移动端自动化测试链路【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS发版前夜有人动了界面上两个按钮的位置回归脚本里的定位器开始批量报错——这是移动端自动化测试里常遇到的事。UI-TARS 是一个视觉语言 GUI 智能体能看懂截图、直接输出操作的模型给它一张屏幕截图和一句任务描述它返回下一步该点哪里、输什么不需要 XPath。下面从安装到第一次调用把链路走一遍。它是什么直接操作屏幕的 GUI 智能体UI-TARS 是字节跳动 Seed 团队开源的多模态 GUI 智能体面向需要在真机、Android 模拟器或桌面上做自动化的测试与研发工程师。模型本体基于视觉语言模型1.5 版本开源了 7B 规格仓库里的ui-tarsPython 包则负责把模型输出的动作字符串解析成可执行脚本。3 行代码跑通第一个 GUI 自动化任务先装解析器模型本身需要单独部署官方给了现成的步骤git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS pip install ui-tars然后把模型返回的原始响应转成脚本from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code # 模型典型返回先想Thought再给动作Action response Thought: 设置按钮在右下角\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, # 模型坐标的放大倍数 origin_resized_height1080, # 真实截图高度 origin_resized_width1920, # 真实截图宽度 model_typeqwen25vl, # 你实际用的模型别填错 ) print(parsing_response_to_pyautogui_code(parsed, 1080, 1920)) # 输出可直接执行的 pyautogui 脚本模型部署、API 调用与参数细节见 部署指南上面这段代码本身不依赖 GPU可以先本地跑通。它是如何做到的四个机制统一动作空间点击、拖拽、打字、打开应用等一套指令同时覆盖移动端和桌面端跨平台不用换格式。System-2 推理动手前先输出 Thought类似模型的内心独白解释判断依据1.5 版用强化学习增强点击前先想一步。密集界面字幕训练训练数据包含整屏描述和逐元素标注所以没有控件 ID、纯靠外观也能认出自定义组件。坐标对齐模型坐标基于缩放后的图像ui-tars包负责换算回原始截图下面这张图就是换算结果的可视化。基准测试成绩与工具选型对比成绩来自仓库 README 的在线评测直接并排列出基准场景UI-TARS-1.5OpenAI CUAClaude 3.7此前 SOTAAndroid World移动端64.2––59.5OSWorld桌面100 步42.536.428.038.1200 步ScreenSpotPro元素定位61.623.427.743.6并非全线第一WebVoyager网页导航上它是 84.8略低于 OpenAI CUA 的 87与 Claude 3.7 的 84.1 基本持平。和 Appium、Espresso 的差异也不在分数而在原理维度UI-TARSAppium / Espresso定位方式直接看截图不依赖元素 IDXPath / 资源 ID界面一改就失效非标准控件按外观识别自定义绘制组件自定义控件难以识别速度与确定性每步一次推理约数秒偶尔误判确定性强、毫秒级选型可以很直接界面稳定、要跑几千条用例的高频回归传统工具仍是主力界面频繁改动、跨应用串流程、控件长得都不一样再把 UI-TARS 接进来。上手前要知道的事️算力成本官方部署指南建议 7B 模型用 L4 / L40S48G级单卡云上部署按端点计费每步都有一次模型推理不是免费午餐。坐标参数不同模型的坐标语义不同model_type填错会导致所有点击整体偏移详见 坐标处理指南。⚠️失败代价在模糊或不熟悉的界面里模型会幻觉、点错元素支付、删除这类破坏性操作前面加人工确认。小结如果你的团队要覆盖界面高频迭代、跨应用或多形态控件的场景UI-TARS 值得纳入回归体系追求确定性的批量执行仍由传统工具承担。下一步从仓库的 部署指南 开始先在自己的模拟器上跑通一条最短流程。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考