UI-TARS快速上手指南:用多模态智能体完成GUI自动化操作
UI-TARS快速上手指南用多模态智能体完成GUI自动化操作【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是一个开源的多模态 GUI Agent 项目基于视觉语言模型 UI-TARS-1.5 理解截图、规划并输出可执行的界面操作同时提供 ui-tars Python 包把模型输出转成 pyautogui 脚本。适合想搭建桌面或移动端自动化测试链路的开发者。它解决了什么问题官方定位为 Pioneering Automated GUI Interaction with Native Agents用原生智能体实现自动化的 GUI 交互。三个常见使用场景桌面操作自动化 → 模型直接看截图决定点击、输入、拖拽无需为每个页面手写选择器支持 Windows、Linux、macOS。移动应用回归测试 → MOBILE_USE 模板内置长按、打开应用、回主页/返回等 Android 专属操作可直接在模拟器里跑。点击位置核验 → 模型输出坐标后可反算回原图并画点方便核对实际点到了哪里。官方性能表中UI-TARS-1.5 在 OSWorld100 步取得 42.5在 ScreenSpot-V2 取得 94.2均领先于表中对比的模型数据以 README.md 的 Performance 一节为准。核心功能拆解截图理解与三套提示词模板模型每步输出Thought Action先推理再决定动作。codes/ui_tars/prompt.py提供三套模板COMPUTER_USE桌面、MOBILE_USE移动端、GROUNDING只输出动作用于评测。适用情况按目标平台选模板不要混用。动作输出解析与 pyautogui 脚本生成parse_action_to_structure_output把模型文本解析成结构化动作parsing_response_to_pyautogui_code直接生成可执行的 pyautogui 代码覆盖 click、type、hotkey、drag、scroll 等。实际效果模型输出与本地屏幕控制之间只差一步调用。适用构建桌面自动化链路。坐标缩放与可视化基于 Qwen2.5-VL 的模型用绝对坐标定位而图片进模型前会被缩放坐标系随之变化。smart_resize负责坐标反算README_coordinates.md 中的脚本可把反算后的点画成红点标注在原图上适用情况凡接入 Qwen2.5-VL 系模型必做这一步否则点击位置会偏移。 从零跑通环境要求Python 3.10ui-tars 包 requires-python 为 3.10,4.0模型推理需要 CUDA GPU官方对 7B 模型推荐 L40S 48GNvidia L4 / A100 也可解析包本身无运行时依赖。git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install ui-tars python codes/tests/action_parser_test.py最后一条命令运行仓库自带的解析单元测试能跑通即说明环境可用。模型云端部署HuggingFace endpoint另见 README_deploy.md。关键参数与配置参数作用推荐值出处model_type决定坐标解析方式qwen25vl 或 doubao以实际所用模型为准codes/README.mdfactor坐标缩放因子1000codes/README.mdmax_pixels / min_pixels图片缩放后的像素上下限默认 16384×28×28 / 100×28×28codes/README.mdinput_swap文本输入是否走剪贴板粘贴默认 Truecodes/README.md部署 GPU模型推理实例规格7B 推荐 L40S 48GL4/A100README_deploy.mdCUDA_GRAPHS / PAYLOAD_LIMITendpoint 环境变量避免部署失败与大图请求报错0 / 8000000README_deploy.md 注意事项与常见坑坐标不反算是第一大坑README 明确提示 Qwen2.5-VL 系模型使用绝对坐标必须按 README_coordinates.md 的流程换算回原始分辨率否则点击整体偏移。endpoint 部署少配环境变量需设置CUDA_GRAPHS0与PAYLOAD_LIMIT8000000否则部署失败或大图请求报错README_deploy.md 有说明与链接。开源 7B 模型未针对游戏优化Limitations 一节指出 UI-TARS-1.5-7B 面向通用 computer use游戏场景下完整 UI-TARS-1.5 仍有明显优势。陌生界面存在幻觉模型可能误识别元素或输出次优动作歧义较大的 UI 场景需要留一步结果校验。Python 版本下限ui-tars 要求 Python 3.103.9 环境安装会失败。小结UI-TARS 把看截图 → 想动作 → 执行脚本串成了一条可复用的链路其中真正要动手集成的核心是 ui-tars 包里的动作解析与坐标转换。建议先读 README_deploy.md 和 README_coordinates.md把部署与坐标换算理解透再开始集成。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

UE4场景采集2D实现地面反射:从RenderTarget到材质全流程解析

UE4场景采集2D实现地面反射:从RenderTarget到材质全流程解析

1. 反射方案那么多,为什么偏偏要碰场景采集2D做UE4项目但凡涉及到"地面要像镜面一样能倒映出角色和建筑"这类需求,大家第一反应通常是开屏幕空间反射(SSR)或者直接放几个反射捕获(Reflection Capture&#x…

2026/11/22 10:25:41 阅读更多 →
修复 Fork PR 标签自动化:hydra-ai 中基于 `pull_request_target` 的安全标签工作流改造实践

修复 Fork PR 标签自动化:hydra-ai 中基于 `pull_request_target` 的安全标签工作流改造实践

修复 Fork PR 标签自动化:hydra-ai 中基于 pull_request_target 的安全标签工作流改造实践 【免费下载链接】hydra-ai Generative UI SDK for React 项目地址: https://gitcode.com/GitHub_Trending/hy/hydra-ai 导读 本指南围绕 hydra-ai 仓库中的自动化标…

2026/11/22 10:25:41 阅读更多 →
Wasp 全栈框架 TypeScript 支持实战:从 JavaScript 项目逐文件迁移到类型安全的 TS 全栈

Wasp 全栈框架 TypeScript 支持实战:从 JavaScript 项目逐文件迁移到类型安全的 TS 全栈

Wasp 全栈框架 TypeScript 支持实战:从 JavaScript 项目逐文件迁移到类型安全的 TS 全栈 【免费下载链接】wasp The batteries-included full-stack framework for the AI era. Develop JS/TS web apps (React, Node.js, and Prisma) using declarative code that a…

2026/10/22 12:34:39 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻