UI-TARS 桌面版完整上手指南用自然语言让电脑自动完成点击和填表【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS 桌面版是一个开源的图形界面自动化应用你对它说一句话它就截屏、看懂屏幕内容然后代替你移动鼠标、点击按钮、输入文字。它适合两类人——被重复点击和填表折磨的普通用户以及想基于视觉大模型搭建自动化流程的开发者。全文按第一次使用的时间线展开跟着做大约 10 分钟就能跑通第一个任务。上手前先确认系统和装好软件系统要求一览运行前的唯一硬性限制是单显示器环境多屏配置可能导致部分任务失败。项目要求操作系统macOS、Windows从 release 页面下载对应安装包显示器仅支持单显示器浏览器浏览器任务需要Chrome、Edge 或 Firefox 最新版模型服务一个可用的 UI-TARS 视觉语言模型接口见下文macOS 安装两步加一次授权macOS 版是拖拽式安装真正的关键在权限授权这一步漏了应用就无法读取屏幕和控制鼠标。从 release 页面下载 macOS 安装包把 UI TARS 图标拖进 Applications 文件夹。打开系统设置 → 隐私与安全性为 UI TARS 同时开启辅助功能和屏幕录制两项权限前者让它能模拟点击和输入后者让它能截取屏幕画面。Windows 安装双击运行即可Windows 版是标准安装包遇到系统安全提示时点仍要运行继续即可。第一次打开认识主界面和两种操作模式主界面分三块左侧是新建对话和历史会话列表中间是任务输入框和模式选择器左下角齿轮进入设置页。新建对话时输入框下方的模式选择器决定这一轮任务在哪个环境里执行Computer Use操作本机电脑直接控制你桌面上的应用和文件适合文件整理、本地软件操作。Browser Use操作本机浏览器在 Chrome、Edge 或 Firefox 中执行任务适合查资料、填表单、抓页面数据。用此模式前确认浏览器已安装。给程序接上大脑模型服务配置的三个易错点应用本身不带模型需要外接一个 UI-TARS 视觉语言模型VLM即能看懂图片的大模型接口。配置在设置页的 VLM Settings 中共四个必填项Provider服务来源、Base URL接口地址、API Key身份凭证、Model Name模型名。三个最常见的坑是Provider 没选对、Base URL 没以/v1/结尾、模型名抄错。Provider 必须和你的模型来源一一对应选错会导致动作解析失败——比如用 Hugging Face 部署的 UI-TARS-1.5就要选 Hugging Face for UI-TARS-1.5而不是通用的 OpenAI 兼容项。Base URL 的写法以 Hugging Face 为例在你部署的 endpoint 页面复制地址栏里的 URL然后在结尾补上/v1/同时确认 Model Name 与页面上标注的 model name 完全一致。配置完成后设置页里有Check Model Availability按钮先点它验证连通性再保存。以火山引擎的 Doubao-1.5-UI-TARS 为例四个参数填法如下VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://ark.cn-beijing.volces.com/api/v3 VLM API Key: 你在控制台的 API Key VLM Model Name: doubao-1.5-ui-tars-250328更细的参数语言、单轮最大步数 Max Loop、每步等待时间等见设置配置文档。如果你有一整套想复用的参数可以把它们存成 YAML 预设文件之后通过Import Preset一键导入也可以从 URL 导入并设置开机自动同步详见预设管理文档和示例预设。现在就试的三个任务由易到难任务1查一个事实浏览器模式任务描述打开天气网站告诉我上海明天的天气。执行步骤选 Browser Use 模式输入指令后回车。应用自动打开浏览器、输入搜索词、点进结果页。每一步都会截图并记录动作例如点击搜索框你可在右侧面板回放。这类单目标查询是验证模型连通 浏览器可控的最短路径正常情况下两三步内完成。任务2整理本地文件电脑模式任务描述把桌面上所有 PDF 文件移动到我的文稿/PDF归档文件夹里文件夹不存在就新建。执行步骤选 Computer Use 模式输入上述指令。应用截屏识别桌面图标逐个判断文件类型。通过系统文件操作完成移动全程无需你碰鼠标。结束后查看对话流确认结果或导出报告留档。任务3跨页面比价并汇总多步骤任务描述分别在三个电商平台搜索同一款耳机把价格整理成对比表格。执行步骤Browser Use 模式下输入指令明确写出平台名称和商品名。应用逐个打开平台、完成搜索、截屏读取价格。回到对话区汇总输出你可直接复制结果。多步骤任务的经验是指令里把去哪、找什么、输出成什么三件事说清楚比追求一句话简短更可靠。卡住了怎么办常见故障对照表绝大多数问题出在权限、地址格式和浏览器环境这三处按下表逐行排查通常能解决。现象原因解法应用无法点击屏幕/无反应macOS 权限未开全回到隐私与安全性确认辅助功能和屏幕录制都已勾选必要时重启应用点Check Model Availability失败Base URL 格式错或 Key 无效确认 URL 以/v1/结尾、API Key 未过期、Model Name 与部署页一致动作执行了但看不懂页面Provider 选择与模型不匹配按部署来源重选 Provider例如 UI-TARS-1.5 对应 Hugging Face for UI-TARS-1.5浏览器任务无法启动浏览器缺失或版本过旧安装最新版 Chrome、Edge 或 Firefox复杂任务中途跑偏单轮步数用完或页面加载未完成调高 Max Loop默认 100上限 200或加大 Loop Wait Time默认 1000ms三条长期有效的调优建议指令具体化写打开 Chrome 访问某网站比帮我查一下成功率高得多。复杂任务拆短一个目标一段话跑完确认再发下一段。多屏临时关掉切回单显示器后再执行避免坐标错乱。放大战场远程执行与过程监控除了本地执行应用还提供 Remote Computer 和 Remote Browser 两种模式任务在云端虚拟桌面或云浏览器中运行本地只负责下指令和看画面不占用你的本机资源也避免误操作碰到真实文件。远程会话带 30 分钟免费额度倒计时直接显示在窗口右上角。执行过程全程可回放右侧面板记录每一步的截图和耗时对话区展示模型的思考文本和具体动作如点击 start_box底部提供时间轴播放器可逐帧回看。任务结束后可把报告导出为 HTML 文件或在配置了报告存储地址后上传并自动复制链接。注意两点会话结束务必点右上角的 Terminate 按钮让系统释放云端资源免费额度用尽或停止服务后可按快速入门文档中的指引改用自建的远程 Computer/Browser Agent。进阶玩法两个真实落地方向企业侧——固定流程的无人值守执行把登录系统、导出数据、生成报表、发送给指定人这类每日重复动作交给 Computer Use 模式按固定指令执行人工只抽查导出的 HTML 报告即可。流程参数模型、步数、等待时间用预设文件统一管理多台机器导入同一份配置保证行为一致。个人侧——信息收集助手让 Browser Use 模式定期完成搜索 → 打开 → 摘录动作把结果留在对话记录里配合报告导出形成长期可检索的个人资料库。更深层的定制自定义算子、以 SDK 方式把 UI-TARS 集成进自己的产品可参考SDK 文档和部署文档。下一步按这个顺序用起来今天就跑通任务1确认权限、模型、浏览器三件套全部正常。本周把任务2、任务3 换成你自己工作中的真实指令逐步替换掉手工重复步骤。把验证过的参数存成预设 YAML团队其他人一键导入。遇到报错先对照本文的故障表仍解决不了再带着 HTML 报告去项目 issue 区提问报告会包含完整的截图和动作轨迹。延伸资料入口快速入门、设置配置、预设管理、示例预设目录。指令越清楚自动化就越稳定——这是使用所有 GUI Agent 的第一原则。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考