UI-TARS 坐标定位总打偏3 步找到根源并完成修复【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS你让 UI-TARS 点一下确定按钮光标却停在了旁边的取消上。整个 GUI 自动化流程都对就差最后这一击——这种偏移往往不是模型看不清而是坐标定位换算链路出了问题模型输出的坐标是在缩放后的截图上量出来的真正被点击的却是真实屏幕两者之间的换算因子对不上点击就会整体偏移。沿着仓库里的代码走一遍把换算逻辑理顺偏移点也就好找了。它是怎么看见坐标的smart_resize 分辨率适配整个坐标处理可以压缩成一句类比相当于把屏幕截图缩放到固定尺寸在缩放图上标一个点再按缩放比例换算回真实屏幕位置。模型并不会直接面对你那张 1920x1080 的原始截图。截图先经过smart_resize把任意尺寸截图缩放到模型可处理的分辨率同时保持宽高比变成宽、高都是 28 的倍数、总像素被压在合理区间内的分辨率。模型输出的坐标就是在这张缩放图上量出来的像素值。换算回真实屏幕时分两种情况Qwen2.5VL 系的模型直接输出绝对坐标按缩放图的像素量Qwen2VL 系的模型输出相对坐标0~1000 之间的归一化值。前者除以缩放后的宽高后者再除以坐标缩放因子 factor一般是 1000最终都统一成 [0,1] 的归一化坐标再乘上真实截图的宽高才得到该点击的像素位置。这条换算集中在parse_action_to_structure_output这个核心转换入口里吃模型输出的 Thought/Action 文本吐出结构化的动作和归一化坐标实现在 codes/ui_tars/action_parser.py。UI-TARS 整体架构从用户指令、截图输入到动作解析输出坐标定位是看见到点到之间的关键一环输入端的逻辑理顺了换算环节就可以亲手验证了。 动手验证 GUI 自动化点击精度你的点击到底偏没偏验证思路就三步拿模型原始输出当输入走一遍和线上完全相同的转换最后用眼睛核对落点是否在目标元素上。仓库data/目录自带示例截图不用先跑推理。第一步取模型原始输出和截图真实尺寸from PIL import Image # 仓库自带示例截图GIMP 界面 img Image.open(data/coordinate_process_image.png) width, height img.size # 截图真实分辨率1920x1080 # 模型原始输出坐标 (197, 525) 是缩放图上的像素 model_output (197, 525)第二步用smart_resize重算截图进入模型后的分辨率——这是换算的基准重算出的缩放尺寸必须和线上喂给模型的一致坐标才能反向换算回去from ui_tars.action_parser import smart_resize # 宽高对齐到 28 的倍数总像素压进 [min, max] 区间 new_height, new_width smart_resize(height, width) # 把模型输出的坐标反换算回真实屏幕像素 x int(model_output[0] / new_width * width) y int(model_output[1] / new_height * height) print(new_width, new_height, (x, y))第三步把换算后的点画回截图上肉眼验收。红点落在目标元素上说明整条链路是通的import matplotlib.pyplot as plt plt.imshow(img) # 用红点标记换算后的真实屏幕坐标 plt.scatter([x], [y], cred, s50) plt.axis(off) plt.show()仓库的 README_coordinates.md 里有这套流程的完整教程和示例图效果应该长这样红点为模型输出坐标 (197,525) 换算回真实 1920x1080 截图后的位置应正好落在目标元素上红点没落在目标上时别急着怀疑模型先排查下面三个位置。 三个最容易被忽略的偏移源坐标缩放因子没对上系统显示缩放改了截图与真实像素的对应关系现象偏移按比例出现越靠近屏幕右下角偏得越多。 根因Windows 150%、macOS 2x 这类显示缩放下截图的像素维度和 pyautogui 实际执行所处的坐标系差了一个缩放因子它恰好动了两者之间的换算关系。 修复动作显示缩放调回 100%或把最终坐标乘上系统缩放倍数。分辨率参数和真实处理的截图对不上现象同一份代码在这台机器上正常换台机器就偏。 根因传给parse_action_to_structure_output的origin_resized_height/origin_resized_width以及后续parsing_response_to_pyautogui_code的宽高不是当前这张截图的真实尺寸反算基准就错了。 修复动作调用前用width, height img.size取当前截图的真实尺寸再传进去不要写死。动态元素位置随内容漂移现象同一操作第一次成功再跑一遍就点空。 根因列表变长、弹了浮层、窗口位置变了坐标已经过期但你还在复用旧的。 修复动作每次动作前重新截图只用当前这一轮模型输出的坐标不缓存旧坐标。 跑个基准看看水平GUI 自动化点击精度有多硬换算链路确认没问题后剩下的精度上限由模型本身决定。仓库 README 里记录了公开基准的得分挑几项和找对元素点中直接相关的基准考察点UI-TARS-1.5OpenAI CUAClaude 3.7OSWorldComputer Use端到端任务成功率42.536.428ScreenSpot-V2Grounding元素定位命中率94.287.987.6ScreenSpotProGrounding复杂界面定位命中率61.623.427.7OSWorld 考的是任务能不能做完ScreenSpot 考的是元素找没找对、点没点中后者的领先幅度正是支撑前者分数的那块地基。UI-TARS 与上一代 SOTA 模型在多个 GUI 基准上的得分对比定位类基准差距最明显模型的上限决定精度天花板坐标换算链路决定你能吃到多少——总打偏时先验证换算再怀疑模型。下一步打开codes/tests/目录跑一遍 action_parser 的测试用例确认本地解析链路无误后再拿真实案例对号入座。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考