GEV-26B-Decide 视觉决策85毫秒点击屏幕95%成功率是如何炼成的【免费下载链接】GEV-26B-Decide项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/GEV-26B-DecideGEV-26B-Decide 是一个开源的多模态视觉决策模型给它一张截图或相机画面它在单次前向推理中就能对每个动作输出带校准的概率。在真实浏览器测试里它以每步约 85 毫秒点击屏幕的速度完成了 60 个随机多步任务中的95%——与更大的视觉模型成功率相同速度却快了近 3 倍。 先认识一下GEV-26B-Decide 是什么一句话概括它不生成文本而是直接输出每个选项的概率。基座模型google/gemma-4-26B-A4B-it260 亿参数每 token 仅激活约 40 亿自带视觉编码器System 1快直觉一次前向推理就作答单张 B200 上文本决策中位数约 45 毫秒每个选项都给出校准后的概率System 2自适应思考当 System 1 的领先选项置信度低于 0.8 时才启动思考逐条推理后再把结果折回概率只在需要时思考它支持三类有类型的决策是/否noul、0–5 打分score、在 2–256 个选项中选一个choice。一套权重、一个 vLLM 服务同时覆盖文本和图像。⚡ 85 毫秒点击屏幕一次循环是怎么跑的测试环境是一个真实浏览器无头 Chromium每一步只做一次 System 1 决策页面上每个可点击元素被标上一个带编号的框System 1 在编号框 元素文本里选出下一次点击或判定任务完成浏览器执行点击循环重复在 60 个随机多步任务购物、设置、邮件各 3–7 次点击上95% 的任务被完成平均每次点击约 85 毫秒。有个细节很能说明问题页面里的颜色色板没有任何文字那几次点击纯粹靠截图本身决定。指标GEV-26B-DecideJEV-27B-VLJEV-9B电脑使用成功率60 任务95%95%95%每次点击耗时≈ 85 ms≈ 260 ms≈ 200 ms机械臂成功率20 场景40%75%50%每次机械臂决策耗时61 ms239 ms163 ms 95% 成功率的关键别只给模型框这个模型的决策头是在文本上训练的图像上的决策属于零样本能力。作者做了一组对照实验结论很直接只给带编号的框成功率仅 15%而且经常过早宣布任务完成编号框 元素文本相当于无障碍树的用法成功率 95%所以实际接入时一定要把元素文本和截图一起提供。每一集任务的概率与耗时明细都可以打开 reports/demos/cu_results.json 查看。 61 毫秒一步机械臂在真实相机回路中抓放换到机器人场景System 1 每一步看一眼顶部相机的画面只回答两个问题目标在夹爪的左边还是右边上边还是下边机械臂据此移动并在任何一次回答翻转时把步长减半——最终抓起方块、搬运、丢进托盘MuJoCo 仿真。每次决策 61 毫秒一次完整抓取放置只消耗 4–8 秒模型时间20 个随机场景完成 40%靠近目标时它的左右判断不如 JEV-27B-VL 精细所以偶尔抓空但一旦抓住9 次里有 8 次方块稳稳落进托盘逐场景数据见 reports/demos/arm_servo.json作为反面参照reports/demos/arm_direct.json 记录了让 System 1 直接从 8 条电机指令里挑一条的尝试——10 个场景 0 成功。 快速上手指南一条命令启动决策模型需要一张 80 GB 以上显存的 GPU以及支持 Gemma-4 的 vLLM 版本项目自带补丁 patches/vllm-gemma4-lm-head-lora.patch用于给 Gemma-4 共享词表挂 LoRAhf download autotrust/GEV-26B-Decide --local-dir GEV-26B-Decide bash GEV-26B-Decide/serve.sh # vLLM 服务跑在 :8000启动后除了标准 OpenAI 接口还能使用POST /v1/decide请求只需 4 个核心字段字段说明kindnoul是/否·score0–5·choice2–256 个选项state决策所依据的状态可混排文本与图像question要回答的那个问题thinkingoff默认最快·auto自适应思考·on始终思考返回的每个选项都带概率还有choice、thinking.used等字段方便你在自动化流程里按置信度把关。服务实现见 serve_decide.py启动脚本见 serve.sh。 项目关键文件一览文件作用adapter/System 1 的 LoRAtransformers 路线adapter_vllm/vLLM 路线骨干 LoRA 决策头head.safetensors24 槽决策头fp32judge_config.json槽位布局与读出方式calibration.json / calibration_gold.json每类决策的温度校准后者按真实答案校准适合做置信度把关serve_decide.py带/v1/decide接口的 vLLM 服务reports/decision_index_adaptive.jsonDecision Index 完整评测reports/thinking_games.json自适应思考在各游戏中的表现想直观感受它的效果可以打开 videos/ 目录电脑使用购物演示、机械臂抓放演示还有扫雷、四子棋、Wordle、数独的看它思考演示视频。⚖️ 诚实的局限适合什么、不适合什么元素文本是刚需只给带编号的框电脑使用成功率从 95% 掉到 15%别让 System 1 直挑电机指令在控制回路里让它从 8 条指令里直接选10 个场景 0 成功——相对位置二选一 外部循环才是正确用法思考模式帮推理、不帮感知数学/逻辑/科学问题提升显著如 AQuA-RAT 68.1% → 89.0%但分类、检索几乎没有收益甚至可能干扰已训任务英文为主用于高风险自动决策前务必用置信度阈值把关可切换到 calibration_gold.json一句话总结GEV-26B-Decide 用即时概率输出替代长篇文本生成把一个 26B 多模态模型变成了低延迟的视觉决策引擎——85 毫秒点一次屏幕、95% 的任务成功率就是它给自动化场景交出的答卷。【免费下载链接】GEV-26B-Decide项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/GEV-26B-Decide创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考