【免费下载链接】ClawGUIBuild, Evaluate, and Deploy GUI Agents — online RL training, standardized benchmarks, and real-device deployment in one framework.项目地址https://gitcode.com/gh_mirrors/cl/ClawGUI点击查看免费下载ClawGUI 是一个覆盖「训练 → 评测 → 部署」全流程的 GUI 智能体GUI Agent开源框架。其中训练模块 ClawGUI-RL 在 Online RL 训练时会自动记录每一个 Episode完整任务轨迹每一步的截图、模型推理、动作坐标全部落盘保存并内置可视化服务可逐帧回放任意一次 Rollout。这意味着每次 GUI 任务的成败过程都可以被复查、标注、复用变成宝贵的训练数据资产。为什么 Episode 数据对 GUI 智能体训练至关重要GUI 智能体完成任务不是一步到位而是一段多步轨迹接收截图 → 推理 → 输出动作点击/滑动/输入/终止→ 拿到下一张截图循环直到任务结束或达到max_steps。这样一段完整轨迹就称为一个Episode。标准 GRPO 只会给整个 Episode 一个总分无法回答第 3 步点错了还是第 7 步滑偏了。ClawGUI-RL 用GiGPO算法做锚定状态分组anchor-state grouping实现步骤级信用分配而这一切的前提就是每一步的截图、响应、奖励都被完整记录了下来。自动记录训练即存档无需手动埋点ClawGUI-RL 的多轮 Rollout 循环在每一步结束后自动调用save_episode_to_json()把观测截图base64 解码后存为 PNG和模型响应追加写入 JSON核心逻辑见 save_episode_to_json()调用点位于 rollout_loop.py。每个 Episode 独立成目录结构如下episode/task_name/episode_id/ ├── episode.json # 元信息 每步记录 └── images/ ├── step_0000.png ├── step_0001.png └── ...episode.json中的关键字段一览字段位置含义task_name/task_goalmeta_data任务名称与目标描述success/eval_scoremeta_data任务是否成功、判分结果episode_reward/episode_lengthmeta_data总奖励与步数model_response每步模型原始输出含 thinking 与 tool_callstep_reward/step_reward_reason每步可选PRM 过程奖励模型的打分与理由image_path/timestamp每步截图路径与时间戳任务结束后update_episode_result() 会回填最终评估结果使每条轨迹自带成败标签——这让它天然适合做失败案例库或回归评测集。一键启动 Episode 回放可视化服务仓库内置了一个 FastAPI 可视化服务 episode_visualizer.py启动方式cd clawgui-rl python3 scripts/episode_visualizer.py服务默认扫描clawgui-rl/scripts/episode/目录EPISODE_ROOT在浏览器打开http://localhost:8799即可使用左侧任务树按 task → episode 两级组织一眼定位任意一次 Rollout️坐标自动标注解析每步tool_call把动作画回截图上——点击是红色圆点、长按是橙色双圈、滑动是蓝色方向箭头、拖拽是紫线支持「标注 / 原图」一键切换⌨️逐帧回放Step 导航按钮 A/D或左右方向键前后翻页详情面板完整展示每步的 Action 参数、thinking 推理过程和 Raw Response排查智能体为什么没完成任务时逐帧翻看标注图比翻日志高效得多。5 个把 Episode 变成可复用数据的技巧先回放坏案例再动手调参训练中出现成功率波动时先用可视化器回放success: false的轨迹定位是定位不准grounding 问题还是路径规划错误再针对性地调整history_length、max_steps等参数如 run_mobileworld.sh。开启 PRM 记录步骤级奖励在训练脚本中设置step_reward_judgeTrue并配置 VLM 判官见 run_mobileworld.shEpisode 中会额外留下每一步的{0, 1}打分和理由为后续优化提供更密集的监督信号。配合 GiGPO 做锚定状态分析把多条轨迹中到达相同中间状态的步骤对比起来正是 GiGPO 步骤级优势估计的核心——Episode 存档让你可以直接人工验证这种分组是否合理。按 success 标签建案例库meta_data.success字段让筛选失败案例变成一条简单的 JSON 过滤可沉淀为失败案例回归集每次模型迭代后重跑对比。复用为 SFT / 评测数据成功轨迹截图序列 动作序列 推理文本本身就是一条高质量多模态 SFT 样本配合 ClawGUI-Eval 的 Infer → Judge → Metric 评测流水线还能把历史 Episode 变成固定回归基准。正如实验结果所示完全用此管线端到端训练的ClawGUI-2B在 MobileWorld 上把成功率从基线的 11.1 提升到 17.1——背后正是这种记录—回放—复用的数据飞轮在起作用。目录与资料速查资料路径训练模块中文文档clawgui-rl/README_zh.mdEpisode 保存逻辑clawgui-rl/agent_system/multi_turn_rollout/utils.py可视化服务clawgui-rl/scripts/episode_visualizer.pyGiGPO 优势估计clawgui-rl/gigpo/core_gigpo.pyGiGPO 训练脚本示例clawgui-rl/examples/gigpo_trainer/run_mobileworld.sh环境包MobileWorld / 真机clawgui-rl/agent_system/environments/env_package/需要本地跑通完整流程的话可先克隆仓库git clone https://gitcode.com/gh_mirrors/cl/ClawGUI一句话总结让训练自动存档、用可视化器逐帧回放、按成败标签沉淀案例库——三招即可把 ClawGUI 的每次 GUI 任务都变成可复用的训练数据。赞分享【免费下载链接】ClawGUIBuild, Evaluate, and Deploy GUI Agents — online RL training, standardized benchmarks, and real-device deployment in one framework.项目地址https://gitcode.com/gh_mirrors/cl/ClawGUI点击查看免费下载相关推荐Deployer 集成 Rollbar用 rollbar:notify 任务自动上报每次部署记录Deployer 集成 Rollbar用 rollbar:notify 任务自动上报每次部署记录 DeployerPHP 部署工具提供了开箱即用的 RolDevOpsCI/CDCLI开发工具运维btop 系统资源监控从打开界面到定位问题最快路径btop 系统资源监控从打开界面到定位问题最快路径 晚高峰接口响应从 200ms 飙到 3s。你 SSH 进服务器 top 里几百行滚动CPU 30%、CLI指标监控运维peon-ping Trainer 模式实战用 /peon-ping-log 记录训练次数与自定义每日运动目标peon ping Trainer 模式实战用 /peon ping log 记录训练次数与自定义每日运动目标 本篇技术指南围绕 peon ping 内置的创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考