【免费下载链接】OpenGUIOpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.项目地址https://gitcode.com/gh_mirrors/open/OpenGUI点击查看免费下载OpenGUI 是一个 Android 手机 GUI Agent 框架让 AI 能像人一样看、想、操作真实的手机 App它读取屏幕画面、规划下一步动作、在真机上执行点击和滑动最后返回结构化结果。相比只能演示几分钟的普通手机 Agentphone agentOpenGUI 用双层图架构、后端任务状态管理、手机常驻待机和分角色模型路由把 Agent 从玩具 Demo变成了可以跑数小时的移动操作员工。本文带你完整看懂这套架构以及它强在哪里。OpenGUI 是怎么操作手机的OpenGUI 的核心流程是读取真实 App 界面 → 规划下一步 → 执行移动操作 → 返回结构化结果。整个过程不需要 Root也不解锁 Bootloader它使用 Android 标准的无障碍服务AccessibilityService截图和执行手势ADB 只用来安装 APK 和做本地端口转发。上图展示了 OpenGUI 的移动端任务界面一个任务可以包含任务描述、执行历史和继续/取消操作任务结束后自动进入Summarizing task任务总结阶段——这正是它和普通 Agent 拉开差距的地方之一。OpenGUI 架构速览一张图看懂整个系统OpenGUI 的系统由四部分组成层职责关键源码入口层用户指令、API、飞书/Telegram/Discord 等 IM 渠道im-channel 模块编排层Plan Supervisor 规划与任务状态、Executor Graph 执行循环、Summarizer 总结mobile-agent.graph.ts、executor.graph.ts设备层Android 客户端常驻连接、截图与手势执行StandbySocketManager.kt、GestureService.kt结果层结构化任务结果与执行历史task.controller.ts用户/IM 指令 → Plan Supervisor规划状态→ Executor Graph截图→视觉→动作→复核循环 → Android 客户端执行 → 执行审查与重试 → Summarizer → 结构化结果关键设计是双层图主图mobile-agent负责想——把目标拆成步骤、维护任务状态执行子图executor负责做——在真实设备状态上反复运行截图 → 视觉理解 → 动作 → 复核的循环。执行子图由 screenshot.node.ts、vision-model.node.ts、execute-action.node.ts 等节点组成失败时还有 call-user.node.ts 可以暂停并请求人工介入。五大核心差异OpenGUI 比普通手机 Agent 强在哪官方仓库给出了一张很直观的对比表摘自 README.md维度典型手机 Agent DemoOpenGUI执行模型短时间的交互式循环主图 执行子图的双层编排任务状态通常在本地、随会话消失由后端图持久化管理可续跑设备路径多由电脑实时驱动Android 客户端常驻待机 执行双通道模型使用一个模型包打天下规划与视觉执行可按角色分配不同模型远程操作选装插件飞书、Telegram、Discord、REST API 与待机派单内置下面逐一解释这些差异意味着什么 1️⃣ 为长时间任务而生任务可以跨小时继续普通 Agent 的会话一断进度就没了。OpenGUI 的 Plan Supervisor 节点plan-supervisor.node.ts在后端维护任务状态与续跑信息支持最长约 12 小时的任务进度、审查、恢复都留在系统内部。执行完还有 Summarizer 节点summarizer.node.ts输出做了什么、哪里成功、还剩什么待处理的结构化结果。2️⃣ 手机能待命接单设备路径完全不同普通手机 Agent 依赖电脑一直连着、实时驱动手机。OpenGUI 的 Android 客户端通过 StandbySocketManager.kt 保持常驻连接后端通过 standby.gateway.ts 把任务直接派发到待机中的手机。这意味着手机可以像远程工人一样放在那里随时接收飞书、Telegram、Discord 或 REST API 发来的任务并回传结果。3️⃣ 分角色模型路由省钱 10~15 倍OpenGUI 把规划/监督和视觉执行分成两条模型链路可以分配给不同厂商追求极致质量可以全用 Claude Opus追求性价比则用 Qwen 3.6 Plus 负责规划、Doubao Pro 负责视觉执行官方称成本可下降约10~15 倍。模型选择逻辑见 model-configuration.spec.ts 所在的图节点目录。4️⃣ 真机执行链路无障碍服务 完整手势库OpenGUI 手机端基于标准 AccessibilityService 实现手势执行集中在 GestureService.kt无需 Root动作库覆盖 点击、滑动、长按、拖拽、输入文本、打开 App、返回主页、返回键等完整操作集由 ActionExecutor.kt 统一调度。5️⃣ 多种接入方式从编码 Agent 到 IM 机器人同一个仓库至少支持 4 种用法AI 编码 Agent 一键引导启动让 Claude Code / Codex / OpenCode 读取 open-gui-bootstrap SKILL自动完成后端启动、APK 构建安装、adb 配置AI 编码 Agent 远程控制手机运行后再用 open-gui-remote-control SKILL 列设备、派任务、查状态IM 远程派单飞书 / Telegram / Discord 前缀命令与斜杠命令见 docs/DISCORD.md插件形态接入 Agent 工作台如 workbuddy-plugin 与 deepseek-harness-plugin。快速上手最短路径跑通 OpenGUI手动配置只需两步# 1. 启动后端Node 22 / pnpm / Docker自动拉起 PostgreSQL Redis监听 7777 端口 cd server ./start.sh # 2. 连接手机后安装 Android 客户端 cd client ./start.sh然后确认手机已开启 USB 调试、无障碍服务、悬浮窗权限详细权限说明见 docs/android-permissions.md即可发送第一个任务。更推荐的方式是让 AI 编码 Agent 替你完成引导完整步骤见 docs/get-started.zh-CN.md。如果你走插件路线OpenGUI 会以技能Skill 连接器Connector的形式出现在 Agent 工作台里像上图这样开启即可总结OpenGUI 与普通手机 Agent 的差距清单能力普通手机 AgentOpenGUI双层图编排规划/执行分离❌✅后端持久化任务状态、可续跑❌✅手机待机、远程派单IM/REST少见✅ 内置分角色模型路由、混合降本❌✅执行审查、重试与人工介入节点少见✅结构化结果总结简单输出✅一句话总结普通手机 Agent 回答的是AI 能不能点一下屏幕而 OpenGUI 回答的是如何让 AI 稳定地、长时间地、可远程地把手机当成一个数字员工来用。如果你想体验最推荐的路径是克隆仓库 → 让 Claude Code / Codex 读取 bootstrap Skill → 连接手机 → 发出第一条opengui任务。赞分享【免费下载链接】OpenGUIOpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.项目地址https://gitcode.com/gh_mirrors/open/OpenGUI点击查看免费下载相关推荐WebFlux性能对比为什么它比Spring MVC更快WebFlux性能对比为什么它比Spring MVC更快 在现代Java Web开发中 WebFlux性能优化 已成为开发者关注的焦点。随着微服务架构的普文档教程后端PEzor实战案例大全10个渗透测试场景应用解析PEzor实战案例大全10个渗透测试场景应用解析 PEzor作为一款强大的开源Shellcode与PE打包工具在渗透测试领域具有广泛的应用价值。本文将详细解应用安全网络安全TZImagePickerController完整指南为什么它比系统选择器更强大TZImagePickerController完整指南为什么它比系统选择器更强大 TZImagePickerController是一个功能强大的iOS图片选移动开发原生移动UI组件创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考