Open Computer Use 是什么开源 MCP 方案让 AI 免费自动操作电脑终极入门指南【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use 想让 AI 像人一样自己点鼠标、敲键盘、操作电脑吗Open Computer Use是一个开源的 Computer Use 服务它通过MCP 协议把看屏幕、点按钮、打字等电脑操作能力开放给所有 AI Agent——免费、跨平台macOS / Windows / Linux无需任何闭源服务。下面用 5 分钟带你从零跑通它。为什么需要开源的 Computer Use MCP 方案OpenAI 的 Codex Computer Use 证明了AI 直接操作电脑是可行的AI 不再只是聊天而是能真正打开应用、填写表单、点击菜单。但它闭源、绑定特定宿主。Open Computer Use 基于 macOS 的Accessibility辅助功能接口实现了一套非侵入式的自动化方案免费开源MIT 协议一条 npm 命令安装标准 MCP 协议任何支持 MCP 的 AI 客户端都能接入不限于某一家️跨平台macOS 用 Swift 实现Windows 用 UI AutomationLinux 用 AT-SPI可视化光标AI 操作时有一个跟随移动的软件光标你能清楚看到它点了哪里它一次暴露9 个标准工具list_apps列出应用、get_app_state截图 无障碍树、click、type_text、press_key、scroll、drag、set_value、perform_secondary_action工具定义可以在 ToolDefinitions.swift 中查看。5 分钟上手npm 一键安装步骤前置要求Node.js 18macOS 14.0Windows / Linux 无额外要求。第 1 步全局安装npm i -g open-computer-use第 2 步授权仅 macOS 首次需要open-computer-use首次运行会弹出引导窗口授予Accessibility辅助功能和Screen Recording屏幕录制两项权限即可Windows 和 Linux 无需此步。第 3 步体检一下ocu doctordoctor会检查权限状态一切就绪时只打印状态并退出。装好后你获得了两个等价的命令open-computer-use和短命令ocu。 如果你更喜欢源码运行可以克隆仓库后执行make smoke做本地验证仓库结构与分层设计见 docs/ARCHITECTURE.mdgit clone https://gitcode.com/gh_mirrors/op/open-codex-computer-use最快配置方法一键接入主流 AI Agent装好后一条子命令就能把它写入对应 Agent 的 MCP 配置不用手写 JSON目标 Agent命令Codexopen-computer-use install-codex-mcpClaude Codeopen-computer-use install-claude-mcpGemini CLIopen-computer-use install-gemini-mcpopencodeopen-computer-use install-opencode-mcp如果你用的是其他 MCP 客户端手动加入这段配置即可详见 README.zh-CN.md{ mcpServers: { open-computer-use: { command: open-computer-use, args: [mcp] } } }也可以把它作为Skill安装让 Agent 自带使用手册npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -ySkill 的说明入口位于 skills/open-computer-use/SKILL.md。AI 是怎么看懂并操作你的电脑的整个流程对新手来说非常直观AI 每次行动遵循一个循环看调用get_app_state拿到目标应用的窗口截图无障碍元素树带element_index编号想AI 根据截图和元素树决定下一步做用click按元素编号或像素坐标、type_text、press_key等工具执行动作再看动作后自动刷新状态确认结果几个对普通用户很重要的细节不抢前台默认走进程定向投递路径AI 打字、点击时不会移动你的真实鼠标你可以继续干别的事️安全兜底密码管理器类应用默认被拒显式开启全局指针模式需要额外的环境变量授权️可配置点击方式click_method支持auto/accessibility/app_post/sky_click/global覆盖不同应用的兼容性场景想直接体验一次工具调用不经过任何 Agentocu call list_apps ocu call get_app_state --args {app:TextEdit}可视化光标亲眼看到 AI 在操作执行click等动作时屏幕上会出现一个仿官方的软件光标software cursor overlay它会以平滑的弧线轨迹移动到目标位置、点击时产生脉冲动画、空闲时轻微摆动让你实时掌握 AI 的操作进度。这套光标的运动模型来自对官方实现的逆向还原Bezier 弹簧物理参数沉淀在 scripts/cursor-motion-re/ 目录还有独立的实验应用 experiments/StandaloneCursor/ 可以本地跑起来观察效果。进阶玩法用 JS 编排连续自动化流程逐次调用工具会有往返开销Open Computer Use 还内置了JavaScript REPL暴露js/js_reset两个工具把看 → 点 → 打字 → 再确认整段编排进一次调用实现见 open-computer-use-repl.mjs协议文档见 js-repl.mdvar app await cua.getApp(TextEdit); await app.click(12); await app.typeText(Hello from AI); await app.getAXState();在终端里也能直接玩ocu repl进入交互模式或ocu js ...执行一次性脚本。跨平台Windows 和 Linux 也能跑同一个 npm 包内打包了三平台的原生运行时按系统自动选择平台实现入口代码macOSSwift AccessibilityOpenComputerUseKit/WindowsGo PowerShell UI Automationmain.go / runtime.ps1LinuxGo Python AT-SPImain.go / runtime.py⚠️ Windows / Linux 目前是功能性第一版9 个工具的协议面与 macOS 一致但没有可视化光标且需要运行在已登录的桌面会话中。常见问题速查Q和普通 RPA / 按键脚本有什么区别ARPA 需要你先写死流程Open Computer Use 是 AI 驱动——AI 看到屏幕后自己决策下一步可以应对界面变化。QAI 会把我的真实鼠标抢走吗A默认不会。默认路径把输入事件定向投递给目标应用不移动系统指针只有显式开启click_methodglobal且设置授权环境变量后才可能使用全局指针。Q支持哪些 AI 客户端A任何标准 MCP 客户端Codex、Claude Code、Gemini CLI、opencode 等一条install-xxx-mcp命令即可完成配置。小结npm i -g open-computer-use一条命令安装短命令ocu 标准 MCP 协议9 个工具覆盖看 点 打字 滚动 拖拽 一键接入 Codex / Claude Code / Gemini CLI / opencode 可视化软件光标操作过程全程可见️ macOS / Windows / Linux 三平台支持现在就可以让你的 AI 助手免费、自动地操作起你的电脑了 【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考