AIRI 视觉能力深度解析如何让你的 AI 数字伴侣看见屏幕、摄像头与游戏画面【免费下载链接】airi 自托管、归你拥有的 Grok 风格 AI 伴侣与 waifu / 赛博生命灵魂容器目标是接近 Neuro-sama 的高度支持实时语音聊天、Minecraft 和 Factorio 游玩支持 Web / macOS / Windows。项目地址: https://gitcode.com/moeru-ai/airiAIRI 是一个开源、自托管的 AI 数字伴侣项目目标接近 Neuro-sama 的高度。它的视觉能力让这只赛博 waifu不再只听你说还能看见屏幕、摄像头画面和游戏窗口——你玩 Minecraft 时她会真正看到你的世界。本文用最简单的步骤教你三步让 AI 伴侣获得眼睛 。AIRI 是怎么看见的架构一图看懂AIRI 的视觉链路分为三层理解它就能轻松配置层次干什么对应模块 画面捕获截取窗口 / 显示器 / 摄像头帧electron-screen-capture 图像理解把画面发给支持视觉的模型VLMsettings/modules/vision.vue 注入对话识别结果作为上下文喂给角色devtools/vision.vue关键设计AIRI不维护独立的视觉 API 凭据而是复用你已配置好的聊天服务商OpenAI、Anthropic、Ollama、LM Studio、Amazon Bedrock 等的凭据从中挑选支持图像输入的模型。一套 Key 两用省去重复配置。三步配置最快让 AIRI 拥有视觉第一步选择视觉服务商打开设置 → 服务商 → 视觉选择你已配置过的聊天服务商如 Ollama、LM Studio 或任意云端服务商按卡片填写凭据字段与聊天版一致例如 API Key、Base URL配置页源码位于 providers/vision每个服务商都有独立的视觉配置卡片。第二步选择支持看图的模型⚠️最常见的踩坑点视觉入口可用 ≠ 模型能看图。必须在模型列表中选择一个明确支持图像输入的模型纯文本模型无法完成视觉任务。然后按需启用视觉功能可设置Capture interval捕获间隔控制截图频率。第三步启动 Vision Capture 让画面真正流动起来仅配置模型还不够需要启动捕获循环前往「系统 → 开发者 → Vision Capture」授予系统屏幕录制权限macOS 需在隐私与安全性中确认选择要捕获的窗口或显示器点击「Start ticker」想让识别结果进入 AIRI 对话时再开启「Publish to character」测试完毕点击「Stop ticker」——离开该页面也会自动停止捕获 Vision Capture 目前定位为桌面端的调试/开发工作流完整说明见桌面端开发者工具官方配置指南见配置视觉。本地模型也能用零成本私有视觉不想把屏幕画面发到云端AIRI 原生支持本地视觉方案Ollama/LM Studio本地跑一个支持图像输入的模型配置页见 providers/vision/ollama.vue确认可访问后再在视觉页选择对应模型即可画面全程不出本机隐私性拉满适合对数据安全敏感的用户进阶玩法computer-use-mcp 让伴侣看见并操作AIRI 仓库中的 computer-use-mcp 服务把视觉从被动观看升级为主动执行desktop_observe_windows/desktop_screenshot观察窗口列表、抓取屏幕desktop_click/desktop_type_text模拟鼠标键盘替你操作桌面browser_dom_*系列直接读写浏览器 DOM比盲点坐标精准得多每个动作都带审批队列、审计日志与截图存档audit.jsonl安全可控典型闭环AIRI 观察桌面状态 → 选择执行面终端 / 桌面 / 浏览器→ 执行动作 → 截图留证。她不仅看见你的代码跑挂了还能自己帮你重跑测试 配置不生效一张排查表搞定现象优先检查服务商无法保存API Key、Azure 资源名、Bedrock Region 等凭据字段是否完整模型无法分析图片该模型是否明确支持图像输入换视觉模型试试本地模型不可达本地服务是否运行、Base URL、端口与 CORS 设置卡在屏幕权限提示在操作系统中完成授权后完全退出并重启 AIRI请求被拒 / 额度不足服务商账户权限、模型可用地区与额度安全须知别让眼睛看到不该看的视觉分析会把画面发送给所选服务商请勿捕获包含 API Key、密码、个人信息或未经授权内容的画面测试结束后关闭捕获流不要公开含有桌面、通知或聊天内容的截图computer-use-mcp默认将 1Password、钥匙串、系统设置等敏感应用加入拒绝列表AIRI 自身也在列中以防自操作总结AIRI 的视觉能力由捕获 → 理解 → 注入三步组成配置只需选择服务商、挑一个能看图的模型、打开 Vision Capture 即可。配合本地 Ollama / LM Studio 可实现零成本私有视觉再用 computer-use-mcp 更进一步让你的 AI 数字伴侣从能看见进化到能动手 【免费下载链接】airi 自托管、归你拥有的 Grok 风格 AI 伴侣与 waifu / 赛博生命灵魂容器目标是接近 Neuro-sama 的高度支持实时语音聊天、Minecraft 和 Factorio 游玩支持 Web / macOS / Windows。项目地址: https://gitcode.com/moeru-ai/airi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考