为什么phone-harness不抢你的屏幕:iPhone Mirroring后台输入与SkyLight私有API揭秘
为什么phone-harness不抢你的屏幕iPhone Mirroring后台输入与SkyLight私有API揭秘【免费下载链接】phone-harnesslet your agent control your phone项目地址: https://gitcode.com/gh_mirrors/ph/phone-harnessphone-harness 是一个让 AI Agent 直接操控你 iPhone 的开源工具它把 macOS 的 iPhone Mirroring 镜像窗口当作唯一传输层用系统截图 Vision OCR 做眼睛用 SkyLight 私有 API 投递后台输入事件做双手。全程无需越狱、无需 Xcode、无需 WebDriverAgent——而本文要揭秘的重点是Agent 干活时为什么不会把镜像窗口抢到你眼前你的焦点和屏幕始终留在你手里。传统自动化为何总抢屏幕先看懂镜像窗口的真相iPhone MirroringmacOS Sequoia把手机渲染成 Mac 上的一个窗口并把鼠标键盘输入转发为触摸。但这个项目踩过不少坑总结出几条决定性的事实窗口内部是一段视频流macOS 辅助功能在里面什么都看不到AppleScript 的click at会被静默忽略只有HID 层级的 CGEvent能驱动它且窗口必须处于最前否则事件直接被系统吞掉镜像只转发原始 HID 键码并丢弃修饰键标志位——所以CmdV发进 iOS 文本框收到的只是一个光秃秃的v。于是经典后端src/phone_harness/mirror.py的做法是每次动作前把镜像窗口activate()到最前再screencapture截图、CGEventPost注入事件。副作用显而易见——整个任务期间你的屏幕被占用了。不抢屏幕的秘诀SkyLight 私有 API 事件记录真正的答案藏在src/phone_harness/background.py。macOS 窗口服务背后有一个未公开的内部框架SkyLight它接受一种合成事件记录event record可以直接投递给指定进程、指定窗口——这正是知名窗口管理工具 yabai 实现聚焦但不置顶所用的机制。phone-harness 三步走步骤做了什么关键符号1由镜像应用的 PID 换出进程句柄 ProcessSerialNumberGetProcessForPID2向窗口服务声明该进程窗口的操作来自用户_SLPSSetFrontProcessWithOptions3把带真实坐标的鼠标事件记录直投给该进程SLPSPostEventRecordTo事件记录是一个 0xf8 字节的固定布局缓冲区字段含义如下偏移内容0x04记录长度0xf80x08CGSEventType1按下2抬起6拖动0x10全局坐标屏幕点0x20窗口内局部坐标0x3c目标窗口 IDyabai 会把坐标置空来表示仅聚焦phone-harness 则写入真实坐标同一条记录就变成了一次带位置的点击——落在 iPhone Mirroring 窗口里而你最前面的应用全程纹丝不动。所有写入都限制在缓冲区之内即使某个值写错也只是无效操作不会崩掉窗口服务。键盘输入走另一条小路先用 yabai 风格的 make-key 记录坐标置空的按下抬起对让窗口成为 key window再经CGEventPostToPid把按键事件按 PID 直投进程——输入文字时焦点同样不切换。后台眼睛不激活窗口也能截图输入解决了视觉呢background.py用CGWindowListCreateImage按窗口 ID抓取镜像窗口即使窗口不活动、甚至被其他窗口遮挡也能拿到画面取不到时退回screencapture -l兜底。截图随后交给 Apple 的 Vision 框架做 OCRsrc/phone_harness/ocr.py每一段可见文字都带一个可直接点击的屏幕坐标作者称之为穷人的 DOM。Agent 的典型闭环只有一句话OCR 找到目标文字坐标 → tap 点下去 → 再截图验证 → 完成。滚动列表也有讲究滚轮事件只路由给聚焦中的窗口后台实测 0% 位移慢速触摸拖动在 iOS 列表上几乎不动于是后台后端改用快速惯性 flick模拟手指甩动实测每次可滚动约一屏的 29%。两条输入路径一个环境变量开关src/phone_harness/ios.py里有一行小开关决定走哪条路默认后台模式鼠标、滚动全程不抢焦点键盘也尽量make-key 按 PID 投递PHONE_HARNESS_BACKGROUND0经典模式每次动作前激活窗口依赖更少的私有机制兼容性更好后台模式依赖 SkyLight 私有符号跨 macOS 版本不做保证——加载失败时自动回落经典后端保证工具始终可用。快速上手clone 仓库到 --doctor 体检1️⃣ 克隆并安装需 Python 3.12 与 pyobjcgit clone https://gitcode.com/gh_mirrors/ph/phone-harness ~/.phone-harness cd ~/.phone-harness pip install pyobjc-framework-Quartz pyobjc-framework-Vision pyobjc-framework-Cocoa pip install -e . --no-deps2️⃣ 在系统设置 隐私与安全性给终端授予辅助功能点击/按键与屏幕录制看屏幕权限细节见仓库的install.md。3️⃣ 运行phone-harness --doctor它会沿权限天梯逐项检查pyobjc → 辅助功能 → 屏幕录制 → 镜像应用已装 → 正在运行 → 找到窗口 → 截图成功 → OCR 成功逻辑在src/phone_harness/admin.py第一个 FAIL 就是你要修的。边界与常见疑问手机解锁 会话暂停iPhone in Use恢复镜像是物理动作工具只提示不代点 Connect无多点触控、无相机/Face ID 流程DRM 视频渲染为黑屏一机一会话OCR 看到的是文字而非语义无文字标签的图标需要视觉模型看截图再算坐标日常用法看SKILL.mdAgent 可自由扩展的辅助函数在agent-workspace/agent_helpers.py。小结不抢屏幕的 phone-harness本质只做了两件事眼睛用按窗口 ID 截图双手用SkyLight 事件记录直投进程。私有 API 自带不稳定风险但项目用一个优雅的回退策略兜住了它——默认后台、失败回落经典路径。想让 AI Agent 安静、不打扰地操控真机 iPhone这套眼睛 双手的设计就是最值得抄的作业。【免费下载链接】phone-harnesslet your agent control your phone项目地址: https://gitcode.com/gh_mirrors/ph/phone-harness创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

基于大数据的桂林热门旅游数据分析与可视化

基于大数据的桂林热门旅游数据分析与可视化

🔥作者:it毕设实战小研🔥 💖简介:java、微信小程序、安卓;定制开发,远程调试 代码讲解,文档指导,ppt制作💖 精彩专栏推荐订阅:在下方专栏&#x1…

2026/10/24 2:03:50 阅读更多 →
深入ReactN源码:GlobalStateManager如何管理状态队列、Dispatcher与组件订阅

深入ReactN源码:GlobalStateManager如何管理状态队列、Dispatcher与组件订阅

深入ReactN源码:GlobalStateManager如何管理状态队列、Dispatcher与组件订阅 【免费下载链接】reactn React, but with built-in global state management. 项目地址: https://gitcode.com/gh_mirrors/re/reactn ReactN 是一个把全局状态管理内置于 React 的…

2026/10/23 22:25:11 阅读更多 →
PDFPatcher PDF补丁丁:三步快速解除PDF复制与打印限制的完整指南

PDFPatcher PDF补丁丁:三步快速解除PDF复制与打印限制的完整指南

PDFPatcher PDF补丁丁:三步快速解除PDF复制与打印限制的完整指南 【免费下载链接】PDFPatcher PDF补丁丁——PDF工具箱,可以编辑书签、剪裁旋转页面、解除限制、提取或合并文档,探查文档结构,提取图片、转成图片等等 项目地址: …

2026/11/10 6:30:45 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻