GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一款用 Rust 编写的桌面电脑使用Computer Use工具它通过操作系统的无障碍Accessibility树读取任意应用真实的 UI 结构让 AI Agent 能稳定地看见并操作桌面应用。本文深度讲解它的核心特性——渐进式骨架遍历Progressive Skeleton Traversal先用一张 383 Token 的骨架地图快速了解 Slack 这样的密集应用再按需钻取目标区域相比整树快照节省 78%~96% 的 Token把宝贵的上下文留给 Agent 真正去思考。 为什么 Agent 会被密集应用拖垮传统的整树快照思路是每次观察都把应用的完整无障碍树读一遍。这在 Slack、VS Code、Discord 这类 Electron 应用上是灾难性的一次完整快照有500 节点消耗约12,000 Token以 Slack 为例一次常规快照实测30,743 Token3 次采集的中位数即使加上-i --compact只保留交互元素Slack 仍然要~5,400 Token / ~204 节点。而 Agent 每一步都在为 Token 付费。更关键的是绝大多数时候Agent 只需要看一小块区域——比如频道列表——却被迫把整棵巨树塞进上下文。️ 工作原理骨架概览 按需钻取渐进式骨架遍历把一次性读全树改造成先读地图再走进街区只靠两个新参数第一步骨架概览--skeletonsnapshot --skeleton只遍历 3 层深度。被截断的容器不再展开子树而是显示一个children_count直接子节点数量例如Channels区域显示children_count: 42。在截断边界上的有名称容器会获得 ref如e3作为后续钻取的入口。第二步按需钻取--root refsnapshot --root e3从之前发现的 ref 处开始遍历只读该子树。新分配的 ref 会合并进已有的 refmap而不是整体覆盖。关键设计由浅入深的稳定性保障机制说明children_count零开销获取边界节点用 O(1) 的count_children()取数量不做子树 IPC 遍历作用域失效Scoped Invalidation重复钻取e3只会替换e3子树的旧 ref骨架 ref 和其他区域的 ref 全部保留ref 计数器连续累加多次钻取后骨架 ref 各区域 ref 共存Agent 的知识持续积累与现有参数完全可组合--compact、-i、--max-depth、--surface均可叠加使用 完整实战4 条命令操作 Slack以点击 Slack 的某个频道为例这是官方推荐的密集应用标准工作流# 1️⃣ 骨架概览 —— 3层地图Slack 实测仅 383 Token agent-desktop snapshot --skeleton --app Slack -i --compact # 保留返回的 snapshot_id例如 s8f3k2p9 # 输出中能看到区域e2 group Channels (children_count: 42) # 2️⃣ 钻取感兴趣的区域 —— 现在才看到 42 个频道的完整细节 agent-desktop snapshot --root e2 --snapshot s8f3k2p9 -i --compact # 3️⃣ 对钻取时发现的元素执行操作 agent-desktop click e18 --snapshot s8f3k2p9 # 点击 general 频道 # 4️⃣ 重新钻取同一区域验证状态变化 agent-desktop snapshot --root e2 --snapshot s8f3k2p9 -i --compact整个流程3 次观察 1 次动作总 Token 大约只有单次完整快照的1/3 到 1/6。官方测算中250K 上下文窗口下骨架 钻取模式可比常规快照多撑约10 倍的使用时长。 什么时候可以跳过骨架骨架模式并非万能以下场景直接换更简单的方式即可简单应用Finder、计算器这类元素少的应用直接snapshot --app Finder -i全量快照目标明确已知元素的准确 role 或名称时用find --role button --name X --exact一步到位聚焦型 surface菜单、弹窗sheet/alert本身就很聚焦用snapshot --surface menu即可。 快速上手# 安装自动下载预编译二进制 npm install -g agent-desktop # 检查/申请 macOS 辅助功能权限 agent-desktop permissions --request # 对任意密集应用跑一次骨架概览 agent-desktop snapshot --skeleton --app Slack -i --compact 参考资料与延伸阅读项目主页文档README.md完整命令清单与核心工作流渐进式骨架遍历官方工作流模式skills/agent-desktop/references/workflows.mdAgent 内置技能说明skills/agent-desktop/SKILL.md功能设计规划文档docs/plans/2026-03-10-feat-progressive-skeleton-traversal-plan.md钻取与 refmap 合并的核心实现crates/core/src/snapshot_ref.rs功能特性速览docs/faq.md一句话总结让 Agent 先读地图再走进街区——agent-desktop 的渐进式骨架遍历用两个参数--skeleton与--root实现了 78%~96% 的 Token 节省是密集桌面应用自动化的标配姿势。赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐渐进式图像加载库 progressive-image.js 使用教程渐进式图像加载库 progressive image.js 使用教程 项目介绍 progressive image.js 是一个实现渐进式加载图像效果的JavaGo map 遍历过程深度解析随机起点、mapiterinit 与渐进式扩容下的迭代机制Go map 遍历过程深度解析随机起点、mapiterinit 与渐进式扩容下的迭代机制 导读 本文以 Go map 的 range 遍历为主线完整还原底文档教程unified AST操作进阶深度遍历与节点修改技巧unified AST操作进阶深度遍历与节点修改技巧 深入掌握AST处理的艺术解锁高效内容转换的终极指南 unified是一个强大的JavaScrip后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考