昇腾AI赋能安卓智能助手
基于昇腾Ascend与AtomGit AI联合举办的「昇腾 Model Agent 模型适配大赛第二季」其核心目标是开发能够理解用户自然语言指令并自动在安卓应用如小红书、抖音中执行任务或生成内容的AI Agent。其技术实现主要遵循端云协同的架构。###核心架构与工作流程整个系统的工作流程可以概括为云端理解与规划 - 端侧轻量化执行。具体步骤如下表所示阶段执行位置核心功能关键技术/组件1. 指令理解与任务规划云端服务器解析用户自然语言指令如“在小红书发布一条关于杭州西湖的笔记”将其分解为可执行的原子操作序列。云端大语言模型LLM利用昇腾NPU进行加速推理。2. 指令生成与下发云端 - 安卓端将规划好的原子操作序列转化为安卓系统可识别的自动化指令如UI操作坐标、文本输入。任务规划器指令编码器。3. 端侧轻量模型推理安卓设备端运行轻量化模型用于实时理解当前App界面状态辅助精准执行云端下发的指令。端侧轻量化模型使用昇腾NNRTNeural Network Runtime进行高效推理。4. 自动化执行与内容生成安卓设备端通过自动化框架如AccessibilityService执行指令操作目标App小红书/抖音完成内容发布、搜索等任务。安卓自动化框架虚拟身份注入受控搜索服务。关键技术解析1. 应用直达与虚拟身份系统需要预先配置目标应用如小红书、抖音的包名和主页Activity实现“直达”操作。同时为执行自动化操作需在设备上注入一个“虚拟身份”该身份拥有必要的权限但与实际用户账号隔离以确保安全和合规。2. 受控搜索对于“搜索”这类需要访问外部信息的操作系统并非让Agent直接访问公网而是通过一个白名单后端服务进行。Agent将搜索请求发送至该服务服务返回结构化结果再由Agent填入App的搜索框。这实现了搜索能力的可控、可审计。3. 端云协同推理云端负责复杂的意图理解和任务分解利用大模型能力强和昇腾NPU算力高的优势。端侧负责实时环境感知和指令执行利用轻量化模型和昇腾NNRT实现低延迟、高能效的推理。代码示例端侧指令执行框架以下是一个高度简化的示例展示安卓端如何接收云端指令并模拟UI操作。实际实现会复杂得多并涉及与轻量化模型的交互。// 示例一个简单的指令执行服务基于AccessibilityService public class ModelAgentService extends AccessibilityService { private static final String TAG ModelAgentService; Override public void onAccessibilityEvent(AccessibilityEvent event) { // 监听界面变化用于辅助决策当前状态 } Override public void onInterrupt() {} // 执行从云端下发的原子操作指令 public void executeAction(ActionCommand command) { AccessibilityNodeInfo rootNode getRootInActiveWindow(); if (rootNode null) return; switch (command.getType()) { case CLICK: // 根据资源ID、文本或坐标查找并点击节点 ListAccessibilityNodeInfo targetNodes rootNode.findAccessibilityNodeInfosByViewId(command.getTargetId()); if (!targetNodes.isEmpty()) { targetNodes.get(0).performAction(AccessibilityNodeInfo.ACTION_CLICK); } break; case INPUT_TEXT: // 向焦点节点或指定节点输入文本 AccessibilityNodeInfo inputNode ... // 查找输入框节点 Bundle args new Bundle(); args.putCharSequence(AccessibilityNodeInfo.ACTION_ARGUMENT_SET_TEXT_CHARSEQUENCE, command.getText()); inputNode.performAction(AccessibilityNodeInfo.ACTION_SET_TEXT, args); break; case SCROLL: // 执行滚动操作 rootNode.performAction(AccessibilityNodeInfo.ACTION_SCROLL_FORWARD); break; case LAUNCH_APP: // 启动目标应用如小红书或抖音 Intent launchIntent getPackageManager().getLaunchIntentForPackage(command.getAppPackageName()); if (launchIntent ! null) { launchIntent.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK); startActivity(launchIntent); } break; } } } // 云端下发的指令数据模型示例 class ActionCommand { enum ActionType { CLICK, INPUT_TEXT, SCROLL, LAUNCH_APP } private ActionType type; private String targetId; // 例如”com.xiaohongshu:id/post_btn“ private String text; // 要输入的文本内容 private String appPackageName; // 如”com.xiaohongshu“ // getters and setters... }内容生成场景应用结合上述技术针对小红书、抖音的内容生成场景一个典型的工作流如下用户指令“用我的抖音账号发布一个关于‘昇腾AI芯片’的短视频并带上#科技话题。”云端解析与规划LLM将指令分解为[启动抖音] - [点击‘’号] - [选择相册中指定视频] - [输入描述文案‘...’] - [添加话题‘#科技’] - [点击发布]。指令下发与端侧执行云端将操作序列下发至安卓端的Model Agent。Agent依次执行每个步骤期间可能调用端侧轻量模型确认界面元素最终完成视频发布。总结该技术方案通过端云协同将大模型的复杂推理能力与端侧的实时操作能力结合实现了自然语言到安卓App特别是小红书、抖音等媒体平台自动化内容生成与操作的无缝衔接。参考来源昇腾Model-Agent安卓应用直达技术解析

相关新闻

AI Agent驱动智能应用生成

AI Agent驱动智能应用生成

AI Agent(智能体)通过感知、规划、决策、执行的自主能力,正成为赋能千行百业、驱动AI原生应用(App)生成与创新的核心引擎。其核心在于将大语言模型(LLM)作为“大脑”,结合专业工具&a…

2026/8/22 8:05:05 阅读更多 →
AgentRAE攻击:视觉后门如何欺骗移动GUI代理与防御实践

AgentRAE攻击:视觉后门如何欺骗移动GUI代理与防御实践

1. 从“所见即所得”到“所见非所得”:移动GUI代理的信任危机在移动应用自动化测试和辅助工具领域,基于屏幕截图(Screenshots-based)的GUI代理(GUI Agents)正变得越来越流行。这类代理的核心工作逻辑非常直…

2026/8/22 8:05:05 阅读更多 →
数学建模竞赛:从热传导方程到炉温曲线仿真与优化

数学建模竞赛:从热传导方程到炉温曲线仿真与优化

1. 项目概述:为什么2020年A题值得反复拆解如果你正在准备数学建模竞赛,无论是国赛、美赛还是亚太杯,手头肯定有一堆历年真题和优秀论文。但你可能也发现了,很多资料要么是干巴巴的论文PDF,要么是零散的代码片段&#x…

2026/8/22 8:05:05 阅读更多 →

最新新闻

深入理解Linux perf工具:从原理到实战的性能剖析指南

深入理解Linux perf工具:从原理到实战的性能剖析指南

1. 项目概述:为什么我们需要深入理解perf在Linux性能调优的世界里,perf工具就像一把瑞士军刀,功能强大且无处不在。无论是排查线上服务的性能瓶颈,还是优化自己编写的C/C程序,甚至是分析一个复杂内核模块的行为&#x…

2026/8/22 8:52:21 阅读更多 →
多智能体协作对抗实战:从“木星友谊赛”看AI Agent协作挑战与优化

多智能体协作对抗实战:从“木星友谊赛”看AI Agent协作挑战与优化

蛙蛙与盾叔的“木星友谊赛”:一场关于AI Agent协作与对抗的深度技术复盘最近,一个名为“拉格朗日木星友谊赛”的AI竞技事件在开发者圈子里引发了不小的讨论。核心剧情听起来颇具戏剧性:两位被昵称为“蛙蛙”和“盾叔”的AI智能体(…

2026/8/22 8:52:21 阅读更多 →
AI代码生成到可工作产品:跨越工程化鸿沟的实践指南

AI代码生成到可工作产品:跨越工程化鸿沟的实践指南

你有没有过这样的经历?花了一下午时间,和某个AI工具反复对话,让它帮你生成一个“完整可用的产品原型”——比如一个简单的待办事项应用,或者一个数据可视化小工具。AI确实能吐出一大段看起来像模像样的代码,甚至还能配…

2026/8/22 8:52:21 阅读更多 →
本地部署AI语音输入法:从环境配置到API集成的完整实践指南

本地部署AI语音输入法:从环境配置到API集成的完整实践指南

这次我们来看一个名为“猎奇语音输入法”的项目。这个名字听起来就有点意思,它不是一个传统的拼音或手写输入法,而是一个主打“语音输入”的本地AI工具。简单来说,它允许你通过说话来输入文字,但核心在于其背后的AI模型——它很可…

2026/8/22 8:52:21 阅读更多 →
数学建模实战:基于社会力模型与遗传算法的铁路安全标线优化设计

数学建模实战:基于社会力模型与遗传算法的铁路安全标线优化设计

1. 项目概述:从一道赛题到一套方法论去年带学生打数模竞赛,碰上了辽宁省赛的A题——“铁路车站的安全标线”。这题目一出来,不少队伍有点懵,觉得这不像传统的物理题或优化题,更像是一个“跨界”的应用问题。但在我看来…

2026/8/22 8:52:21 阅读更多 →
技术问题排查:如何准确定义问题领域与搜索关键词

技术问题排查:如何准确定义问题领域与搜索关键词

这类标题和热词组合,很容易让人困惑。它看起来像在讨论某个特定工具或模型的性能提升,但“v4 flash”、“修复插件”、“pro”这些词,在不同的技术领域里含义完全不同。从热词来看,至少涉及了嵌入式开发中的Flash存储、AI模型Deep…

2026/8/22 8:51:21 阅读更多 →

日新闻

沉金PCB工艺实战指南:从设计到SMT焊接的可靠性保障

沉金PCB工艺实战指南:从设计到SMT焊接的可靠性保障

在电子硬件开发领域,PCB(印制电路板)的沉金工艺是提升产品可靠性和焊接质量的关键环节。对于需要高密度互连、长期稳定运行或高频信号传输的板卡,如“黍姐仿通行证”这类可能涉及身份识别、数据交互的硬件项目,选择正确…

2026/8/22 0:00:11 阅读更多 →
电气考研电路八月强化四步法:从知识体系到真题实战的闭环攻略

电气考研电路八月强化四步法:从知识体系到真题实战的闭环攻略

这次我们来看一个针对电气考研电路科目的学习规划项目。它不是软件工具,而是一套聚焦于8月份关键节点的备考策略。对于电气工程考研的同学来说,电路分析是专业课的重中之重,也是拉开分差的关键。进入8月,复习进入强化阶段&#xf…

2026/8/22 0:00:11 阅读更多 →
消除AI代码的“AI味”:Claude Code设计优化技能配置与实战指南

消除AI代码的“AI味”:Claude Code设计优化技能配置与实战指南

大家好,我是专注于前端开发与AI工具实践的技术博主。在日常使用 Claude Code 等AI编程助手时,你是否也遇到过这样的困扰:生成的代码功能上没问题,但代码风格、组件设计、交互逻辑总透着一股“AI味”——布局单调、样式简陋、交互生…

2026/8/22 0:00:11 阅读更多 →

周新闻

基于阿里云与通义千问(Qwen)构建AI应用:从模型调用到生产部署的完整实践指南

基于阿里云与通义千问(Qwen)构建AI应用:从模型调用到生产部署的完整实践指南

如果你是一名开发者,最近可能已经感受到了AI大模型正在从“玩具”变成“生产力工具”的强烈信号。从代码补全到智能Agent,从本地部署到云端API,我们正处在一个技术栈快速重构的节点。然而,面对层出不穷的模型、框架和工具&#xf…

2026/8/21 3:21:33 阅读更多 →
工业通信系统底层逻辑:04 反射——高频能量撞墙之后会发生什么?

工业通信系统底层逻辑:04 反射——高频能量撞墙之后会发生什么?

第四篇:反射——高频能量撞墙之后会发生什么? —— 你以为信号已经过去了,其实它正在回来打你 老Q的现场笔记 第五季,我们正式进入工业神经系统层。这里不再是单个设备的战斗,而是整个工厂“经脉”层面的秩序之战。从这一篇开始,你将第一次看清:看似简单的信号传播,背…

2026/8/22 8:09:09 阅读更多 →
【文章复现】非线性值迭代自适应动态规划(ADP):离散时间非线性系统的策略迭代自适应动态规划算法研究附Matlab代码

【文章复现】非线性值迭代自适应动态规划(ADP):离散时间非线性系统的策略迭代自适应动态规划算法研究附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室👇 关注我领取海量matlab电子书和…

2026/8/21 6:07:56 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/21 16:42:28 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/22 7:31:03 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/22 3:22:48 阅读更多 →