本文整理自 AICon 上海分享「阿里AI红队 - REAL智能体统一风险矩阵与自动化红队实践」演讲者宋奇钊通过AI音视频总结工具Ai好记进行视频转文字整理以下为精炼整理后的内容。AI智能体的安全风险正在爆发智能体Agent正从简单的Chatbot快速演变为具备工具调用、沙箱执行、自主决策的复杂系统。这种进化带来一个严峻的问题安全风险的范围和量级被数倍放大。传统软件中的一个小问题——比如一个未鉴权的API——在Agent场景下可能因为Agent的自主执行能力而被放大为「接管整个云环境」的严重漏洞。Agent会主动去调用这个API去获取数据去执行操作而不会像人类一样判断「这该不该做」。阿里AI红队的调研数据显示当前智能体的安全风险高度集中指令注入和基础设施缺陷两类问题占总风险的87%。REALMatrix三维风险矩阵传统的安全风险清单是扁平的——列出了几十上百种风险但问题是当风险快速变化时清单永远跟不上。阿里AI红队提出的解决方案是一个三维坐标系把风险放在三个维度上坐标化维度一原因Reason问题发生的根源分为四类原因说明典型场景指令注入攻击者通过输入诱导Agent执行非预期操作提示词注入、间接注入幻觉偏差模型输出虚假信息导致错误决策幻觉生成的API调用基建缺陷基础设施层面的安全漏洞未鉴权的API、权限配置错误功能滥用Agent功能被用于非预期目的越权访问、数据窃取维度二影响X-Effect问题导致的后果机密性数据泄露、凭证窃取完整性数据篡改、系统被控制可用性服务中断、资源耗尽无害性生成有害内容、诱导用户风险行为维度三层级Layer问题发生的系统层面层级说明安全关注点交互层用户与Agent的界面提示词注入、输出安全认知层模型的推理和决策幻觉、偏见、恶意诱导执行层Agent的工具调用和操作API鉴权、沙箱逃逸基础设施层底层运行环境供应链攻击、容器安全风险坐标化的优势任何一个安全风险都可以表示为 (R, X, L) 的三维坐标。这样做的好处体系化覆盖任何新的风险都能找到它在矩阵中的位置不会遗漏统一度量不同智能体产品的风险可以横向对比趋势洞察看坐标分布就知道安全重心在哪一层、哪类原因集中攻击路径的多样性智能体时代的攻击路径比传统软件丰富得多纵向穿透攻击从交互层开始逐层向下穿透用户输入 → 交互层指令注入→ 认知层诱导决策→ 执行层调用API→ 基础设施层获取权限在这个过程中每一层都放大了攻击的面和影响。横向供应链攻击攻击者不直接攻击目标系统而是通过污染其依赖的组件来间接攻击。一个典型案例攻击者往npm包中植入后门当Agent使用这个包时后门就被触发。这种攻击在Agent场景下尤其危险——因为Agent会自动拉取、安装和执行代码供应链上的任何一个环节被污染都会在毫秒级内触发。自动化红队实践「Agent测Agent」面对海量测试需求人工渗透测试完全跟不上开发速度。阿里AI红队的解决方案是——用Agent来检测Agent的安全漏洞。核心架构自动化红队系统由几个组件构成组件职责逆向工程模块自动分析目标应用的结构梳理功能边界UI模型辅助在无法完全分析时使用UI模型辅助点击和交互环境模拟池构建虚假应用假微信、假支付宝 云手机/云桌面池多轮判读引擎对不稳定的执行结果进行统计分析和多轮验证测试流程目标Agent接入 → 逆向分析架构 → 构建攻击模型 → 自动化执行攻击 → 判读结果 ↓ 发现漏洞 → 归档到REALMatrix ↓ 未发现 → 调整攻击策略继续挑战与应对挑战应对方案Agent形态多样云端/移动端/桌面端云手机云桌面池多种环境适配多为黑盒/闭源逆向工程UI模型辅助行为画像执行结果有随机性多轮统计结合脚本LLM人工判读测试环境难以模拟构建虚假服务模拟真实业务场景安全重心的U型迁移阿里AI红队观察到一个规律——AI安全的重心正在经历一个U型迁移初期 现在 未来 │ │ │ ▼ ▼ ▼ 内容安全 ──→ 基础设施安全 ──→ 模型内生安全 (防说错话) (围住做错事) (盯住自主决策)这个规律的意思是初期大家关注的是模型会不会输出有害内容对齐问题现在随着Agent普及基础设施安全成为主要矛盾权限、鉴权、供应链未来当基础设施加固之后攻防将回到模型内部的认知和意图安全——如何防止模型在自主决策时被恶意诱导或产生有害推理对安全团队来说理解这个迁移规律有助于提前布局现在的重点是基础设施安全但模型内生安全的研究不能停。对企业引入智能体的安全建议内部权限管控高权限的Agent工具被普通员工滥用风险极高。建议对Agent的能力进行分级敏感操作设置多人审批。误操作防护Agent错误理解指令可能导致不可逆的数据丢失。常见的例子——Agent收到「清理临时文件」的指令结果把整个服务器的/tmp目录清空了。需要在执行层设置沙箱和审计。供应链安全Agent依赖的第三方组件需要经过安全检查建立白名单机制避免被供应链攻击渗透。建立统一的度量体系参考REALMatrix把不同Agent产品的风险放在同一坐标下来衡量方便对比决策。FAQQREALMatrix是开源的吗AREALMatrix是阿里AI红队提出的框架当前主要供内部使用可以参考其思路建立自己的风险矩阵。Q自动化红队系统能替代人工渗透吗A不能完全替代。自动化系统适合大规模的日常检测和已知类型漏洞的发现。深度、复杂的攻击链发现仍然需要人工专家的参与。Q小团队做AI Agent安全应该从哪里入手A从最基础的做起——API鉴权检查、提示词注入测试、权限最小化。不一定要先建自动化红队系统先把基础安全防线建立起来。以上内容由 Ai好记 转录整理。Ai好记是一款音视频转图文笔记的AI音视频总结工具支持解析B站、抖音、小红书、小宇宙等平台链接及本地音视频文件转录后自动生成要点总结、思维导图和结构化笔记等内容帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。