[论文学习]IterInject:基于反馈引导迭代优化的LLM智能体间接提示注入攻击
IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization论文重点IterInject提出了一套基于反馈引导的迭代优化框架将间接提示注入Indirect Prompt Injection, IPI从“一次性手工构造”升级为闭环自适应攻击。该框架通过“注入-诊断-优化”的迭代循环使对抗载荷能够根据目标模型的实时行为反馈持续自我进化在AgentDojo和InjectAgent两个基准测试上显着优于静态基线及现有自适应方法。核心研究内容问题定义LLM智能体在复杂任务执行过程中需要读取和处理大量外部不可信内容如网页、邮件、文档、数据库字段等。攻击者可以将恶意指令嵌入这些外部数据源中当智能体读取并处理这些内容时恶意指令便会“间接”注入模型并劫持其行为。现有攻击方法要么依赖固定的手工构造载荷无法适应不同智能体的防御策略要么虽然引入了迭代优化但缺乏结构化的反馈信号来有效引导优化方向。创新方法IterInject的核心创新在于构建了一个闭环迭代优化框架主要包括三个模块规则化诊断器Rule-based Diagnoser分析目标智能体的可见输出生成带有行为描述的结构化结果标签Success / Partial / Detected / IgnoredLLM驱动优化器LLM-based Optimizer基于完整的优化历史而非仅上一步结果来改写载荷策略合成器Synthesis Step从失败模式中生成新的伪装种子使策略空间能够自我演化。此外论文还提出了ChatInject攻击方法通过将恶意载荷格式化为模仿原生聊天模板的形式利用模型固有的指令遵循倾向实施攻击。研究成果实验复盖了四个受害模型在AgentDojo上IterInject的攻击成功率显着提升——DeepSeek-V4-Flash从静态提示的32.9%提升至47.8%在InjectAgent上静态提示几乎无效而IterInject将总成功率提升至33%到90%不等。在Claude Code具备分层防御的生产级编码智能体上的扩展实验显示优化后的载荷在9个目标中的5个实现了完全成功。论文还通过机制分析发现IPI存在一个注意力中介的阈值机制——成功攻击会在中后层集中注意力于载荷token直到模型从拒绝翻转为遵从。实际落地应用的可行性IterInject以黑盒方式运行仅需观测目标智能体的可见输出即可进行优化无需访问模型内部参数。这意味着攻击者只需在智能体的数据获取流中建立一个“落脚点”如控制一个被智能体读取的网页或文档即可迭代适配目标智能体的防御。这种低门槛、高适应性的特性使其在实际攻击场景中具有较高的可行性。技术细节IterInject的整体工作流程可概括为以下循环初始化从一个伪装种子库中选取初始载荷植入智能体将读取的外部内容中。注入与观测目标智能体读取包含载荷的内容后产生输出攻击者观测其可见行为。诊断规则化诊断器将观测结果分类为Success、Partial、Detected或Ignored并附加行为描述。优化LLM驱动的优化器基于完整优化历史包括所有历史载荷和对应诊断结果生成改进后的载荷。演化合成器从反复出现的失败模式中提取规律生成新的伪装种子扩展策略空间。迭代重复步骤2-5直至达到预设迭代次数或攻击成功。从机制层面看论文揭示了IPI成功的内在机理在Qwen3.5-27B等模型中成功攻击会在中后层引发注意力分布的质变——载荷token获得集中关注直到越过某个阈值使模型的“拒绝”状态翻转为“遵从”。论文通过三种因果干预验证了这一发现为防御设计提供了明确方向。研究设定基准测试AgentDojo和InjectAgent两个IPI评估基准受害模型四个不同的LLM包括DeepSeek-V4-Flash、GLM-5.1等生产环境验证Claude Code具备分层防御的生产级编码智能体运行模式黑盒访问仅需观测目标智能体的输出论文状态已提交至EMNLP 2026综合分析这篇论文的贡献可以从三个层面来理解第一方法论层面。IterInject将提示注入从“一次性攻击”升级为“优化问题”。这种范式转换的意义在于过去的手工构造载荷在面对不同模型、不同防御策略时几乎不具备泛化能力而IterInject通过结构化反馈实现了攻击策略的自动适配。这实际上借鉴了强化学习和自动红队的思想但将其应用于IPI这一特定威胁场景。第二实证层面。论文在Claude Code上的实验结果尤其值得关注——这是一个具备分层防御的生产级系统而非实验室环境下的简化模型。5/9的完全成功率说明即便是当前最先进的防御体系面对这种自适应迭代攻击仍然存在显着漏洞。更重要的是即使未能完全成功的4个目标在迭代优化下也表现出了可测量的改进——这意味着“完全防御”可能是一个不切实际的目标。第三机理层面。论文发现的注意力阈值机制为防御研究提供了精确的切入点。如果成功攻击依赖于在中后层集中注意力于载荷token那么防御策略可以有针对性地设计——例如在推理过程中监测注意力分布、在特定层施加注意力扰动、或设计更鲁棒的指令层次结构。这种“以攻促防”的思路与传统的安全研究范式一脉相承。当然IterInject也存在一定的局限性。框架依赖LLM-based优化器本身的质量优化器的能力边界可能成为整个系统的瓶颈。此外论文的实验主要针对特定类型的智能体任务其在更广泛的任务类型和更多样化的模型架构上的表现仍需进一步验证。实践应用对红队和安全研究人员的建议IterInject提供了一套可直接参考的自动化红队工具链。只需黑盒访问目标智能体的输出即可系统性地探测其IPI漏洞。在安全评估中可以将IterInject作为基准攻击工具用于评估防御措施的有效性。诊断器的输出标签Success/Partial/Detected/Ignored提供了一个量化的漏洞评估框架有助于生成可比较的安全评估报告。对防御方的建议注意力监测鉴于论文发现IPI成功依赖于中后层的注意力集中机制可以考虑在推理过程中监测注意力分布建立异常检测规则。输入来源强化IterInject的成功依赖于攻击者在智能体的数据获取流中建立“落脚点”。强化对外部数据源的可信度验证、实施严格的输入来源标记如spotlighting技术可以从源头增加攻击难度。分层防御迭代IterInject在Claude Code上未能完全攻破全部9个目标说明分层防御确实能提升安全性。防御方应持续迭代防御策略而非依赖单一防护手段。对抗性训练可以将IterInject生成的优化载荷纳入训练数据通过对抗性训练增强模型的鲁棒性。参考资料原始论文IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization (arXiv:2605.24659, Submitted to EMNLP 2026)作者Zixuan Chen, Jiaxiang Chen, Li Luo, Ke Xu, Xiaoxiang Huang, Tanfeng Sun, Xinghao Jiang

相关新闻

单片机毕设项目:基于单片机的手动可控胎压安全检测装置 基于嵌入式传感的车载气压阈值调控系统设计(015301)

单片机毕设项目:基于单片机的手动可控胎压安全检测装置 基于嵌入式传感的车载气压阈值调控系统设计(015301)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于嵌入式单片机,Java、小程序技术领域和毕业项目实战 ✌️…

2026/10/19 0:31:13 阅读更多 →
Numpy数据统计实战:从向量化计算到多维聚合的完整指南

Numpy数据统计实战:从向量化计算到多维聚合的完整指南

1. 项目概述:从数据到洞察,Numpy统计的实战价值 如果你刚开始用Python处理数据,可能会觉得Pandas是万能的。但当你真正深入到大规模数值计算、算法底层或者性能敏感的场景时,你会发现,Numpy才是那个默默支撑一切的“幕…

2026/10/19 0:32:29 阅读更多 →
天猫返利APP大促压测实践:如何提前预判系统性能瓶颈

天猫返利APP大促压测实践:如何提前预判系统性能瓶颈

天猫返利APP大促压测实践:如何提前预判系统性能瓶颈 大家好,我是省赚客APP研发者微赚淘客! 每年的618、双11大促,对于返利APP来说都是一场技术大考。瞬时涌入的海量流量,如同一场突如其来的洪峰,任何一个微…

2026/10/18 0:29:11 阅读更多 →

最新新闻

ESP32应用商店:固件模块化分发与动态加载实战

ESP32应用商店:固件模块化分发与动态加载实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 1:59:27 阅读更多 →
AI服务器供电架构巨变:从300W到5.5kW,从12V到50V的工程实践

AI服务器供电架构巨变:从300W到5.5kW,从12V到50V的工程实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 1:59:27 阅读更多 →
移动端LLM自动化测试:通用Agent框架下沉的五层架构与踩坑复盘

移动端LLM自动化测试:通用Agent框架下沉的五层架构与踩坑复盘

这个系列前面聊了好几期的LLM自动化测试,Web端、PC端都踩过不少坑,到了移动端这一篇,我想换个角度来聊——不是再写一篇“怎么调Prompt让Agent点按钮”,而是聊一件更扎心的事:当通用Agent框架真的下沉到测试场景时&…

2026/10/19 1:59:27 阅读更多 →
桌面端本地离线AI推理实战:llama.cpp与GGUF模型选型部署指南

桌面端本地离线AI推理实战:llama.cpp与GGUF模型选型部署指南

1. 桌面端本地推理的选型背景与核心思路把大模型塞进桌面端这件事,最早让我动心的是一个很朴素的需求:断网环境下也要能用。我做的一些项目经常需要在客户内网、展会现场、甚至飞机上处理文本,云端API一断就抓瞎。于是从去年开始,…

2026/10/19 1:59:27 阅读更多 →
基于语义空间的可召回KV Cache压缩:突破长文本推理显存瓶颈

基于语义空间的可召回KV Cache压缩:突破长文本推理显存瓶颈

1. 项目概述1.1 核心需求解析这篇论文瞄准的是大模型推理中一个非常现实的痛点:当上下文长度不断拉长,KV Cache占用的显存几乎呈线性膨胀,最后把推理卡死在显存上。我用一个很直白的例子来说明——你部署一个7B参数的模型,参数量本…

2026/10/19 1:59:27 阅读更多 →
FuzzFeed: An Automatic Approach to Weakest Precondition Generation using LLMs and Fuzzing

FuzzFeed: An Automatic Approach to Weakest Precondition Generation using LLMs and Fuzzing

文章主要内容和创新点 主要内容 本文提出了一种名为FuzzFeed的自动生成最弱前置条件(Weakest Precondition, WP)的方法,该方法结合大语言模型(LLMs)和模糊测试(fuzzing)技术,通过模糊测试引导(Fuzzing Guidance, FG)机制优化LLM生成的候选WP,最终提高WP的正确性和…

2026/10/19 1:58:27 阅读更多 →

日新闻

频率跟踪型PWM电源设计:臭氧发生器谐振点漂移与软开关实现

频率跟踪型PWM电源设计:臭氧发生器谐振点漂移与软开关实现

简介:本资源为电源技术方向的学术研究文档,聚焦介质阻挡放电型臭氧发生器电源的频率跟踪型PWM控制策略,面向电力电子、高压电源及臭氧应用领域的科研人员与工程技术人员。针对负载呈容性、等效电容随外加电压升高而增大、谐振频率随之漂移的难…

2026/10/19 0:00:47 阅读更多 →
Vibe Coding 遇上 TaoToken:把开发者思维圣殿的灵感流接入统一 Key 通道

Vibe Coding 遇上 TaoToken:把开发者思维圣殿的灵感流接入统一 Key 通道

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/19 0:00:47 阅读更多 →
HundredCV-Chat话题建模实战教程:利用4,871个内置话题标签构建主题分析系统

HundredCV-Chat话题建模实战教程:利用4,871个内置话题标签构建主题分析系统

【免费下载链接】HundredCV-Chat 项目地址: https://ai.gitcode.com/hf_mirrors/Jax-dan/HundredCV-Chat 点击查看 免费下载 HundredCV-Chat 是一个由 100 位青年简历数据开发而来的中文多轮对话数据集,共包含 24,750 组日常闲聊对话和 4,871 个话题标签…

2026/10/19 0:00:47 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/18 0:00:55 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/18 0:00:55 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/19 1:30:52 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 0:55:02 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/17 17:22:31 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/18 12:16:16 阅读更多 →