SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...
文章主要内容总结该研究针对大型语言模型(LLMs)在移动和边缘设备部署时面临的模型提取攻击风险,提出了一种混合框架SecureInfer。其核心思路是结合可信执行环境(TEEs,如Intel SGX)的硬件隔离能力与GPU的高性能计算优势,通过威胁感知和信息论驱动的细粒度模型划分,在保障隐私安全的同时避免性能损耗。具体而言,SecureInfer将LLMs中隐私敏感组件(如Q/K/V投影、注意力分数计算、前馈网络块、LoRA适配器等)部署在SGX安全飞地中执行,而将计算密集但安全性要求较低的线性操作(如矩阵乘法)加密后卸载到GPU,CPU仅负责输入输出等非敏感控制流程。通过分块安全张量执行、轻量级加密、一次性掩码等优化策略,解决了边缘设备内存有限、延迟敏感的问题。实验基于定制化LLaMA-2模型验证,结果显示:与纯TEE部署相比,SecureInfer实现了最高4.7倍的速度提升;与纯GPU部署相比,仅产生2.06倍的延迟开销,且输出保真度损失极小(BLEU分数下降低于0.12);在黑盒攻击场景中,能有效降低模型提取 fidelity,token匹配率仅为56.4%,为边缘设备上LLMs的安全部署提供了实用解决方案。文章创新点混合架构设计:首次提出TEE-GPU异构协同框架,突破纯TEE性能瓶颈和纯GPU隐私漏洞,实现安全与性能的平衡。细粒度威胁感知划分策略:不同于传统基于层深度的粗粒度划分,基于组件敏感性(抗模型提取攻击能力)和计算强度进行精准划分,适配Transformer

相关新闻

EX-GAS与Odin Inspector集成:如何充分利用可视化配置提升开发效率

EX-GAS与Odin Inspector集成:如何充分利用可视化配置提升开发效率

EX-GAS与Odin Inspector集成:如何充分利用可视化配置提升开发效率 【免费下载链接】gameplay-ability-system-for-unity Gameplay-Ability-System For Unity 项目地址: https://gitcode.com/gh_mirrors/ga/gameplay-ability-system-for-unity EX-GAS&#xf…

2026/7/23 9:40:12 阅读更多 →
DXPopover vs 系统UIPopoverController:为什么选择这款Facebook风格弹窗库?

DXPopover vs 系统UIPopoverController:为什么选择这款Facebook风格弹窗库?

DXPopover vs 系统UIPopoverController:为什么选择这款Facebook风格弹窗库? 【免费下载链接】DXPopover A Popover mimic Facebook app popover using UIKit 项目地址: https://gitcode.com/gh_mirrors/dx/DXPopover 在iOS开发中,弹窗…

2026/7/22 14:59:01 阅读更多 →
如何解决apple-signin-unity常见问题:从配置到代码的完整解决方案 [特殊字符]

如何解决apple-signin-unity常见问题:从配置到代码的完整解决方案 [特殊字符]

如何解决apple-signin-unity常见问题:从配置到代码的完整解决方案 🍎 【免费下载链接】apple-signin-unity Unity plugin to support Sign In With Apple Id 项目地址: https://gitcode.com/gh_mirrors/ap/apple-signin-unity Apple Sign-In for …

2026/7/21 1:01:59 阅读更多 →

最新新闻

【PTrade】PTrade如何过滤ST、停牌和退市股票?完整教程

【PTrade】PTrade如何过滤ST、停牌和退市股票?完整教程

本方案由 EasyQuant AI量化助手 提供。如有更多问题,直接用 EasyQuant AI量化助手 帮您快速解决量化交易编程难题。 问题背景 量化选股后不能直接下单。ST 股票、停牌股票或退市整理标的可能导致无法正常交易,因此策略需要在交易前完成状态过滤。 PTr…

2026/7/23 22:14:16 阅读更多 →
轮播图库:支持多种特效的Banner组件库(242)

轮播图库:支持多种特效的Banner组件库(242)

在鸿蒙(HarmonyOS)生态中,构建一个支持多种特效的 Banner 组件库,可以基于系统原生的 Swiper 组件进行深度封装,或者针对特定场景(如圆形屏幕)使用 ArcSwiper,也可以结合 Stack 实现…

2026/7/23 22:14:16 阅读更多 →
zynq高频小数据量PS闭环的三个实验-第3课:Linux驱动测试

zynq高频小数据量PS闭环的三个实验-第3课:Linux驱动测试

参考 zynq高频小数据量PS闭环的三个实验-第0课:目的和目标 zynq高频小数据量PS闭环的三个实验-第1课:PL搭建 zynq高频小数据量PS闭环的三个实验-第2课:Vitis裸机测试 zynq高频小数据量PS闭环的三个实验-第3课:Linux驱动测试

2026/7/23 22:14:16 阅读更多 →
从手工填报到实时决策:AI报表自动化实施路线图(含POC验证清单+ROI测算表)

从手工填报到实时决策:AI报表自动化实施路线图(含POC验证清单+ROI测算表)

更多请点击: https://codechina.net 第一章:从手工填报到实时决策:AI报表自动化实施路线图(含POC验证清单ROI测算表) 传统报表流程常陷于跨系统取数、人工校验、Excel反复粘贴的低效循环,平均耗时6.8小时…

2026/7/23 22:14:16 阅读更多 →
每日一Go-83、Cobra 使用实战:10 分钟打造专业级 CLI 工具

每日一Go-83、Cobra 使用实战:10 分钟打造专业级 CLI 工具

工程里 80% 的自动化,都可以用一个 CLI 工具解决。而 Go 生态里,Cobra 几乎是事实标准。 今天这篇「每日一 Go」,我们不讲概念、不背 API,只讲实战:从 0 到 1,手把手带你用 Cobra 打造一个生产可用的命令行…

2026/7/23 22:13:16 阅读更多 →
基于SpringBoot的医疗管理系统设计

基于SpringBoot的医疗管理系统设计

摘 要 当前医疗领域面临信息化转型压力,传统管理模式中数据分散、流程冗繁以及资源错配等问题日益严重,导致诊疗效率难以满足患者增长的需求。为了打破数据孤岛并优化就医流程,开发一套集成化、智能化的医疗管理系统显得尤为紧迫。该系统旨…

2026/7/23 22:13:16 阅读更多 →

日新闻

从单点好评到指数级传播:AI副业主理人必须掌握的4层口碑渗透模型(含ROI测算表)

从单点好评到指数级传播:AI副业主理人必须掌握的4层口碑渗透模型(含ROI测算表)

更多请点击: https://intelliparadigm.com 第一章:从单点好评到指数级传播:AI副业主理人必须掌握的4层口碑渗透模型(含ROI测算表) 当AI副业主理人不再仅满足于单次服务交付,而是主动构建可复用、可裂变、可…

2026/7/23 0:00:25 阅读更多 →
AI写作开头钩子设计:为什么你的AI文案完读率不足18%?——基于2,346篇A/B测试报告的归因分析

AI写作开头钩子设计:为什么你的AI文案完读率不足18%?——基于2,346篇A/B测试报告的归因分析

更多请点击: https://codechina.net 第一章:AI写作开头钩子设计:为什么你的AI文案完读率不足18%?——基于2,346篇A/B测试报告的归因分析 在对2,346篇跨行业AI生成文案的A/B测试数据进行聚类分析后,我们发现&#xff1…

2026/7/23 0:01:26 阅读更多 →
Chitchatter完整指南:免费开源的终极点对点安全聊天工具

Chitchatter完整指南:免费开源的终极点对点安全聊天工具

Chitchatter完整指南:免费开源的终极点对点安全聊天工具 【免费下载链接】chitchatter Secure peer-to-peer chat that is serverless, decentralized, and ephemeral 项目地址: https://gitcode.com/gh_mirrors/ch/chitchatter Chitchatter是一款革命性的安…

2026/7/23 0:01:26 阅读更多 →

周新闻

Go语言静态资源打包方案对比与实践指南

Go语言静态资源打包方案对比与实践指南

1. 项目背景与核心需求在Go语言开发中,我们经常需要处理静态资源文件的打包问题。无论是Web应用的模板文件、前端资源,还是配置文件、证书等,都需要随程序一起分发。传统做法是将这些文件与编译后的二进制文件放在同一目录下,但这…

2026/7/22 8:58:19 阅读更多 →
Go语言实现高性能LDAP认证服务的架构与实践

Go语言实现高性能LDAP认证服务的架构与实践

1. 项目背景与核心价值LDAP(轻量级目录访问协议)作为企业级身份认证的黄金标准,已经服务了超过80%的财富500强公司。我在金融科技领域实施统一认证体系时,发现传统Java方案存在启动慢、内存占用高等痛点。而Go语言凭借其协程并发模…

2026/7/22 19:43:43 阅读更多 →
【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

更多请点击: https://intelliparadigm.com 第一章:AI面试官实战指南的核心价值与适用场景 AI面试官并非替代人类HR的“黑箱工具”,而是以可解释、可审计、可迭代的方式,赋能招聘全链路的关键基础设施。其核心价值在于将主观经验沉…

2026/7/23 17:49:47 阅读更多 →

月新闻