在近日于上海举办的 AI 芯片高峰论坛上Imagination 技术支持总监艾克发表主题演讲从端侧推理的真实场景出发分享了 Imagination 对异构融合架构的思考以及 E 系列 GPU IP 如何将 AI 能力融入 GPU 核心应对端侧芯片 5-10 年生命周期中的持续变化。一个真实的端侧场景暴露了异构架构的代价艾克首先描绘了一个现实中再普通不过的应用路径无论是手机还是汽车设备先感知数据再建模、推理、决策最后通过 GPU 渲染出来让用户感知到结果。从任务角度看这是一个完整的整体——它需要在确定的时间内完成比如在 32G 带宽的预算内跑完整个流程。但从芯片设计角度看却是另一幅画面视频流处理用 DSPAI 推理用 NPU渲染用 GPU一些不好执行的算子又回到 GPU。这是一个高度异构的结构。异构 IP 之间天然伴随着大量内存吞吐与调度开销。艾克指出这正是当前方案成本上升的三个来源内存墙数据搬移越多功耗越高调度延时各 IP 之间来回调度延迟增加软件栈集成每家 IP 的软件栈与集成方式不同给工程师带来额外负担更关键的是芯片一旦设计完成配置和参数就固定下来了。而一颗端侧芯片的生命周期可能长达 5 年甚至 10 年期间会不断出现新的模型、新的需求。如何让架构具备足够的灵活性与可编程性去应对这些尚未出现的任务是端侧推理芯片设计的核心命题。产业趋势各家都在向可编程中心靠拢艾克观察到异构架构中的各个角色都在做相似的事情CPU 在增加向量与矩阵运算能力NPU 发现自己太专一、开始增加可编程性而 GPU 本身拥有海量并行度正从以图形为主逐步走向计算走向并行度极高的 AI 场景。GPU 正在成为这个可编程的中心。Imagination 的判断是与其在 GPU 之外再堆一个独立的 AI 加速器不如把 AI 能力直接放进 GPU 里面。当 GPU 内部增加更多的 AI Tensor Core 能力前面提到的那些开销就会大幅减少——内存搬运少了调度延时低了工程人员的集成工作也更简单。E 系列 GPU IP把 AI 放进计算核心靠近 USCImagination 是一家专注于自研 GPU IP 架构的公司全球有一百多亿台设备在出货拥有 TBDR 渲染、光追、汽车功能安全等大量专利产品布局覆盖消费电子、汽车以及国产替代方案。在 E 系列架构中Imagination 的思路是在计算中心里加入 AI 能力让它尽可能靠近通用计算的部分。具体来说AI 能力被放置在架构上离 USC统一着色集群非常近的位置——那里提供 GPU 最通用的 FP32 算力。AI 部分负责 Tensor Core 式的矩阵大量运算与 GPU 的通用运算协同工作。这样一来寄存器、memory 开销以及 cache 都可以在同一个架构内完成不再需要跨 IP 搬运。在底层E 系列保证了图形渲染与 AI 能力的结合在此之上可以通过域与域之间的互联或多核方案满足端侧推理所需的算力。艾克举例说目前四核拼在一起可以提供 200 多 T 的 INT8 本地运算能力同时兼具 13T 的浮点运算能力。端侧部署对内存带宽非常敏感权重格式与轻量化至关重要。E 系列在格式支持上做了广泛覆盖以支持轻量化部署的需求。挑战在调度固件统一调度多任务隔离真正的挑战在于既要兼顾渲染又要兼顾端侧 AI 的协同。在一个核里渲染与计算的调度同样需要考量。Imagination 在硬件中内置了固件负责调度任务并管理开销从而降低延迟。同时多任务之间的隔离也是重点不同任务的优先级如何设定、调度如何更优化、内存空间如何更好地独占。艾克举了一个汽车场景的例子自驾推理过程中如果娱乐系统挂掉了仪表盘不能出问题。这类需求在 AI 芯片设计与 GPU 协同之间需要更好的调度机制来支撑。在软件层面传统的 API 调用满足图形图像渲染要求而当一个核里兼容了 AI 运算之后如何把 AI 能力开放出来是各家方案企业都在做的事。Imagination 的做法与 NVIDIA 类似在中间层提供 AI 算子库如 ImgNN算子库同时提供图优化库ImgGC用于大模型端侧部署时的图层 compile 优化还提供傅里叶变换(ImgFFT)等端侧 AI 常见运算库。底层优化好之后上层建模型、计算和AI应用可以直接调用这些库再结合前面的软件栈高效调度功能整体达到更好的性能与功耗表现。性能表现图形与 AI 结合带来的提升基于这套方案Imagination 跑了一些同时带渲染与计算的游戏场景。在《古墓丽影暗影》这类调度 API 调用非常重的任务中以及炮火光粒子等用 AI 计算的效果中图形与 AI 的结合都带来了收益。由于调度更紧凑、AI 结合更紧密功耗也下降了很多。在超分场景中原本需要渲染 1080P 的画面可以先渲染 540P再用 AI 放大。这样一来渲染本身的计算任务被腾出来交给 AI 结合处理。由于计算 ALU 与 RAM 距离很近——不再是两个独立 IP——memory 吞吐也更高效。效果是渲染 1080P 可以在更小的 2.3 毫秒内完成带宽节省 54%借助 AI 超分以及压缩技术可去除65% 的权重不再使用。端侧大模型推理prefill 与 decode 的实测数据在 AI 计算方面E 系列相比上一代有显著提升传统卷积运算4.4 倍提升矩阵运算4.8 倍提升这些能力可以解决大量边缘侧推理任务——左侧的检测、分支等任务右侧的大模型本地化推理。在大模型测试中Imagination 分别测试了 prefill 与 decode 阶段prefill 阶段相比上一代有 4.3-4.7 倍提升。prefill 是计算密度集中型任务AI 能力融入后性能提升明显decode 阶段与内存带宽和吞吐相关端侧融合 AI 方案后能更好地支持端侧大模型推理在实际应用场景中比如汽车、盲人识图、质检、邮箱处理等都可以把模型放在本地处理。基于 E 系列架构第一个 token 出来是亚秒级的decode 阶段可以达到 120 tokens/秒。现场演示中千问 3.5 的 4B 模型在端侧运行。艾克强调很多数据在端侧处理更有价值——日历、日程、邮箱信息等不宜上传本地处理既保护数据又不受信号限制。在开发场景中本地模型可以了解整个代码工程而不是只给出片段信息从而提升笔记本上的 coding 能力。下一代更融合、更扩展、更紧凑艾克在演讲最后展望了 Imagination 的路线图E 系列这一代是把 AI 融合到 GPU 里面去。下一代Imagination 正在考量如何更好地配置、把核做得更大、扩展性更强能够灵活地适应从大到小的融合需求。更长远来看则是追求更有效率、密度更高、整个 pipeline 更紧凑的架构规划。艾克说“Imagination 是一家全球领先的GPU和AI IP 公司很希望跟国内生态伙伴一起在图形、计算、AI 领域有更多的合作。”