这几年做AI训练和推理平台我最大的感受是大家讨论的早就不是“用哪张卡跑个demo”而是“在设备采购阶段就选错了架构后面整个技术栈都会被绑死”。AI芯片架构这件事已经从单纯的硬件参数对比变成了一家公司未来三到五年算力规划的核心决策。NVIDIA、Google TPU、AMD、Cerebras、AWS Trainium、Groq这六个名字基本代表了当前AI加速器领域最典型的技术路线有走通用GPU路线的有走ASIC定制路线的有把整个晶圆做成一颗芯片的还有干脆让存算一体的。这篇文章我想站在工程实践的角度把这些架构拆开来看重点聊它们的核心设计逻辑、实际使用中的取舍以及从这些方案里能看出的趋势。1. 为什么AI计算需要专门芯片三个核心问题1.1 算力瓶颈从摩尔定律到内存墙传统CPU设计时目标很单纯让少数几个核心快速处理逻辑分支和通用指令。一个x86核心的面积里大部分给了乱序执行、分支预测、缓存一致性协议真正算浮点运算的单元占比反而不大。这个设计在跑数据库、Web服务时没问题但到了神经网络推理场景就完全错位了——矩阵乘法和卷积运算占掉了九成以上的计算量这种工作负载极度规整不需要复杂的控制逻辑需要的是大规模并行和极低的数据搬运开销。我用一个简单的比喻来说明CPU像是一个数学博士擅长解决各种难题但一次只能做一道题AI芯片像是一整层小学生每人只会做一种题型但能同时算几千道题。真正逼着行业做专用芯片的是“内存墙”问题。今天的AI模型动辄几十亿、上百亿参数数据要在存储单元和计算单元之间不断搬运。按照冯诺依曼架构数据搬运的能耗和延迟远超浮点运算本身GPU之所以能比CPU快一个量级本质上是把大量计算单元怼在同一个芯片上配上高带宽显存让数据搬运的吞吐量跟得上计算速度。1.2 训练与推理的分化稠密矩阵与稀疏逻辑在AI芯片的语境里训练和推理是两种差别非常大的负载。训练阶段最核心的操作是FP32或BF16精度的稠密矩阵乘法梯度要回传、权重要更新精度要求极高而且需要多个加速器协同工作对互联带宽的要求极其苛刻。推理阶段则不同模型参数已经固定更多的工作是矩阵乘加、激活函数、注意力机制的计算对吞吐量和延迟更敏感。这个分化带来一个直接后果训练芯片和推理芯片不能直接互相替代。NVIDIA的H100在训练上是行业标杆但在某些低延迟推理场景里未必比Groq的LPU或者NVIDIA自家的T4更有优势。Google TPU的设计动机很大程度上就是想做一颗“深度有效である”的芯片所以前几代TPU做推理后来才强化了训练能力。1.3 生态锁定为什么我们总在看CUDA抛开性能参数还有一个决定性的维度软件生态。CUDA是NVIDIA最深的护城河。你辛辛苦苦写了一整套基于PyTorch的代码底层默认就调用了cuBLAS、cuDNN、cuFFT这些库。换到AMD的ROCm虽然HIP能自动转译不少代码但总有几个算子性能异常、兼容性翻车让人寸步难行。Google走的是另一条路你用JAX或XLA直接编译到TPU上的底层指令。Groq则干脆自己搞了个编译器走的是非常GPU-like但又不完全兼容的路径。所以聊AI芯片架构不能只聊硬件参数还得聊编译器、算子库、框架适配。这个三角关系才是真实项目里“停不下来”的根源。2. NVIDIA:CUDA护城河与Blackwell架构的算力逻辑2.1 从GPU到AI加速器的转变NVIDIA早期并没有预见到AI这波浪潮。2012年AlexNet用两块GTX 580跑ImageNet比赛拿冠军的时候NVIDIA只是把这当成了“GPU的一个新应用方向”。真正让NVIDIA下定决心改造架构的是2016年左右开始深度学习训练需求量爆发Hopper架构还没出来V100也不完全算AI专用芯片。到了A100NVIDIA引入了Tensor Core支持BF16、TF32等浮点格式为AI训练专门优化了矩阵乘法的吞吐量。H100进一步加入Transformer Engine支持FP8格式把注意力压缩到极致。到Blackwell这一代NVIDIA实际上已经不再纠结“GPU还是不是GPU”——它更像NPC架构的续集但是从物理上重新设计了一遍。2.2 Blackwell架构的技术拆解Blackwell的设计有几个很关键的变化。首先是晶粒拆分dual-die和NV-HBI互连。B200本质上是两颗之前大小的晶粒拼在一起中间用10TB/s级别的超高速互连桥接起来。这样做的意义很直白单颗晶圆的尺寸已经接近光刻极限再大的单die良率会暴跌倒不如把两颗die拼起来通过先进封装解决互连带宽问题。其次是第五代NVLink。NVSwitch把多卡互联带宽推到了1.8TB/s以上而且支持SHARP协议在做AllReduce这类集合通信时可以在网内直接做归约运算不用把所有数据都倒腾到GPU内存里再算一遍。这个设计对大规模分布式训练来说太重要了很多时候瓶颈根本不在算力而在通信。第三是FP4与低精度化的推进。Blackwell把FP4支持的推理专门做成了主要的卖点之一。大白话说精度越低同一块芯片能塞下的有效并行计算量越大吞吐量越高。FP4精度确实会损失一些数值质量但工程师们发现推理时经过量化校准后很多场景完全够用。这个“宁可损失一点精度换吞吐”的思路是近几年最核心的产业趋势之一。2.3 实际部署中的考量H100 vs A100 vs B200我在实际部署中的经验是如果你现在要搭一个新的训练集群H100和B200之间的抉择远没有“加钱上B200”那么简单。H100在做中大规模LLM训练时已经非常成熟cuBLAS、FlashAttention 2、Megatron-LM全部适配完毕踩坑文档也一大堆出了问题好排查。B200虽然单卡算力暴涨但是配套的基础设施要求也水涨船高散热功率更高、NVL72机架级系统需要液冷机房改造成本很高。就拿显存带宽来说B200的HBM3e带宽比H100高了近一倍但如果你只精调到单卡能放下一个小模型这套带宽优势根本释放不出来。如果从推理侧看L40S和L4这类中低端卡反而经常是更好的选择。推理场景对单卡算力峰值没那么敏感更在意的是每路请求的延迟、并发量和单位成本。很多人一上来就上H100做推理结果并发一高排队延迟就上去了反而不如用多张L4做负载均衡来得性价比高。另外一个小细节NVIDIA的GPU驱动和CUDA版本兼容性一直是运维侧的心病。我踩过的坑是:在一台服务器上同时跑了CUDA 11.8和CUDA 12.1环境管理稍不注意就会崩。后来我们索性统一用容器封装运行环境宿主机只装驱动应用层的CUDA库全部打进镜像里这个过程极其痛苦但也是避免黑屏、驱动丢失这类问题的根本手段。3. Google TPU定制ASIC与超级pod互连的路线3.1 TPU的设计哲学为Transformer而生的专用芯片Google做TPU的逻辑和NVIDIA完全不一样。NVIDIA是一家芯片公司做的是通用加速器卖给全世界Google是互联网公司做TPU是为了自己的搜索排序、神经网络翻译和后来的大模型训练。所以TPU从一开始就是个ASIC是专门针对Google内部负载定制的。TPU v1只做推理是2016年搞的当时Google觉得CPU跑深度神经网络太慢了就拿一颗ASIC做矩阵乘法效果惊人。之后的TPU v2开始支持训练TPU v3进一步强化了互连和BF16支持TPU v4确立了如今的核心体系到TPU v5p和Trillium这一代专门针对Transformer架构做了大量的优化。Google是非常典型的“用软件定义硬件”思路既然内部已经有TensorFlow和JAX这种完整的编译器生态那硬件层完全可以让API变得很短编译器来负责把高层计算图映射到TPU的向量、矩阵、标量三种执行单元上。3.2 TPU v4/v5的互连架构TPU单个芯片的算力实话实说没有和NVIDIA拉开差距。行业关于TPU和A100的晶圆级对比已经有很多这里不谈参数只说互连。TPU最让我佩服的是它的pod级拓扑在一个TPU v4 pod里官方自称有4096颗芯片通过光路交换互连用OCIOptical Circuit Switching技术构建了一整套3D环面拓扑。这种拓扑的好处是任意两颗TPU之间的通信延迟和带宽都相对均匀。传统GPU集群在数据中心里经常要面对“同机柜很快、跨机柜很慢”的问题TPU pod直接用光互连解决了对于大规模并行训练尤其有用。大模型训练时梯度同步的数据量非常大如果互连不均匀全局同步的等待时间就会被最慢的那一条链路拖死。我在实际使用中虽然没有接触过4096的TPU pod但即便是在小规模的128芯片TPU切片上也能明显感觉到分布式训练时的通信压力比同规模的GPU集群小很多。这种“整体设计、整体调优”的思路是TPU相比单纯比单卡算力的最大价值。3.3 与NVIDIA的生态差异TPU和NVIDIA生态最悬殊的是底层工具链的成熟度。TPU的编程模型是基于XLA编译器的你写JAX代码定义一个jitted的函数XLA负责把它编译成TPU可执行文件你写PyTorch代码则需要通过PyTorch/XLA这个桥接层来翻译。听起来可行但实际工程中很多模型里用到了高维张量操作或动态shapeXLA编译时间可能长达几分钟甚至更久到了调试阶段非常痛苦。相比之下CUDA生态里的NVIDIA Nsight工具、PyTorch Profiler都成熟得多一行一行分析性能问题非常方便。但Google生态的优势在于一体化的系统设计——芯片、编译器、集群调度、芯片间互连全是自家的可以做到非常深的协同优化。对于Google这种有能力为每一个项目投入大量软件工程资源的团队这是完美方案。对于普通企业想完全吃透TPU工具栈成本高得惊人。所以TPU的定位在我看来很适合大规模、重研发、不差钱和人的超大规模云团队而不是普通搞AI应用的中小公司。4. AMD与Groq两套不同的“性价比”与延迟叙事4.1 AMD MI300系列追赶者但性价比更高AMD这几年的AI加速器路线一直是在“兼容CUDA”和“走自己的ROCm生态”之间走钢丝。MI300系列是当前最核心的平台有CPUGPU融合的MI300A也有纯GPU的MI300X后者在很多LLM推理场景里用起来相当有竞争力。MI300X最吸引人的一点是192GB的HBM3显存。做推理的人都知道显存大小直接决定了你能不能把一个大模型塞进单卡里。模型不需要跨卡切分整卡常驻推理框架就不用考虑张量并行了吞吐表现会非常漂亮。在Llama 3 70B这类模型的推理测试里MI300X因为显存容量的优势在不少场景下已经能和H100掰手腕而采购成本往往更低。但ROCm的软件成熟度和CUDA相比差距依然肉眼可见。我在项目中实际尝试过用HIP移植一个CUDA算子中间遇到了几个库函数找不到、编译宏不一致的问题最后虽然能work但损失了两天时间。庆幸的是PyTorch官方的ROCm版本这几年进步很大很多只做纯PyTorch开发的人没有C算子级别的需求时几乎可以无感切换过去。这也是AMD能在当前市场中立足的重要原因——大部分AI从业者并不直接写CUDA用PyTorch就够了这就让ROCm的兼容压力小了不少。4.2 Groq的LPU存算一体与极致延迟Groq这家公司很有趣创始团队是Google TPU的原班人马所以设计思路非常有反叛精神。它不做GPU连“AI加速器”都嫌不够精确他们做的是LPULanguage Processing Unit直接面向语言模型的推理芯片。LPU的核心设计是“以内存为核心”或者说“片上SRAM代替HBM”。它不依赖任何外部DRAM模型权重完全放在芯片内部的SRAM里用软件编译器提前把数据依赖关系全部规划好。这样一来计算单元和存储单元之间的数据搬运距离被压缩到几毫米以内避免了传统GPU访存HBM的几十纳秒级延迟。这里的核心问题是SRAM容量有限一块LPU目前只能放几十MB到几百MB的权重所以Groq的解决方法是把模型切分到多块芯片上用高带宽互连把整个模型“撑”起来。比如跑Llama 3 405B就要把模型切成两百多块整机部署在Groq的推理机柜里然后通过调度器统一对外提供API。这种架构的体验什么样最直观的感受是token延迟极低。Groq官方的API输出速度能做到每秒数百甚至上千token在很多生成场景里几乎没有等待感。代价是它只适合推理训练基本没法做只适合Transformer类模型跨模态视觉模型支持得也不够好。4.3 各自的适用场景AMD的MI300系列更适合那些对总拥有成本敏感、训练推理兼顾、又不想被CUDA锁定的团队。而Groq则更激进它只解决了一个问题——高吞吐、低延迟的推理服务但在模型灵活性和生态广度上做了很大的牺牲。我在评估Groq时最大的顾虑是它的编译器只支持有限的算子族模型开发过程中稍微用点自定义op就会很头疼。而如果你做的恰恰是标准LLM API调用、内容生成量又大的场景Groq的吞吐优势和稳定延迟会给你留下深刻印象。选择AMD还是Groq本质上是你优先保灵活性还是优先保延迟的问题。5. Cerebras与AWS Trainium晶圆级芯片与云原生ASIC5.1 Cerebras wafer-scale引擎的设计逻辑Cerebras的思路在整个行业里最“极致”不做常见大小的芯片直接把一整块晶圆做成一颗芯片。Wafer-Scale Engine第三代做到了一颗芯片87倍于常规GPU的面积板载超过44GB的片上SRAM互连带宽大幅提升。为什么要做成晶圆级还是内存墙问题。常规GPU的短板是HBM带宽有限而Cerebras的思路是把存储和计算放在同一块硅片上数据搬运不再需要跨芯片走外部互连所有通信都在片上完成。对大模型训练来说这意味着一颗Cerebras芯片能当成一整台小集群用训练任务不再需要数据并行切分得那么碎。但晶圆级最大的工程难点是良率。一整片12英寸晶圆只要有一个小瑕疵整片就会报废。Cerebras在设计中加入了大量冗余设计和容错机制甚至连这种冗余本身也在大量消耗芯片面积。这直接导致它的成本居高不下只在一些超大规模客户中落地。专门写过一套分布式的权重更新和数据流水线调度复杂度高得惊人。5.2 AWS Trainium的云原生ASICAWS Trainium的思路更务实。AWS坐拥全球最大的云基础设施做AI芯片不是为了卖卡而是为了降本增效——给自家云上客户提供更便宜的训练和推理算力选择。Trainium 2在Mn1实例上提供主打的就是一个“性价比”。Trainium架构上其实不算激进逻辑和存储单元阵列搭配高带宽HBM支持FP16、BF16、FP32等常见精度也支持自动微分训练。它最厉害的地方是从云原生设计的角度出发——互联是自研的EFAElastic Fabric Adapter架构可以直接扩到超大规模集群和云VPC网络无缝集成。实际体验上Trainium最大的挑战还是生态。虽然AWS SDK里已经支持PyTorch和JAX但很多优化tegic库比如FlashAttention官方没有提供CUDA版的原生支持。好在AWS自己开发了Neuron SDK做了不少性能补偿让我在Trainium上推理一个GPT类模型时性能还说得过去。关键优势是价格同样的训练任务用Trainium的实例往往比同等GPU实例便宜不少适合对成本敏感、模型结构稳定的业务。5.3 这些“非主流”路线的意义Cerebras和AWS Trainium看起来是天平的两端一个把工程做到极致把单芯片面积拉满一个把系统做到极致把云端多节点协同当成了默认能力。但它们共同的意义在于证明了AI芯片不是只有“GPU一条路”。这让整个生态更有生命力也客观上倒逼NVIDIA和AMD加速更新架构和定价策略。如果只有一家厂商主导AI芯片市场行业的创新速度一定不会像现在这么快。6. 从六家方案看AI芯片的发展趋势6.1 从硬件到系统互连、内存与集群编排纵观这六家公司的路线一个清晰的趋势是单芯片算力不再是核心叙事系统级能力才是。NVIDIA已经不卖单卡了而是推DGX SuperPOD整个机柜级系统TPU强调pod级互连Cerebras用晶圆级方案减少跨芯片通信AWS把Trainium直接嵌到网络架构里。大家都在做“把更多芯片拧成一股绳”的工作。原因很简单给一个模型做单卡优化边际收益已经越来越小真正的瓶颈在跨卡通信、数据流水线、以及内存规划。未来真正拉开AI芯片差距的会是谁能提供更高效的集群互联、更智能的调度编排和更细粒度的资源切片。你单卡再快组网不行效率就会被拉下来。6.2 能效比与TCOAI部署的隐性成本我见过太多人计算AI成本时只盯着GPU采购价格忽略了电费和散热。GPU集群满载运行时的功耗是惊人的数据中心如果没配好液冷系统H100的机柜根本无法长期稳定运行。这也是为什么Blackwell的NVL72要强制用液冷的原因——功率密度太高了。从TCO角度Groq的低延迟架构和Cerebras的高效存储互连都开始强调能效比而不是绝对算力。在推理场景新一代模型如果不需要训练完全可以用更低的精度、更精简的算子组合在总成本上已经能和GPU打的有来有回。我认为能效比、每token成本和单次推理延迟这三个指标正在取代FLOPS和显存容量成为AI芯片评估的新基准。6.3 第三个倾向开放标准与编译栈最后是我个人非常看重的一点编译栈和软件定义硬件的能力。从NVIDIA的CUDA到Groq的纯编译器、从TPU的XLA到AMD的ROCmAI芯片越来越像“软件定义的硬件”或说“为编译器而生的硬件”。一个成熟的编译栈可以让芯片在发布几个月后就能支撑最新模型也能让开发者快速适配。如果一个芯片公司只交付硬件和一个残废的SDK性能再好也难成气候。六个公司的软件团队规模都在急速扩张这也说明硬件之外软件生态的竞争才是真正的决胜牌。从实践角度看我的建议是不要一上来就看单卡浮点峰值先看看它的生产链路长什么样。比如你有没有一套完整的工具能把模型从开发状态推到生产环境能不能支持动态shape、混合精度、梯度检查点、断点续训有没有完整的监控日志体系踩坑时能不能在社区里找到答案。这些才决定了一款AI芯片能不能真正落地。根据我过去几年的经验这些“看不见的软件层”比芯片本身的架构创新更决定了一个平台的上限。