1. 从一场跨洋对话说起AI算力狂飙背后的“隐性瓶颈”前阵子听到苏姿丰和蒋濛的一场对谈里面有个观点让我印象很深AI的未来不只看芯片能跑多快更看行业怎么合作。乍一听像是场面话但结合我自己这几年在芯片和AI应用两端来回折腾的经历这话其实点破了一个正在发生的产业拐点。先说说背景。苏姿丰手里握着AMD的GPU、CPU产品线MI300系列在AI加速卡市场上和英伟达正面硬刚是当前AI算力供给端最关键的操盘手之一。蒋濛的身份是学者型管理者长期关注半导体供应链、技术战略和产业生态。两个人坐在一起聊AI聊的却不是“我们下一块芯片能到多少TFLOPs”而是合作、分工、开放生态这件事这本身就说明行业风向在变。为什么这么说过去两年大家聊AI芯片基本就仨话题算力峰值多少、显存带宽多大、能跑多大模型。我也写过不少这类内容每次看发布会参数表都热血沸腾。但真正上手做AI应用落地之后才发现单颗芯片再强也只是整个系统里的一环。你拿一片旗舰GPU回来要让它真正跑起来吃满算力前面要解决散热、互联、驱动、算子库、框架适配、分布式调度这一整条链路的问题。任何一环掉链子纸面性能就得打个七八折。更麻烦的是这些环节单靠一家公司根本搞不定必须有人跟你配合——芯片厂要开放底层接口云厂商要优化虚拟化调度框架团队要针对性做算子适配下游应用方还得有懂行的人把它接进业务流里。这篇文章我就围绕“AI的未来在合作而不只是算力”这条主线结合我在算力选型、异构平台适配、模型部署和团队协作这几个层面的实际经验聊聊为什么算力只是入场券真正的分水岭在协作效率以及站在从业者角度怎么看芯片设计、软件生态、产业分工和人才流动这些“慢变量”对AI未来五年的影响。如果你是做AI基础设施、算法工程或者在选型阶段犹豫要不要All In某家芯片平台的读者这篇文章应该能帮你跳出参数表的局限把视野放到算力之外的那些真正决定成败的环节上。2. 芯片性能的“天花板效应”纸面算力和真实吞吐之间隔着什么2.1 一颗芯片从发布到“好用”到底要过多少关我自己踩过最典型的一个坑是前年做一个视频理解模型的服务化部署。当时拿到的评估机是一批最新款AI加速卡单卡官方FP16算力标得很漂亮比上一代翻了一倍还多。结果真把模型放上去吞吐只比旧卡快了不到三成。查了半天瓶颈不在芯片本身而在互联总线——单卡性能翻了倍但卡间通信接口还是老规格张量并行一跑起来通信开销直接把算力增益吃掉了。这就是所谓“天花板效应”一颗芯片能不能发挥出真实性能取决于它所在的整个系统。具体拆开来看一颗AI芯片从流片到真正好用至少要跨过这几道坎内存带宽与容量AI模型尤其是大语言模型对显存带宽和容量的渴求近乎无限。HBM的位宽、堆叠层数、总容量直接决定你能不能装下更大的模型、跑多长的上下文。很多芯片看着算力高显存带宽跟不上实际推理时就会出现“算力饿死”的现象。片间互联现代大模型训练几乎必然采用多卡并行卡与卡之间的通信带宽和延迟决定了扩展效率。NVLink之所以是英伟达的护城河之一正因为它在互联层面做了硬件级优化。后进者在这块的差距往往比单卡算力差距更难补齐。软件栈成熟度这是最容易被参数党忽略的一环。芯片流片回来只是一块硅要让TensorFlow、PyTorch上的模型能跑需要编译器、算子库、运行时调度、通信库一层层适配。英伟达CUDA生态积累了近二十年这是比硬件更难追的壁垒。集群稳定性万卡集群里单卡平均无故障时间、故障检测与自动恢复的速度直接影响真实训练吞吐。一颗芯片就算再强在集群里三天两头掉线实际产出还不如稳定的小集群。2.2 “系统级性能”才是AI时代的真实度量衡所以现在行业内聊芯片越来越多地强调一个概念系统级性能。不是单卡跑分而是“在一个集群里跑一个端到端的训练或推理任务从启动到收敛或响应单位时间能处理多少有效数据”。这个度量衡的变化本质上就是在说芯片很重要但它只是系统的一部分。我举个具体的例子。同样是跑一个70B参数量模型的推理服务用两片小显存卡做张量并行和用一片大显存卡单卡推理哪个吞吐高答案不一定。如果互联带宽够、调度算法好两卡并行的延迟增加可能不超过10%但成本可能只有大卡的一半。反过来如果通信库没调好并行开销翻倍那还不如单卡。再比如训练场景万人期待的“摩尔定律回归”在AI时代其实变了形单芯片算力的提升已经放缓性能增长更多靠的是“堆系统”——更多卡互联、更高效的数据中心设计、更好的分布式框架。英伟达的DGX系列为什么卖得贵它卖的其实就是一个打包好的“系统性能”而不是PCB上那一颗芯片。苏姿丰那场对谈里反复强调合作我理解就是在回应这个变化芯片公司的能力边界有限你不可能一家把编译器、框架、云原生调度、行业应用全做完。必须有人精于硬件有人精于软件有人精于行业Know-how然后紧密结合成一条高效的价值链。AMD的ROCm生态这些年一直在追赶CUDA走的就是联合合作伙伴补软件栈的路子——虽然仍有差距但比单打独斗快得多。3. 算力之外的三条“生命线”互联、软件生态与能效约束3.1 互联技术决定算力集群的真实“体型”整个AI产业对算力的胃口正在从“单一芯片”升级为“集群形态”这意味着互联技术已经是与芯片设计同等关键的变量。目前主流的芯片间互联有几个层次最底层是芯片内部的自定义互联类似英伟达NVLink或AMD的Infinity Fabric负责GPU到GPU、GPU到CPU的高速通信上一层是节点间的网络互联IBInfiniBand或RoCERDMA over Converged Ethernet在支撑大规模集群的并行训练。这一块为什么难做因为互联性能的发挥高度依赖软硬件协同。举个例子你的集群跑数据并行每步都要做一次AllReduce梯度同步这时候网卡的转发延迟、交换机的队列调度算法、通信库的算子实现甚至TCP/IP协议栈的配置都会拖后腿。很多团队用同样的GPU性能却比别人差一大截问题往往出在网络配置。我见过一个团队把RoCE的拥塞控制参数从默认值调低之后训练吞吐直接提了15%。这就是“系统级性能”的典型体现——芯片没换环境变了效果截然不同。再往后看光电共封装CPO等下一代互联技术也在快速走向实用。芯片之间的通信从电信号转向光信号不仅能大幅提升带宽还能压降功耗。但CPO带来的也全是供应链协作问题光模块厂、封装厂、芯片设计公司、服务器OEM谁先谁后、接口标准谁定、良率怎么分摊这些如果不靠紧密合作根本推不动。3.2 软件生态越靠近用户越决定芯片的生死英伟达CUDA为什么会让竞争对手如此难受我觉得一个最本质的原因是用户的代码积累、工程师的技能习惯、已投产的算子库这些“存量资产”都长在CUDA生态里。切换GPU平台不是换一个驱动那么简单而是要把模型里的算子重新适配、调优、验证。对很多公司来说这个隐性成本高到足以打消换平台的念头。后来者要破局无外乎两条路兼容层比如通过翻译层跑CUDA代码好处是用户迁移成本低坏处是性能和稳定性始终隔着一层老问题修不完。原生生态像AMD ROCm这样从硬件指令集到编译栈、库、框架适配都重做好处是性能和能力上限高坏处是工程量巨大且开发者心智占领需要时间。从我实际用下来的对比感受来说ROCm这几年进步确实明显原本只能跑PyTorch的镜像现在TensorFlow、JAX也在逐步适配。但真要在ROCm上跑一套多卡训练你仍然得有“自己动手改算子”的心理准备。这时候你会发现芯片公司如果只卖硬件是活不下去的——必须和框架团队、云厂商、ISV独立软件开发商一起把“开箱即用”的体验做出来。这就是为什么苏姿丰反复强调合作的价值软件生态单靠一家芯片公司根本建不起来它需要的是一个产业共同体。3.3 能效与热管理算力军备竞赛里被低估的硬约束聊AI芯片如果只看TFLOPs很容易忽略一个物理现实电和热。众所周知大模型训练耗电量惊人一个万卡集群满载跑一天电费是普通公司无法直视的数字。更麻烦的是散热——数据中心功率密度越堆越高传统风冷已经逼近极限液冷从可选项变成必选项。我自己在部署推理集群时就遇到过类似问题机柜功率预算不够被迫限制GPU功耗跑性能直接损失两成。后来改成液冷方案散热效率大幅提升功耗限制放宽同样的硬件性能指标明显改善。所以现在的芯片竞争另一个维度是“每瓦性能”。AMD和英伟达在新一代产品上拼命优化能耗比AMD更是在能效压榨上做得异常激进。但芯片本身能效提升只是解决了一半问题剩下的一半在数据中心层供电架构、冷却方案、资源调度策略。芯片公司如果能和云厂商、数据中心设计方一起做联合优化把“服务器供电制冷调度”作为一个整体系统来设计那省下来的成本和提升的效率远大于单点压榨芯片能效的收益。4. “合作”不是口号而是贯穿芯片和AI产业的底层生存法则4.1 从芯片设计到AI应用的全链条协同苏姿丰和蒋濛的对谈里没有回避一个现实问题AI芯片市场竞争白热化为什么还要强调合作在我看来答案在于AI技术的复杂性早已超出任何单一组织的掌控范围。从最上游的EDA工具、IP核授权到芯片制造、封装测试再到板卡设计、服务器集成、云平台服务最后到模型训练、应用落地这条链条长且高度专业。没有任何一家公司能把每个环节都做到顶尖。强如英伟达也得靠台积电代工、靠海力士供HBM、靠云厂商卖它的卡。这就决定了产业必须有分工而分工就必然要求合作。具体点说我认为当前最有价值的合作发生在三个交界面上第一个交界面芯片设计与制造成本。没有一项AI芯片的成败不取决于制造成本、良率和产能。芯片设计公司必须和代工厂深度绑定提前好几个世代把设计规则对齐。这几年先进制程的研发费用越来越夸张没有长期战略合作的双方根本不敢共同投入。第二个交界面芯片与软件。之前聊过的软件栈就是典型。芯片公司必须和PyTorch、TensorFlow的维护团队保持紧密协同在硬件还没流片时就先把编译器适配框架搭好这样才能在芯片面世时同步给到开发者可用的环境。这种“硬件先行、软件同步”的紧密配合模式本质上是现代AI芯片研发的基本方法论。第三个交界面算力与行业Know-how。AI的落地场景千差万别医疗影像的推理需求、自动驾驶的时延约束、金融风控的安全合规每个行业的约束条件都不一样。芯片或云平台再强如果不深入了解行业业务逻辑很难提供真正好用的方案。所以我一直觉得AI时代的“合作”不只是买卖关系芯片公司/云厂商要下场和行业伙伴一起打磨解决方案。4.2 开源、标准与开放平台减少摩擦才能放大协作顺着上面说的“协作”自然就要聊到一个问题什么样的协作方式效率最高我的观察是过去几年的产业实践反复证明开放和标准化是降低协作成本最有效的手段。在AI芯片领域开放体现在几个维度——开放指令集比如RISC-V、开放软件栈比如ROCm开源一部分组件、开放互联标准比如UALink、CXL、开放模型权重比如Llama、DeepSeek开源模型。每一项开放动作都在减少产业链上下游的摩擦成本。举个例子CXLCompute Express Link作为内存互联标准正在改变数据中心的资源池化方式。过去GPU显存不够要么换大显存卡要么牺牲性能做模型切分。CXL允许CPU、GPU、内存等设备通过共享协议动态组成内存池等于给数据中心的资源调度增加了极大的灵活性。这个标准能推开靠的正是多家芯片公司、服务器厂商、云厂商坐下来谈出一个共同语言。模型开源和开放权重的影响同样值得在AI大模型生态里单拉出来聊一聊。不仅让中小团队有机会在成熟的底座上做定制化创新还反向驱动芯片生态的多样性开源模型多了不同架构的芯片就都有了适配的动力和空间而不是所有模型都只为英伟达优化。这一正一负的相互作用让整个生态的“反内卷”有了可能。4.3 “算力网络”的本质AI未来是分工协作的多中心系统顺着开放和标准化继续往前推你会发现AI的未来形态很像一个“算力网络”——不是一个巨头垄断的一切而是多个算力中心、多种芯片架构、多种模型体系并行存在彼此通过网络和协作连接成一张网。这种网络里没有哪个单一中心能包打天下。云上有大规模训练集群负责最重的底座训练任务边缘侧有轻量推理芯片负责低时延场景比如手机上的端侧模型、自动驾驶的车载计算平台中间还有一系列私有化部署的中算力节点支撑政府、金融、医疗等对数据安全极其敏感的行业。不同节点之间通过模型压缩、知识蒸馏、联邦学习等技术完成能力协同。这种多层算力结构能运转起来横跨硬件、软件、网络、安全、行业监管等多个维度的大协作就是“供电网”。芯片公司、云厂商、运营商、行业ISV、开源社区都在这个网络里扮演角色。谁能让这个网络运转得最顺畅、协作成本最低谁就会在未来十年占据AI产业的制高点。从这个角度回头看苏姿丰的发言“AI的未来更看我们如何合作”就不是一句社交辞令了它是一个关于产业结构的客观判断。算力是入场券而合作的深度和效率才真正决定你能在牌桌上打出什么牌。5. 站在从业者的角度面对“合作时代”我们该做什么5.1 算力选型不再只看芯片参数表得看生态适配度坦白说前两年我选GPU平台基本就是盯参数表算力、显存、带宽、价位。现在我的决策逻辑变了第一优先级是“生态适配度”。你可以问这么几个问题目标模型在这个平台上有现成的高性能算子吗还是需要自己CUDA/ROCm手写分布式训练框架对它的支持是原生还是beta版底层通信库经历过大规模集群验证吗出了问题厂商和社区能不能给出及时的技术支持社区答案和issue记录的量级如何这几个问题回答得好哪怕单卡跑分弱一点整个项目周期反而更顺。反过来参数惊艳但生态稀碎大概率会把团队拖进维护的烂泥潭。我自己的一个感受是现在芯片市场的竞争已经从“拼参数”进入“拼体验”阶段。AMD的追赶、英伟达的守成、各家AI芯片新贵的崛起最终比的都是软件栈成熟度加伙伴生态的完整度。对做AI基础设施的团队来说与其赌一家芯片的纸面性能不如考察它背后的生态网络是否值得托付。5.2 技术人要多练“连接技能”别只盯着自己的“那一亩三分地”合作时代的另一个启示是对技术人才技能结构的要求在变化。前几年搞AI工程核心技能是模型调参、训练优化、部署加速这些都是相对单点的能力。但现在的项目经常需要你同时理解芯片架构、操作系统、网络协议、分布式系统、业务场景。不是说你要在每个领域都成专家但要具备跨层判断和沟通连接的能力。举个例子当你发现训练效率上不去得能自己判断瓶颈是在数据加载、算子实现、网络通信还是GPU利用率。这个判断能力要求你对系统每一层都有“最低可用认知”。然后你得能跟不同团队沟通跟芯片厂商的支持工程师描述问题定位跟框架维护者讨论算子设计跟运维商量存储和网络配置。这种“翻译能力”在合作时代尤其值钱。另外团队内部的协同方式也在变。过去算法团队和基础设施团队几乎是“甲方乙方”的关系算法提需求基建给资源。但现在模型规模大了算法和工程的界限越来越模糊需要两个角色一起设计到底是用数据并行、张量并行还是流水并行需要联合决定要不要做量化、剪枝。这种嵌入式协作没有信任基础和信息对齐的基础体系执行起来会非常磕绊。5.3 建立“合作思维”的几条实操建议从心态到行动我觉得有几点值得每一位AI从业者思考第一主动构建你的“外部知识网络”。芯片技术迭代太快单靠公司内部沉淀完全跟不上趋势。多参加Meetup、行业技术会议订阅关键厂商和开源项目的版图路线图把芯片、框架、模型三条线的动态串起来看才能对趋势有判断力。第二在项目设计阶段就为“多平台兼容”留好缓冲。哪怕你现在只用一家GPU抽象层和适配层值得投入。今天你看某家的卡便宜明天可能另一家出了更好的能效比已经有适配层的团队可以低摩擦切换资源池锁定在单一平台上的团队就只能在成本曲线上干瞪眼。第三尽可能参与开源协作。开源不只是用代码更是信任网络和信息前沿。你在开源社区里和来自全球的开发者协作过就知道“合作”怎样从口号变成可依赖的工作方式也会比闭门造车的人更早嗅到生态变化的风向。6. 写在最后算力会继续涨但能跑多远的决定性变量是“连接”最后想用一个稍微“软”一点的观察来收尾。过去这一年多我明显感觉到AI产业的讨论重心在位移。两年前大家聊的是模型参数、数据规模、算力集群现在越来越多的人在聊开源协议、芯片生态同盟、标准制定、能源供给、产业人才培养。这些话题的共同点是它们都不在任何单一公司的掌控范围内全是要靠一群组织、一群人协作才能回答的问题。这让我想到芯片设计行业一直以来的一个常识一颗芯片的成功从来不是设计团队单方面的功劳。EDA工具、IP授权、代工工艺、封装测试每一环都有伙伴在贡献。AI产业走到今天只不过是把芯片行业的这种协作模式复制到了更大尺度的操作系统上。算力的增长轨迹基本是可以预见的——芯片一年比一年快集群一年比一年大。真正难预测、也真正决定谁能笑到最后的是产业协作的组织方式和效率。苏姿丰和蒋濛的那场对话把这个问题摆到了台面上我觉得挺及时的。对个体来说我的体会是别只埋头调参、刷榜、跑分多花点时间理解你所在生态里的其他角色——芯片是怎么造出来的软件栈是谁在维护模型为什么长这样业务方到底卡在哪里。当你建立起这种系统级的“连接感”你在AI浪潮里的位置会稳得多。技术会淘汰生态会洗牌但“如何与他人协作”这个能力永远是穿越周期的那张底牌。