在这一波AI浪潮里，AI算力无疑是最大赢家，英伟达一跃成为全球市值最高的公司之一。英伟达凭借GPU一跃成为全球市值最高的公司之一，也带动了整个AI芯片创业市场的繁荣。短短几年，大量创业公司涌入，试图从英伟达手中分走一块蛋糕。但问题来了，这么多AI芯片公司，未来究竟能活下来多少？英特尔前CEO Pat Gelsinger，给出了一个不太乐观的判断：今天市场上有上百家AI推理芯片公司，但这种繁荣可能只是暂时的。未来，大部分芯片架构可能会被淘汰，行业重新向少数几个平台集中。说起Pat Gelsinger，绝对算得上芯片行业最资深的的人。他从18岁进入英特尔，参与过386、486处理器的研发，后来又先后担任VMware和英特尔的CEO。可以说，他几乎完整经历了现代半导体产业的发展。最近，他参加了硅谷风投机构a16z的一场长篇播客，聊到了AI芯片、存储、光互连、电力，以及整个AI基础设施的未来。除了上述观点外，Gelsinger还有几个观点，我觉得非常值得关注。第一，AI的芯片设计变得越来越容易，但制造和封装反而成了新的瓶颈。一颗芯片可能只需要三个月就能完成设计，但真正投入使用，可能还要等待九个月。第二，今天最炙手可热的HBM，其实是一种很糟糕的存储技术。AI需求爆发，可能推动存储行业迎来30年来少见的重大创新。今天，硅基君就借着这场访谈，聊聊AI算力产业正在发生的几个重要变化。AI让芯片设计变快，制造却越来越跟不上过去几十年，芯片行业一直在追求一件事：让芯片设计变得更容易。早在1980年代，英特尔开发486处理器时，今天很多芯片工程师习以为常的设计工具还没有成熟。比如，工程师需要用硬件描述语言定义芯片逻辑，但当时没有完善的工具体系，只能自己开发语言、编译器，甚至参与探索自动布局布线技术。而到了今天，AI正在进一步改变这个过程。过去需要工程师花大量时间完成的逻辑设计、代码编写和优化工作，现在越来越多可以交给AI工具。尤其是在数字逻辑设计方面，AI已经有机会显著提高开发效率。问题在于，设计变快了，制造却没有同步变快。举个例子，假设现在要开发一颗全新的AI芯片，设计团队非常了解模型的计算需求，又有AI工具辅助，只花三个月就完成了芯片设计。但接下来，芯片还需要进入晶圆厂制造。即使流程顺利，光是晶圆制造环节就可能需要三个月。然后是先进封装。现在的AI芯片往往需要将计算芯片、HBM和其他组件集成在一起，封装越来越复杂，又可能需要几个月。最后，还要完成整机和机架级系统的集成。结果就是，芯片设计只花了三个月，但从设计完成到真正能够使用，可能又过去了九个月。如果进一步算上扩大产能、完善软件生态和规模化部署，整个周期甚至可能长达一年半。这就出现了一个非常现实的矛盾：AI模型的迭代速度，可能已经超过芯片从设计到部署的速度。比如，一家公司在设计芯片时，可能认为未来推理的核心需求是提高Token生成效率。但等到一年半后，市场可能已经进入新的推理范式。更长的上下文、更复杂的推理过程，甚至新的模型架构，都可能改变芯片最初的性能优势。于是，一颗芯片还没有真正大规模投入使用，当初为它制定的最优设计假设，就已经不再成立。这意味着，随着AI不断降低芯片设计门槛，决定一家AI芯片公司竞争力的关键，将越来越取决于制造周期和规模化量产能力。100家AI芯片设计初创公司，最后可能只剩几家过去两年，AI算力赛道出现了一个非常明显的趋势：芯片架构越来越多。尤其是推理市场，有人专门设计低延迟芯片，有人主打高吞吐，有人押注存算一体，还有公司选择光计算、概率计算等不同路线。甚至围绕同一个大模型的推理过程，芯片也开始进一步分工。比如Prefill和Decode。Prefill负责处理输入内容，可以简单理解为模型在正式回答之前，先把用户的问题和上下文读一遍。Decode则负责逐步生成输出Token。由于这两个阶段的计算特点不同，行业开始讨论是否应该分别设计硬件，以获得更高的计算效率。但我觉得，这种极端专业化的趋势，其实存在一个很大的问题。那就是，AI的计算需求变化太快了。今天，大家可能认为把Prefill和Decode拆开，可以提高芯片利用率。但明天，随着推理模型的发展，可能又需要更多类似CPU的计算能力。再往后，当AI进入科学计算、分子模拟、化学分析等领域，传统高性能计算中的高精度计算需求，又可能重新变得重要。甚至训练和推理之间的界限，也可能随着持续学习等技术的发展逐渐模糊。这意味着，今天为某个计算阶段设计的专用芯片，未来未必还能保持优势。这里其实涉及一个很经典的问题：专用和通用之间的平衡。一颗芯片如果针对某种特定任务深度优化，往往能够获得很高的效率。但优化得越极端，能够适应的工作负载可能就越有限。一旦模型架构发生变化，原本的优势就可能消失。更麻烦的是，芯片还要大规模部署。数据中心不是只买几颗芯片。当一家公司需要部署几十万甚至上百万颗加速器时，每增加一种架构，都意味着新的软件适配、网络连接、设备管理和维护成本。假设一个数据中心里，有100种不同的推理芯片。其中一部分适合Prefill，一部分适合Decode，还有一部分专门处理其他计算任务。单独看，每种芯片可能都很高效。但放到一个大型数据中心里，如何调度、维护、升级这些设备，就会变得非常复杂。而且，AI芯片创业公司还面临第二个问题：资本。研发一颗芯片，只是第一步。要真正形成商业竞争力，还必须完成流片、量产、软件适配，并找到足够大的客户。当整个行业的算力投资规模进入数百亿美元级别，一家创业公司很难独立完成从设计到大规模部署的所有环节。最终，决定哪些架构能够活下来的，可能还是英伟达、OpenAI、Anthropic等大型算力平台和客户。因为只有这些大客户，才有足够的资金和工作负载，去支持一套全新的芯片架构。所以，我对今天大量AI芯片创业公司的判断，其实没有那么乐观。未来AI芯片市场可能会有更多技术路线，但未必会有更多独立的芯片公司。芯片性能领先，只是拿到了入场券。能否进入大客户的算力体系，才真正决定商业价值。HBM很糟糕，但AI可能催生30年来最大的存储创新HBM是一种很糟糕的存储技术。但它已经是目前最好的选择。这听起来有点矛盾。毕竟，在这一轮AI算力热潮中，HBM几乎已经成了最抢手的硬件之一。但问题在于，HBM本身仍然存在很多局限。比如存储密度、功耗和散热压力，以及数据传输受到封装和物理连接条件的约束。特别是随着AI芯片计算能力不断增长，越来越多的计算资源，都在等待存储系统及时提供数据。这就是所谓的内存墙。这也是为什么，我觉得AI算力的下一轮重大创新，很可能发生在存储领域。有意思的是，存储行业已经太久没有出现新的主流技术范式。DRAM、SRAM、Flash仍然是主要技术基础。过去几十年，虽然出现过不少新型存储技术，但真正能够实现低成本、大规模量产，并彻底改变产业格局的并不多。其中一个重要原因，是过去存储行业的商业模式太差。存储芯片长期具有很强的周期性。行情好的时候，厂商可能赚一年钱；供给增加、价格下跌后，又可能连续几年利润承压。在这种情况下，企业很难持续投入大量资金，去押注商业化周期漫长的新材料和新技术。但AI改变了这件事。随着HBM需求爆发，存储厂商的市场价值和盈利能力发生明显变化，资本开始重新重视这个曾经高度周期化的行业。过去四年，存储行业整体市值可能增加了约2.5万亿美元。存储产业正在获得更多资本支持，而AI又创造了足够强烈的新需求。更高带宽、更低功耗、更高密度、更容易堆叠，这些过去很难同时满足的要求，正在成为推动新技术商业化的动力。目前有两个方向尤其值得关注。一个是新的存储材料和器件结构。比如铁电材料，以及能够摆脱传统电容式存储限制的新方案。另一个，是让存储和计算在物理上靠得更近。因为数据搬运距离越短，通常越有机会降低延迟和能耗。不过，这并不意味着所有存算融合技术都值得看好。比如PIM，也就是存内计算。这类方案希望把部分计算能力直接放入存储器，从而减少数据搬运。但它往往需要针对特定计算任务调整架构，可能限制系统面对新型工作负载时的灵活性。相比之下，把高带宽、高密度存储尽可能放在计算单元附近，同时保持计算架构的通用性，可能是更容易适应未来需求的方案。过去30年难以商业化的技术路线，在AI时代可能重新获得机会。这也意味着，未来存储市场的竞争，可能不只发生在三星、SK海力士、美光这些传统巨头之间。新的材料、新的器件结构，以及新的存储架构，都可能创造新的创业机会。25年前宣布铜线死亡，这次终于要成真了？如果说存储是AI算力的一个重要瓶颈，那么另一个越来越突出的问题，就是互连。过去，GPU之间的连接距离相对较短，铜互连具有成本低、技术成熟等优势。但随着单个算力系统从几颗GPU扩展到几十颗、几百颗，甚至更多，互连的难度开始明显提高。铜线有一个天然问题。传输速率越高、距离越长，信号损耗就越明显。为了保证信号质量，系统需要使用更复杂的线缆、信号处理和补偿技术，成本和功耗都会上升。在某些高速互连条件下，让铜线在5米距离上正常工作，可能比让光纤在100米距离上工作还贵。这也是为什么AI算力产业开始越来越重视光互连。不过，这里面有一个很重要的区别。光互连最有机会率先改变的，是计算系统之间的高速I/O连接，尤其是GPU之间的Scale-up互连。至于把核心计算单元与存储器分开，再全部依赖光连接，反而未必是一个好主意。因为光电转换同样存在成本和能耗。如果每次访问存储器，都需要经过多次电光、光电转换，可能得不偿失。所以更合理的方向，是在需要高带宽、较长距离传输的地方使用光，而在计算与存储高度耦合的核心区域，尽可能减少不必要的数据搬运。从产业发展的角度看，我觉得2028年至2029年可能是一个值得关注的窗口。届时，NPO、CPO等先进光互连技术，有机会迎来更大规模的应用。为什么是这个时间节点？一个重要原因，是AI算力系统正在接近传统电互连的工程极限。最典型的例子，就是英伟达的NVL72。这套系统通过复杂的高速互连，将72颗GPU组织成一个大型计算系统。从工程角度看，这当然是一项非常了不起的成就。但换个角度，它也是一场制造噩梦。为了让如此复杂的系统实现规模化部署，产业链需要解决大量制造、装配、散热和可靠性问题。如果光互连供应链此前更加成熟，行业本来有机会更早实现更高效的Scale-up系统。但光互连迟迟没有全面进入GPU系统，也有很现实的原因。它不只是更换一种传输介质。光器件需要进入更加复杂的封装环境，而高性能GPU恰恰是温度高、功耗大的系统。激光器、光学组件、先进封装和散热，都必须共同解决。更麻烦的是，当系统需要扩展到数百万颗甚至上千万颗GPU时，光互连还必须具备极高的制造一致性和可靠性。所以，光互连的落地并不只是技术成熟的问题，还取决于整个供应链能否支撑大规模部署。但相比单纯的材料替换，我觉得还有一个更值得关注的变化。那就是，光互连可能推动整个AI数据中心的网络架构发生变化。传统数据中心网络需要处理大量不可预测的数据包。一个数据包可能发往任何服务器，网络必须具备灵活的转发能力。但AI训练和推理中的大规模计算通信，有一部分流量具有更强的规律性。这给光电路交换，也就是OCS，创造了机会。与传统分组交换相比，光电路交换可以针对相对稳定、可预测的通信需求，预先建立光连接。随着光互连和新型交换技术成熟，今天Scale-up与Scale-out之间的边界，未来也可能逐渐模糊。从产业角度看，这意味着光模块、光交换、先进光封装，以及相关激光器和材料，都有机会进入更大的市场。原文链接：前英特尔CEO最新判断：绝大部分芯片设计公司将会消失，制造才是唯一的壁垒-36氪我的专辑《人工智能生命体 新启点》CSDN平台：https://blog.csdn.net/2501_91883294/article/details/147616608?sharetype=blogdetail&shareId=147616608&sharerefer=APP&sharesource=2501_91883294&sharefrom=link
在这一波AI浪潮里，AI算力无疑是最大赢家，英伟达一跃成为全球市值最高的公司之一。英伟达凭借GPU一跃成为全球市值最高的公司之一，也带动了整个AI芯片创业市场的繁荣。短短几年，大量创业公司涌入，试图从英伟达手中分走一块蛋糕。但问题来了，这么多AI芯片公司，未来究竟能活下来多少？英特尔前CEO Pat Gelsinger，给出了一个不太乐观的判断：今天市场上有上百家AI推理芯片公司，但这种繁荣可能只是暂时的。未来，大部分芯片架构可能会被淘汰，行业重新向少数几个平台集中。说起Pat Gelsinger，绝对算得上芯片行业最资深的的人。他从18岁进入英特尔，参与过386、486处理器的研发，后来又先后担任VMware和英特尔的CEO。可以说，他几乎完整经历了现代半导体产业的发展。最近，他参加了硅谷风投机构a16z的一场长篇播客，聊到了AI芯片、存储、光互连、电力，以及整个AI基础设施的未来。除了上述观点外，Gelsinger还有几个观点，我觉得非常值得关注。第一，AI的芯片设计变得越来越容易，但制造和封装反而成了新的瓶颈。一颗芯片可能只需要三个月就能完成设计，但真正投入使用，可能还要等待九个月。第二，今天最炙手可热的HBM，其实是一种很糟糕的存储技术。AI需求爆发，可能推动存储行业迎来30年来少见的重大创新。今天，硅基君就借着这场访谈，聊聊AI算力产业正在发生的几个重要变化。AI让芯片设计变快，制造却越来越跟不上过去几十年，芯片行业一直在追求一件事：让芯片设计变得更容易。早在1980年代，英特尔开发486处理器时，今天很多芯片工程师习以为常的设计工具还没有成熟。比如，工程师需要用硬件描述语言定义芯片逻辑，但当时没有完善的工具体系，只能自己开发语言、编译器，甚至参与探索自动布局布线技术。而到了今天，AI正在进一步改变这个过程。过去需要工程师花大量时间完成的逻辑设计、代码编写和优化工作，现在越来越多可以交给AI工具。尤其是在数字逻辑设计方面，AI已经有机会显著提高开发效率。问题在于，设计变快了，制造却没有同步变快。举个例子，假设现在要开发一颗全新的AI芯片，设计团队非常了解模型的计算需求，又有AI工具辅助，只花三个月就完成了芯片设计。但接下来，芯片还需要进入晶圆厂制造。即使流程顺利，光是晶圆制造环节就可能需要三个月。然后是先进封装。现在的AI芯片往往需要将计算芯片、HBM和其他组件集成在一起，封装越来越复杂，又可能需要几个月。最后，还要完成整机和机架级系统的集成。结果就是，芯片设计只花了三个月，但从设计完成到真正能够使用，可能又过去了九个月。如果进一步算上扩大产能、完善软件生态和规模化部署，整个周期甚至可能长达一年半。这就出现了一个非常现实的矛盾：AI模型的迭代速度，可能已经超过芯片从设计到部署的速度。比如，一家公司在设计芯片时，可能认为未来推理的核心需求是提高Token生成效率。但等到一年半后，市场可能已经进入新的推理范式。更长的上下文、更复杂的推理过程，甚至新的模型架构，都可能改变芯片最初的性能优势。于是，一颗芯片还没有真正大规模投入使用，当初为它制定的最优设计假设，就已经不再成立。这意味着，随着AI不断降低芯片设计门槛，决定一家AI芯片公司竞争力的关键，将越来越取决于制造周期和规模化量产能力。100家AI芯片设计初创公司，最后可能只剩几家过去两年，AI算力赛道出现了一个非常明显的趋势：芯片架构越来越多。尤其是推理市场，有人专门设计低延迟芯片，有人主打高吞吐，有人押注存算一体，还有公司选择光计算、概率计算等不同路线。甚至围绕同一个大模型的推理过程，芯片也开始进一步分工。比如Prefill和Decode。Prefill负责处理输入内容，可以简单理解为模型在正式回答之前，先把用户的问题和上下文读一遍。Decode则负责逐步生成输出Token。由于这两个阶段的计算特点不同，行业开始讨论是否应该分别设计硬件，以获得更高的计算效率。但我觉得，这种极端专业化的趋势，其实存在一个很大的问题。那就是，AI的计算需求变化太快了。今天，大家可能认为把Prefill和Decode拆开，可以提高芯片利用率。但明天，随着推理模型的发展，可能又需要更多类似CPU的计算能力。再往后，当AI进入科学计算、分子模拟、化学分析等领域，传统高性能计算中的高精度计算需求，又可能重新变得重要。甚至训练和推理之间的界限，也可能随着持续学习等技术的发展逐渐模糊。这意味着，今天为某个计算阶段设计的专用芯片，未来未必还能保持优势。这里其实涉及一个很经典的问题：专用和通用之间的平衡。一颗芯片如果针对某种特定任务深度优化，往往能够获得很高的效率。但优化得越极端，能够适应的工作负载可能就越有限。一旦模型架构发生变化，原本的优势就可能消失。更麻烦的是，芯片还要大规模部署。数据中心不是只买几颗芯片。当一家公司需要部署几十万甚至上百万颗加速器时，每增加一种架构，都意味着新的软件适配、网络连接、设备管理和维护成本。假设一个数据中心里，有100种不同的推理芯片。其中一部分适合Prefill，一部分适合Decode，还有一部分专门处理其他计算任务。单独看，每种芯片可能都很高效。但放到一个大型数据中心里，如何调度、维护、升级这些设备，就会变得非常复杂。而且，AI芯片创业公司还面临第二个问题：资本。研发一颗芯片，只是第一步。要真正形成商业竞争力，还必须完成流片、量产、软件适配，并找到足够大的客户。当整个行业的算力投资规模进入数百亿美元级别，一家创业公司很难独立完成从设计到大规模部署的所有环节。最终，决定哪些架构能够活下来的，可能还是英伟达、OpenAI、Anthropic等大型算力平台和客户。因为只有这些大客户，才有足够的资金和工作负载，去支持一套全新的芯片架构。所以，我对今天大量AI芯片创业公司的判断，其实没有那么乐观。未来AI芯片市场可能会有更多技术路线，但未必会有更多独立的芯片公司。芯片性能领先，只是拿到了入场券。能否进入大客户的算力体系，才真正决定商业价值。HBM很糟糕，但AI可能催生30年来最大的存储创新HBM是一种很糟糕的存储技术。但它已经是目前最好的选择。这听起来有点矛盾。毕竟，在这一轮AI算力热潮中，HBM几乎已经成了最抢手的硬件之一。但问题在于，HBM本身仍然存在很多局限。比如存储密度、功耗和散热压力，以及数据传输受到封装和物理连接条件的约束。特别是随着AI芯片计算能力不断增长，越来越多的计算资源，都在等待存储系统及时提供数据。这就是所谓的内存墙。这也是为什么，我觉得AI算力的下一轮重大创新，很可能发生在存储领域。有意思的是，存储行业已经太久没有出现新的主流技术范式。DRAM、SRAM、Flash仍然是主要技术基础。过去几十年，虽然出现过不少新型存储技术，但真正能够实现低成本、大规模量产，并彻底改变产业格局的并不多。其中一个重要原因，是过去存储行业的商业模式太差。存储芯片长期具有很强的周期性。行情好的时候，厂商可能赚一年钱；供给增加、价格下跌后，又可能连续几年利润承压。在这种情况下，企业很难持续投入大量资金，去押注商业化周期漫长的新材料和新技术。但AI改变了这件事。随着HBM需求爆发，存储厂商的市场价值和盈利能力发生明显变化，资本开始重新重视这个曾经高度周期化的行业。过去四年，存储行业整体市值可能增加了约2.5万亿美元。存储产业正在获得更多资本支持，而AI又创造了足够强烈的新需求。更高带宽、更低功耗、更高密度、更容易堆叠，这些过去很难同时满足的要求，正在成为推动新技术商业化的动力。目前有两个方向尤其值得关注。一个是新的存储材料和器件结构。比如铁电材料，以及能够摆脱传统电容式存储限制的新方案。另一个，是让存储和计算在物理上靠得更近。因为数据搬运距离越短，通常越有机会降低延迟和能耗。不过，这并不意味着所有存算融合技术都值得看好。比如PIM，也就是存内计算。这类方案希望把部分计算能力直接放入存储器，从而减少数据搬运。但它往往需要针对特定计算任务调整架构，可能限制系统面对新型工作负载时的灵活性。相比之下，把高带宽、高密度存储尽可能放在计算单元附近，同时保持计算架构的通用性，可能是更容易适应未来需求的方案。过去30年难以商业化的技术路线，在AI时代可能重新获得机会。这也意味着，未来存储市场的竞争，可能不只发生在三星、SK海力士、美光这些传统巨头之间。新的材料、新的器件结构，以及新的存储架构，都可能创造新的创业机会。25年前宣布铜线死亡，这次终于要成真了？如果说存储是AI算力的一个重要瓶颈，那么另一个越来越突出的问题，就是互连。过去，GPU之间的连接距离相对较短，铜互连具有成本低、技术成熟等优势。但随着单个算力系统从几颗GPU扩展到几十颗、几百颗，甚至更多，互连的难度开始明显提高。铜线有一个天然问题。传输速率越高、距离越长，信号损耗就越明显。为了保证信号质量，系统需要使用更复杂的线缆、信号处理和补偿技术，成本和功耗都会上升。在某些高速互连条件下，让铜线在5米距离上正常工作，可能比让光纤在100米距离上工作还贵。这也是为什么AI算力产业开始越来越重视光互连。不过，这里面有一个很重要的区别。光互连最有机会率先改变的，是计算系统之间的高速I/O连接，尤其是GPU之间的Scale-up互连。至于把核心计算单元与存储器分开，再全部依赖光连接，反而未必是一个好主意。因为光电转换同样存在成本和能耗。如果每次访问存储器，都需要经过多次电光、光电转换，可能得不偿失。所以更合理的方向，是在需要高带宽、较长距离传输的地方使用光，而在计算与存储高度耦合的核心区域，尽可能减少不必要的数据搬运。从产业发展的角度看，我觉得2028年至2029年可能是一个值得关注的窗口。届时，NPO、CPO等先进光互连技术，有机会迎来更大规模的应用。为什么是这个时间节点？一个重要原因，是AI算力系统正在接近传统电互连的工程极限。最典型的例子，就是英伟达的NVL72。这套系统通过复杂的高速互连，将72颗GPU组织成一个大型计算系统。从工程角度看，这当然是一项非常了不起的成就。但换个角度，它也是一场制造噩梦。为了让如此复杂的系统实现规模化部署，产业链需要解决大量制造、装配、散热和可靠性问题。如果光互连供应链此前更加成熟，行业本来有机会更早实现更高效的Scale-up系统。但光互连迟迟没有全面进入GPU系统，也有很现实的原因。它不只是更换一种传输介质。光器件需要进入更加复杂的封装环境，而高性能GPU恰恰是温度高、功耗大的系统。激光器、光学组件、先进封装和散热，都必须共同解决。更麻烦的是，当系统需要扩展到数百万颗甚至上千万颗GPU时，光互连还必须具备极高的制造一致性和可靠性。所以，光互连的落地并不只是技术成熟的问题，还取决于整个供应链能否支撑大规模部署。但相比单纯的材料替换，我觉得还有一个更值得关注的变化。那就是，光互连可能推动整个AI数据中心的网络架构发生变化。传统数据中心网络需要处理大量不可预测的数据包。一个数据包可能发往任何服务器，网络必须具备灵活的转发能力。但AI训练和推理中的大规模计算通信，有一部分流量具有更强的规律性。这给光电路交换，也就是OCS，创造了机会。与传统分组交换相比，光电路交换可以针对相对稳定、可预测的通信需求，预先建立光连接。随着光互连和新型交换技术成熟，今天Scale-up与Scale-out之间的边界，未来也可能逐渐模糊。从产业角度看，这意味着光模块、光交换、先进光封装，以及相关激光器和材料，都有机会进入更大的市场。原文链接：前英特尔CEO最新判断：绝大部分芯片设计公司将会消失，制造才是唯一的壁垒-36氪我的专辑《人工智能生命体 新启点》CSDN平台：https://blog.csdn.net/2501_91883294/article/details/147616608?sharetype=blogdetail&shareId=147616608&sharerefer=APP&sharesource=2501_91883294&sharefrom=link