前沿实验室没有想象中那么封闭保密几个月可以长期不能。Natha n Lam ber t 对 RSI 叙事的批评一向尖锐不接受 AI 即将突然起飞、迅速失控。而他真正担心的是更土的事情AI 实验室自己那些没加固好的基础设施。他创立 Trillium就是想把这个被闭源实验室讲得神乎其神的概念拉回地面让外界验证前沿系统的递归能力到底走到了哪一步以及它做不了什么。这期 a16z 播客里Trillium 创始人 Nathan Nathan 内森·兰伯特和a16z 合伙人李丽莎 (Lisha Li) 的对话从 RSI 滑向了更硬的战场开源到底能不能跟上闭源在缺算力的条件下初创AI公司怎么活下去蒸馏这事到底拦不拦得住。“中国缺少人才简直是大错特错他们缺的是算力。”Nathan 给了一个很干净的框架模型进步靠三样东西——算力、数据、人才。美国前沿实验室三样都不缺中国实验室则被算力上卡住了。他讲了个细节中国研究者听说一个普通 OpenAI 研究员随手就能调 5000 个 H100 等效算力。但 Nathan 反复强调的另一面是中国实验室在这种约束下练出的工程效率是很多其他国家的团队不具备的。算力差距让蒸馏成了一条现实路径语言模型的输出本来就是算力的函数如果你已经知道要什么输出效果等同于你自己有那么多算力。“如果中国的实验室只做闭源 API几乎没人会知道 Moonshot AI。”这是 Nathan 解释中国为什么选开源的方式。不是理想主义而是上牌桌。中国实验室清楚美国市场有巨大的付费需求他们在很实际地跟这个趋势走这更像一家创业公司在做显而易见的生存选择。开源则是最佳途径让它们在没有算力优势的情况下用工程能力换来了话语权。“服务条款不是一份签署的合同。他们不会停止。”聊到蒸馏Nathan 一点没留情面“你没法像起诉违约那样起诉他们你只能取消他们的访问权限。”他对国会立法同样不抱希望“他们不会停止。如果你对蒸馏采取任何行动造成的伤害将大于好处。”“前沿实验室没有想象中的封闭保密几个月可以长期不能”。而对于为何 OpenAI、Anthropic 等公司能迅速发展起来Nathan 并没有夸大其技术的先进性反而用调侃的语气说道“我们都是科学家如果有人取得了突破他们自然会想把这件事告诉朋友。可能只是一杯啤酒的事儿他们可能暂时保密几个月但要长期的话不太可能。”在几个具有争议的问题上Nathan 的回答不煽情开源会赢在量上闭源会赢在钱上RSI 的真相介于营销和恐惧之间。以下为对谈原文我们做了删减各位 enjoy~自上而下地彻底重构组织对前沿模型发展很有效主持人Nathan很高兴你能来。感谢你亲自来到现场参与节目。我记得我们之前聊过很多关于开源的话题而这也是你非常关注的领域。无论是闭源实验室还是开源模型究竟是什么推动它们发展到了今天的前沿水平你会如何拆解其中的因素或许可以先从更高的层面谈起比如预训练、中期训练和后训练以及后训练是如何演变的。Nathan当我思考模型进步时归根结底就是你为模型投入了哪些不同形式的资本也就是算力、数据和人才。各家实验室在这些方面的资源都不一样。我认为闭源前沿实验室比如 OpenAI、Anthropic 和 Google 等显然拥有最多的资源。我们看到各家实验室在如何组织和运用这些资本方面存在着不同能力。要让组织架构真正服务于模型开发是一件非常困难的事。这也是为什么有些公司不得不自下而上地彻底重组而且有时这样做真能奏效。比如 Meta 就经历了全面重组后来又重新走上了积极发展的轨道。我对竞争为何能推动技术前沿以及组织架构为何如此重要这些与人有关的因素非常感兴趣。我们看到的这些现象在开源与闭源的竞争格局中同样发挥着作用。选择开源是初创 AI 公司上“牌桌”的捷径Nathan如果有人想从事最前沿的人工智能研究我通常会建议他们去 Anthropic 或 OpenAI我认为这两个选择最稳妥。Meta、Google、SpaceX AI 等公司可能也处于这个领域但从外部来看要判断它们的实际情况就困难得多。这些公司为了走到今天这一步很早就做出了最具雄心的尝试。这也是为什么 OpenAI 推动了推理模型革命的开端。我认为这种突破以及那张展示推理阶段扩展规律的漂亮曲线就是 OpenAI 的高光时刻。他们非常擅长展示一张能够改变所有人思考方式的图表。另一方面Anthropic 一直非常专注于模型最终能够完成哪些任务而他们长期专注于编程领域最终得到了回报Claude Code 迅速走红。这两家公司有着一些微妙但重要的文化差异。我认为它们最具备前瞻性也最愿意投入惊人的资源去推动那些人们原本认为不可能实现的方向。中国的公司之所以进入这个领域是因为它们想打造一家有影响力的公司。如果它们只是在中国开发模型然后尝试通过 API 出售根本没人会知道它们的存在。几乎没人会知道 Moonshot AI也只有很少的人知道智谱更不用说后面还有一长串公司了。这是一个非常务实的决定。它们紧跟行业讨论知道这里会形成一个巨大的市场也知道美国有大量用户愿意为这些服务付费。因此发布开放模型就成了一条捷径能让它们迅速进入行业视野和讨论。我认为关于它们为什么这么做外界存在很多复杂的猜测比如政府是否参与其中。但事实未必如此。它们只是在努力打造一家初创公司。这并不意味着它们最终无法跻身前沿。中国政府采取的一些行动会让美国人感到非常震惊。我认为这也意味着中国的实验室对安全问题可能有着更为严肃的态度因为在中国企业做出某些事情后政府采取的应对措施可能比美国严厉得多。我就不在这里深入展开了。但回到开源与闭源之间的平衡中国的一些公司正在努力追赶。这与我之前谈到的OpenAI 和 Anthropic 有着截然不同的竞争逻辑。后两家公司试图创造全新的范式希望率先实现真正的递归自我改进RSI这样一来只要它们最先做到就可能凭借最好的模型长期保持领先地位。这类公司押注的是一些宏大的理念。而中国公司更像在填补市场空白开放权重模型正是它们实现这一目标的方式。我认为随着时间推移开放模型会逐渐形成不同的层级。最顶尖的仍然是闭源模型因为它们可以获得最高的利润率再往下是落后前沿一步的近前沿模型这些模型则可能以开放权重的形式发布。这是一种自然的供需关系演变开放模型可以帮助公司进入一个利润率可能较低、但不同于原有市场的新市场。例如某些企业拥有自己的私有数据需要能够适应这些数据的模型。开源企业的存续时间已经远超业界想象了Nathan我们刚才谈到了前沿发展。如果回到资本投入这个角度中国公司拥有的资本更少因此赚的钱也可能更少。但这没什么问题。我认为它们追赶前沿的动力非常强。一旦 Anthropic 和 OpenAI 展示了你需要构建什么样的模型后来者就更容易明确方向原来我们只需要把这件事做好就行了。它们还会购买类似的数据集。整个过程会沿着数据经济的产业链逐步扩散。OpenAI 和 Anthropic 会投入更多资金推动数据产业发展一年之后这些数据公司可能就会把数据卖给其他所有人。它们需要尽可能提高投资回报而且此前可能存在一定期限的合同约束。这里面有很多复杂的动态因此快速跟进其实是完全可行的。这种循环已经持续了一段时间比很多人预想的还要久。我记得 ChatGPT 发布时我们曾讨论过行业整合并预测这种情况会发生。我认为现在我们才刚刚开始看到一个更加活跃的并购市场。不过我原以为这两年前就会发生而开源模型公司存续的时间比我预想的长得多。中国人才实力不够简直大错特错主持人这里面有太多值得深入探讨的话题了。我想先从你刚才提到的两家顶级前沿实验室在组织结构上的差异谈起。其中一个值得探讨的话题是蒸馏。大多数人都认为蒸馏是中国团队能够如此出色、而且表现越来越好的主要手段。过去几年开源模型与前沿模型之间的差距一直在缩小如今可能只差两到三个月。这也促使前沿实验室考虑关闭 API不再开放最好的模型而是把它们用于自营服务。一方面这样做可能是为了获取更多商业价值另一方面关闭 API 也会让蒸馏变得更加困难。当然不是完全不可能但难度确实会高得多。我们先说蒸馏这种说法是不是有些过度简化了你与中国的实验室有过接触也对它们进行了深入研究。那么它们是不是其实在各个方面都很强不仅擅长预训练也拥有自己的优秀后训练方案只是未必对外公开你认为哪些因素正在加速它们的发展Nathan是的。中国的实验室在技术上非常出色但我认为它们面临的主要问题是算力短缺。毫无疑问它们拥有可与美国相媲美的人才储备。如果一定要比较可能会因为人工智能真正兴起时人才所处的位置不同而存在一点点优势差异。但如果你说中国的人才实力不够就很难自圆其说因为中国有太多人接受了极高水平的训练。它们真正缺少的是算力。你和那里的研究人员交谈时可以告诉他们“我听说OpenAI 的普通研究人员平均随时都能调用相当于 5000 张 H100 的算力。”他们听完下巴都要掉下来了简直无法想象。而这说的还只是某家知名实验室里的顶尖预训练研究人员。我见过几次类似的反应所以我认为算力才是双方最大的差距。蒸馏真能缩短中美AI差距别高估了它的作用Nathan蒸馏也与此有关因为它是一种有效增加投入、以获得相当于更多算力所能产生的模型输出的方法。语言模型的输出本质取决于算力。如果你已经知道自己想要什么样的输出那么获取这些输出就相当于拥有了算力来让模型生成它们。我观察过不同发展阶段的蒸馏技术。在我看来早期的后训练更加依赖监督微调也就是 RLHF 时代的那套方法。后训练最初就是在这样的背景下发展起来的当时只要利用一个非常强大的模型所生成的输出进行训练通过预测下一个 token 的损失函数就能获得大部分性能提升。当时有一种非常成熟的做法找到你能获得的最强模型让它生成回答然后用这些回答训练自己的模型。只要你能拿到合适的提示词训练出来的模型通常就会相当不错。提示词一直都是后训练的关键。我记得在 AI2 工作时我就负责后训练我们总是说提示词是后训练最基本、最关键的单元。你需要先获得提示词然后在训练的不同阶段以不同方式利用它们。但如今后训练已经逐渐转向以强化学习为主的环境。问题在于很难把过去这种后训练方式获取模型生成的回答然后不断提高评分与当今推理模型的训练方式对应起来。根据公开的研究文献很难让我相信蒸馏是一个决定性因素。举例来说在完全开放的研究领域人们一直尝试开发开放的后训练方案但所有开源模型的开发者似乎都被困在使用一个相当过时的模型上因为他们无法弄清楚怎样才能获得合适的模型。我的假设是某些中期训练方法以及常见预训练数据中的某些开放数据可能让这件事变得很困难。所谓这件事就是从最顶尖的模型那里获取推理过程记录再用监督微调进行训练最终让模型的各项指标提升。所以假设我在开发模型时能够获得 Claude 的推理过程记录比如 Claude Opus、Claude 4、Mythos 之类的模型生成的内容我也不确定这是否真的能让我们的模型性能大幅提升。这就是我为什么认为蒸馏很难的一些依据它们来自现有研究文献。接下来还有一个问题你如何利用模型的输出构建强化学习环境并开展大规模强化学习训练因为像 xAI 这样的公司会进行为期一周的开放式强化学习训练然后告诉大家自己做了什么接着发布模型。但问题是蒸馏究竟在哪个环节发挥了作用它们很聪明也很擅长营销。我们会有一些疑问它们是不是提前完成了某些工作因为它们先进行了强化学习训练然后才发布模型而技术报告又称在强化学习之后还增加了一个额外的后训练阶段。这里面确实存在一些疑点。但要把已有的蒸馏研究与它们实际采用的方法对应起来是非常困难的。不过也有一些疑点让我对这些实验室的说法稍微更能理解一些。例如中国存在一些模型代理和模型中介服务它们会消耗海量 token也拥有大量账号。甚至曾经出现过这样的情况Kimi在自己的产品中向用户提供 Claude 模型服务。我确实不太明白这些做法如何与蒸馏作为一种常见后训练技术的具体机制对应起来。当然我们也应该关注这些问题。中国公司大规模使用 OpenAI 和 Anthropic 模型输出的其他异常情况也值得注意。所以我认为还有很多问题需要回答。大多数理性的人在讨论蒸馏究竟能缩小多少差距时都会承认其中存在很大的不确定性。但当我说蒸馏可以帮助它们缩短几个月的差距时我的依据是现有的科学研究文献。我们应该开展更多开放研究让研究人员能够深入分析这个问题。但基于目前的证据我不知道为什么有人会得出完全不同的结论认为蒸馏在当下的后训练中具有极其巨大的影响。归根结底中国人确实非常擅长构建模型。我认为有些人其实是在自我安慰觉得只有自己才懂得如何构建模型。但事实是已经有很多公司在开发优秀模型大概有二三十家。你完全可以去读相关资料看看实际情况。禁止蒸馏的后果弊大于利他们不会停止主持人我记得黄仁勋好像在某条推文或某次采访中说过这样一段话。也许我们可以把它放进节目里。黄仁勋画面引述每天都有人蒸馏我的产品。他们拿到产品后把它拆解成最原始的组成部分并对所有东西进行测试。这就叫竞争。主持人你觉得这种做法可以接受吗你认为蒸馏不算掠夺吗这就是竞争Nathan我很能理解这种观点因为人工智能安全社区一直在呼吁美中之间展开对话而现在人工智能已经发展到了如此高的能力水平我们确实需要这样的对话。如果你要求企业不断打压本国的人工智能产业对蒸馏行为施加越来越多的惩罚……主持人所以你的意思是国会不会通过立法来监管蒸馏而是由联邦政府采取一些行动让这些公司的日子变得不好过Nathan对与此同时我们还在讨论如何管理前沿人工智能带来的风险。闭源模型在训练过程中会不断访问互联网接触各种不应该接触的内容我们也确实有理由担心开放权重模型会带来什么后果尽管到目前为止这方面还没有出现明显的危害。但我们也应该思考为什么人们会选择闭源模型并想办法绕过它们的安全防护而不是直接使用开放权重模型我们希望能够与中国的科技公司进行沟通共同讨论这些问题。我只是觉得如果对蒸馏采取任何强硬措施最终造成的伤害可能会大于好处因为它们不会停止。说到底它们还是会继续这么做。开源市场经济不是泡沫很可能抢占前沿模型市场主持人对开源社区也会从中受益因此初创企业也能获得很大的好处。我们可以深入探讨这个问题。它其实不只是中美之间的竞争。我也能理解前沿实验室的立场甚至可以说我试着站在它们的角度思考构建这些前沿模型需要投入前所未有的巨额资本如果开源模型通过蒸馏或其他相关方法迅速追赶上来那么这种持续推动发展的飞轮可能难以为继。这确实令人担忧也不利于这种良性循环持续运转。另一方面中国的开源模型对初创企业生态系统有着巨大的帮助。有些公司尝试过大量微调工作。现在有很多初创公司提供不同形式的后训练服务并试图将这些服务产品化而且这种模式确实行得通。因为借助KimiK3、GLM或者你喜欢的其他开源模型你就有机会达到生产环境中可实际使用的前沿水平。所以综合考虑这两方面你认为未来几年竞争格局会如何发展谁会胜出而这又与你自己致力于开源的原因有什么关系Nathan开源模型和闭源模型的发展实际上处于不同的指数增长周期。闭源实验室的各个环节高度整合拥有高效的推理系统。当模型准备就绪时它们能够依靠充足的资源大规模提供模型服务。它们可以提前规划并率先进入价值非常高的市场。编程领域就是一个例子也是今年最引人注目的发展故事。相关收入几乎是从零迅速增长到了千亿美元规模而且很可能还会继续增长。开源模型实验室则有所不同部分原因在于经济结构上的限制。作为快速跟随者它们无法获得同样的信息流也无法拥有同样的收入流。开源模型生态系统中有模型开发者、负责推理服务的公司以及专门提供后训练服务的公司。模型的客户会提供非常重要的信息例如模型需要完成哪些任务。但这些信息很难顺畅地反馈给模型开发者。与此同时开源模型公司也缺乏足够的规模经济无法像大型闭源实验室那样服务大量用户也难以同样高效地提供服务更难在推理服务上获得同等的利润率。这一切都需要更长时间才能发展成熟。不过如果某些能力逐渐成为标准化商品情况就会有所不同。现在很多企业似乎都希望拥有私有数据。有许多信息它们根本不能通过 API 发送出去。至于零数据保留政策是否足够可靠我们也可以进一步讨论。企业需要花很长时间才能弄清楚自己是否具备内部专业能力或者能否建立真正与收入挂钩的内部评估体系。接下来它们还得研究如何微调模型或者它们会去寻找 Thinking Machines、Prime Intellect 这样的公司并告诉对方“如果我们能微调出一个解决这个问题的模型就有机会大规模赚钱。”这些公司确实有客户但参与整个过程的企业实在太多了因此推进速度会慢得多。不过在这个过程的终点它们将真正拥有模型的所有权拿到模型权重不再受服务条款的限制还可以在自己的硬件上运行模型并且已经弄清楚如何从中获得投资回报。这就是为什么我认为开源模型经济需要更长时间才能建立起来。我也不太担心这个市场只是一个泡沫。随着人们逐渐弄清楚如何找到完成特定任务的最低成本模型以及如何通过利润率展开竞争开源模型可能会逐步侵蚀那些发展极快的前沿模型所占据的市场。不过我也确实不知道最终会发生什么。我认为现在下结论还为时过早。前沿模型进步的最大谎言泛化能力是主要抓手主持人是的这真的很难判断。这始终是我非常关注的问题。接下来我想问的是在判断前沿模型与开源模型之间的竞争格局时你认为哪些证据最有说服力哪些证据最能支持我们对未来平衡状态的不同判断Nathan我一直认为对于那些无法完全验证结果的领域前沿模型取得的许多进步都来自购买高质量数据并为模型提供可以采取行动、不断探索的环境。我认为这里有两种不同的情况。一种是数学和编程我们还不知道编程市场最终会有多大。另一种则是其他所有领域包括知识型工作、生物学、医疗保健、法律等等。这些领域的结果不像数学和编程那样容易验证。我认为这更接近于 OpenAI 大量购买机器人数据所体现的模式。它们可能会告诉我们这一切都是模型泛化能力的神奇体现。但现实中进步很可能一部分来自泛化能力另一部分来自专门的数据而很大一部分最终都归结于数据本身。当我和前沿实验室的员工交流时会发现其中一些人的工作非常出色也有一些人只负责非常具体的任务为某个领域建立数据集确定模型在该领域应该表现出什么行为再设计能够促使模型产生这种行为的数据。同时他们还要判断需要购买哪些数据。我认为未来几年这种模式会在不同产业中持续发展。而购买所有这些数据需要投入大量资本。但这并不意味着某种神奇的递归自我改进RSI会突然发生。与此不同在数学、编程以及某些分布式机器学习工程领域任务结果是可以验证的。你知道自己的成本是多少而 AI 模型能够以惊人的速度降低这些成本。这会带来大量额外收益也能让我们更快开展研究。四年后模型使用成本是原来的1%我非常关注模型效率的发展。我认为随着时间推移模型的使用成本会以倍数级的速度持续下降。我们已经看到 OpenAI 大幅降低价格。那么如果 GPT Soul 或 Astra 这样的更大型模型在未来三年里每八个月就降价一半会发生什么你开始计算就会发现四年后它们的成本可能只剩下原来的百分之一左右。但问题是这些公司能否通过需求增长维持更高的利润率还是说随着市场逐渐饱和它们的收入反而会下降这里面存在许多复杂而微妙的动态。不过从根本上来说AI 的进步主要取决于两件事数据以及编写更好的软件来为模型提供服务。这实际上是两个非常不同的领域。数据工作偷工减料会诱发奖励作弊主持人是的至少从外部观察我完全同意你的看法。目前有很多提供数据和强化学习环境的公司发展得非常好。所以我也想听听你对两种数据获取方式的看法一种是人工构建的数据集和环境另一种则是在模拟环境中生成的数据。它们似乎有不同的价值也可能获得不同的价格。每种方式都有自己的优缺点。我们之前谈过蒸馏另一种值得关注的情况是中国公司购买了某种强化学习环境而六个月后其他公司也开始购买同样的环境。Nathan没错。比如 Anthropic 会说“哦这个东西我买过了。现在它有溢价了。”高质量的数据确实可能带来这样的效果。不过企业购买的数据存在不少缺陷。我会说常见的做法是先大批量采购再慢慢找出哪些数据真正有效而不是每次采购都能命中目标。主持人是的。我个人认为强化学习环境市场的爆发以及其中巨大的赚钱机会吸引了很多人进入这个领域但其中一些人可能会偷工减料进而导致奖励作弊之类的问题。Nathan没错。现在的模型非常聪明。如果你把它们放进一个环境里告诉它们要完成某项任务它们就会想办法获得高奖励。但如果环境本身有问题比如你给模型提供了一个测试文件而这个文件实际上是空的里面根本没有需要它们穿越的迷宫那么模型就可能会想“既然如此我还是得想办法拿到高奖励。”我认为这类行为在很大程度上源于整个数据供应链的问题。不过我相信这些问题最终会得到解决。有意思的是各家实验室都在努力消除奖励作弊问题研究人员为此花费了大量时间但与此同时数据公司却在不断宣传“来买我们的数据吧”而我认为相比于研究模型的行为这些公司投入在构建环境和创造收入上的精力可能更多。最终这两方必须更好地协作才能真正生产出质量更高的数据。数十亿美元砸向数据质量却问题重重主持人是的。不过很多实验室实际上正在把这类工作部分数据转为内部完成因为他们不希望数据泄露。这里说的泄露既有字面意义上的也有比喻意义上的。他们不希望外界通过某些信号察觉自己正在做什么、正在推进什么。不过尽管如此我认为实验室在这方面的采购规模仍然有巨大的增长空间。你觉得这会不会是推动增长的最强劲因素之一你能不能大致估算一下这方面的投入会增加多少你认为随着支出增加这种增长还会持续吗还是说还有其他因素Nathan我到现在其实还是有点不愿意相信这件事。我总觉得这些数字太夸张了居然要在环境上投入数十亿美元的研究预算。但我想他们之所以这么做肯定是因为这确实对模型有帮助而且他们看到了明确的效果。我总体上的观察是数据行业在提升数据质量和改进操作安全性方面还有很多改进空间。仔细看看就会发现数据公司存在一些很奇怪的问题。比如有些公司会雇用海外承包人员而这些人是通过中间机构参与工作的。他们甚至不知道自己处理的数据最终会被出售只是把数据上传到了 GitHub。只要深入调查数据行业就会发现许多这样粗糙、不完善的环节。而且这个行业仍处于非常早期的阶段。一方面投入的金额大得惊人数据质量却不够好另一方面实验室的进步速度很快也知道如何把这些数据整合进自己的工作流程。所以我认为这需要几年时间才能完成转型真正筛选出优秀的供应商帮助他们提供质量更高、投资回报率更高的数据同时利用更完善的系统减少所需资源。这样一来实验室就会继续与这些供应商合作因为它们能获得更多训练信号也不必再投入那么多精力进行内部筛选。我觉得这一切都需要好几年才能逐步实现。RSI 的神秘面纱早该被揭开了主持人我在你们的公告文章中看到了 RSI也就是递归自我改进Recursive Self-Improvement。这个话题确实很值得探讨。我们可以先聊聊它究竟在什么意义上具有“递归性”到底有多令人担忧以及我们是否会迎来所谓的智能起飞。我觉得你对此有一种相当务实、立足现实的看法。我还想谈谈另一个问题我认为RSI 之所以受到如此多的炒作可能也是我们担心前沿实验室会迅速拉开差距的原因之一。事实上我不止一次听人提到有些研究人员已经确信自己的研究工作最终也会被自动化取代。Nathan是的确实如此。过去几年里我亲眼见到一些最好的朋友经历这种焦虑。我会对他们说“你们是这个领域里最优秀的人之一。”可他们去工作时却会跟我说“Nathan我现在真的很挣扎。我接下来到底该做什么”正如你所说他们所做的很多工作都是可以验证的。但与此同时也存在大量无法轻易验证、或者超出模型训练分布的任务例如 AI 对齐以及类似的研究问题。我听过一种观点RSI 在提升模型能力方面取得的进展与它在 AI 对齐方面的进展之间存在着很大的差距。对齐涉及更多分布外任务可能需要更具创造性的工作。也许这种差距能让人稍微安心一些让我们在讨论潜在风险时更加冷静。主持人无论如何我很想听听你的看法。我认为建立一个开放的研究前沿、展示 RSI 究竟是如何实现的非常重要。这样我们能更好地理解它的实际能力。如果某个实验室拥有更好的模型它究竟有多大可能因此迅速领先其他实验室Nathan我认为不会只有我们在做这件事。RSI 现在带有太多神秘色彩但实际上我们已经在用模型处理各种各样的工作了。像我们这样的开放实验室和非营利组织还有其他一些机构例如 Luther、Hugging Face以及由 Marin 和斯坦福大学相关团队推动的 Open Athena都有机会参与其中。对他们来说这也会是一个很好的宣传方向。至于我自己我们可以公开分享正在使用哪些工具。我们会构建一个开源技术栈用于监督微调SFT和中期训练mid-training。我们会使用 SkyRL、Miles 等工具也会公开我们的任务设置和配置说明使用了什么类型的计算资源。我们可以与云端模型、GPT 以及其他模型合作并保存整个实验过程中产生的轨迹数据。我们可以告诉大家实验中使用了哪些任务是否使用了 Linear 之类的热门工具以及我们为什么选择这些任务。我们也会公开模型在这些任务上的表现以及它们是否能够顺利完成任务。你只需要让一个实验室持续这样工作一年然后把成果公开出来告诉大家“这是我们做过的事情。”之后每隔六个月更新一次看看情况有没有变化。如果能够公开完整的技术栈我们就不必再依赖各种分类器试图从模糊的外部迹象中猜测实验室到底在自动化什么。凡是能够分享自动化工作进展的人都应该这样做。我们的任务分布可能与其他实验室不同但我认为研究方法本身其实很相似。我在 AI2 做过的人工智能研究以及我们未来在 Trillium 要开展的研究与其他一些研究团队或实验室正在做的工作并没有本质上的区别。其他人拥有更多资源可以把规模扩大仅此而已。当所有人都在讨论这个问题时能够公开展示实际情况对整个世界都非常有益。我们可以直接告诉大家“这是 Nathan 让模型做的事情而这就是模型卡住的地方。”这甚至能帮助政策制定者真正理解问题。他们可能会说“哦原来如此。它就是在这里卡住了。”他们会看到模型究竟在哪一步遇到了困难以及模型在代码中引入了什么错误。随着时间推移这些错误以及模型在某些任务上追赶进步的过程都会逐渐改善。但我认为模型能力仍然会呈现出一种参差不齐的特点有些方面会迅速突破另一些方面则不会。就像我之前提到的效率问题我确实认为模型会非常擅长降低推理服务的成本。这些公司有数十亿美元的利益与此相关而模型又确实擅长优化这类问题。因此通过提高服务效率、调整架构它们将能够赚到很多钱。但这并不意味着模型就能直接解决所有知识工作的问题。你不能简单地对 Claude 说“Claude想办法让你自己做出更好的 PowerPoint。”对于环境设计或其他类似任务真正取得进展仍然需要时间。新入局者有的是机会承认自己模型不好不是丢脸的事儿主持人你觉得开源团队有没有机会开展预训练预训练的价值究竟在哪里Nathan预训练科学其实相当成熟相关工具也很容易获取。你可以建立一个预训练规模递增的实验阶梯也就是逐步扩大模型规模借此判断自己的想法能否随着规模增长而奏效。预训练数据并没有像环境数据那样发生巨大变化。粗略来说预训练就是在互联网上的数据上训练模型。当然其中有很多细节和一些不公开的技巧但整体而言这方面并没有太大变化。真正不断变化的是最先进的模型架构和 GPU 硬件。不过要训练出一个相当扎实的预训练模型并不需要花费天文数字般的资金。我认为你不必投入十亿美元才能得到一个非常优秀的基础模型。投入越多模型通常就会越好但人们一直在取得进展。我经常会惊讶地发现一家新的实验室居然可以从零开始训练模型而且他们真的有能力做到。有些工作甚至是基于开源工具完成的。比如 Megatron 这样的工具就可以作为基础。很多新创公司会说“我们应该训练什么模型”然后直接基于开源工具开始训练接着把代码分叉出来改造成自己的版本之后就再也不公开了。事实上许多知名的开源模型实验室都做过类似的事情。它们拿走开源代码把它改造成自己的系统但其中很多团队并不会把改进后的代码贡献回上游项目。所以我一直对此感到惊讶。我并不认为新进入者没有机会。毕竟想要训练出一个有竞争力的模型并不意味着你必须拥有一百亿美元。真正困难的是如何训练出一个好到足以让人们愿意使用的模型。另一个难点是你需要讲出一个足够有说服力的故事让自己在发布模型后能够顺利完成下一轮融资。你必须突破这样一道门槛第一个模型必须成功站稳脚跟。如果你的整家公司都建立在“我们的模型是最好的”这个前提上但实际模型却根本达不到那个水平而且你又迟迟不发布产品那么你就会承受巨大的时间压力。我想到 Thinking Machines 这家公司。他们发布 Inkling 时表现得非常坦诚。他们会直接说“这不是我们最好的模型但我们为它感到自豪它有一些很棒的特性。”现在他们已经发布了第二个模型业务也逐渐走上正轨。他们的 Tinker 产品也取得了不错的进展。这对他们来说是件好事意味着公司已经成功起步了。不过我不认为这原本就是他们的计划。他们确实在开发模型但一开始并没有把开源模型作为首要目标。后来他们才逐渐走到了这一步。另外外界也有传闻称Meta 计划再次发布新的开放权重模型。未来应该还会有这样的产品出现。实际上有很多公司根本没有能力自行承担训练模型的成本。预训练更容易入门后训练是一片没有规则的西部荒野主持人希望他们能够继续有动力这么做。至于通过预训练达到前沿水平我觉得现在有这么多优秀的开源模型确实提供了很大的帮助。我们或许可以基于这些模型继续发展逐步建立自己的能力。不过我一直收到相互矛盾的信号不太确定预训练到底是不是已经趋于饱和或者说我们对它的理解究竟有多深入。也许正如你所说确实有很多成熟且已知有效的技术但真正困难的是获得两万到三万张芯片的计算资源。Nathan人们一直在持续投入计算资源进行预训练。随着超长上下文生成能力的发展预训练的收益结构也发生了变化。现在如果你能让某种稀疏注意力架构同样有效那么回报可能会大得多。举例来说如果你能让十万 token 的生成速度提高 40%那就会带来非常显著的收益。所以我认为整个技术栈正在共同演化。实验室有自己的预训练技术栈但它们逐渐发现推理阶段的规模扩展能够带来更高的收益。与此同时预训练本身的基础技术也在不断进步。即使只是让模型架构略微改善也可能带来相当可观的投资回报。而且预训练与后训练之间的界限也越来越模糊。中期训练就是一个例子你开始培养模型的推理行为从旧模型中提取这些行为再对它们进行强化学习。整个循环比单纯的预训练复杂得多。我认为如果没有合适的人才想把这样的流程真正建立起来会比开展预训练困难得多。相比之下预训练反而更容易入门。你可以相对直接地说“我们就从头开始预训练一个模型吧。”但如果你对语言模型还不太了解却想直接弄明白整个后训练流程那就像走进了一个尚未建立规则的西部荒野。主持人 是的。这也是为什么我离开 AI2 时觉得我们的后训练工作实际上已经开始落后了。主要原因是我们的迭代周期不够快而整个领域又正在转向智能体相关的工作。即便如此我们当时使用的仍然是一些领先的开源后训练方案。这正是我想要改变的事情要想在现有技术水平上取得大幅、持续累积的进步并推动开源生态的发展其实不需要那么多资本因为目前的门槛还很低。关键在于如何更有效地配置资金从而产生巨大的影响。Nathan是的。而且这也与整个后训练领域有关。闭源实验室和开源团队之间可能出现差距其中一个原因是它们使用的智能体框架harness非常不同。闭源实验室不仅使用特定的框架还会专门针对这些框架对模型进行训练和后训练让模型能够在相应框架中发挥最佳表现。这就让整个过程显得更加神秘也让外界更难理解。前沿实验室没想象中封闭保密几个月可以长期不可能主持人你怎么看这个问题首先你是否同意这种说法其次你打算如何具体应对Nathan我认为开源最终应该能够跟上。几年前我曾经认为闭源实验室会像苹果公司一样成为一家高度整合的公司模型会专门针对其使用的框架进行设计从而获得规模经济和效率优势。但实际情况是不同的人想用不同的框架完成不同的任务。因此模型公司受到市场压力不得不让自己的模型能够适应各种不同的框架。我原本以为这会成为开放模型的一个弱点因为它们必须被训练成适应各种各样的框架。但最终市场似乎达到了某种平衡所有模型都必须在一定程度上适应不同的框架。至于现在出现的智能体集群我认为 OpenAI 和 Anthropic 会更早掌握相关技术。他们会更清楚如何设计模型也会更早知道如何为大量智能体集群设计相应的框架——或者说我们究竟应该给这种系统起什么名字。我也不知道。总之我们最终会找到一个合适的词。它可能已经不再是传统意义上的 harness而更像一个协调系统。但最终其他人也会希望使用这些技术。接下来就会形成一种循环前沿实验室率先推出新技术并从率先行动中获得巨大收益。我们还不完全清楚这种领先优势究竟能带来多大的回报。比如 Navier-Stokes 之类的研究成果其实际价值到底有多大我们并不完全清楚。前沿实验室会不断推动技术边界因为它们相信率先突破能够带来丰厚回报。它们认为哪怕只是让智能水平提高一点点也可能产生不成比例的巨大收益。我们还不知道这是否始终成立但我预计这种循环会反复出现。一旦人们弄清楚如何在一个框架中控制一万个智能体开源模型公司就会说“哦我们也能做到。”不过像 Timmy 这样的团队不太可能最先实现这一点因为他们首先就缺乏所需的计算资源。主持人是的这需要天文数字般的计算资源。Nathan没错。但技术发展总是以循环的方式推进。英伟达的芯片会变得快得多整个行业也会建设更多计算基础设施。主持人所以你相当确信这些实验室并没有太多完全隐藏起来、外界根本无法推测的技术。我们大概可以猜到他们正在做什么等到这些技术变得足够重要时开源模型也能够尝试采用类似的元框架进行后训练无论我们最终给它们起什么名字。Nathan是的。而且我认为这些实验室在信息安全方面的实际水平可能没有它们自己想象的那么高。硅谷有句老话创意传播得非常快可能一起喝杯啤酒的工夫想法就传开了。大家下班后会互相聊天。但总体而言我们都是科学家。如果有人取得了突破他们自然会想把这件事告诉朋友。他们可能会暂时保密几个月但要长期阻止知识传播所需要的信息安全措施实在太严格了。要把这些事情一直保密是很困难的。前沿实验室真正能够建立优势的地方是将更多推理计算整合进基础设施从而以更低的价格提供服务、获得更高的利润率并在更长的时间里维持这种优势。因此我非常有信心前沿实验室能够提供最便宜的智能服务也就是以每瓦特或每单位计算资源为基准提供成本最低的智能。它们会进入需求最旺盛的市场并在那里提供价格最低的模型。这对它们来说会是一门很好的生意也会增加收入。但问题在于它们不可能包揽所有事情。其他经济活动就会在这个空间里发展起来。例如如果只有编程能够盈利那显然会非常有利于前沿模型公司因为它们拥有最好的模型和最完善的整合能力。但如果整个知识工作经济都成为潜在市场情况就不一样了。它们能同时做好所有事情吗实际上它们也不一定需要做到这一点。我认为未来会有很多赢家。前沿实验室需要投入指数级资源才能维持现在的速度主持人我很喜欢你对 RSI 的看法。正如我们刚才讨论的你是从实际角度出发指出这类进展需要指数级增长的成本和资源消耗。因此前沿实验室能够拉开多大差距显然也存在一定的限制。你还有什么想补充的吗Nathan我认为现在有大量资金正在投入推理阶段。短期来看我们正在学习如何把更多推理计算转化为实际性能提升。这就是我们现在正在经历的事情。前沿实验室正在投入巨额资金员工也在努力推动进步。它们的支出增长速度呈指数级而模型能力的提升相对没有那么快。不过我们正在逐步弄清楚如何更有效地做到这一点。我相信这会带来很大的进步。但我不认为这必然会演变成一种快速起飞的局面也就是模型开始自我构建然后能力突然失控式增长。人类仍然是瓶颈。现有的规模定律大致表明计算资源呈指数级增长而性能则相对呈线性增长。要否认这种趋势我觉得很难。不过我也想强调Navier-Stokes 这类数学问题可能非常适合这种智能形式。我甚至认为数学可能是最适合当前这类智能的科学领域。智能可以有许多不同的形式。当然如果 AI 模型发现了一种与 Transformer 非常不同的新架构而且这种架构带来了完全不同的特性解锁了一种新的智能形式那么我们就应该根据新的证据更新自己的判断。到那时我们应该承认“好吧这确实是不同的情况。”但在这种事情发生之前我对现有证据还是相当有信心的。这些公司确实能够取得很好的成绩但为了维持目前这种惊人的进步速度它们需要投入呈指数级增长的资源。一些 Claude 系统卡也提到过类似的观点如果要实现快速起飞可能还需要在当前基础上取得十倍的进步。就目前而言这些投入是在帮助我们维持现有的进步速度。我认为这是一个相对合理的平衡状态。不过我也听到实验室里的人说科学本身存在很难克服的限制。这个观点并非没有道理只是我们仍然不知道未来究竟会走向何方。担心的不是 RSI 的到来 而是已经存在的 AI 风险主持人是的这确实令人安心一些因为我们知道有哪些投入因素和杠杆可以推动进步。我们一直在优化一种非常成功的自回归模型路线而这条路线需要一定规模的指数级资源投入。这些资源显然不可能无限增长。因此希望开源生态也能继续保持强劲的发展势头不至于被远远甩在后面。Nathan但我们仍有大量工作要做尤其是在基础设施和社会准备方面。AI 能力增长的曲线本身并不是最让我担忧的事情。真正让我担忧的是AI 能力正在增长而公共部门的网络安全准备几乎不存在其他相关领域的准备工作也严重不足。我们应该比现在更加积极地为这种未来做准备。相比于担心 RSI 即将到来、解锁某些全新的风险我更担心的是那些已经存在、并且会持续扩散的风险。很多时候闭源实验室会先达到某种能力水平随后开源实验室也会达到。对于许多可能引发问题的技术我们正处在这样一个逐步扩散的过程中。真正困难的是如何让整个社会做好准备。现在我逐渐形成了这样的看法我们需要更多人参与观察也需要更多科学研究让整个社会能够充分了解正在发生的事情。当然也存在其他合理的观点。但我确实认为不担心快速起飞并不意味着我们就不需要担心 AI 风险。主持人 完全同意。Nathan非常感谢你今天接受采访。这次对话真的很有意思。我也非常期待 Trillium 正式启动之后接下来会开展哪些工作。Nathan 谢谢。原文链接都在赌 AI 自我起飞、一夜失控Trillium 创始人给行业泼了盆冷水RSI 是幌子服务器没上锁是真蒸馏你更是拦不住-36氪我的专辑《人工智能生命体 新启点》CSDN平台https://blog.csdn.net/2501_91883294/article/details/147616608?sharetypeblogdetailshareId147616608sharereferAPPsharesource2501_91883294sharefromlink