今天一早刷 arXiv cs.LG 的 10 月 6 日新提交时我整个人是有点亢奋的。这周不是那种“几十篇水稿混日子”的平静周而是能看到几条清晰技术主线的硬核周。围绕大模型推理成本、测试时计算、扩散模型跨界、长上下文稀疏注意力、以及小模型蒸馏这几个方向冒出了不少值得花时间精读的工作。这篇汇总我不会逐篇翻译摘要而是挑出我认为对后续半年研究或工程落地有参考价值的论文拆开讲讲它们的核心思路、为什么在这个时间点会集中出现以及我在复现和评估这类工作时的真实体感。无论你是做 LLM 应用、做生成模型还是刚切入 AI 方向的研究生这篇文章能帮你快速过滤掉噪音把有限的时间花在真正值得读的少数工作上。1. 2026.10.06 论文池整体观察大家到底在做点什么1.1 提交量分布与活跃度速览这一批 cs.LG 论文粗略扫下来量级仍然维持在日均几百篇的正常水位。我个人习惯先按标题和摘要过一轮再挑大概 10% 做深度阅读。今天这轮我明显的感受是大模型效率和推理时扩展test-time scaling相关的内容几乎占了小半壁江山其次是生成模型的策略与控制应用另外有一部分很有意思的稀疏注意力工作。从活跃度上看之前几周那种“人人都发大模型微调”的拥挤感在退潮取而代之的是对“怎么让已有模型用更少的资源干更多事”的关注。说明大家开始从模型能力的军备竞赛转向一件事已经训出来的模型到底能不能在部署端真正跑起来。1.2 五个值得注意的共性趋势我把这周的高相关关键词做了个简单归类。第一测试时计算不再是 RL 的专利。以前提到推理时计算大家直觉反应是“让模型多思考几步”但这周我看到了把搜索、受限解码、甚至离线规划都接到生成过程中的做法。第二稀疏注意力又回来了一次但这次回来的姿态变了不再单纯为了省显存而是跟硬件算子、共享前缀这些工程手段做联合设计。第三扩散模型在动作空间里越来越像“策略网络”不只是生成图像而是拿来做机器人控制、游戏 AI、还有各种序列决策任务。第四蒸馏目标在从“对齐大模型”转向“对齐推理模式”蒸馏的不再是回答本身而是大模型搜索轨迹里的关键步骤。第五数据配比开始课程化不是单纯随机混合而是按难度或训练阶段动态调整。说实话这五个趋势单独拎出来都不算新概念但集中出现在同一天说明整个社区的注意力正在往同一个方向收束。2. 推理侧继续“氪算力”从思维链到测试时搜索2.1 两个代表性工作的核心思路这周最让我有阅读冲动的是两篇关于测试时扩展的论文。第一篇提出了一种叫做“受限步骤搜索”的框架简单说就是把模型每一步采样出来的候选动作限定在一个由验证函数约束的集合里然后通过一个轻量的树搜索在这些候选之间做回溯。对比前段时间流行的“反复采样取多数票”这套方法的优势在于不需要额外训练一个价值模型而是直接利用生成模型自身的似然分数再配合一个外部约束器来做剪枝。第二篇则更极端一点它把测试时计算当成一种可以动态分配的资源。作者在一个开源的大语言模型上做了一个调度实验简单问题只采样一次中等难度问题采样两次并取一致性校验最难的问题才启用完整搜索。最终在数学和代码两类 benchmark 上用相同总预算超过了均匀分配的基线。这两篇放在一起其实回答了同一个问题测试时计算不是无脑堆采样次数而是要做策略性分配。如果你有 100 万元的推理预算与其每个请求都花 1 元不如花 0.5 元判断难度然后把剩余的预算投给真正难的请求。2.2 为什么测试时计算会在 2026 年成为主线原因其实很现实预训练的成本已经到了一个让很多实验室喘不过气的量级而推理阶段的单次成本还在肉眼可见地下滑。相比之下在推理时“少量多次”地调用模型比重新训练一个更大更强的模型要便宜太多。换句话说测试时计算是把“智商”从训练期挪一部分到部署期。另一个推动力是推理硬件的发展。今天的新卡已经能相对高效地执行大批量并行解码这让“同时对同一 prompt 生成几十个候选”从理论变成了常规操作。我甚至看到这周有论文专门研究了批量大小与搜索深度的权衡曲线结论不是越深越好也不是越宽越好而是存在一个工程上的最优甜点区具体位置取决于卡间带宽和显存余量。2.3 实操视角怎么评估这类论文的收益如果你也想在自己的业务里借鉴这类思路我的建议是不要上来就复现完整的搜索过程。先在现有的系统上做一个简单的“难度分级器”用 prompt 长度、问题类型、甚至模型第一次输出的 logits 熵来把请求分成两档或三档。然后对最难的那一档做多候选采样加规则校验通常就能拿到比统一采样更好的效果。我在自己这边的私有数据集上做过类似实验收益最大的是格式复杂、需要多步推断的请求而那些只需要检索式回答的请求多采样基本是浪费。提示测试时计算并不是没有代价。搜索步数一旦变多端到端延迟会明显上升。如果业务强依赖实时响应建议给每个请求设定最大 token 预算而不是固定搜索深度。3. 生成模型的新战场扩散不只是画图也是世界模型3.1 离散动作空间的扩散策略最新进展这周有一篇让我印象深刻的扩散决策工作把离散动作的生成问题重新表达成“在概率路径上逐步去噪”的过程。以往很多扩散策略工作都集中在连续控制比如机械臂的关节角度。但真实世界有大量离散动作场景比如游戏里的按键、导航里的方向指令、客服系统里的 API 调用。这篇文章提出了一种“嵌入-去噪-量化”的三段式先把离散动作嵌入到连续向量空间在向量空间里做扩散最后用一个可微的最近邻层把结果映射回离散动作。听起来不复杂但难在训练时怎么保持嵌入空间的结构稳定。实验显示这套方案在多个离散决策任务上超过了传统的行为克隆和离散扩散基线尤其是在需要多步规划的任务里优势更明显。我个人的理解是连续空间的扩散天然能保留动作之间的语义相似度而离散 token 建模很难做到这一点。3.2 扩散模型用于“模拟器”和多步规划另一篇工作则把扩散模型当成“可微分的世界模型”来用。作者训练了一个扩散模型来预测状态转移的概率分布然后在推理时把规划算法直接作用在这个扩散采样的隐空间里。换句话说这个模型不只是预测下一帧长什么样而是能提供“从当前状态执行某动作后未来趋势如何分布”的梯度信息。规划器可以顺着这个梯度去迭代搜索动作序列。这个方向我特别看好因为强化学习里最大的痛点是环境交互成本太高而一个准确的生成式世界模型有机会把大部分交互转移到潜空间里进行。当然前提是模型对真实环境的覆盖度足够高否则在分布外状态下会产生严重幻觉。我甚至在摘要里看到作者在消融实验中专门测了分布外状态下的规划效果结果是“明显下降但仍然可用”说明作者也清楚这个问题。3.3 我在看这类工作时的三个关注点每次看到扩散决策论文我都会问三个问题。第一采样步数是多少如果推理时需要上百步去噪那么即使效果再好也很难部署到实时系统。第二分布外鲁棒性有没有做实验决策任务最怕的就是碰到训练时没见过的状态很多论文只在 in-distribution 上自嗨。第三和基线比较公不公平尤其是跟强化学习基线比的时候有没有给足训练预算和时间。这三条也是我判断一篇扩散决策论文值不值得精读的过滤器。这周能过这三关的其实不到三成。4. 让 Transformer 再跑快一点稀疏注意力与硬件协同4.1 长上下文下稀疏注意力为什么被反复提起大模型进入百万 token 上下文时代之后稠密注意力的二次方复杂度终于变成了绕不过去的瓶颈。这周我看到不止一篇论文在做“上下文稀疏性”的挖掘也就是说实际计算中很多 token 对之间的注意力权重接近于零那就没必要计算它。理论上这能省下接近线性的计算量。但过去稀疏注意力的实现在 GPU 上往往因为访存不规则反而比稠密还慢所以本周这些工作都在强调“硬件协同”。有一篇论文直接针对一种现有加速器做了算子级别的稀疏注意力内核根据 attention logits 的分布动态选择稀疏掩码再用分块策略把计算映射到张量核上。实验证明在 128K 长度下能做到比 FlashAttention 快约两倍同时困惑度基本不掉。这种“软件找稀疏硬件算稠密”的组合我觉得才是稀疏注意力真正能落地的形态。4.2 量化与低秩解法的组合实验另一条有意思的线是“稀疏 低秩 量化”三合一。作者观察到长上下文场景下KV 缓存本身存在大量冗余。他们先对 KV 做低秩近似把每层缓存压到原始大小的一半以下再对近似后的张量进行 4-bit 量化同时只对少数高注意力权重的头保留高精度。这个组合拳在 16 个长文本任务上只损失了不到 1% 的平均得分但显存占用大幅下降。我必须得说这类工作看起来非常工程友好。因为它的每一步都可以单独开关你可以先只上量化再逐步打开低秩和稀疏度控制不会出现“全有或全无”的踩坑体验。这也是我判断一个效率优化方案能不能落地的关键要能渐进式部署不能要求用户一步到位。4.3 复现实验时容易踩的三个坑我自己去年开始做长上下文优化复现踩过不少坑这周看这些论文时回想起来依旧有共鸣。第一个坑是掩码生成本身的计算开销。很多稀疏注意力论文没算上“决定哪里稀疏”的时间把掩码当成免费的结果端到端性能看起来美好复现出来根本加速不了。所以看论文时务必检查掩码是在离线算好的还是在线动态生成的。第二个坑是评测指标不一致。有些论文用“推理速度”说事但没交代 batch size 和输入长度分布。同一套实现batch size 从 1 调到 32加速比能差出好几倍。第三个坑是精度测试任务太窄。只测了代码补全或摘要没测需要跨段长距离信息检索的任务后者才是稀疏注意力的真正短板。注意任何稀疏注意力论文第一件事先看它有没有在真实长上下文基准上验证。如果只给困惑度那还不够因为困惑度对注意力稀疏性很不敏感。5. 小模型养成记蒸馏、量化和数据配比5.1 本周值得尝试的蒸馏策略这周有一篇蒸馏论文的思路让我眼前一亮它不再只让 student 去模仿 teacher 的最终输出而是让 student模仿 teacher 的“搜索轨迹”。具体来说teacher 对一个难题做多次采样和回溯把中间尝试过的有效路径整理成一条带标注的轨迹然后用这条轨迹去监督 student。相比直接教 student 标准答案这种做法相当于把 teacher 的试错经验一并压缩进了 student。从结果上看在数学推理任务里用轨迹蒸馏的 student 在 pass1 上能比传统蒸馏高出一截并且 student 在“明显错误但思路合理”上的比例也更高。我理解这是因为轨迹里包含了逆向改进的过程student 学的不是死记答案而是“如何绕回正轨”。5.2 数据配比的新玩法课程式混合另一篇工作没有改模型只是改训练数据的排序方式。它的核心思路是训练一个“难度评估器”对每个样本打一个分然后在训练过程中按“简单 - 中等 - 难 - 混合”的顺序动态调整采样概率。听起来简单但在 1B 级别的模型上用这个课程式混合策略能稳定超过静态配比好几个百分点。这里面最关键的是难度评估器本身要非常便宜否则训练过程多出来的开销会吞掉收益。作者用的是一层线性回归加两个文本统计特征几乎免费。我觉得这种“低成本动态数据调度”在中小企业场景下特别实用因为你没有能力无限堆数据但你可以把已有的数据更好地组织起来。5.3 我的阅读优先级建议如果本周你只能读三篇效率相关论文我会建议按这个顺序先读那篇测试时资源调度的论文因为它直接告诉你“钱花在哪最值”再读稀疏注意力与硬件协同的那篇因为它是工程落地的稀缺货最后读轨迹蒸馏因为它把小模型压榨价值的思路带到了新高度。至于其他泛泛而谈的“新注意力结构”我建议暂时放过多数在常规 GPU 上复现不出来或用处有限。6. 读论文之外的体力活复现清单与工具链6.1 我用的三件套环境隔离、实验追踪、图表复现每天看这么多 arXiv 论文真正能留下来的只有那些我亲自复现过的结果。我自己的流程固定是三件套用容器做环境隔离每次跑实验都锁定基础镜像版本用实验追踪工具记录每次运行的超参、commit 和日志最后把论文里的关键图表用它们的开源代码重新跑一遍不只看截图而是看原始数据曲线。这三件套看起来普通但能帮我避开很多“论文截图造假”或“测试脚本笔误”的坑。特别是图表复现一旦你把训练 loss 曲线和论文对上基本就能确认这篇工作的实验没掺水。6.2 需要避开的示例代码陷阱这周我读到的几篇论文都提供了示例代码但我注意到一个共性陷阱示例代码里硬编码了特定卡数和模型尺寸。直接照跑可能因为显存不足或并行策略不匹配而失败。我的建议是先花十分钟看代码里有没有ddp、deepspeed相关的配置再根据自己卡的情况改掉数据并行维度。另有一些仓库的requirements.txt依赖写得过宽导致装上一个不兼容的版本跑出的结果完全不对。碰见这种情况以仓库setup.py或环境 yml 文件为准不要直接pip install -r requirements.txt。这些小习惯能让你少走一周弯路。结尾我个人在实际查看这批 2026.10.06 的 arXiv cs.LG 论文时最强烈的感受是社区已经从“追逐新架构”过渡到了“在已有架构上榨出更多价值”。测试时计算、稀疏注意力、扩散决策、轨迹蒸馏这些方向无一例外都在回答一个共同的问题我们该如何更聪明地使用手里的算力和数据。如果你也在关注这些方向我建议不要只扫摘要尤其要去看实验章节里的基线设置和消融设计。每天的新论文虽然很多但真正能沉淀下来的核心思路其实屈指可数。理解这几个思路比囤积一百篇 PDF 有用得多。