NICE学术 · 前沿对话 | 演讲人郑童马里兰大学帕克分校博士生、Dream-RSI 第一作者 | 议题Dream-RSI让智能体通过“做梦”实现递归自我改进核心洞察长程自主智能体实现递归自我改进RSI的最大死穴从来不是底座模型“写不出代码”而是元搜索层面的“探索策略优化极度昂贵”。传统方法在线调整搜索策略需等待数千次昂贵的生成与代码真实执行而 Dream-RSI 的第一性原理颠覆在于将已走过的探索历史树升格为确定性“回放模拟器”Replay World。智能体在离线世界中反思做梦重新调度分支剪枝与并行策略无需重新调用大模型与编译器即可获得即时离线反馈以 0 增量推演成本驱动策略迭代最终在算法工程、GPU 内核发现与智能体运行框架Harness优化中实现超百倍算力节约与大幅性能跃迁。01 递归自我改进RSI的核心瓶颈固定策略失效与在线元探索的高昂代价在自主科学发现与复杂工程代码生成任务中递归自我改进Recursive Self-Improvement, RSI被普遍视作通往高阶通用人工智能的关键路径。然而当前无论是 AlphaEvolve、CodeEvolve 还是 SimpleTES在面对数千步长周期的超大搜索空间时均陷入了深刻的“元探索悖论”静态探索策略的收益递减固定的启发式规则如固定分支宽度、简单退火、均匀轮询无法从历史经验中进化导致智能体反复在无效死胡同中挥霍算力随着探索轮次增加边际产出急剧衰减。元层级反馈严重延迟与昂贵评估一个候选解仅需单次编译测试但评估一种“探索策略”必须等待该策略完整展开数十轮、消耗数千次大模型调用后的整体表现在线试错成本极其惊人。提示词方向引导的虚妄幻觉简单在 Prompt 中硬编码方向性经验如“避开分支A、多尝试算法B”往往造成早熟收敛束缚模型的多样性发散甚至劣于无引导的纯随机扩展。郑童团队明确指出必须将“探索策略的编排机制”与“底座智能体的权重”解耦保持底座执行模型与编译器环境不变将探索策略显式化为可执行的 Python 编排代码使闭环自进化的焦点集中于控制层。02 探索历史即世界模型Dream-RSI“做梦”机制与离线回放模拟器架构Dream-RSI 最具革命性的直觉在于借鉴了强化学习中的世界模型World Models / Dreamer一个已经完成的探索过程其本身就记录了完整的决策拓扑与真实执行结果树。这段历史不应被当作静态的文本日志而是一个天然的可执行模拟环境。探索树的数学抽象探索空间被建模为一棵以初始工作区状态为根节点rrr的树T\mathcal{T}T。每个子节点vvv封装了该步的代码变体、编译日志与客观标量得分svs_vsv。可扩展动作空间为当前所有可见叶子节点集合A(T)A(\mathcal{T})A(T)。共享的决策控制接口策略代码在每轮决策中从可见候选节点中选出并发批次C⊆A(T)C \subseteq A(\mathcal{T})C⊆A(T)∣C∣≤W|C| \le W∣C∣≤W其中WWW为最大并行工人数。批次大小直接决定了计算资源的并行分配与调度节奏。离线确定性回放Dreaming当新策略πtm\pi_{t}^{m}πtm在历史树中“做梦”时它重新做出分支选择、分配并行度或提前终止。若选择某一历史节点环境直接读取此前已保存的执行结果无需重新调用大模型生成代码也无需重新运行 GPU 编译测试。闭环演化飞轮在线探索生成新历史→\to→历史沉淀扩充模拟器池→\to→离线做梦演化出更高胜率的策略代码→\to→部署新策略开启下一轮在线探索。这一机制彻底抹平了元探索试错的经济门槛在历史回放的世界里几毫秒内即可完成数千步决策推演智能体得以低成本探索数千种策略分支的优劣。03 质量、成本与并行度的帕累托权衡基于超体积HV与延迟惩罚的代码策略演化在离线模拟环境中如何客观量化一个探索策略代码的优劣Dream-RSI 构建了一套兼顾最终解质量、计算调用成本与时延并行度的多目标评价体系核心评估指标数学表征与计算逻辑工程意义与设计初衷质量-成本超体积 (HV)HV∑j(aj−aj−1)(1−njB)HV \sum_j (a_j - a_{j-1})\left(1 - \frac{n_j}{B}\right)HV∑j(aj−aj−1)(1−Bnj)积分覆盖多预算偏好下的非支配前沿面衡量策略在不同计算预算下的自适应性严厉惩罚“高成本换取微小提升”的低效策略奖励在预算初期即收敛优质解的行为。并行度时延惩罚 §$P \frac{1}{P综合策略选择评分 (V)VHV−λ⋅PV HV - \lambda \cdot PVHV−λ⋅Pλ\lambdaλ控制并行效率与探索深度的权衡因子策略演化智能体LLM Policy-Development Agent依据多轮做梦轨迹日志对 Python 策略代码进行代码重构挑选VVV最高者上线。更关键的是消融实验证实若仅将历史总结为文本建议注入 Context后续探索极易偏执而通过重写调度算法代码如引入动态自适应门限、基于方差的主动早停策略能够优雅地在“发现瓶颈期加大并发发散”与“收敛平稳期收紧资源消耗”之间自由切换。04 跨四大领域严苛实证从内核发现到Harness优化百倍算力节约与自主进化范式在涵盖算法工程、数学优化、GPU 高性能算子及智能体 Harness 优化的 4 大领域、9 种任务上Dream-RSI 均展现出了碾压式的收敛速度与质量飞跃算法工程Lasso 正则化求解器在 6 个跨领域真实测试集上平均运行耗时由 3587.1ms 降至 2931.0ms仅消耗 317 次调用较 SimpleTES 算力节省高达 162 倍且泛化性能超越标准库 sklearn 与 glmnet。GPU 算子KernelBench 实战在 VGG16 与 LayerNorm 算子上分别减少 2.43× 与 1.79× 的调用量即可达到同等性能在 ConvDiv 与 ConvMax 算子上在同等预算下性能分别跃升 2.09× 与 1.44×。数学前沿组合与函数优化在 Sum-Difference 问题上斩获 1.145427 创下新高Circle Packing 达到顶尖的 2.635983以不到 1000 次生成匹敌了 SimpleTES 51200 次生成的求解表现。Harness 自演化终端能力跃迁在 Terminal-Bench 2.1 智能体基准上通过演化智能体运行框架Harness评分从 72.47% 跃升至 80.90%净增 8.43 个百分点实现框架级自举进化。Dream-RSI 为智能体领域带来了深刻的范式转移真正的递归自我改进并不局限于盲目微调底座模型而在于将探索经验转化为确定性模拟资产。当“历史回放”成为智能体免费做梦反思的演武场AI 正在从单次线性的求解机器蜕变成为具备自省调优、自我演化的长程探索者。技术解读NICE学术前沿学术报告 · 读马里兰大学郑童团队工作《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》全景解析