EvoSLD: Automated Neural Scaling Law Discovery With Large Language Models

文章主要内容和创新点

主要内容

本文提出了一种名为EvoSLD的自动化框架，用于神经缩放定律（Scaling Laws）的发现。缩放定律是描述神经网络性能（如损失、准确率）随模型大小、数据集规模、计算资源等变量变化的数学关系，传统上依赖人类专业知识和手动实验推导，耗时且易出错。

EvoSLD通过进化算法结合大语言模型（LLMs），共同进化符号表达式（定义缩放定律的结构）和优化子程序（针对不同控制变量组拟合系数），以寻找简洁、通用的函数形式，最小化分组数据的拟合误差。

在五个真实场景（词汇量、监督微调、领域混合、混合专家模型、数据约束预训练）的实验中，EvoSLD在两个场景中精确复现了人类推导的定律，在其他场景中表现更优，测试集的归一化均方误差（NMSE）最多降低了数个数量级，且优于符号回归、遗传编程等基线方法，验证了其准确性、可解释性和效率。

创新点

1. 严格的问题形式化：将缩放定律发现（SLD）形式化为优化问题，结合分组拟合、简洁性惩罚（限制系数数量）和尺度不变的评估指标（如NMSE、NMAE），更符合科学实践。
2. 首个LLM辅助的自动化系统：EvoSLD是首个利用LLM辅助进化搜索的框架，能同时处理有/无控制变量的场景，通过共同进化符号表达式和优化子程序，高效导航假设空间。
3. 实验验证的优越性：在五个基准场景中，性能显著优于传统符号回归（如PySR、GPlearn）和简化版本（如固定优化器的EvoSLD），证明其在复现人类