1. 当数学的严谨撞上AI的直觉一个跨学科观察者的笔记最近和几个做机器学习的朋友聊天话题总绕不开一个现象模型规模越来越大训练成本越来越高但真正让人眼前一亮的突破反而常常来自一些看起来“很数学”的想法。比如某个损失函数的设计背后其实是微分几何里的曲率概念某个注意力机制的改进灵感来源于信息论中的熵编码。这种“数学直觉驱动AI创新”的趋势在过去一年里变得格外明显。我自己既不是纯数学出身也不是专职做AI研究的更多时候是在两个领域的交界地带晃悠看看这边的方法能不能解决那边的问题那边的工具能不能给这边提供新的视角。这种跨界的视角有个好处不会被单一领域的惯性思维绑住手脚。比如做优化的人可能习惯性地盯着梯度下降的各种变体但如果你了解一点凸分析的历史就会知道很多非凸问题的处理思路其实在几十年前的变分法里就有雏形。这篇文章想聊的就是最近一段时间我在数学与AI交叉地带观察到的一些有意思的片段。它们有的来自公开的研究进展有的是和同行交流时碰撞出的想法还有的是自己在复现某些方法时踩过的坑。内容会比较杂但核心线索只有一条当数学的严谨性遇上AI的直觉性两者如何互相塑造、互相启发。适合对AI底层原理感兴趣、愿意花时间琢磨“为什么这样设计有效”的读者也适合数学背景想了解AI在做什么的人。如果你只关心调包跑通一个模型那这篇可能不太对你的胃口但如果你想理解那些藏在API背后的数学结构那我们可以一起往下看。2. 从损失函数曲面到泛化边界数学工具如何解释AI的“玄学”2.1 损失函数曲面的几何直觉为什么平坦极小值更受欢迎训练神经网络的时候我们最终得到的是一组参数这组参数对应着损失函数曲面上的一个点。这个点通常是一个局部极小值但不同的局部极小值泛化能力可能天差地别。一个被广泛讨论的经验观察是位于“平坦”区域的极小值往往比位于“尖锐”区域的极小值泛化更好。这个观察最早来自一些实验论文后来被大量后续工作验证。但“平坦”和“尖锐”到底怎么定义这就需要用数学工具来刻画了。最直接的方式是看损失函数在极小值附近的Hessian矩阵。Hessian矩阵的特征值分布反映了曲面的曲率如果所有特征值都很小说明各个方向上的曲率都低曲面比较平坦如果有些特征值很大说明在某些方向上曲面很陡峭极小值就比较尖锐。用Hessian的谱范数或者迹来量化平坦程度是一种常见的做法。不过这里有个坑Hessian矩阵的维度是参数数量的平方对于现代神经网络来说参数量动辄上亿直接计算Hessian根本不可行。所以实际中通常用一些近似方法比如计算Hessian-向量乘积或者用Fisher信息矩阵来近似。我在复现一个相关实验时一开始想直接算Hessian的特征值结果内存直接爆了。后来改用Lanczos迭代来估计最大特征值才把实验跑通。这个经历让我意识到数学工具虽然强大但落地到实际规模的问题上计算可行性往往才是第一道门槛。另一个值得注意的点是平坦极小值和泛化之间的关系并不是绝对的。有些工作指出如果对参数进行重参数化平坦极小值可能变成尖锐的反之亦然。这说明“平坦性”本身可能不是一个内禀性质而是依赖于参数化方式。这个观察对实践有重要启示如果你试图通过正则化来鼓励平坦极小值需要小心选择正则化的形式否则可能只是在特定参数化下看起来有效换一种网络结构就失效了。2.2 泛化边界理论从VC维到PAC-Bayes的演进逻辑泛化边界是学习理论里的核心概念它试图回答一个问题模型在训练集上的表现能在多大程度上保证在测试集上的表现早期的VC维理论给出了一个漂亮的答案泛化误差和训练误差之间的差距被VC维和样本量的某个函数所控制。VC维衡量的是模型类的“容量”容量越大需要的样本越多才能保证泛化。但VC维有个致命问题对于深度神经网络VC维可能非常大甚至接近参数量按照VC维理论需要天文数字的样本才能保证泛化。可实际中神经网络在样本量远小于参数量的时候也能泛化得很好。这个矛盾促使研究者寻找更精细的容量度量。PAC-Bayes理论就是其中一个重要方向它不再只考虑模型类本身而是考虑学习算法在模型空间上的分布。简单来说PAC-Bayes边界依赖于先验分布和后验分布之间的KL散度这个散度可以理解为“算法从先验更新到后验时改变了多少信念”。这个框架的美妙之处在于它把泛化能力和学习算法的“信息增益”联系起来了。如果算法只是微调了先验KL散度小泛化边界就紧如果算法大幅改变了信念KL散度大边界就松。这解释了为什么随机梯度下降SGD本身就有正则化效果SGD的噪声使得后验分布不会偏离先验太远从而控制了KL散度。我在读相关论文时一开始对“先验”和“后验”在神经网络语境下的含义感到困惑后来意识到可以把初始化分布看作先验训练后的参数分布看作后验这样理解就顺畅多了。不过PAC-Bayes边界在实际中通常还是偏松尤其是对于大模型。最近有一些工作尝试用数据依赖的先验来收紧边界比如用一部分数据来构造先验再用另一部分数据来评估后验。这种做法在理论上需要小心处理数据分割带来的统计问题但实验上显示出不错的潜力。如果你对这个方向感兴趣建议先从理解KL散度在泛化中的角色入手再逐步深入到具体边界的形式和证明技巧。2.3 神经正切核把训练动力学翻译成核方法的语言神经正切核NTK是近几年一个非常漂亮的理论工具。它的核心思想是当神经网络足够宽时训练动力学可以用一个核方法来近似描述。具体来说NTK定义了参数空间中的一种核函数这个核函数决定了梯度下降过程中函数值的变化。在无限宽极限下NTK是固定的不随训练过程变化这意味着网络的行为等价于一个核回归。这个结果的数学推导涉及函数空间中的梯度流、高斯过程以及核函数的谱性质。我第一次读相关论文时被里面的数学符号绕得头晕后来自己动手推导了一遍无限宽极限下的NTK表达式才真正理解为什么宽度趋于无穷时参数的变化可以忽略不计而函数的变化由NTK主导。这个推导过程也让我明白了一个关键点NTK理论成立的前提是网络宽度趋于无穷而实际网络宽度是有限的所以NTK只是一个近似。对于有限宽网络NTK会随着训练发生变化这种变化被称为“特征学习”是深度网络区别于核方法的核心所在。从实践角度看NTK的价值在于它提供了一个分析工具。比如你可以用NTK的谱来分析网络的训练速度如果NTK的特征值衰减很快那么对应方向上的学习就会很慢。这解释了为什么某些数据分布下网络训练困难因为NTK的谱没有很好地覆盖数据的主要变化方向。我在做一个小规模实验时尝试用NTK的谱来预测不同初始化下的训练收敛速度结果和实际训练曲线吻合得还不错。当然这个实验规模很小结论不能推广到大规模场景但它至少说明NTK作为分析工具是有实用价值的。3. 当AI反过来推动数学那些被神经网络“猜”出来的结构3.1 用神经网络发现数学猜想从模式识别到符号回归数学研究的一个核心活动是发现猜想观察一些例子总结出规律然后尝试证明或证伪。这个过程和机器学习中的模式识别有相似之处。近年来有一些工作尝试用神经网络来辅助猜想发现。比如在纽结理论中研究者用神经网络来预测纽结的某些不变量然后通过分析网络的预测结果来发现新的关系。在表示论中也有工作用神经网络来猜测特征标表的规律。这类工作的一个关键技术是符号回归不仅让网络预测数值还要让网络输出一个符号表达式。符号回归的难点在于搜索空间巨大而且需要保证输出的表达式在数学上有意义。一种常见的做法是用神经网络来引导搜索比如用网络预测哪些表达式更可能拟合数据然后在这些表达式的邻域内进行搜索。另一种做法是用网络来学习表达式的树结构然后通过解码得到符号形式。我自己尝试过用符号回归来拟合一些简单的数学序列发现最大的挑战不是网络结构而是如何定义“好”的表达式。比如对于同一个序列可以找到无数个表达式来拟合但只有少数是有数学意义的。这就需要引入一些先验知识比如偏好简单的表达式、偏好使用常见的数学函数等。这些先验知识的设计本质上是在把数学家的审美和直觉编码进算法里。这个过程让我意识到AI辅助数学发现的关键可能不在于算法有多强而在于如何把数学家的思维方式有效地融入算法。3.2 组合优化中的AI启发式从旅行商问题到矩阵乘法组合优化是数学和计算机科学的交叉领域很多经典问题都是NP难的比如旅行商问题、图着色问题等。传统上这些问题用精确算法或者启发式算法来求解。近年来神经网络开始被用来学习启发式策略比如用强化学习来训练一个模型让它逐步构造解或者用图神经网络来预测解的结构。一个有意思的例子是矩阵乘法。矩阵乘法的标准算法时间复杂度是O(n^3)但Strassen算法把它降到了O(n^2.81)后来又有更快的算法。寻找更快的矩阵乘法算法本质上是在一个巨大的离散空间中搜索。有研究者用神经网络来引导这个搜索把矩阵乘法的张量分解问题转化为一个学习问题用网络来预测哪些分解可能有效。虽然目前还没有找到超越已知最优的算法但这个方向展示了AI在纯数学问题上的潜力。另一个例子是最大独立集问题。有工作用图神经网络来学习一个启发式规则决定在每一步选择哪个顶点加入独立集。这个规则通过强化学习来训练奖励是最终独立集的大小。实验显示在小规模图上学到的规则可以接近甚至超过一些经典启发式算法。但规模一上去泛化就成了问题在小图上训练的规则到大图上可能完全失效。这反映了AI方法在组合优化中的一个根本挑战如何保证学到的策略在不同规模的问题上都能有效。3.3 自动定理证明AI在形式化数学中的角色自动定理证明是AI和数学交叉的另一个重要方向。传统上定理证明依赖于人工编写的证明脚本比如在Coq、Lean等证明助理中。近年来有一些工作尝试用机器学习来辅助证明比如用神经网络来预测下一步应该用哪个策略或者用语言模型来生成证明片段。一个典型的流程是给定一个待证明的定理证明助理维护一个证明状态包含当前的目标和假设。机器学习模型的任务是预测一个策略应用这个策略后证明状态会更新。这个过程反复进行直到目标被解决。这里的挑战在于证明状态的空间非常大而且策略的选择需要精确的语法和语义理解。语言模型在这方面显示出一定潜力因为它们可以从大量的证明语料中学习到策略的模式。我试用过一个基于语言模型的证明辅助工具感觉它在处理简单引理时还挺顺手但一到复杂的归纳证明就容易卡住。后来分析发现模型在需要长程推理的时候容易迷失方向因为它没有显式的搜索机制。这提示我们AI在定理证明中的角色可能更适合作为“策略建议器”而不是完全自主的证明者。人类数学家仍然需要负责高层的证明规划和关键步骤的决策AI则负责处理那些繁琐的、模式化的子目标。4. 实操中的坑与技巧把数学想法落地到AI项目4.1 数学符号到代码的翻译那些容易出错的细节把数学公式翻译成代码听起来简单做起来坑很多。我踩过的最典型的坑是下标和索引的混淆。数学里通常用1-based索引而Python是0-based如果不小心就会导致数组越界或者取错元素。另一个常见问题是矩阵乘法的维度顺序。数学里习惯用列向量而NumPy里默认是行优先如果不注意转置结果就会完全错误。还有一个更隐蔽的坑是数值稳定性。数学推导中我们假设实数运算但代码里是浮点数。比如计算softmax时如果直接按公式exp(x)/sum(exp(x))来算当x很大时exp(x)会溢出。正确的做法是先减去最大值即exp(x-max)/sum(exp(x-max))。这个技巧在数学上等价但在数值上稳定得多。类似的技巧还有log-sum-exp、Cholesky分解等都是把数学上等价但数值上不稳定的公式改写成数值稳定的形式。我的经验是在把数学公式写成代码之前先用小规模的随机数据手动验证一遍。比如对于矩阵运算可以构造一些特殊矩阵单位矩阵、对角矩阵来检查结果是否符合预期。对于概率分布可以检查是否归一化、是否非负。这些简单的检查往往能发现大部分低级错误。4.2 梯度检查与自动微分信任但验证现代深度学习框架都提供了自动微分大大减轻了手动推导梯度的负担。但自动微分不是万能的有时候会出错尤其是在涉及自定义操作或者复杂控制流的时候。所以梯度检查是一个好习惯用数值梯度来验证自动微分的梯度。数值梯度的计算很简单对于每个参数稍微扰动一下看损失函数的变化然后除以扰动量。这个方法的精度受限于浮点数的精度通常用中心差分可以提高精度。梯度检查的关键是选择合适的扰动量太大则截断误差大太小则舍入误差大。一般取1e-4到1e-6之间比较合适。我在实现一个自定义的损失函数时就遇到过自动微分结果和数值梯度不一致的情况。排查后发现是因为我在损失函数里用了一个不可导的操作比如取整导致自动微分在那个点上的梯度是错的。这个经历提醒我自动微分只保证对可导操作的正确性对于不可导操作需要自己处理或者用次梯度代替。4.3 实验设计与消融如何判断一个数学改进真的有效在AI研究中提出一个新的数学改进比如新的正则项、新的初始化方案后如何判断它是否真的有效这需要严谨的实验设计。最基本的是消融实验在相同的基础模型和训练设置下对比有无该改进的效果。但消融实验也有坑如果改进引入了额外的超参数那么效果可能来自于超参数调优而不是改进本身。所以需要控制超参数的搜索空间确保对比公平。另一个问题是随机性。神经网络的训练对随机种子很敏感单次实验的结果可能不可靠。所以需要多次实验报告均值和标准差。如果改进的效果小于标准差那这个改进可能只是噪声。我见过一些论文只报告最好的一次结果这种做法在严谨性上是有问题的。还有一个容易被忽视的点是计算成本。有些数学改进虽然提升了效果但计算成本大幅增加比如需要计算Hessian或者求解一个优化子问题。在这种情况下需要对比在相同计算预算下的效果而不是相同迭代次数下的效果。否则改进可能只是“用更多计算换更好效果”而不是真正的算法优势。5. 工具与资源我实际用过的那些数学AI利器5.1 符号计算与自动微分SymPy、JAX与PyTorch的配合在做数学和AI交叉的工作时符号计算工具和自动微分工具是两大主力。SymPy适合做符号推导比如求导、积分、化简表达式。我经常用SymPy来验证手推的梯度是否正确或者推导一些复杂的公式。比如在实现一个自定义的激活函数时我会先用SymPy求导得到解析表达式然后再用NumPy或者PyTorch实现。JAX则把自动微分和函数式编程结合得很好。它的jit编译和vmap向量化功能使得写数学上清晰的代码同时保持高性能成为可能。我特别喜欢JAX的grad函数它可以对任意函数求导包括高阶导数。这在实现一些需要Hessian-向量乘积的算法时非常方便。不过JAX的函数式风格需要一些适应尤其是对于习惯PyTorch命令式风格的人来说。PyTorch在灵活性上更胜一筹尤其是动态计算图使得调试和实现复杂控制流更容易。我通常用PyTorch做原型开发用JAX做需要高性能的场景。两者之间的转换有时会有些麻烦但大部分数学操作都可以平滑迁移。5.2 数学写作与协作LaTeX、Jupyter与版本控制数学和AI交叉的工作往往需要同时处理公式、代码和文字。LaTeX是数学写作的标准工具但单独用LaTeX写代码很不方便。Jupyter Notebook则把代码、公式和文字混在一起适合做探索性分析。我通常用Jupyter做实验和记录然后用LaTeX写正式的论文或报告。版本控制方面Git是标配但Git对Jupyter Notebook的支持不太好因为Notebook的JSON格式容易产生冲突。一个解决方案是用jupytext把Notebook转成纯文本格式再提交或者用nbstripout清除输出后再提交。我自己的习惯是实验阶段的Notebook不提交只提交整理后的脚本和结果。另一个有用的工具是Texpad或者Overleaf用于协作写LaTeX。Overleaf的实时协作功能很方便但需要网络连接。如果对隐私要求高可以用本地的Git加上LaTeX插件。5.3 计算资源管理从本地GPU到集群作业数学AI的实验往往需要大量计算资源。本地GPU适合小规模实验和调试但大规模训练需要集群。我通常用Slurm来管理集群作业写一个提交脚本指定资源需求和运行命令。这里的一个技巧是先用小规模数据或者小模型在本地验证代码正确性然后再提交到集群跑大规模实验。这样可以避免因为代码bug浪费集群资源。另一个技巧是使用混合精度训练。现代GPU对半精度浮点数的支持很好用混合精度可以显著减少显存占用和加速训练。但混合精度需要小心处理数值稳定性比如在计算损失函数时可能需要用全精度。PyTorch提供了自动混合精度AMP工具可以自动处理大部分情况。6. 个人体会在数学与AI的缝隙里找到自己的节奏做数学和AI交叉的工作最深的体会是两边都需要敬畏但两边都不能迷信。数学提供的是严谨的框架和深刻的洞察但数学上的优美不一定意味着实际有效。AI提供的是强大的拟合能力和灵活的工程实现但AI上的成功不一定意味着理解了背后的原理。真正有价值的工作往往是在两者之间找到平衡点用数学来指导AI的设计用AI来验证数学的猜想。另一个体会是跨学科的工作需要耐心。你可能花了很多时间读一篇数学论文最后只用到其中一个定理也可能花了很多时间调一个模型最后发现效果提升来自一个很小的数学改动。这些投入在短期内看起来不划算但长期来看它们积累的是判断力知道哪些数学工具值得深入哪些AI技巧值得尝试。最后我想说的是这个领域变化很快但有些东西是不变的对基本原理的理解、对实验严谨性的坚持、对未知的好奇心。这些不变的东西才是支撑你在这个快速变化的领域里持续前进的基础。