L2 正则化核心原理笔记、LtotalLdataLregLtotal: 正则化后的成本Ldata训练数据的成本Lreg正则化成本 目标是最小化 Ltotal所以 LdataLreg 要最小所以要考虑 Ldata 和 Lreg 同时最小所以 Ldata 最小会拉高 W Lreg 最小会拉低 W 两者相互制衡最终找到平衡点这就是 L2 正则化限制 W 预防过拟合的原理L2 正则化完整推导与原理一、核心作用抑制模型过拟合惩罚过大的参数权重不让任意特征权重无限制变大让权重整体趋向更小但不会压缩到 0优化稳定梯度平滑广泛用于线性回归、逻辑回归、神经网络。二、数学公式推导以普通最小二乘线性回归举例1. 原始损失MSE2. 加入 L2 惩罚项的总损失L2 正则是对所有权重参数做平方求和乘以正则系数lambda偏置项不做正则。特性L2 正则L1 正则 (Lasso)惩罚形式权重平方和权重绝对值和权重效果全部缩小不会等于 0可将不重要特征权重压缩至 0实现特征筛选等高线圆形菱形求解处处可导优化顺滑存在不可导点多用坐标下降别名岭回归Lasso 回归六、底层为什么能防过拟合过拟合本质模型记住训练集噪声依靠极端大权重拟合随机误差。 L2 限制权重上限不允许参数极端偏大模型无法精准贴合训练噪声强制模型依赖更多特征共同预测而不是少数几个特征猛拉数值参数更平滑泛化能力提升在测试集表现更稳定。