1. 从一次线上事故说起为什么CTR不准会“要命”去年我们团队上线了一个新的推荐策略离线AUC指标涨了0.5个点大家都很兴奋觉得稳了。结果灰度放量不到10%运营和产品经理的电话就快被打爆了用户投诉首页全是“垃圾内容”点击率CTR不升反降大盘的核心时长指标也往下掉。我们紧急回滚一头雾水地开始排查。最后发现问题不在模型本身而在于模型输出的CTR预估值和线上真实的点击率根本对不上号。离线评估时我们看的是AUC衡量排序能力但到了线上排序后的列表最终呈现给用户并决定整体收益的是经过预估CTR调权的综合分数。当预估值普遍偏高时一些实际吸引力一般但被模型“高估”的内容就会获得不应有的曝光挤占了优质内容的流量导致用户体验和业务指标双输。这次踩坑让我彻底明白在推荐、广告这些领域CTR预估模型光有好的排序能力AUC高远远不够预估值的“绝对值”是否准确同样至关重要。这个“绝对值”准确的过程就是CTR校准。简单说校准的目标是让模型预测的CTR例如0.15尽可能等于线上实际观测到的点击率例如在大量曝光后点击次数/曝光次数真的接近15%。未校准的模型可能预测值普遍偏高或偏低或者在不同分桶上误差不一致。校准之所以重要主要有三个原因影响后续排序与出价在广告系统中ecpm bid * pCTR。pCTR如果系统性地偏高会导致ecpm虚高影响广告主的成本和平台的收益在推荐系统中CTR常作为多目标融合的一个关键因子不准会破坏融合权重的有效性。影响线上实验评估我们做AB实验对比新旧模型核心是看线上CTR、人均时长等指标的提升。如果模型预估值本身有偏实验结果的置信度会大打折扣甚至得出错误结论。影响产品策略例如基于CTR阈值进行内容过滤或分级不准的CTR会导致误杀优质内容或放过劣质内容。网络上热议的“pc817 ctr”、“poi ctp和ctr的区别”其实都从侧面反映了业界对CTR相关指标精确性的持续关注。而“merton模型参数校准”、“校准电压电流的k、b值”这些来自金融、硬件领域的热词更是说明了“校准”是一个跨学科的、追求测量准确性的共性问题。本文将结合工业界实践深入探讨推荐系统中CTR校准的主流方法、实操细节以及那些容易踩坑的地方。2. 校准的本质与评估如何量化“不准”在深入方法之前我们必须先定义清楚什么叫“准”以及如何度量“不准”。2.1 理想校准状态预估值等于经验条件概率从概率论角度一个完美校准的CTR预估模型应该满足对于任何预测值p所有被预测为p的样本集合其真实的点击率即经验条件概率就等于p。用公式表示就是E[y | f(x) p] p其中y是真实标签0或1f(x)是模型的预估值。这几乎是一个不可能在有限数据上完全达到的理想状态但它是我们努力的方向。2.2 核心评估工具校准曲线与可靠性图这是最直观的评估工具。具体操作步骤如下分桶将测试集样本按照模型预测的CTR值从小到大排序然后划分为若干个分位桶例如等频分桶每桶样本数相同或等宽分桶按预估值区间划分。通常使用10-20个桶。计算对于每个桶计算桶内平均预测值avg_pred mean(predictions_in_bin)桶内真实点击率avg_label sum(labels_in_bin) / count_in_bin绘图以avg_pred为横坐标avg_label为纵坐标绘制散点图并连接成线这就是校准曲线Calibration Curve或可靠性图Reliability Diagram。如何解读对角线表示完美校准预测值等于真实值。曲线在对角线之上表示模型低估了预测值低但真实点击率更高。曲线在对角线之下表示模型高估了预测值高但真实点击率更低。曲线的弯曲形态可以反映误差在不同区间的分布例如是否在高端或低端CTR区域偏差更大。2.3 关键量化指标ECE与LogLoss看图很直观但我们需要数字来衡量。1. 期望校准误差这是最常用的校准误差量化指标。其计算基于分桶ECE Σ (|B_m| / n) * |avg_label(B_m) - avg_pred(B_m)|其中B_m是第m个桶|B_m|是桶内样本数n是总样本数avg_label和avg_pred定义同上。ECE的物理意义它是各桶校准误差的加权平均权重为桶的样本占比。ECE越小说明整体校准程度越好。通常ECE低于0.0050.5%可以认为是校准得比较好的超过0.01就需要引起警惕了。2. 对数损失虽然LogLoss主要衡量概率预估的整体准确性兼顾校准和区分度但一个校准良好的模型通常也会有相对较低的LogLoss。在对比不同校准方法时观察LogLoss的变化也是一个辅助手段。注意评估校准时务必使用一个独立于训练集和校准集的测试集。绝不能用在训练校准模型时见过的数据来评估那会得到过于乐观的、不可信的结果。2.4 实操中的陷阱样本选择偏差与在线评估这里有一个巨大的坑离线评估的校准曲线可能和线上真实情况完全不同。原因在于样本选择偏差。我们离线评估用的测试集通常是“曝光-点击”日志。但线上系统是动态的当前模型决定了给用户曝光什么内容我们只观测到了被曝光样本的反馈。这就形成了一个闭环模型影响数据分布数据分布又用于评估模型。特别是当新旧模型差异较大时用旧模型产生的日志数据来评估新模型偏差会非常严重。怎么办小流量在线分桶实验这是最可靠的方法。将一小部分流量如1%完全随机分流不依赖模型排序均匀地曝光一批候选物品收集无偏的曝光点击数据。用这部分数据绘制的校准曲线才最接近真实情况。使用IPS等技术进行纠偏在无法进行完全随机实验时可以尝试使用逆倾向评分Inverse Propensity Scoring等方法来纠正观测数据中的选择偏差但这方法比较复杂且对倾向分估计的准确性要求高。3. 主流校准方法详解从朴素到高阶当发现模型校准误差较大时我们就需要对预估值进行后处理校准。以下是几种主流方法从简单到复杂。3.1 普拉特缩放法适用于单调偏差普拉特缩放法假设模型的原始分数s(通常是逻辑回归或深度学习模型最后一层的logit值) 与真实对数几率存在一个线性的系统性偏差。它使用一个逻辑回归模型来学习这个偏差p_calibrated σ(a * logit(s) b)其中σ是sigmoid函数logit(s) log(s / (1-s))a和b是需要学习的参数。实操步骤在训练集上训练好主模型。在一个独立的校准集可以是训练集里留出的部分但不能是测试集上用主模型进行预测得到原始预测概率s和对应的真实标签y。将s转换成 logit 值logit_s log(s / (1-s))。为了避免除零或log(0)通常会对s进行裁剪如限制在[ε, 1-ε]区间ε1e-6。以logit_s作为特征y作为标签训练一个逻辑回归模型无截距项只学习权重a和偏置b。将学习到的a和b应用到线上服务的预测结果上。优点与局限优点简单有效特别适用于模型输出存在系统性高估或低估即校准曲线接近一条直线但偏离对角线的情况。参数少不易过拟合。局限它只能学习一种单调的变换。如果校准曲线是非单调的例如低分区域高估中间区域低估高分区域又高估普拉特缩放的效果就有限。3.2 保序回归法非参数化的通用解法当校准误差呈现复杂的非单调性时保序回归Isotonic Regression是更强大的工具。它是一种非参数方法不假设任何具体的函数形式只要求拟合后的值保持原始值的顺序即单调不减。这完美符合我们的需求校准后的概率顺序不应被打乱保证AUC不变但数值可以被调整。实操步骤同样在独立的校准集上获得样本的原始预测值s_i和真实标签y_i。将样本按s_i从小到大排序。应用保序回归算法如PAV算法。该算法的目标是找到一组新的值z_i最小化Σ(y_i - z_i)²同时满足z_i是单调不减的。算法输出本质上是一个分段常数的映射函数。线上服务时需要存储这个映射表或拟合出的分段函数将原始预测值s通过查表或插值得到校准后的值。优点与局限优点非常灵活能够拟合任意形状的单调校准曲线理论上只要校准集足够大它可以逼近任何单调的校准函数。不改变排序顺序。局限需要足够多的校准数据由于是非参数方法它对数据量敏感。数据量少时容易过拟合校准集在测试集上表现变差。存储和计算开销需要存储一个映射表或分段函数相比普拉特缩放的两个参数开销更大。预测时需要查表或计算分段函数。对边界区域外推能力弱对于校准集中未出现过的极端预测值如非常接近0或1其校准映射可能不可靠。3.3 贝叶斯平均法应对稀疏与先验在推荐场景下我们经常会遇到冷启动物品或低频用户的问题。对于这些样本模型由于缺乏历史行为数据预估的CTR可能方差很大非常不置信。直接使用模型预估值可能会给新物品过高或过低的曝光机会。贝叶斯平均或称为平滑提供了一种思路将模型预估值与一个全局先验概率如全局平均CTR进行加权平均。权重取决于我们对该预估值的确信程度样本量。一个常见的简化形式是p_smoothed (C * prior Σ clicks) / (C Σ impressions)这其实就是给每个物品的点击率估计加了一个“伪曝光”和“伪点击”其中C是一个超参数控制先验的强度。C越大结果越趋向于先验概率prior。在深度学习时代我们可以做得更优雅。例如让模型除了预测CTR还预测一个不确定性或置信度。然后校准后的概率可以表示为p_calibrated uncertainty * prior (1 - uncertainty) * p_model模型自己学会在数据少时相信先验数据多时相信自己的预测。实操心得 这种方法通常不是单独使用的而是与上述的缩放法或保序回归结合。例如可以先对模型原始输出进行贝叶斯平滑然后再用保序回归进行精细校准。对于处理长尾分布、缓解冷启动问题引入先验信息是非常有效的策略。4. 基于模型架构与损失函数的校准优化上述方法都是后处理。更治本的方式是从模型训练阶段就鼓励其输出校准良好的概率。这主要通过对损失函数和模型架构的改进来实现。4.1 使用适合的损失函数从Brier Loss到Focal Loss交叉熵损失是CTR预估的标准选择它同时优化排序和校准吗是的理论上对于一个容量足够且训练完美的模型最小化交叉熵损失会促使模型输出校准的概率。但现实中由于模型容量限制、优化算法、早停策略、正则化等因素模型往往达不到完美校准。Brier分数损失定义为预测概率与真实标签之间差值的平方均值。Brier Loss (p - y)²。它直接惩罚预测概率与真实标签的偏差是一个严格 proper的评分规则意味着最小化Brier损失的预测器会输出校准的概率。有些工作尝试在交叉熵损失中加入Brier损失作为正则项以 explicitly 鼓励校准。标签平滑这是一种简单却极其有效的技术。传统的二分类标签是0或1。标签平滑将其改为y_smooth y * (1 - α) α / 2对于二分类。例如α0.1时正样本标签变为0.95负样本标签变为0.05。这相当于告诉模型“不要对预测过于自信”。实践表明标签平滑能显著改善模型校准性尤其是缓解现代深度神经网络普遍存在的“过度自信”问题。Focal Loss最初是为解决类别不平衡问题设计的它通过降低易分类样本的权重让模型更关注难分类样本。有趣的是由于它降低了模型对“简单负样本”即CTR极低的物品的惩罚间接地防止了模型对这些样本输出过于极端的低概率从而也能对校准产生一定的正面影响。4.2 温度缩放法深度学习模型的特效药温度缩放Temperature Scaling是普拉特缩放在深度学习多分类场景下的一个特例在二分类CTR预估中同样适用且更为简洁。对于神经网络模型最后通常有一个softmax层二分类则是sigmoid。温度缩放是在softmax/sigmoid的输入logits上除以一个标量温度参数Tp_calibrated σ(logit / T)其中T 0。当T1时就是原始模型。当T1时“加热”概率分布会变得更平缓降低模型的置信度当T1时“冷却”概率分布会更尖锐提高置信度。实操步骤训练好主模型。在一个独立的校准集上固定主模型的所有参数只优化一个参数——温度T以最小化该校准集上的负对数似然或Brier损失。这是一个单参数优化问题通常用简单的网格搜索或梯度下降就能快速找到最优T。线上服务时只需在模型输出的logits后增加一个除以T的操作再经过sigmoid即可。为什么有效深度神经网络特别是复杂的模型容易输出过于“尖锐”的概率即过度自信。温度缩放提供了一种极其简单且低开销的方式来“软化”这些概率使其更接近真实的分布。它几乎成了深度学习模型校准的“标配”后处理步骤因为其开销极小仅一个参数且通常能显著降低ECE。4.3 多任务学习与不确定性建模更前沿的思路是将校准作为一个辅助任务与主CTR预估任务一起学习。多任务学习除了预测CTR模型额外预测一个反映自身不确定性的值如方差。这个不确定性预测任务可以和主任务共享底层特征表示但有自己的输出头。训练时主任务损失和不确定性预测损失共同优化。贝叶斯神经网络通过为网络权重引入概率分布BNN能够天然地给出预测的不确定性。但BNN训练和推断成本高昂在工业级大规模推荐系统中直接应用较为困难。深度集成训练多个同构但不同初始化的模型用它们预测的均值作为最终CTR用方差作为不确定性估计。这是获得高质量不确定性估计的“银弹”方法但代价是N倍的训练和推断成本。对于大多数工业场景温度缩放后处理保序回归的组合已经能解决绝大部分校准问题性价比最高。5. 工业级实践全链路校准与动态更新在实际的推荐系统中校准不是一个孤立的离线模块而需要嵌入到完整的机器学习管道中并考虑线上动态变化。5.1 校准链路的正确位置一个典型的推荐系统排序流程是召回 - 粗排 - 精排 - 重排/混排。校准应该放在哪里精排输出后这是最常见的位置。精排模型输出每个候选物品的pCTR然后立即进行校准。校准后的pCTR再用于后续的融合排序如CTR * VTR * 时长或广告的ecpm计算。多模型输出的融合前如果你的系统有多个精排模型例如一个主模型一个探索模型每个模型都应该有自己的校准器。在校准之后再进行分数融合或策略选择。分场景/分位置校准一个全局的校准器可能不够。首页信息流和详情页推荐列表的用户意图、点击率基线差异很大。最佳实践是为不同的推荐场景、甚至不同的曝光位置如首屏、第三屏训练独立的校准模型。因为数据分布不同校准需求也不同。5.2 校准模型的训练与更新训练数据必须使用一个有代表性的、无偏的数据集。理想情况是前面提到的随机流量数据。如果不可得至少应使用一个较长时间窗口内、由多个不同策略模型产生的混合日志数据以减少单一模型带来的选择偏差。特征对于普拉特缩放或更复杂的校准模型如以原始预测值为输入的小型NN输入特征就是模型的原始预测值或logit。一般不建议引入其他特征因为校准的目标是纠正模型预测本身的系统性偏差引入其他特征可能会让校准器去“学习”新的预测模式反而破坏了原有模型的排序能力。更新频率校准模型也需要定期更新。因为主模型在迭代更新其预测分布可能发生漂移。用户兴趣和内容分布随时间变化概念漂移。产品策略调整会影响整体点击行为。 建议与主模型的重训频率保持同步或至少每周更新一次校准参数。更新过程应是自动化的流水线。5.3 监控与报警校准是线上系统稳定性的重要一环必须建立监控。离线监控每次训练出新模型和新校准器后在独立的测试集上计算ECE、LogLoss并绘制校准曲线。与基线模型进行对比设定阈值如ECE上升超过0.002触发报警或人工审查。在线监控分桶CTR对比在线上实时日志中按校准后的pCTR分桶计算每个桶的实际CTR。可以定期如每小时计算一个近似的在线ECE监控其变化趋势。预测值分布监控监控校准前后预测值的分布如均值、分位数。如果分布发生剧烈变化例如均值突然大幅下降可能意味着校准器或主模型出了问题。业务指标关联核心业务指标如大盘CTR、人均时长、收入出现异常波动时校准效果是需要排查的因素之一。5.4 一个真实的踩坑案例保序回归的“边界陷阱”我们曾经在一个场景下应用保序回归离线ECE从0.015降到了0.005效果显著。但上线后通过在线分桶实验发现高CTR区间0.3的物品实际点击率远低于校准后的预测值造成了资源浪费。排查过程检查离线测试集高CTR区间的样本量很少不足1%保序回归在这个区间拟合的曲线波动很大且因为样本少其误差对整体ECE贡献小所以离线评估没发现问题。线上高CTR物品虽然少但一旦被误判获得的曝光量会非常大因此对业务影响显著。保序回归在数据稀疏的边界区域行为不稳定容易过拟合或外推不合理。解决方案我们采用了分端校准边界平滑的策略。分端将预测值范围划分为三段低端[0, 0.1)、中端[0.1, 0.3)、高端[0.3, 1]。对中端数据丰富的区间继续使用保序回归。对低端和高端改用带约束的普拉特缩放即逻辑回归拟合。平滑连接在区间交界处0.1和0.3确保校准函数是连续且平滑的避免出现跳变。这可以通过在拟合普拉特缩放时加入让函数值与相邻保序回归区间端点值相近的约束条件来实现。补充先验对于高端区间除了用缩放法我们还引入了一个基于物品类别、热度的贝叶斯先验概率与缩放后的结果进行加权进一步稳定高价值区域的预估。这个案例告诉我们没有放之四海而皆准的校准方法。必须深入理解自己业务的数据分布针对不同区间的特点灵活组合和调整校准策略并在线上进行严谨的AB实验验证。校准不仅是算法更是工程和艺术的结合。