做实验的人最怕的不是“没效果”而是“看起来有效果推全之后又没了”。我见过太多团队兴冲冲把新版全量上线一周后核心指标跌回老版水平甚至更差。复盘时发现问题往往不在方案本身而在两个非常隐蔽的心理效应新奇效应和改变厌恶。这两个词是AB实验领域绕不开的关键认知。简单说新奇效应让实验组在初期因为“新鲜感”而表现虚高改变厌恶让实验组在初期因为“用户抵触变化”而表现虚低。两个效应恰好一正一反但都会扭曲实验结果让决策者误判。这篇文章我就把这两个效应讲透它们为什么产生、有什么样的数据特征、怎么识别、怎么在设计实验时规避以及我实践中踩过的坑和总结出的处理思路。无论你是数据分析师、产品经理还是算法工程师只要需要靠AB实验拍板这篇都值得认真读完。1. 先弄懂AB实验结果为什么会被“用户心理”干扰1.1 一个典型场景看起来赢了全量后输了先讲一个我参与过的真实项目。当时某内容社区要改版信息流的卡片样式把双列改成单列大图。内部评审时大家都觉得新样式视觉更舒服信息层级更清晰。AB实验跑起来第一天数据非常漂亮点击率提升18%人均曝光深度提升12%几乎所有人都觉得这版稳了。但负责实验的同学比较谨慎多观察了几天结果发现数据在肉眼可见地回落。第3天点击率增量降到10%第5天只有5%到第7天增量已经不再显著。如果按第一天数据直接推全这个“看起来更好的版本”大概率会在上线两周后被打回原形。这种结果不是个例。凡是用户能直接感知到“界面变了”的实验几乎都逃不过这个问题。人的注意力、情绪和习惯都不是恒定不变的任何一个改动带来的行为变化都可以拆成两层一层是方案本身带来的真实价值另一层是“变化”这件事本身带来的临时刺激。后者会随时间衰减而很多实验决策恰恰是在刺激最强烈的头几天做出的。1.2 两个效应的底层心理机制新奇效应的本质是人对新鲜事物的本能注意。当用户第一次看到一个新按钮、新页面、新推荐样式时大脑会分配更多注意资源去探索它甚至产生一定水平的兴奋感。这种状态下点击、浏览、尝试等行为都会被放大但这种放大和“功能是否真的好”没有任何关系只是新鲜感在起作用。改变厌恶则正好相反它源于用户对熟悉路径的依赖以及对损失的本能厌恶。心理学里有个经典结论同等大小的损失带来的心理冲击大约是同等收益的2倍左右。用户发现“我原来很顺手的操作路径被改了”时哪怕新方案在客观上确实更高效他感受到的首先是“失去”而不是“获得”。这种负面情绪会让他下意识地回避新方案甚至给出负面反馈。如果用生活场景类比新奇效应像朋友第一次来你刚装修好的家进门一定会夸“哇真好看”但这个评价并不能证明你的装修品味只是新鲜感作祟。改变厌恶则像手机系统更新后桌面图标位置变了明明功能没少你却觉得整个手机都变难用了直到几天后你重新形成习惯才觉得“其实也还好”。1.3 对统计推断带来的隐性挑战这两个效应不只是“业务上要注意”它们还会直接影响统计推断的有效性。传统AB实验的显著性检验比如t检验有一个默认前提样本之间是独立且同分布的。但新奇效应和改变厌恶都会让实验组的行为带有明显的时间趋势也就是说样本在不同时间点并非来自同一个分布。实验第1天采集到的用户行为和第7天采集到的本质上不是同一群“心理状态”的用户。这种情况下即使p值小于0.05也不能说明方案有效因为显著性可能来自“时间趋势”而非“组间差异”。更麻烦的是这种时间趋势的形态还与用户接触实验的次数有关而不是简单的日历时间。所以只看“某个时间点的显著性”是危险的正确的做法是观察指标增量随时间的演变轨迹看它是否最终稳定在一个合理的区间上。2. 新奇效应为什么新版上线初期数据总是“虚高”2.1 出现场景和典型数据曲线新奇效应最常见于这几种场景全新的视觉风格、新上线的功能模块、新的推荐策略、新的营销文案。尤其当改动幅度明显、用户一眼就能看出“这和以前不一样”时新奇效应的强度会非常大。典型的数据表现是实验组在头几天显著优于对照组然后增量逐日衰减最终回落到0附近甚至跌成负值。如果把每天的日均指标增量画成柱状图你会看到一根从高到低的下坡线如果把“截至当天的累计增量”画成曲线你会看到它在前几天爬升随后开始走平甚至掉头。走平说明新鲜感已经被消化掉头则说明新方案可能还有真实缺陷只是被新鲜感暂时掩盖了。有个容易被忽略的点新奇效应也会影响对照组吗会但方向不同。比如同一个实验里对照组用户虽然没有看到新版但他们会通过社区讨论、他人截图等渠道感知到“马上要变样了”从而产生期待情绪。不过这种间接影响通常比直接接触弱得多所以在实践中一般只重点观察实验组的衰减规律。2.2 5行Python识别新奇效应我建议每个跑AB实验的人都养成一个习惯不要只看报表里的显著性和提升百分比自己画一张累计增量曲线图。代码非常简单核心就是按天分组算差值的累计均值。import pandas as pd import matplotlib.pyplot as plt # data 至少包含三列: experiment_day, group, metric # group 取值: treatment 实验组, control 对照组 daily data.groupby([experiment_day, group])[metric].mean().unstack() daily[incremental] daily[treatment] - daily[control] daily[cumulative] daily[incremental].expanding().mean() plt.figure(figsize(10, 5)) plt.plot(daily.index, daily[cumulative], markero) plt.axhline(0, colorgray, linestyle--) plt.title(Cumulative Incremental Trend) plt.xlabel(Experiment Day) plt.ylabel(Cumulative Incremental Metric) plt.show()画出来之后如果累计增量曲线在前期有一段明显的“凸起”随后逐步向0收敛大概率就是新奇效应。这时请把结论押后等曲线进入平台期再下判断。如果你的指标是比率类比如点击率、转化率直接按天聚合均值是没问题的如果是均值类比如人均时长、人均阅读数建议用“按天聚合均值再求差值”的方式避免不同天用户量波动导致的系统性偏差。2.3 应对与利用预热期、剔除期、长期观察识别出新奇效应之后最常见的应对手段是设预热期。具体做法是正式跑实验前先把新版推给一个独立的“预跑桶”运行3到7天让新鲜感提前释放然后再开始正式采集实验数据。这种方式最干净但缺点是消耗流量还要多维护一个桶。折中方案是“剔除期”实验正常开跑但在最终统计时把前几天的数据全部丢弃。问题在于“前几天”到底该定为几天并不能拍脑袋。更科学的做法是看“用户接触次数”而不是“天数”。比如某App的核心用户平均每3天访问一次那么一个需要3次访问才能完成习惯形成的过程大概需要9天左右。你可以写个简单脚本按用户维度统计“第几次访问时看到新版”然后对比第1次接触、第2次接触、第3次及以后接触的实验组增量。如果第1次接触增量明显偏高后续回落就说明新奇效应确实存在。剔除期建议设置为覆盖大多数用户完成第2到第3次接触所需的时长。还有一种思路是利用新奇效应。比如做限时活动、运营弹窗、新功能推广时前期的高参与度是好事这恰恰说明变化能吸引注意力。如果你想冲短期激活或拉新后的首次体验指标可以放心用但如果目标是长期留存、长期渗透率就必须把观察窗口拉到新鲜感消退之后。3. 改变厌恶为什么“更好”的产品也会被先用脚投票3.1 典型场景和“V型恢复”曲线改变厌恶最典型的出现场景是那些动了用户既有操作习惯的改动。比如把五个入口合并成一个、把底部Tab从四个改成三个、调整设置页的信息层级、改变推荐算法的排序权重。这些改动通常在逻辑上更简洁、在产品评审会上广受好评但老用户却不买账短期数据全面变差投诉量还可能上升。数据曲线上改变厌恶和新奇效应恰好相反实验组前期显著低于对照组然后逐渐回升最终可能赶上甚至超过对照组。如果把增量曲线画出来你会看到一个“V型”或者“U型”的恢复过程。这种“先抑后扬”的模式非常容易导致误判。很多团队在实验前3天看到实验组全面落后就急着下线新方案却不知道用户只是还没适应。反过来如果团队能坚持观测到第14天后可能发现新方案的真实价值其实是正的。我参与过的某工具型产品就出现过这种情况。团队把原本分散在三个页面的数据报表合并成一个统一仪表盘逻辑上明显更清晰但老用户习惯了原来的路径合并后头两周核心功能的使用率下降了6%。团队一度准备回滚后来在某个导师的提醒下换了个思路上线一个“切换回旧版布局”的开关并在新版首屏加引导提示结果第3周开始指标回升第6周反超旧版回退开关的使用率也降到了极低水平。3.2 分用户拆解定位“厌恶来源”判断一个“先抑后扬”的曲线到底是改变厌恶还是方案的确不行最有效的方法是拆用户群。核心思路是把用户分为新用户和老用户分开看两组的表现。新用户没有旧习惯负担第一次接触的就是新版他们看到的几乎就是“方案本身的真实价值”。老用户则要经历“习惯被打破-重新学习-重新适应”的全过程他们的行为等于“真实价值”加上“改变成本”。如果新用户实验组表现明显好于对照组而老用户实验组表现差说明方案的长期方向没问题问题出在改变成本上。进一步拆解法是漏斗定位。比如信息架构改版后整体使用率下降你可以把核心用户从登录到完成关键任务的路径拆成5步逐段计算实验组和对照组的流失率。大多数时候你会发现下跌不是均匀分布而是集中在某一个步骤。找到那个步骤就能判断用户具体在“哪里找不到北”然后针对性加引导。还可以看用户反馈文本。改变厌恶的反馈里通常会出现“不习惯”“找不到”“原来的XX呢”这类关键词。如果负面反馈集中在“找不到”和“不习惯”而不是“新版很丑”“功能没用”那基本可以确认是厌恶效应而不是产品价值问题。3.3 降低适应成本的四类手段应对改变厌恶核心不是“证明用户错了”而是“帮用户无痛建立新习惯”。我梳理过四类在实践中有效的手段。第一类是渐进式灰度。不要一次性把100%用户切到新版而是先放10%或者20%观察副作用再逐步扩大到50%、100%。给用户一个接受过程也给团队一个发现问题的缓冲期。第二类是提供切换开关。在灰度期保留“返回旧版”入口能极大降低用户的焦虑感。但要小心如果开关长期存在一部分用户会始终留在旧版导致新版实验组样本被“选择偏置”污染。一般建议开关作为过渡方案保留一到两个版本周期之后强制统一。第三类是产品内引导。新版上线后的第一次打开用气泡提示、引导蒙层、高亮标记告诉用户“你要的功能在这里”。引导能显著压缩用户的适应期尤其是对高频操作功能。第四类是补偿性沟通。如果改动确实删掉了某些用户依赖的功能最简单的引导是不够的需要在更新日志或弹窗里解释“为什么改”。用户不一定读但只要有部分核心用户理解并接受了他们就会在社区里替新版本说话。社区口碑对早期数据回升有不可忽视的作用。4. 防偏误实验设计从时长到分桶的实操要点4.1 实验时长怎么定才靠谱面对新奇效应和改变厌恶实验时长绝不是越长越好但太短一定不行。行业里常见的经验法则是至少覆盖一个完整的业务周期。什么是完整业务周期如果产品是内容社区至少是一周因为周末和工作日的用户行为差异巨大如果是电商至少是一个月因为要覆盖发薪日、大促日等特殊情况如果是低频工具类可能要更久因为它取决于用户的真实使用频率而不是日历时间。这里有个更实用的判断标准不要用“跑多少天”来决定而要用“累计增量曲线是否进入平台期”来决定。如果一个实验的累计增量在第10天到第14天之间基本走平且方向稳定那它继续跑下去也不会有太大变化如果曲线还在持续上升或下降说明效应还没有稳定这时候下结论就是赌博。面对明显的改变厌恶我建议设置双重时间检查点第一检查点设在适应期结束后一般建议在实验开始后2到3周第二检查点设在实验正式结束前。如果只是催进度要看中期数据请务必标注“当前结果表明存在适应期不代表终局”。4.2 分桶分层把新老用户拆开看实验设计阶段就要留好拆分的口子别等数据出来了才想起来。最基础也最重要的分层维度是“用户注册时间”或者“首次体验版本”。把流量按照新老用户分桶后实验组和对照组在各自桶内仍然保持随机分流互不影响。具体操作是在分流逻辑里加一个分层字段比如按“注册日期是否早于改动发布日期”来区分老用户和新用户。实验运行时数据后台天然就有这个维度的聚合能力。不要试图在分析阶段用“是否见过旧版”来事后判定因为很多老用户可能上次活跃在两个月前他们对旧版的“记忆强度”完全不同直接按注册时间粗分反而更干净。另外一类重要分层是“活跃度分层”。高频活跃用户对界面变化最敏感改变厌恶也最明显低频用户相反他们的状态更接近新用户。把高频用户单独拿出来观察能更早预判风险。如果高频用户实验组持续差即使整体数据是好的也要警惕长期风险。4.3 统计口径与决策指标的选择统计口径上建议以累计增量曲线作为主判据以单日增量和显著性作为辅助依据。显著性检验的作用是排除随机性而累计增量曲线的作用是排除时间趋势干扰。两者配合使用才能看清全貌。具体操作中有一个风险要特别注意不要每天都做显著性检验。一个实验跑10天每天不落地做检验整个实验期间至少有10次机会出现“假阳性”这在统计上等于多次比较会显著抬高误判概率。更合理的做法是在实验开始前预注册一个“决策观察点”比如第14天或第21天在此之前不做任何正式判断。在指标选择上要区分“即时行为指标”和“长期留存指标”。新奇效应会让即时行为指标虚高但对长期留存的影响很小改变厌恶则相反它会压低短期体验类指标但如果用户能完成适应期留存和核心行为反而可能改善。所以任何涉及界面和流程变化的实验都建议把“次日留存率”“次周留存率”或“核心动作复访率”纳入观察哪怕它不是主决策指标。还有一个常被忽视的动作做AA实验。在正式实验开始前跑一轮AA实验验证两个桶的基线是否稳定。如果AA实验都跑出来了“显著差异”说明你的实验系统存在分流不均或者指标采集噪音后续的AB结果再漂亮也不能信。5. 常见问题排查与实操避坑清单5.1 现象-原因-验证-应对速查表下面这张表是我在项目里反复用到的排查工具基本覆盖了这两个效应最常见的表现。现象特征最大嫌疑验证方法应对动作实验组前期大幅上涨随后逐日回落至不显著新奇效应画累计增量曲线按用户接触次数拆分设预热期或剔除期以平台期为决策依据实验组前期显著低于对照后期逐渐回升甚至反超改变厌恶新老用户拆分漏斗逐段定位放宽观察窗口增加引导渐进灰度新用户实验组显著好老用户不显著或更差改变成本高按注册时间拆分查看新用户留存重点优化引导流程给老用户过渡方案指标每天剧烈抖动无稳定走势样本量不足/外部干扰查样本量做AA实验核对基线扩大样本或延长实验避免被单日波动误导实验组显著但业务方复看时觉得不合理指标口径问题或幸存者偏差复查埋点检查样本过滤条件从埋点开始做数据链路审计5.2 我自己踩过的三个坑第一个坑把新奇效应当成了真实胜利。早期我负责一个推荐策略实验第一天人均曝光提升明显急着向团队汇报“策略有效”结果第二周效果消退到几乎为零。后来复盘才发现用户只是对新推荐样式产生了好奇多翻了两页但并没有真正点击更多内容。从那以后我就给自己定了一条死规矩涉及视觉或交互变化的实验头三天数据只作参考不作结论。第二个坑因为改变厌恶过早下线了正确功能。某次我把一个设置页的层级从三级压成两级逻辑明显更合理但上线后前两周问题反馈量上升核心功能的次日点击率降了3%。当时顶着压力没有立刻回滚而是增加引导并观察了更长时间。第5周数据反超老版本留存也变好了。如果当时手一抖点了回滚一个正确的产品改动就会被“用户暂时的不适应”杀死。第三个坑忽略了“接触次数”的重要性。有一段时间我总纠结“剔除期到底剔几天”后来换上按用户接触次数拆分实验数据的思路问题一下就清楚了。第1次接触新版的新奇效应最强第2次明显减弱第3次之后基本稳定。从此做实验设计时我都会先看用户典型访问频率再决定预热期和决策观察点。5.3 给新手的三个硬核建议建议一每一个AB实验的报告里必须附上一张累计增量趋势图。如果没有图任何“显著提升”都不要直接作为结论。这张图能帮你挡住大多数时间效应带来的误判。建议二默认把用户分成新老两层来看。不管你的实验是什么类型都先按新老用户拆一遍再按活跃度拆一遍。这两个维度是发现新奇效应和改变厌恶的最快路径。建议三在面对高压业务决策时学会用一个句式把判断标准说清楚“我可以提前给你结果但这个结果在被时间效应干扰之后很可能是错的。我们约定一个不需要讨论的决策时间点那时候再拍板。”这个方法在实际沟通中非常管用它能帮团队建立规则而不是每天被波动牵着走。我个人现在的习惯是任何涉及界面变化的实验决策时间点不允许早于第7天任何涉及核心流程重构的实验必须观察至少两个完整业务周期。这两个效应的存在不是玄学它们是用户用行为在时间维度上给出的诚实反馈。尊重这个反馈实验判断的准确率会高出一个台阶。