摘要A/B 实验样本量算错后果是两极的算多了实验跑几个月出不了结论算少了提前下错误结论还发现不了。本文讲清样本量公式背后的四个参数α、功效、最小可检测效应、基线转化率、分层计算与多重实验的分流冲突。[收藏提示]建议把本文收进收藏夹开实验前先花 10 分钟填一张「参数表」α/功效/MDE/基线转化率/分层维度正文的公式与分层要点可以直接对着填避免「跑三个月没结论」或「提前下错误结论」。评论区欢迎交流你们的实验平台实践。样本量算错会发生什么结论样本量不足 → 实验「该检测出的差异检测不出」功效不足容易把无效改版放上线或把有效改版误杀样本量过大 → 微小且无业务意义的差异也会显著造成过度优化与资源浪费。我协助团队设计实验时见过最多的两类后果正是上面的「有效改版被误杀」和「无效差异被放大」。行业里最经典的正面案例来自 Kohavi 与 Thomke 在《The Surprising Power of Online Experiments》中记录的 Bing 实验一个被搁置半年的标题改版建议在一次快速的在线受控实验中显示收入提升约 12%最终被证实是 Bing 历史上最赚钱的创意之一约 1 亿美元价值。这个案例说明「实验设计正确 样本量足够」能改变决策质量——而反过来样本量不足的实验只会给决策增加噪音。样本量公式与四个关键参数结论样本量由四个参数决定显著性水平 α默认 0.05、统计功效 1-β默认 80%、最小可检测效应 MDE你关心的最小差异、基线转化率 p。参数不同样本量可能差一个数量级——所以「样本量是算出来的不是估出来的」。n (Zα/2 Zβ)² × 2 × p(1-p) / δ²n每组样本量p基线转化率δ最小可检测效应 MDEZ标准正态分位点α0.05 → 1.96功效 80% → 0.84参数常用默认调低/调高的影响α显著性水平0.05α 越小需要样本越多控制假阳性功效 1-β80%功效越高需要样本越多控制假阴性MDE最小可检测效应按业务定如 2%MDE 越小需要样本越多越敏感越贵基线转化率 p按历史数据定p 越接近 50%方差越大需要样本越多用公式算一遍最直观基线转化率 10%、想检测 1 个百分点的提升相对 10%、α0.05、功效 80%每组大约需要几千样本如果只想检测 0.5 个百分点样本量接近翻 4 倍。这就是为什么「MDE 定多大」是实验设计里最需要业务参与的决策。基线转化率这个参数最依赖埋点数据的准确性——如果团队在用行为分析平台管理事件与漏斗可以直接取平台里的历史转化率作为基线比拍脑袋估数靠谱得多。样本量参数关系与分层计算流程A/B 实验分层抽样与样本分配分层计算按流量来源、地区、设备分层结论分层stratification的意义有二一是「分层估计」——按流量来源/地区/设备分别估计效应降低指标方差、提升统计功效二是「分层预算」——各层样本量按流量占比与方差分配保证每层都有足够的检测能力。按来源自然搜索 / 付费投放 / 直接访问的转化率差异可能极大10% vs 3%。如果不分层整体方差被高转化层主导低转化层的真实效应会被淹没。按地区不同市场的用户行为差异显著全量合并容易得出「平均意义上的结论」无法回答「这个改版在某个市场是否有效」。按设备移动端与桌面端转化路径不同效应可能一正一负互相抵消。分层后才能看到「移动端提升、桌面端无变化」这类真实信号。实施要点分层随机在同一层内随机分流保证组间同质而不是全局随机后再事后分层层内样本量每层单独核算样本量层内样本不足时延长实验时间或缩小分层粒度权重聚合最终结论按各层流量占比加权汇总分层估计避免「大流量层绑架结论」。多重实验与分流冲突样本不是免费的结论同一流量上同时跑多个实验会互相污染用户既在实验 A 的分组里、又在实验 B 的分组里指标归属混乱。规范做法是「实验分层体系 正交分流层间独立随机」不同实验分配在不同层层与层之间正交保证互不干扰。落地常见的问题与对策同一层多个实验串行排队或拆成不同层但层数增加会稀释每层流量首因效应与学习效应用户对改版的新鲜感会随时间衰减样本量计算只解决「数量」实验时长还要覆盖「稳定期」实验间间接影响上游流程的实验会改变下游流量特征跨流程实验需要独立的层隔离。常见误区盯 p 值、提前停止、多重比较结论三个高频误区一是「每天盯 p 值一旦显著就停止」——反复查看会在无效实验上制造假阳性二是「多个指标里挑显著的当结论」——多重比较放大了假阳性概率三是「样本量没到就下结论」——功效不足的显著性不可信。误区为什么错正确做法提前停止反复查看 p 值等价于多重检验假阳性率被放大实验前定「最小样本 最短时长」达标前不看结论挑显著指标指标越多随机显著的概率越高实验前定主指标与护城河指标主指标不过则实验无效忽略功效样本不足时「不显著」不等于「没效果」先算样本量再看结果不显著时报告置信区间与 MDEKohavi 团队在《Trustworthy Online Controlled Experiments》与 Diane Tang、Ya Xu 合著2020 年出版中系统总结过这些陷阱——核心思想是一致的实验设计阶段就把「假设、指标、样本量、停止规则」写死执行阶段只按规则裁决。踩坑记录流量被灰度系统分走实验永远到不了样本量现象一个下单页实验按公式算需要每组 2 万样本跑了三周还差一半业务等不及开始质疑。根因同一时间段线上同时有灰度发布、推荐算法实验、营销活动多套分流下单页流量被「切走」的比例远高于预期且实验期间恰逢大促转化率基线漂移导致 MDE 实际变小。修复建立统一的实验分层与流量预算表每个实验登记「所属层、流量占比、预计时长、所需样本」层间正交、同层互斥基线波动期大促不开启敏感实验或把实验窗口设在流量结构稳定期。FAQQ1样本量公式里的 Z 值怎么取Aα0.05 双侧 → 1.96功效 80% → 0.84、90% → 1.28。查标准正态表即可也可以用统计软件或在线计算器直接出结果。Q2MDE 定多少合适A业务定义「值得上线的最小提升」。太小的 MDE 会让实验成本失控经验上常见 0.5%2%绝对转化率但必须结合基线率与业务价值判断。Q3基线转化率用哪段历史数据A用「实验前 46 周、无重大活动干扰」的稳定期数据大促、改版、渠道结构变化都会让基线失真样本量要随之重算。Q4分层一定能减少样本量吗A不一定。分层减少的是「指标方差」方差大时效果明显层间差异小时收益有限。分层更大的价值是「结论可解释」每个层都能回答而不只是省样本。Q5实验时长和样本量冲突怎么办A样本量是硬约束时长是软约束。样本量不够就延长时长或放宽 MDE若两者都不可行放弃实验而不是带着低功效上线。Q6跑完的实验怎么汇报才规范A报告「样本量、功效、MDE、主指标置信区间、分层结果、停止规则执行情况」六项显著与否都要报告未达标就说明未达标不粉饰。核心价值与实施边界是什么样本量计算的本质是「把实验成本与决策风险摆到桌面上」它让团队在开跑前就知道这个实验要多久、要多少流量、能不能回答业务问题避免「跑完才发现无效」的沉没成本。实施边界在于统计正确性保证「结论可信」不保证「结论有价值」——指标选错、假设没意义再大的样本量也没用。同时样本量计算依赖可靠的埋点数据基线转化率、漏斗事件埋点不准时一切计算都是空中楼阁。如果你的团队在搭建实验体系可以把「埋点 → 指标口径 → 样本量 → 实验平台」串成一条链路用行为分析平台先把事件与漏斗口径打通实验设计就能建立在可信的基线上样本量与结论才站得住。数据来源Kohavi Thomke《The Surprising Power of Online Experiments》Harvard Business Review2017 年 9-10 月号Bing 案例收入提升约 12%、价值约 1 亿美元Kohavi、Tang、Xu《Trustworthy Online Controlled Experiments》2020 年出版Cambridge University Press实验陷阱与设计规范统计标准α0.05、功效 80%公开统计学教材通识。