简介数理统计孙海燕课程大作业围绕经典鸢尾花数据集展开完整数理统计分析适合正在学习多元统计、模式识别或机器学习的高校学生作为课程报告参考。报告以 docx 文档形式呈现全篇覆盖马氏距离、混合高斯模型、主成分分析、线性判别分析和刀切法五大知识点包含符号说明、样本数据选取与整理、算法原理推导及结果比对等模块既有公式说明也有实验分析可直接对照复习或用于改进自身大作业。资源包共 1 个文件约 511KB下载后即可打开阅读。目前已有 1426 人学习下载属于同类课程作业中较有参考价值的一份材料。通过阅读读者能了解鸢尾花四维属性下各类统计方法的适用场景与效果差异掌握利用降维、聚类和留一法评估模型泛化能力的完整分析流程并可在论文写作、实验设计上获得直观参考对理解数理统计在实际数据中的应用大有帮助。1. 数理统计大作业不是期末考题而是一个小型的统计研究项目从怎么拿到分数到怎么学会做推断很多同学拿到数理统计大作业的第一反应是把它当成一套放大了的应用题找数据、套公式、出一张表、写一段结论。这就是翻车最集中的地方。大作业真正想考察的是你能否把一个现象翻译成统计问题再从样本里给出一个带不确定性的回答。这篇笔记按我完成模拟项目X的作业路线来讲选题、设计假设、数据清洗、参数估计、假设检验、回归建模最后是验收前我会做的模拟验证。适合正在赶大作业的本科生也适合想把统计结果写进论文的初学者。2. 先想清楚统计问题再做数据选题与大作业假设设定的三类常见框架当拿到一份数理统计大作业第一步不是打开代码库而是把题目翻译成统计问题。我见过太多同学下载了一个网上现成的表格就开始跑t检验结果连目标变量和解释变量都没分清楚。这种做法最大的代价是方法跑得越漂亮结论越站不住脚。所以我会先花一个晚上把下面三个问题写在纸上。2.1 从实际问题到统计问题三个必填的“问题清单”第一个问题是研究对象的总体是什么样本从哪里来。比如“某公司新页面是否提高了转化率”总体是全部访问该页面的用户样本是观测到的流量。第二个问题是目标变量是连续型、计数型还是分类型。这决定了你用均值、比例还是列联表。第三个问题是我们是做推断还是只做描述。大作业一般要求推断也就是说要用样本证据回答总体问题而不是只把样本均值写出来。理清这三个问题之后下一步就是把口语化的问题改写成统计语言。常见做法是写成一个“原假设 备择假设”的句子。例如“新旧页面的转化率没有差异”对应两比例检验“温度与销量不相关”对应无斜率回归。写假设时不要用“显著”这些形容词直接用参数等于、大于、小于来表示。2.2 数据从哪来、样本量多大才够用数据采集与样本量估算这是大作业里最容易被低估的一步。很多作业说明并不会给你现成数据你要么自己采集要么用公开的模拟数据。自己采集时样本量不是越大越好但太小会直接导致检验功效不足。这里给出一个最简单的两组连续数据样本量公式假设两组标准差相同目标是检验均值差import numpy as np from scipy.stats import norm # 参数设定想检出的差异、标准差、第一类错误、检验功效 delta 0.5 # 两组均值差 sigma 1.0 # 合并标准差 alpha 0.05 # 显著性水平 power 0.8 # 希望达到的检验功效 z_alpha norm.ppf(1 - alpha/2) z_beta norm.ppf(power) n ((z_alpha z_beta) ** 2) * 2 * sigma ** 2 / delta ** 2 print(f每组最少需要 {int(np.ceil(n))} 个样本)这段代码先把显著性水平和功效转成标准正态分位数再用教科书公式算每组样本量。delta越小、sigma越大需要的样本量越大。如果算出来是每组100个而你实际上只能拿到20个那么你要么换一个更大效应的研究问题要么把检验方式换成功效分析允许的非参数方法。样本量估算的意义在于它逼你提前想清楚“我打算发现多小的差异”。如果作业没有硬性样本量要求我一般会按0.8功效、0.05显著性去算并把计算过程写进附录。这个细节在很多评审眼里是加分项。2.3 把分析路线图画出来从描述统计到推断统计的路径有了假设和样本接下来是选统计方法。这一步可以用一个简单的决策表解决数据结构研究问题常用方法两组独立连续数据两组均值是否不同独立样本t检验方差不齐时用Welch两组配对数据前后差异是否非零配对t检验三组及以上连续数据各组均值是否不同单因素方差分析分类变量与连续变量均值有无组间差异t检验/方差分析两个连续变量是否存在线性关系相关分析/一元回归一个连续响应、多个自变数如何联合预测多元线性回归分类变量、分类变量是否独立卡方检验拿到这张表以后不要急着跑代码先画一条分析路线描述统计 → 分布检查 → 推断检验 → 回归建模 → 结论。很多大作业翻车是因为跳过了描述统计直接上假设检验但描述统计能帮你发现数据是否有重复、缺失、离群也能帮你判断正态近似是否合理。我习惯把路线图写进作业第一页的“研究设计”里包括每一步要用哪个方法、对应哪个假设、如果检验不通过最可能的原因是什么。这样写报告时你只需要填结果不用回过头来重跑分析。3. 用Python复现一次完整的参数估计与假设检验从数据清洗到检验结论这一章我以模拟项目X的一组学生成绩数据为例演示从原始数据到假设检验结论的完整过程。模拟项目X本质上是一个虚构的班级成绩对比实验A组同学用新教学方式B组用传统方式目标是检验两组成绩均值是否有显著差异。整个过程分为清洗、置信区间和假设检验三步。3.1 数据清洗与描述性统计先处理缺失值和离群值我拿到数据后第一步是跑df.info()和df.describe()看每列缺失量和基本分布。连续变量出现不合理值时比如成绩列出现负数或大于150先检查记录来源再决定是删除还是标记为缺失不要直接用均值填充否则会人为缩小方差。离群值我一般先用箱线图暴露出来再看是数据录入错误还是真实长尾。import pandas as pd import numpy as np # 构造一份模拟成绩数据A/B两组 rng np.random.default_rng(42) df_a pd.DataFrame({group: A, score: rng.normal(68, 8, 60)}) df_b pd.DataFrame({group: B, score: rng.normal(72, 8, 60)}) df pd.concat([df_a, df_b], ignore_indexTrue) # 人为制造一个缺失和一个离群值方便演示 df.loc[5, score] np.nan df.loc[100, score] 180 print(缺失值数量, df[score].isna().sum()) print(df.groupby(group)[score].describe())代码逻辑是先固定随机种子生成两组正态成绩A组均值68B组均值72标准差都是8。随机种子的作用是让结果可复现避免每次运行得到不同样本isna().sum()查看缺失groupby().describe()给出各组的均值、标准差和分位数。看到离群值以后我会结合业务逻辑判断成绩列出现180是不合理的应该标记为缺失而不是直接删除整行。如果样本量足够删除这个异常记录也不会影响结论但要记录在报告里。这里的一个参数是rng.normal(68, 8, 60)中的60它决定每组的样本量。样本量会影响置信区间宽度和P值预测过程中你可以改成30或100观察结果变化。注意模拟数据只是为了演示流程实际大作业中用真实数据时清洗步骤必须写清楚每一处改动。3.2 参数估计与置信区间我更喜欢用bootstrap估计区间教科书里算均值置信区间用的是t分布公式但前提是样本近似正态或大样本中心极限定理成立。如果数据偏得很厉害比如销售额、停留时间直接用公式容易得出一个偏窄的区间。所以我更喜欢用bootstrap反复从原始样本中有放回抽样每次计算均值最后取2.5%和97.5%分位数。rng np.random.default_rng(123) data_a df.loc[df[group] A, score].dropna().to_numpy() def bootstrap_ci(data, n_boot2000, statisticnp.mean, seed123): rng np.random.default_rng(seed) stats [] for _ in range(n_boot): sample rng.choice(data, sizelen(data), replaceTrue) stats.append(statistic(sample)) stats np.sort(stats) return stats[int(0.025*n_boot)], stats[int(0.975*n_boot)] lo, hi bootstrap_ci(data_a) print(fA组均值: {data_a.mean():.2f}, 95%置信区间: ({lo:.2f}, {hi:.2f}))bootstrap_ci接受原始数据、抽样次数和统计量参数。n_boot控制模拟次数至少2000次才够稳定replaceTrue表示有放回抽样。每次抽样后都会得到一个均值2000个均值的排列就是经验分布。最后取2.5%和97.5%分位数作为置信区间的上下界。这样得到的区间比直接套公式更符合数据的真实形态。但bootstrap不是万能。如果样本量只有个位数抽样结果会非常依赖原样本中的少数点如果原始数据严重重复bootstrap区间也会失真。我一般会在报告中同时给出t分布的区间和bootstrap区间让读者看到结论是否一致。大作业里能这样写说明你对参数估计误差的来源有认知。3.3 假设检验与P值什么时候用t检验什么时候用方差分析两组独立数据比较均值默认先做方差齐性检验如果方差不齐用equal_varFalse的Welch t检验。用代码验证一下from scipy.stats import ttest_ind, levene data_b df.loc[df[group] B, score].dropna().to_numpy() # 方差齐性检验 lev_stat, lev_p levene(data_a, data_b) print(fLevene检验P值: {lev_p:.3f}) # 方差不齐时采用Welch校正 t_stat, t_p ttest_ind(data_a, data_b, equal_varFalse) print(fWelch t检验: t{t_stat:.3f}, P{t_p:.3f})levene的结果告诉我们两组的方差是否显著不同如果P值小于0.05说明方差不齐t检验就必须用Welch版本。ttest_ind的equal_varFalse就是Welch t检验会调整自由度和t统计量避免方差不齐导致第一类错误膨胀。运行结果通常会发现模拟数据里A组平均低于B组如果P值小于0.05你可以得出“A组成绩均值和B组差异显著”的统计结论但要写上效应量作为补充。当分组超过两组时不能用多次t检验因为重复比较会让第一类错误累积。这时应该用单因素方差分析先看整体有没有差异再用事后比较找是哪两组不同。如果数据不满足正态性可以用Kruskal-Wallis非参数检验。选哪种方法取决于分布形态和样本量不能无脑套检验。4. 回归分析是大作业的重头戏从一元线性回归到多元回归的建模与诊断很多大作业题目会落在“变量关系”上比如研究学习时长与考试成绩的关系或者多因素对满意度的影响。回归分析正是用来回答这类问题的主要工具。单独一个t检验只能回答“有没有差异”回归可以给出变化幅度和方向把变量贡献量化出来。4.1 一元线性回归拟合、系数解读和残差图先从一个解释变量开始。假设我们研究每周学习时长对考试成绩的影响。先画散点图和拟合线再用statsmodels做最小二乘估计。代码如下import statsmodels.api as sm rng np.random.default_rng(7) hours rng.uniform(0, 8, 80) score 55 3.2 * hours rng.normal(0, 4, 80) X sm.add_constant(hours) # 手动加截距列 model sm.OLS(score, X).fit() print(model.summary()) # 画残差图 fig, ax plt.subplots() ax.scatter(model.fittedvalues, model.resid) ax.axhline(y0, colorgray, linestyle--) ax.set_xlabel(拟合值) ax.set_ylabel(残差) plt.show()第一步sm.add_constant非常重要没有它模型会被强制过原点截距项缺失会让回归系数的解释变形。model.summary()输出的两大部分上部分包括R²和调整R²下部分包括截距和斜率的系数、标准误、t值、P值。我们看到hours的系数约3.2含义是每周多学1小时期望成绩提高3.2分。系数本身的单位随自变量而变所以不要跨变量比较系数大小。残差图的目的是检验线性假设。如果残差随机散布在0附近说明线性关系成立如果出现喇叭口就是异方差如果呈现U型曲线说明模型漏掉了非线性项。fittedvalues是模型预测值resid是残差横纵坐标组合能直接暴露模型的问题。作业中只贴model.summary()而不贴残差图是常见扣分点。4.2 多元回归与变量选择用AIC和BIC代替单看P值当自变量多于一个问题就变为“要不要把某个变量留下来”。很多人只看回归系数P值但P值会受样本量和变量间相关性影响。我一般会看AIC或BIC它们是模型拟合优度和参数数量的折中。AIC越小越好BIC更严厉地惩罚参数数量。向前、向后逐步回归是常见做法不过在作业里我会手动比较嵌套模型免得跑出过拟合。# 新增两个变量睡眠时长和兼职时长模拟数据 rng np.random.default_rng(8) hours rng.uniform(0, 8, 80) sleep rng.uniform(4, 9, 80) job rng.uniform(0, 4, 80) score 50 3.0*hours 0.5*sleep - 2.0*job rng.normal(0, 4, 80) X2 sm.add_constant(np.column_stack([hours, sleep, job])) model2 sm.OLS(score, X2).fit() print(AIC:, model2.aic, BIC:, model2.bic) # 去掉job变量后的简化模型 X_simple sm.add_constant(np.column_stack([hours, sleep])) model_simple sm.OLS(score, X_simple).fit() print(Simplified AIC:, model_simple.aic, BIC:, model_simple.bic)这里np.column_stack把三个自变量合成设计矩阵add_constant再补一列截距。比较两个模型的AIC和BIC如果简化模型的AIC更小说明去掉job是值得的因为模型更简洁且拟合损失不大。model2.aic可以直接从拟合对象中取。注意AIC和BIC只适合在同一数据集上互相比较不能拿两批不同数据的AIC比大小。变量选择还有一个前置条件变量之间不能高度相关。如果两个变量相关系数超过0.8它们携带的信息高度重叠回归会变得不稳定。此时保留业务上更合理的解释变量就行不必追求把所有变量都放进公式。4.3 回归诊断多重共线性、异方差和异常值识别多元回归跑完不能直接拿去写结论。我会做三件事第一算方差膨胀因子VIF检查多重共线性第二做Breusch-Pagan检验看是否存在异方差第三找残差中绝对值过大的异常样本。from statsmodels.stats.outliers_influence import variance_inflation_factor from statsmodels.stats.diagnostic import het_breuschpagan # 计算三个自变量的VIF X_design np.column_stack([hours, sleep, job]) vif_data pd.DataFrame({ Feature: [hours, sleep, job], VIF: [variance_inflation_factor(X_design, i) for i in range(3)] }) print(vif_data) # 异方差检验 bp_test het_breuschpagan(model2.resid, model2.model.exog) print(Breusch-Pagan LM:, bp_test[0], P, bp_test[1])variance_inflation_factor的第二个参数是自变量在设计矩阵中的位置它把每个变量对其余变量做回归R²越大VIF越高。一般VIF大于10才需要处理但在作业中我见到VIF大于5就警觉了。处理方式删除多共线的变量或者对变量做中心化。het_breuschpagan接收残差和设计矩阵返回LM统计量和P值。P值小于0.05说明存在异方差此时系数标准误不再可靠可以用稳健标准误也就是HC标准误。在statsmodels里把fit()换成fit(cov_typeHC3)即可这是解决异方差最直接的办法。这种细节写进大作业很能体现你确实做过诊断而不是套模板。5. 数理统计大作业避坑指南5个最高频的翻车现场与排查思路这一章写的是我批改和重跑作业时反复看到的踩坑点。每个问题都是先给现象再说原因和解决办法你可以直接对号入座。5.1 置信区间与假设检验结果对不上一个说有差异一个说没有现象同一份数据t检验P值等于0.04小于0.05但算出来的95%置信区间两个组之间有重叠写结论时不知道听谁的。原因95%置信区间与双侧显著性水平0.05的检验在数学上严格等价但当P值落在0.04附近时区间上界可能刚好压在0附近。P值是一个连续结果0.049和0.051根本没有本质差别而区间与“是否包含原假设”的对应是二值的。所以出现这种矛盾本质上说明结论在边界上不稳定。解决不要纠结于P值是否小于0.05把置信区间和效应量一起报告。如果区间包含0就说“没有足够证据说明差异”即使P值略小于0.05如果区间远离0就说“有实际意义”。更稳妥的做法是给出t值和效应量Cohen‘s d让读者看到差异的大小。我在作业里通常会固定显著性水平但明确写出“结论对alpha的依赖程度”。5.2 显著性结果换了样本就消失复现不出来现象第一次跑数据得到P0.03第二天把随机种子换掉或重新采样P值变成0.12结论消失了。原因这多半是样本量太小或原始数据被抽样过程污染。显著性检验的稳定性取决于效应量除以抽样波动小样本的P值本身就是高度波动的。如果你在样本量只有30的情况下做校验P值在0.05附近来回横跳是正常现象不说明算错了。解决我现在的习惯是大作业里所有模拟或抽样都固定随机种子并保存中间数据。对于真实数据做敏感性分析删掉几个离群值、改变分组方式看结论是否依然成立。如果P值在0.03到0.12之间跳动我会承认效应不够稳健把“证据强度有限”写进结论而不是死守显著。5.3 P值很小但实际效果微不足道现象n2000的样本t检验P值小于0.001但两组均值只差0.2分拿到业务场景里毫无意义。原因大样本下P值检验的是“是否存在差异”而不是“差异有多大”。只要标准误足够小任何非零差异都会变得“显著”。这是大作业里最隐蔽的逻辑陷阱因为很多学生会被P值迷惑写出“效果极显著”的过度解释。解决报告效应量Cohen‘s d它等于两组均值差除以合并标准差以及95%置信区间。用区间表达比用P值更能说明实际量级。如果均值差0.2分而置信区间为(-0.3, 0.7)即使P值很小结论仍应该是“几乎没有有意义的差异”。5.4 拟合优度R²很高但残差图出现明显弯曲现象多元回归的R²0.85看起来模型拟合得非常好但残差图显示拟合值越大残差值越大呈喇叭口扩散。原因R²高只代表解释变量能解释一部分方差不保证数据满足回归的假设。喇叭口通常意味着方差随预测值增大即异方差。还有可能是漏掉了交互项或平方项导致残差呈现U型。解决先去画残差对预测值的图。如果出现喇叭口对因变量做对数变换或使用加权最小二乘如果出现U型在模型里加入自变量的平方项。最后再用het_breuschpagan确认。R²高不能豁免诊断这条是大作业被二批的最常见原因。5.5 图表很大很漂亮但结论经不起推敲现象报告里有散点图、箱线图、热力图每张图都占了半页但看完之后不知道它支持哪个统计结论。原因图表只是中间产物不是最终结论。很多同学把画图当成“工作量展示”却没有把图和之前提出的假设联系起来导致评委觉得数据只是装饰。解决我给图表补“一句话结论”比如“箱线图显示B组中位数高于A组但置信区间重叠未发现显著差异”。每张图都要能回答一个具体问题回答不了就删掉。反过来报告里每个结论至少关联一张图表。这会让大作业的结构紧凑很多。6. 让大作业从“及格”到“优秀”的最后一步用模拟实验检验你的统计结论把回归和检验跑完我还会多花一晚上做一件事模拟验证。具体做法是根据原假设生成大量虚拟样本计算你的检验统计量看它是不是真的服从你假设的分布。这个动作能揪出很多黑匣子式错误。一个很简单的验证代码# 模拟原假设下t检验的P值分布 rng np.random.default_rng(2024) p_values [] for _ in range(1000): g1 rng.normal(70, 8, 50) g2 rng.normal(70, 8, 50) _, p ttest_ind(g1, g2, equal_varFalse) p_values.append(p) # 第一类错误率应该在0.05左右 reject_rate np.mean(np.array(p_values) 0.05) print(第一类错误率模拟值:, reject_rate)这段代码让两组数据都来自均值70的正态总体也就是说原假设为真。重复1000次t检验统计P值小于0.05的比例。理论上这个比例应该约等于0.05如果远超0.05说明你的检验方法或者数据生成逻辑有问题。在作业里写这样一段可以证明你对统计量的理解是实证过的。在我自己写完这步之后我还会问自己一个问题如果结论依赖特定样本换个样本还成立吗这几年下来我发现大作业里的所谓“优秀答案”往往不是方法最多变的而是对不确定性最诚实的。与其堆十张图不如说清楚哪一个结论在重复抽样下最稳。希望这个流程能帮到你给你这条统计推断的路径多一块落脚石。本文还有配套的精品资源点击获取