简介《机器学习前置知识》配套数据集包面向机器学习入门学习者与算法实践者提供支撑数据预处理、情感分类、时序分析等基础练习的真实样本。压缩包共含六个文件涵盖csv、json、h5三种主流数据格式整体仅2.76MB便于快速下载后直接用于本地实验。数据覆盖电影评分、新闻标题、星巴克门店、股票日线等典型场景来自真实业务场景可为后续分类、回归、聚类等任务提供对照实验素材csv适合Pandas读取与清洗json用于文本解析与特征抽取h5便于存储和读取较复杂的结构化数据各文件按场景独立组织目录层次一目了然。已有4367人学习下载适合初学阶段对照教程边学边练借助紧凑的包体快速搭建第一个机器学习数据管道减少自行搜集整理数据的时间将精力聚焦在算法理解与建模实践上。1. 学习机器学习时为什么需要一套“前置知识配套数据集”不少朋友学机器学习第一个坎从来不是算法而是数据。教程里的代码在示例数据上跑得很顺换成自己找来的数据就各种报错想练 NumPy 找不到合适的矩阵材料想练 Pandas 又缺一份带缺失值、带类别列、还带标准答案的数据。我见过很多人被这个环节卡住最后误以为自己不适合学机器学习其实是手里缺一套能反复折腾的练习数据。这套《机器学习前置知识》配套数据集就是要解决这个事用最小规模、低噪声、有对照结果的数据集把 Python 数值计算、数据处理、可视化和基础统计一次练到位。它不教你某个具体算法而是给你一块不会被数据本身搞崩的实验场地。拿到它之后后面碰真实业务数据时你才能分清楚哪些是数据的问题哪些是自己代码的问题。2. 先看清配套数据集里都有什么文件清单与教学选型逻辑拿到一套配套数据集第一步不是写代码而是把文件清单翻一遍。前置知识阶段的数据文件通常不是当数据库用的而是每一个文件对应一个练习目标用错文件会让后面所有练习都产生偏差。我见过不少《机器学习前置知识》课程的打包方式虽然文件名各有差异但目录骨架大同小异一个 datasets 目录统一放原始文件一个 README 或数据字典说明字段含义和适用练习。2.1 一套典型的前置数据集目录结构每个文件对应一个知识点以下是一份常见结构覆盖了表格数据、混合类型数据和图像数据三类足够把前置知识练完文件名常见规模字段特点对应前置知识点iris.csv约150行4个连续数值特征加1个类别标签Pandas读取、NumPy切片、入门分类titanic_sample.csv约800行数值特征与类别特征混合存在缺失值缺失值处理、类别编码、特征工程house_price_sample.csv约500行多列连续数值列之间数量级差异明显回归、标准化、矩阵运算mnist_sample.csv约2000行每行784个像素值标签在外层数组重塑、矩阵转置、图像可视化README.md文本字段说明与已知注意事项养成先读说明再动代码的习惯iris 文件适合做最开始的“热手”练习行数少、列数少读进来之后马上能做 groupby、切片、画散点图矩阵。titanic_sample 文件是这套数据里最能练预处理功力的一份因为年龄有缺失、登船港口是文本类别、票号是文本但本身不该作为数值输入这些都是在真实数据里天天遇见的状况。house_price_sample 文件专门用来练标准化因为不同列的单位不同面积可能是几十、价格是几万直接送进距离类模型会让数值大的列主导计算。mnist_sample 文件则是前置知识阶段接触图像处理的入口它把一张 28×28 的灰度图拉平成一行练习时先要把这 784 个数值 reshape 回二维矩阵才能理解为什么图像数据在机器学习里第一件事是“还原形状”。辅助文件里README 和数据字典的作用经常被低估。数据字典会写明每个字段的类型、缺失值标记、单位有了它你就不需要反复猜测某列到底是房价还是面积。很多人练完前置知识还不会写数据说明文档就是因为在练习阶段没有养成先读说明、再写代码的习惯。配套数据集把这一步也设计进去了。如果你拿到的课程包没有带数据目录一个常见替补方案是直接用 scikit-learn 里内置的数据集导出 CSV比如 load_iris() 转成 DataFrame 再存成文件数据同构、字段语义也足够清楚练习效果差别不大。2.2 为什么是这几个数据集教学选型的三个理由选这些数据集不是随手抓的背后有三个很实际的教学选型理由理解了它们你自己以后给别人搭练习环境时也会照着做。第一个理由是规模小到“学习循环”足够短。一次完整的读入、清洗、切分、建模、评估在几百行的数据上只需要几秒就能跑完。错误反馈来得快学习者就能在单位时间里试更多种写法。真实业务数据动辄几十万行一次预处理可能要等半分钟这个等待时间会把学习节奏拖垮而且在大数据上犯了错连排查范围都很难缩小。前置知识阶段要的是快速迭代而不是处理海量数据的性能优化。我自己判断一套代码有没有跑偏也经常先用这类数据验证一遍再拿去处理真实数据。第二个理由是字段语义足够直白。鸢尾花的三个种类、泰坦尼克号上的生存标签、房屋的每平米单价这些字段不需要行业背景就能看懂。真实数据里常出现“渠道归因系数”“近30日活跃天数”这种需要业务解释的字段练算法时还要分心理解业务含义很容易让学习者把业务理解问题当成代码问题。前置数据集把变量语义压缩到最小让注意力集中在代码逻辑本身上。这就好比练俯卧撑不需要去健身房搬一堆器材一块平地就够了。第三个理由是这些数据在公开材料里有公认的对照结果。跑完一套流程后学习者可以拿自己的结果和常见基线对比偏差太大就能意识到可能是预处理顺序错了或评估指标选错了。这一点对自学者尤其重要没有同行评审时一个“看起来合理”的错误结果很容易让人盲目自信而一份有对照基准的数据能把这种误差尽早暴露出来。再配合随机种子的固定就能让实验环境具备“可复现”的属性这对建立严谨的机器学习习惯非常关键。3. 用 Pandas 把数据集读进来最小可跑的加载流程先把环境说清楚下面的示例都以 Pandas 和 scikit-learn 为主这两个库是前置知识阶段要反复用的。读数据这件事看起来只是一行 read_csv但实际工作中遇到的编码错误和路径错误大多在这个阶段爆发而且报错信息经常让人摸不着头脑。3.1 从 CSV 到 DataFrame先解决编码和路径两个坑很多新手第一次翻车是把数据集和脚本放在不同目录然后在代码里写死一个绝对路径一旦把项目文件夹换个电脑路径立刻失效。我一般用 pathlib 定位文件这样在不同操作系统上不会有分隔符问题。from pathlib import Path import pandas as pd # 数据集统一放在 datasets 目录下脚本和数据相对位置确定 data_dir Path(datasets) iris_path data_dir / iris.csv # encodingutf-8-sig 兼容带 BOM 头的 CSVna_values 统一缺失标记 df_iris pd.read_csv( iris_path, encodingutf-8-sig, na_values[, NA, N/A, null], ) print(df_iris.head()) print(df_iris.dtypes)逻辑上分三层第一用 Path 拼接路径而不是手动写字符串加斜杠Windows 和 Linux 下都能正确解析第二encoding 参数选 utf-8-sig 是为了应对 CSV 文件里可能带有的 BOM 头不带这个参数时第一列列名会多出不可见字符\ufeff后面按列名取数时会报 KeyError第三na_values 把数据集里常见的空字符串、NA、N/A、null 统一识别为缺失值不然 Pandas 会把空字符串当作正常值保留导致后续 fillna 失效。这段代码跑完先打印 head 看列名和头几行再打印 dtypes 确认每列类型。dtype 的判断很重要如果某列数值型字段被读成 object说明这列里有脏字符比如混入了货币符号或逗号千分位需要回到源数据清洗。这一步的检查习惯能帮助你在后续练习中节省大量排查时间。如果你手头有多个 CSV 文件需要统一加载可以写一个通用函数避免反复复制同样的参数def load_all_datasets(data_dir: Path): 把 datasets 目录下所有 csv 读进来返回 {文件名: DataFrame} data_dict {} for csv_path in data_dir.glob(*.csv): df pd.read_csv( csv_path, encodingutf-8-sig, na_values[, NA, N/A, null], ) data_dict[csv_path.stem] df print(已加载:, list(data_dict.keys())) return data_dict这个函数的返回值是以文件名去除扩展名为键的字典后面想访问哪个数据表直接用data_dict[iris]就能取到。glob 是 Path 对象自带的目录匹配方法*.csv只匹配一层目录下的 CSV避免误读嵌套目录里的文件。3.2 一次性切好训练集和测试集固定种子、分层抽样前置知识阶段很容易忽略切分这件事不少学习者在练习时直接用全量数据训练不做保留评估。这会导致学完算法后完全没有评估意识所以我建议从第一次读入数据起就养成分出测试集的习惯。切分用 scikit-learn 的 train_test_split。from sklearn.model_selection import train_test_split X df_iris.drop(target, axis1) y df_iris[target] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, # 测试集占 20%数据少时可提到 30% random_state42, # 固定随机种子保证多次运行结果可复现 stratifyy, # 分类任务按标签比例分层抽样 ) print(X_train.shape, X_test.shape)三个参数各有用处test_size 控制测试集比例150 条数据取 20% 就是 30 条足够评估random_state 固定随机数发生器的种子只要不换数值每次切分结果完全一致这决定了后续一切结果是否可复现stratify 按 y 的类别比例分层抽样避免某一类样本在测试集里过少或缺失。假如分类数据里某类只占 5%随机切分后测试集可能一条都不含这一类模型评估分就会虚高。注意一套数据最好只切一次然后把切分后的索引保存下来。后续学习不同算法时都用同一份训练集和测试集横向对比才有意义。这里还有一个容易踩的边界train_test_split 默认 shuffleTrue但如果数据集本身带有时间顺序shuffle 会把顺序打乱让训练集“偷看”到未来的信息。前置知识配套数据集里通常没有时间字段可如果后续换到自己采集的时序数据要记得改用 TimeSeriesSplit 或手动按时间切片。为了确保所有实验用同一份切分可以把索引保存下来下次直接加载import numpy as np # 把切分索引保存下来后续任何练习都用同一份切分 np.save(train_idx.npy, X_train.index.to_numpy()) np.save(test_idx.npy, X_test.index.to_numpy()) # 下次练习时重新读取 train_idx np.load(train_idx.npy) X_train_again df_iris.iloc[train_idx]保存索引而不是保存数据副本原因是后续可能修改预处理方式比如换了填充策略或编码方式只要原始索引还在就能对同一批样本重新加工而不必带着旧预处理的结果到处传承。这个习惯在真实项目里也能减少很多因为切分不一致导致的返工。4. 把数据集从“表格”变成“张量”预处理与可视化两步走拿到了干净表格不等于能直接训练模型机器学习前置知识的下一个关口是把混合类型的表格数据变成统一的、数值化的张量。这个过程分两步先处理缺失值和类别特征再做标准化和可视化验证。很多人把预处理当成“不得不做”的杂活但其实它决定了模型效果的上限。4.1 缺失值、类别特征和数值特征的统一处理套路处理缺失值先看缺失比例。对于年龄这种连续特征且缺失率不高的列常见做法是填充对于缺失率超过 30% 的列填充反而会引入大量虚假信息直接删掉该列或单独建一个“是否缺失”的指示特征更稳。在配套数据集里titanic_sample 的年龄缺失率一般不到 20%适合做填充练习。# 缺失值年龄用中位数填充不用均值 df[age] df[age].fillna(df[age].median()) # 类别特征用 one-hot 编码避免标签编码引入虚假顺序 df_encoded pd.get_dummies(df, columns[sex, embarked], drop_firstTrue) # 标准化只统计训练集测试集只做转换 from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 拟合只用训练集 X_test_scaled scaler.transform(X_test) # 测试集调用 transform为什么中位数比均值稳年龄分布带有长尾万一数据集里混入几个异常大的年龄值均值会被拉高填充后的分布就整体右移中位数只受中间位置影响更抗极端值。为什么类别特征用 get_dummies 而不是 LabelEncoder像“登船港口”这种无序类别被编码成 0、1、2 后数值大小会给模型一个不存在的顺序暗示线性模型会误以为 2 比 1 大、权重能代表某种趋势这是典型的坑。drop_firstTrue 是为了丢掉 one-hot 后产生的第一列避免完全共线。为什么标准化要拆成 fit_transform 和 transformfit_transform 只在训练集上拟合均值与方差测试集只调用 transform一旦用全集统计量测试集信息就已经参与训练后面的评估结果会偏乐观。还有一个前置知识里必须说清的边界树模型不需要标准化。决策树和随机森林做分裂时只比较阈值不关心特征绝对尺度但逻辑回归、SVM、KNN 这类基于距离或梯度的方法特征尺度不同会让数值大的列主导损失函数这时就要用 StandardScaler。练前置知识时可以同一份数据分别跑标准化和不标准化的逻辑回归观察准确率差异这是理解“预处理为什么存在”最直观的实证。4.2 用箱线图和相关矩阵做探索性可视化先看图再建模可视化在这个阶段的作用不只是画几张好看的图而是建立“先看图再建模”的直觉。箱线图能快速暴露离群点和类间区分度相关矩阵能帮助判断多个数值特征之间是否高度共线这两个图是前置知识里出镜率最高的。import matplotlib.pyplot as plt # 箱线图比较不同类别下同一特征的分布观察区分度 df_iris.boxplot(column[sepal_length, sepal_width], bytarget, figsize(8, 4)) plt.suptitle() # 去掉 pandas 自动加上的标题 plt.savefig(boxplot.png, dpi150) # 相关矩阵数值特征之间高度相关说明存在冗余 corr df_iris.corr() plt.matshow(corr, cmapcoolwarm) plt.colorbar() plt.xticks(range(len(corr.columns)), corr.columns, rotation45) plt.yticks(range(len(corr.columns)), corr.columns) plt.savefig(corr.png, dpi150) plt.clf()箱线图的用处是看分布重叠程度如果两个类别的箱体重叠严重说明这个特征对区分标签帮助不大如果箱体从中位数开始就能分开这个特征在建模时权重往往会更大。相关矩阵的用处是排查共线性当两个特征相关系数超过 0.9 时它们携带的信息高度重合在线性模型里会出现权重分配不稳的情况甚至影响模型的可解释性。看图之后再做特征筛选比闷头跑模型要高效得多。这里有一个要养成的习惯保存图片用dpi150默认的 dpi 在正式文档里会显得模糊而 plt.clf() 用来清空当前画布否则下一次画图时图形会叠加在一起越画越乱。5. 配套数据集的 4 个高频翻车现场与避坑清单配套数据集看起来简单但越简单的数据越容易栽在细节上。下面四条是我在这类教学数据上见到的最高频翻车记录每一条都按现象、原因、解决拆开写。5.1 读取阶段路径不对和编码报错现象运行pd.read_csv(datasets/iris.csv)报 FileNotFoundError文件明明就在目录里或者列名打印出来第一个名字前面多了一串乱码按列名取数时报 KeyError。原因相对路径是相对当前命令运行的工作目录不是脚本所在目录。用 Jupyter Notebook 时工作目录通常是 notebook 所在目录但用命令行跑 .py 时却可能是终端所在目录两边不一致就会找错路径。BOM 头是编码问题里的常客文件开头带不可见字符列名被“污染”成\ufefftarget导致后续按 target 取列失败。解决先统一用 pathlib基于脚本位置定位数据目录读取时固定encodingutf-8-sig。最简单的判断法是打印df.columns.tolist()如果第一项不是裸的 target而是带前缀的字符串那就是 BOM 问题。# 基于脚本位置定位不依赖终端工作目录 base_dir Path(__file__).resolve().parent data_path base_dir / datasets / iris.csv df pd.read_csv(data_path, encodingutf-8-sig)5.2 预处理阶段在全集上算均值导致验证集泄漏现象标准化、缺失值填充前先对整个 df 算 mean()、median()再切分数据集。训练出来的模型在测试集上表现特别好但拿到真实数据就明显变差。原因全集统计量把测试集的分布信息泄漏进了训练侧。测试集的意义是模拟未知数据如果它的均值和标准差已经参与了训练数据的变换就相当于提前告诉模型测试集的分布评估分数自然虚高。解决先切分再处理填充缺失值同样存在泄漏填充用的中位数如果来自全集也属于泄漏。正确做法是先从训练集统计出中位数再用这个值分别填充训练集和测试集。在 sklearn 流程里用 Pipeline 可以强制保证 fit 只在训练集上执行这是最不容易出错的方式。5.3 切分阶段随机种子不固定导致结果每次都不一样现象同一个模型、同一份数据今天跑出 0.87 准确率明天重跑变成 0.84或者复现别人的代码时结果总是对不上差一点点又找不到原因。原因train_test_split 默认每次随机切分随机种子不固定训练集和测试集都不一样模型在完全不同的子集上评估结果不可能一致。这导致你无法判断准确率的波动到底来自模型还是来自数据切分。解决指定random_state42并保持统一更彻底的做法是把切分索引保存成.npy文件所有实验都从文件里加载同一组索引。这样才能保证对比多个算法时差异只来自算法本身而不是数据切分的随机波动。这个习惯在写实验报告或做横向对比时尤其重要能避免“调了个寂寞”的尴尬。5.4 版本阶段同名数据集混用导致结果对不上现象两个同学都用 titanic_sample.csv跑出的结果差得离谱或者自己更新了数据集文件后以前所有跑过的分数都不能参考了。原因不同渠道下载的同名数据集行数、列名、标签取值可能有差异。最常见的是标签编码不一致有人用 0/1有人用 N/Y读进来后 y 的数据类型不同模型评估自然对不上。解决开始任何实验前先做数据集体检打印df.shape、df.columns.tolist()、df[target].value_counts()。核对完这些再跑模型。如果发现版本变了在实验记录里标一下版本之间的差异比如新增了列或缺失值比例不同避免几个月后回溯时完全不知道当初跑的是哪份数据。数据集版本管理这件事看起来琐碎但真实项目里很多返工都是因为版本混用造成的。6. 把配套数据集从习题练成实验平台三个进阶用法前置知识配套数据集的价值远不止刚上手时练 API把它当成标准实验平台可以一直用到大模型之前的几乎所有基础算法。第一个进阶用法是建立算法基线对比表。固定数据、固定切分、固定评估函数把逻辑回归、决策树、KNN 依次跑一遍统一用 accuracy 和 F1 记录结果。我一般会写一个很小的循环接受模型列表和切分数据返回指标字典。这样得到的对比表才是干净的因为所有模型面对的是同一份训练集和测试集。from sklearn.metrics import accuracy_score, f1_score results {} for name, model in models: model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) results[name] { acc: accuracy_score(y_test, y_pred), f1: f1_score(y_test, y_pred, averageweighted), }第二个进阶用法是把数据当成新库的调试场。每学一个数据处理或可视化的新库先用配套数据集跑通基本接口再上真实数据。这个习惯帮我避免了无数次“库用错了还不知道”的情况在标准数据上如果输出不符合预期几乎可以确定是自己的用法问题而不是数据问题排查范围一下子缩小很多。真实数据里变量太多一个新库出了问题你可能分不清是库的机制、数据的特性还是自己代码的锅。第三个进阶用法是特征工程的实验田。在 Iris 上自己构造花瓣宽度与花萼宽度的比值特征加入模型后再看指标变化你会直观感受到“好的特征”和“调参”哪个对结果影响更大。我自己的习惯是永远把这套数据留一份在本地新想法先到这里验证起效果了再拿到真实场景去测。这样既不会污染真实实验结果也能在最短时间内排除掉大量明显错误的设计。希望帮到你。本文还有配套的精品资源点击获取