在真实的数据分析与商业智能BI场景中原始数据往往是“脏”且混乱的。俗话说“Garbage in, Garbage out垃圾进垃圾出”。没有高质量的数据清洗后续的任何统计与建模都毫无意义。清洗完成之后为了抓住关键业务问题我们通常需要对数据进行特定规则的排序以及按业务维度进行分类汇总GroupBy。本文将带你系统掌握 Pandas 中最核心的三大硬核操作数据清洗缺失值、重复值、异常值与格式统一数据排序单列/多列、升序/降序灵活排序数据分组与聚合GroupBy 机制与agg()多维聚合。一、 数据清洗Data Cleaning数据清洗是指发现并纠正数据中可识别的错误包括处理缺失值、剔除重复项、修正异常值以及规范数据格式以保证数据的一致性和准确性。原始脏数据 ── [检测与过滤] ── [补齐与修正] ── [统一规范] ── 高质量数据1. 缺失值NaN / None处理现实数据因网络波动、用户未填写等原因常出现空值方法功能描述核心场景 / 示例df.isnull()/isna()检查是否为缺失值df.isnull().sum()统计每列缺失值个数df.dropna()删除含有缺失值的行或列df.dropna(axis0)默认按行删除df.fillna(value)用指定固定值填充缺失值df[销量].fillna(0)df.ffill()前向填充用上一行的有效值填补适用于时间序列或断点补全df.bfill()后向填充用下一行的有效值填补适用于回溯补全# 示例填充数值列删除关键字段为空的行df[销售额]df[销售额].fillna(0)dfdf.dropna(subset[客户ID])# 核心主键为空则直接剔除2. 重复值Duplicates处理数据重复录入会严重干扰统计指标的真实性方法核心作用df.duplicated()标记是否存在重复行返回 True/False 的 Seriesdf.drop_duplicates()剔除重复行保留唯一记录# 查看重复行数print(f重复数据量:{df.duplicated().sum()})# 根据特定列如订单号去重保留首次出现的记录dfdf.drop_duplicates(subset[订单编号],keepfirst)3. 异常值修正与格式统一异常值修正例如退货或系统失误导致出现了不合理的负数金额可通过.abs()统一转为绝对值df[销售数量]df[销售数量].abs()格式规范化例如日期字段中的分隔符不一致既有2025/06/01又有2025-06-01可用字符串向量化操作.str.replace()统一df[订单日期]df[订单日期].str.replace(/,-)二、 数据排序Data Sorting通过排序我们可以迅速定位“头部 Top 客户”、“滞销产品”或“最近订单”。Pandas 提供sort_values()方法支持单列及多列的升/降序控制。1. 单列排序ascendingTrue升序默认ascendingFalse降序# 按照销售数量从大到小降序排列df_sorteddf.sort_values(销售数量,ascendingFalse)2. 多列排序业务复合排序在多列排序中遵循**“主从优先级”**原则先按第一列排序只有在第一列取值相同时才会根据第二列的值进行次级排序。# 场景一多列统一降序# 先按销售数量从大到小排数量一样的再按订单日期从新到旧排df.sort_values([销售数量,订单日期],ascendingFalse)# 场景二多列定制不同的升降序通过传入布尔列表# 销售数量升序(True)相同数量时订单日期降序(False)df.sort_values([销售数量,订单日期],ascending[True,False])三、 数据分组与聚合GroupBy分组操作的核心逻辑是经典的Split - Apply - Combine拆分 - 应用 - 合并Split根据给定的维度如产品类别将原表数据拆分成多个独立的“子组”Apply对每一个子组分别执行统计函数如求和、均值、极值Combine将各个子组的计算结果拼接还原成一个结构化结果。原始数据 ── [ 按类别拆分组 ] ── [ 各组单独求 sum/mean ] ── [ 组装为报表 ]1. 单列基础聚合计算直接对提取的单列调用聚合函数# 按产品类别分组分别统计销售额的不同指标df.groupby(产品类别)[销售额].sum()# 总销售额df.groupby(产品类别)[销售额].mean()# 平均销售额df.groupby(产品类别)[销售额].max()# 最大销售额df.groupby(产品类别)[销售额].min()# 最小销售额df.groupby(产品类别)[销售额].count()# 订单笔数2. 进阶一单列多指标聚合agg 传入列表如果希望一次性得出单列的多个汇总指标# 一次性查看各产品类别的销售额总和、最大值、最小值df.groupby(产品类别)[销售额].agg([sum,max,min])3. 进阶二不同列定制不同指标agg 传入字典在企业报表制作中最常见的是对不同字段使用不同的统计逻辑此时可向.agg()传入字典映射# 语法格式{ 目标列名: 统计函数 }agg_resultdf.groupby(产品类别).agg({销售数量:sum,# 销售数量求总和销售额:sum,# 销售金额求总和单价:mean# 单价求平均值})四、 综合业务实战将“清洗 ➔ 排序 ➔ 分组”串联在完整的真实数据处理流水线中importpandasaspd# 1. 模拟含脏数据的销售记录raw_data{订单日期:[2025/06/01,2025-06-01,2025-06-02,2025/06/02,2025-06-02],产品类别:[食品,食品,服装,电子产品,服装],销售数量:[-5,5,2,None,6],# 存在负数和缺失值单价:[29,29,199,399,199]}dfpd.DataFrame(raw_data)# ------------ Step 1: 数据清洗 ------------# ① 规范化日期格式df[订单日期]df[订单日期].str.replace(/,-)# ② 缺失值填充df[销售数量]df[销售数量].fillna(1)# ③ 异常负值修正为绝对值df[销售数量]df[销售数量].abs()# ④ 计算衍生列销售额df[销售额]df[销售数量]*df[单价]# ------------ Step 2: 数据排序 ------------# 按照销售额降序排序df_sorteddf.sort_values(by销售额,ascendingFalse)print( 排序后的明细数据 )print(df_sorted)# ------------ Step 3: 分组汇总 ------------# 按产品类别聚合产出业务看板reportdf.groupby(产品类别).agg({销售数量:sum,销售额:sum,单价:mean}).reset_index()print(\n 分类汇总报表 )print(report) 五、 核心知识点全景速查表分类模块常用 API / 语法功能描述与核心规则典型代码示例缺失值处理isnull()/isna()检查缺失值返回布尔值掩码df.isnull().sum()dropna()删除含有空值的行或列可指定subset作用列df.dropna(subset[姓名])fillna(value)用标量常数或特定统计值填补空缺df[成绩].fillna(0)ffill()/bfill()前向填补 / 后向填补按相邻非空有效值填充df[电量].ffill()重复值处理duplicated()标记数据是否重复返回布尔序列df.duplicated(subset[订单号])drop_duplicates()删除重复数据行保留唯一值默认keepfirstdf.drop_duplicates()异常与规范abs()取绝对值纠正常见的人为输入负数异常df[数量] df[数量].abs()str.replace()文本/字符串列的统一替换与规范化df[日期].str.replace(/, -)数据排序sort_values()按一列或多列进行排序ascending决定升序或降序df.sort_values(销量, ascendingFalse)多列复合排序第一列优先同值时根据第二列次级排序df.sort_values([A, B], ascending[True, False])分组与聚合groupby()按照某特征将数据拆分成子组Splitgrouped df.groupby(部门)组内聚合计算单列单一指标.sum(),.mean(),.max()等df.groupby(部门)[薪资].mean()agg(list)单列多个指标聚合统计df.groupby(部门)[薪资].agg([min, max])agg(dict)多列分别定制不同维度的聚合计算df.groupby(部门).agg({薪资:mean, 年龄:min})