简介在数据分析实践中数据清洗是决定项目成败的基础环节——原始数据往往存在缺失值、异常值和编码不一致等问题直接影响后续分析与可视化结论的可靠性。借助pandas等工具进行数据清洗与特征工程可以统一数据口径为价格分析、保值率计算等核心指标提供可信基础。随后通过pyecharts等可视化技术生成交互式HTML报表能够直观呈现品牌销量、价格分布与影响因子等关键信息帮助业务方快速理解市场结构。本文以二手车交易数据分析为例完整演示从脏数据处理、特征构造到可视化看板输出的工程实现路径覆盖全流程代码与常见坑点适合作为Python数据分析入门项目参考。1. 二手车交易数据分析从一堆脏数据到一份能看懂的行情报告买过二手车的人都有过这种纠结同款车网上挂的价格从 5 万到 8 万都有到底哪个才是真实行情卖车的人更头疼车商报价永远比心理预期低一截。二手车的价格是个黑匣子里面装着品牌、车龄、里程、过户次数这些影响因素。这个项目就是专门干这件事的——把一批二手车交易记录拿来做数据分析清洗脏数据算出身价、保值率、品牌热度最后生成一份能直接打开的 HTML 可视化报表。它适合刚入门数据分析想练手的开发者也适合想用数据替代经验判断的二手车从业者。跑通清洗、分析、可视化全流程后你就能把自己的数据套进去改造成私人行情工具。2. 技术选型与目录结构拿到压缩包后先从哪下手2.1 技术栈为什么是 pandas pyecharts 而不是 BI 工具二手车的交易数据分析核心不是算法多先进而是数据能不能被快速理解。很多人第一时间会想到拖进 Excel 或者某 BI 工具但交易数据动辄几万行Excel 处理到后面越来越卡而且清洗逻辑沉淀不下来——下一次拿到新数据又得手工点一遍。这个项目用的是 Python 三件套pandas 负责数据处理pyecharts 负责图表输出Flask 只用来串一个轻量接口便于把报表挂给同事远程看。pandas 的优势在于链式操作和 groupby 聚合清洗规则写成函数后可以反复执行pyecharts 的优势是生成独立 HTML 文件不需要安装任何图表软件双击就能看还支持缩放、悬浮提示这些交互。相比 matplotlib 那种保存 PNG 的方式交互式 HTML 在给业务方讲数据的时候友好得多。依赖版本我一般会锁死避免跑起来才发现 API 对不上。项目默认的 requirements.txt 大致如下pandas1.3 pyecharts2.0 flask2.0 openpyxl这里最容易翻车的是 pyecharts 的版本。2.x 的 API 是set_global_opts这种写法1.x 是另一套set_global_options很多人装到 1.x 后照抄文档直接报错。装完依赖先验证一下版本python -c import pyecharts; print(pyecharts.__version__)看到 2.x 再继续往下走。注意pyecharts 1.x 和 2.x 的 API 不兼容装完先验证版本别等 render 报错才回头查依赖。2.2 目录结构数据、脚本、产物各归其位压缩包解压之后是个标准的四层结构批注里标了每个目录的职责car_transaction_analysis/ ├── data/ │ ├── raw/ # 原始交易数据CSV 格式 │ │ └── car_transactions.csv │ └── cleaned/ # 清洗与特征工程后的数据 │ ├── car_clean.csv │ └── car_feature.csv ├── scripts/ │ ├── 01_clean.py # 第一步清洗 │ ├── 02_feature.py # 第二步特征工程 │ ├── 03_analyze.py # 第三步统计分析 │ └── 04_visualize.py # 第四步生成可视化报表 ├── output/ │ ├── report.html # 整合后的完整看板 │ └── charts/ # 单张图表 HTML └── requirements.txt这个结构的核心设计是每一步产出中间文件。01 清洗完写 car_clean.csv02 特征工程完写 car_feature.csv03、04 只负责读上游文件。这样做的好处是职责边界清楚清洗逻辑改了重跑 01、02 就行图表样式改了单独跑 04不需要把整条链路全执行一遍。对新手来说中间文件还方便对比每一步前后数据的变化出了问题能快速定位是哪个环节的锅。文件名带上 01、02 这种序号是为了保证执行顺序。数据分析的流程天然有依赖关系单靠人脑记顺序迟早漏步脚本本身按文件名排序就是执行顺序简单直接。跑起来的命令也简单按顺序执行四个脚本最后浏览器打开 output/report.html 就能看到完整看板。前提是先把 data/raw/car_transactions.csv 放在正确位置别改文件名和后缀否则后面所有脚本的读取路径都会断。2.3 数据字典一条二手车交易记录包含什么整个分析的地基是 data/raw/car_transactions.csv每一行代表一笔交易记录关键字段如下字段含义示例分析处理注意点id交易记录唯一编号100021主键用于去重brand品牌品牌A分组聚合维度model车型品牌A 紧凑型轿车含品牌前缀可拆分reg_year首次上牌年份2018算车龄用需先处理缺失mileage行驶里程万公里6.5缺失多异常值多price成交价格万元9.8核心指标需异常过滤new_price新车指导价万元15.6计算保值率gearbox变速箱类型自动/手动分类聚合fuel_type燃油类型汽油/柴油分类聚合city交易城市某一线城市已脱敏transfer_count过户次数1影响车价condition车况等级优秀/良好/一般映射为数值拿到表之后别急着写分析先看形状和类型。我每次都是先跑这么一段import pandas as pd df pd.read_csv(data/raw/car_transactions.csv, encodinggbk) print(df.shape) print(df.dtypes) print(df.isnull().sum())这里用 encodinggbk 是因为 CSV 大概率从 Windows 的 Excel 导出默认编码就是 GBK用 UTF-8 读会直接报解码错误或满屏乱码。看完缺失值分布就能判断哪些字段值得花力气补哪些字段干脆置空。这份初步探查是整个项目里最玄学的环节——同一份数据不同人清洗出来的结果可以差很多差异往往就出在缺失值处理策略上。3. 数据清洗与特征工程把脏数据盘成能用的样子3.1 缺失值与异常值三个必须处理的坑原始数据最常见的三个问题。第一个是 price 缺失这类记录直接删除因为价格是整条分析链路的核心变量补出来的价格没有意义反而会污染后面的统计结果。第二个是 mileage 异常比如一辆 2019 年上牌的车里程显示 45 万公里明显是录入时多打了一位。第三个是 reg_year 不合法的值比如 0 或者 1990 年之前的年份这类按缺失处理后续用车龄分析时会自然过滤掉。异常值过滤我习惯用分位数而不是绝对判断。一辆正常家用车 5 年跑 6 万公里但一辆网约车 3 年能跑 20 万公里绝对阈值很难覆盖真实分布。下面这段是项目里 01_clean.py 的核心逻辑import pandas as pd import numpy as np df pd.read_csv(data/raw/car_transactions.csv, encodinggbk) # 1. 去重同一笔交易出现多次的只留第一条 df df.drop_duplicates(subsetid, keepfirst) # 2. 价格缺失直接删价格范围限定在 1 万到 100 万 df df.dropna(subset[price]) df df[(df[price] 1) (df[price] 100)] # 3. 里程异常用中位数 ± 5 倍 MAD 过滤离群点 mileage_median df[mileage].median() mad (df[mileage] - mileage_median).abs().median() df df[(df[mileage] - mileage_median).abs() 5 * 1.4826 * mad] # 4. 上牌年份不合法过滤掉 0 和 1990 前的记录 df df[(df[reg_year] 1990)] df.to_csv(data/cleaned/car_clean.csv, indexFalse, encodingutf-8-sig)分段说明drop_duplicates 按 id 去重keepfirst 保留第一条价格过滤用的是硬阈值1 万到 100 万覆盖家用车主流区间这套数据里没有百万级的豪华车所以阈值不担心误杀里程过滤用 MAD 而不是标准差是因为标准差对极端值本身敏感一个 45 万的离群点会把均值拉高导致正常值被判为异常MAD 基于中位数对离群点稳健得多。1.4826 这个系数是把 MAD 换算成标准差尺度的常数所以5 * 1.4826 * mad大约相当于 5 倍标准差。跑完后打印一下行数。如果从 5 万行变成 4 万行属于正常范围如果一口气砍掉一半就要怀疑是数据源整体偏移而不是个别脏数据了。清洗不是删得越多越干净删掉 20% 可能是合理的删掉 50% 一定是哪里出了问题。3.2 特征工程车龄、保值率、年均里程怎么算清洗完的字段不适合直接进分析模型原因是量纲和口径不统一。reg_year 是年份但分析关心的是这辆车开了几年所以要换算成车龄price 和新车价 new_price 都是绝对值但 10 万的车和 50 万的车比价格波动没有意义换算成保值率才有横向可比性。02_feature.py 干的就是这件事import pandas as pd df pd.read_csv(data/cleaned/car_clean.csv) current_year 2025 # 车龄当前年份 - 上牌年份clip 下限为 0 df[car_age] current_year - df[reg_year] df[car_age] df[car_age].clip(lower0) # 保值率成交价 / 新车指导价 * 100 df[retention_rate] df[price] / df[new_price] * 100 # 年均里程总里程 / (车龄 1)避免除零 df[mileage_per_year] df[mileage] / (df[car_age] 1) # 车况等级转数值方便后续相关性分析 condition_map {优秀: 3, 良好: 2, 一般: 1} df[condition_score] df[condition].map(condition_map) df.to_csv(data/cleaned/car_feature.csv, indexFalse)关键设计是把 current_year 提成常量。这样第二年数据更新只改这一个变量就能整体重跑如果哪天上牌年份字段变成了年月格式也只需要改这一行的减法逻辑。保值率计算有个坑new_price 如果为 0 或者缺失retention_rate 会出现无穷大或空值所以算完后要检查一下覆盖率print(df[retention_rate].notna().mean())缺失比例超过 20% 说明 new_price 字段质量太差这列特征就得降级使用。mileage_per_year 这个特征单独看价值不大但算过户次数重的车型时它能体现使用强度是后续做预测模型时一个不错的输入。3.3 脚本化清洗为什么不能依赖 Excel 手工处理很多人第一次做这类项目时习惯在 Excel 里手工筛选遇到下一批数据又全部重来。脚本化的价值在于可复现和可审计。可复现是同一份数据跑两次结果完全一致可审计是清洗规则写成代码后别人或者三个月后的自己能看懂每条规则背后的理由。我在清洗脚本里习惯给每个步骤加行数输出让每一步的删减一目了然before len(df) df df.drop_duplicates(subsetid, keepfirst) print(f去重: {before} - {len(df)}, 删除 {before - len(df)} 行)这种输出不是给机器看的是给排查问题的人看的。某个分析结论不对劲时回头翻清洗日志很快能定位是异常值过滤误杀了正常数据还是去重逻辑把不同时间的记录删掉了。这段是血泪经验永远不要在没有日志的情况下做数据清洗不然出了问题连后悔药都没有。脚本化还有另一个隐性好处就是同一套逻辑能处理多批数据。项目里数据源可能不止一个 CSV今天导入一批线上平台数据明天导入一批线下门店记录字段顺序可能都不一样但清洗脚本用列名取数不依赖列顺序只要字段名对齐就能复用。4. 核心分析模块拆解从销量榜到保值率排行4.1 品牌销量与价格画像什么车在这个市场最活跃分析的第一步是看整体盘面。用 groupby 按品牌聚合同时算出销量、均价、平均车龄、平均里程然后按销量排序。这一步回答的是哪些品牌在市场上的流通最活跃。import pandas as pd df pd.read_csv(data/cleaned/car_feature.csv) brand_stats df.groupby(brand).agg( sales(id, count), avg_price(price, mean), avg_age(car_age, mean), avg_mileage(mileage, mean) ).reset_index() brand_stats[avg_price] brand_stats[avg_price].round(2) brand_stats brand_stats.sort_values(sales, ascendingFalse).reset_index(dropTrue) print(brand_stats.head(10))输出结果的读法有讲究。销量高但均价低的品牌说明流通快、走量是市场的主力盘销量不高但均价高的说明是偏高端的小众市场。只看销量不看均价容易误判——某个品牌销量第一但均价只有 3 万它的活跃和另一个销量第五但均价 20 万的品牌完全是两种市场逻辑。avg_age 和 avg_mileage 用于交叉验证定位商务车型平均车龄偏高是正常的因为车源来自置换周期长的用户群体。4.2 保值率排行哪些车型三年还能卖到六成价保值率是二手车交易里最受关注的指标。计算口径是同一个车型下车龄两年到四年记录的平均 retention_rate行业内习惯叫准三年保值率。限制窗口的原因是不能直接全量平均——两岁的新车保值率天然比五岁的高混在一起算会把整体拉偏只有把样本锁在相近车龄区间结果才具备行业可比性。# 只看车龄 2~4 年的记录近似三年保值率 sub df[(df[car_age] 2) (df[car_age] 4)] retention sub.groupby(model).agg( avg_retention(retention_rate, mean), sample_count(id, count) ).reset_index() # 样本量太少的车型统计意义不足过滤掉 retention retention[retention[sample_count] 20] retention retention.sort_values(avg_retention, ascendingFalse) print(retention.head(10))sample_count 20 这条过滤很重要。某个冷门车型全库只有 3 条记录算出来保值率 90% 没有任何参考价值它可能只是某一辆特殊配置的车拉高了均值。行业里看保值率通常要求样本量不低于 30项目里放宽到 20 是考虑到数据总量有限。另外要注意车型名里的品牌前缀model 字段是品牌A 紧凑型轿车这种格式的话groupby 出来的结果天然就是品牌加车型不用额外拆列。4.3 价格影响因子车龄、里程、过户次数谁说了算分析部分最后要回答一个实际问题影响二手车价格的因素到底有哪些影响力排序是什么。最直接的办法是算相关系数矩阵然后只看 price 那一列。import pandas as pd df pd.read_csv(data/cleaned/car_feature.csv) cols [price, car_age, mileage, transfer_count, condition_score, retention_rate] corr df[cols].corr() print(corr[price].sort_values(ascendingFalse))从这类数据常见的结论看price 与 car_age 的负相关最强与 mileage 的负相关次之与 transfer_count 的负相关通常最弱。这说明在二手车定价逻辑里年龄是第一因子里程第二过户次数的影响其实被许多人高估了。这个结论对买卖双方都有参考价值买二手车时与其纠结过户次数这种细节不如优先核验车龄和里程的真实性卖车时想卖上价保证表显里程和记录一致比什么都有用。分析到这里数据分析的主体逻辑已经闭环——从清洗后的数据出发得到了可以直接用于决策的结论。如果要进一步量化每个因子的边际影响可以再上多元回归这块放到二次开发部分讲。4.4 价格区间分布理解市场的结构除了品牌维度价格的区间分布能反映整体市场结构。用 pd.cut 把成交价切成若干价格带统计每个价格带的交易量占比能一眼看出主流市场集中在哪个价位。import pandas as pd df pd.read_csv(data/cleaned/car_feature.csv) bins [0, 5, 10, 15, 20, 30, 50, 100] labels [5万以下, 5-10万, 10-15万, 15-20万, 20-30万, 30-50万, 50万以上] df[price_band] pd.cut(df[price], binsbins, labelslabels) band_stats df.groupby(price_band, observedFalse).agg( count(id, count), avg_age(car_age, mean) ).reset_index() band_stats[pct] (band_stats[count] / band_stats[count].sum() * 100).round(1) print(band_stats)bins 的切分不是固定的要看数据实际情况调整。如果发现 5 万以下占了 60%说明数据源偏向低端市场后续分析的车型结构解读要带上这个前提。pct 字段算的是各价格带占比配合 avg_age 可以观察价格带和车龄的关系——价格越高的区间平均车龄通常越低这是二手车越贵越新的市场规律也是后续可视化里值得重点展示的一张图。5. 可视化报表与常见问题排查让图表真正能交付5.1 用 pyecharts 生成可交互的完整看板分析结果最后要落到可视化。项目用 pyecharts 生成独立 HTML核心流程是每个分析模块产出一个图表对象最后用 Page 把它们纵向拼成一个看板。以品牌销量 TOP10 为例from pyecharts.charts import Bar, Page from pyecharts import options as opts bar ( Bar() .add_xaxis(brand_stats[brand].head(10).tolist()) .add_yaxis(销量, brand_stats[sales].head(10).tolist()) .set_global_opts( title_optsopts.TitleOpts(title品牌销量TOP10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate30)), datazoom_optsopts.DataZoomOpts() ) ) page Page(layoutPage.SimplePageLayout) page.add(bar) page.render(output/report.html)参数说明xaxis_opts 里的 rotate30 是让品牌名旋转 30 度10 个品牌名横排会重叠旋转后标签互不遮挡datazoom_opts 给柱状图加缩放条数据多时可以拖拽查看局部Page.SimplePageLayout 把图表按添加顺序纵排在一个 HTML 里。render 之后直接双击打开 output/report.html不需要启动任何服务发给业务方就能看。整套看板的组织逻辑是一图一问题不堆砌图表。首页放四个 KPI 卡片交易总量、平均成交价、平均车龄、平均保值率往下依次是品牌销量 TOP10 柱状图、价格区间分布柱状图、保值率车型排行条形图、车龄与价格关系散点图。每张图都能回答一个独立问题而不是把同一批数据换着样式画好几遍。5.2 散点图的分箱降采样数据量大的处理技巧车龄与价格关系的散点图最直观但如果数据量超过一万行浏览器渲染会明显卡顿HTML 文件几十兆打开都要等半天。常见做法是分箱聚合按车龄分组取价格均值和中位数画出来一条清晰的趋势线信息损失很小。from pyecharts.charts import Scatter from pyecharts import options as opts # 按车龄分箱取每个车龄段的平均成交价 scatter_data df.groupby(car_age)[price].agg([mean, count]).reset_index() scatter_data scatter_data[scatter_data[count] 5] scatter ( Scatter() .add_xaxis(scatter_data[car_age].tolist()) .add_yaxis(平均成交价, scatter_data[mean].round(2).tolist()) .set_global_opts( title_optsopts.TitleOpts(title车龄与平均成交价关系), yaxis_optsopts.AxisOpts(name价格(万元)), xaxis_optsopts.AxisOpts(name车龄(年)) ) )count 5 的过滤是防止某个车龄只有一两条记录、平均值被个别样本带偏。散点图换成均值曲线后图表从几千个点变成几十个点渲染速度和可读性都提升一个档次。如果要保留分布形态可以在每个车龄段里画箱线图pyecharts 的 Boxplot 也支持只是复杂度高一些报表里一般不放。5.3 常见问题排查乱码、空白图和版本冲突可视化是这套系统里最容易看着简单、跑起来全是坑的部分按现象到解决的顺序写几条。坑一CSV 读出来全是乱码现象pandas 读 CSV 后中文变成銆傛牸之类的乱码。 原因文件是 Windows Excel 导出的 GBK 编码读取时没指定编码。 解决读取时加encodinggbk如果还乱试试encodinggb18030它是 GBK 的超集兼容生僻字和特殊符号。坑二pyecharts 生成的 HTML 打开是空白现象render 出的 HTML 双击打开一片空白浏览器控制台一堆 JS 报错。 原因pyecharts 装成了 1.x和项目里 2.x 的 API 不兼容图表的 JS 资源根本没加载或者 HTML 文件路径里带中文和空格。 解决先执行pip install pyecharts2.0.5重装pip show pyecharts确认版本再把输出路径改成纯英文目录。坑三x 轴标签全部叠成黑块现象品牌名太长x 轴标签挤成一团。 原因默认标签不旋转也不做间隔抽稀。 解决axislabel_optsopts.LabelOpts(rotate30)旋转标签如果还挤加interval0配合旋转或者直接砍到 TOP5。坑四图表数据和 DataFrame 对不上现象柱状图顺序和排序后的 DataFrame 不一致图和数据各说各话。 原因add_xaxis 和 add_yaxis 是分开传参的两边列表顺序必须一一对应。有人 x 轴传了排序后的品牌y 轴却取了原 DataFrame 的销量列结果完全错位。 解决x 轴和 y 轴必须来自同一个排序后的 DataFrame最好写成brand_stats[brand].tolist()和brand_stats[sales].tolist()一次取出别分两次手抖。坑五内存占用过高跑分析时卡死现象几万行数据的脚本跑到 groupby 阶段内存飙升。 原因DataFrame 多次切片复制或者读入时没有按需选列。 解决读 CSV 时用usecols只加载分析需要的列处理过程优先原地操作减少df df[...]这种整表复制次数。6. 二次开发路线从静态报表到持续更新的行情系统这个项目跑通之后最值得做的改造有三件事。第一是数据源的替换。自带 CSV 只是一次性快照真正用起来需要持续更新常见做法是写一个抓取脚本定时从平台拉挂牌数据清洗后追加到 data/raw/再按 01 到 04 的顺序整链路重跑。注意抓来的数据字段必须和原表对齐price、reg_year 这种关键字段缺一个整个链条都会断。第二是把四个脚本封装成可调用的流水线函数。定义一个run_pipeline(raw_path, output_path)入口内部按清洗、特征、分析、可视化四步依次调用后续接定时任务、接接口都会顺很多。封装时把 print 换成 logging带时间戳和级别出错能定位到具体是第几步挂的。第三是加预测模块把描述性分析升级成推断性分析。用 car_age、mileage、transfer_count、condition_score 做特征price 做目标值训练线性回归模型就能对任意一辆车给出合理成交价区间。几百行数据就能跑出可解释的系数训练完用 joblib 存模型报表里加一张预测价与实际价对比图系统就从看历史变成了看预期。验证方法不复杂数据更新后先跑清洗脚本对比行数和关键字段统计量再跑分析脚本抽查几个品牌的结果是否符合常识。比如某个品牌三年保值率突然从 65% 掉到 40%大概率不是市场崩了而是清洗环节误删了样本这时候回头翻日志比对每一步的删减行数能很快定位问题。做这套东西时我翻过不少车。最早为了省事把清洗和特征工程写在一个脚本里后来数据源换了字段格式改一个名字连带分析代码全报错。从那以后我每次接手这类数据分析项目都强制走一遍先看数据字典、再拆脚本、最后写结果的流程把每步输入输出固定下来后期改起来才不会被自己埋的坑绊倒。希望帮到你。本文还有配套的精品资源点击获取