简介面向计算机、数学等专业学生及数据竞赛爱好者的二手车价格预测竞赛优胜方案完整源码包源自阿里天池与Datawhale联合举办的交易价格预测比赛。方案覆盖特征构造、树模型与神经网络建模、Stacking融合等完整建模流程并附有项目说明文档与预测结果汇总可直接复现获奖思路也可作为课程设计、毕业设计或同类竞赛的参考底稿。压缩包共15个文件其中8个为Python脚本涵盖特征生成、单模型训练、多层融合等关键模块另含备份文件、环境依赖列表、项目说明文档与预测结果数据表整体体积约610KB轻量便于快速部署。当前已有42人浏览学习。这份资料提供了从数据预处理到模型集成的完整可运行代码链路配合备份与说明文件读者可对照研读每一步特征工程与调参逻辑尤其适合具备Python与数据分析基础、希望深入钻研并自主扩展功能的学习者。1. 二手车价格预测竞赛从业务问题到回归模型收到一辆车的品牌、车龄、里程、排量、过户次数这些字段让你报一个尽可能准的二手价格——这就是二手车价格预测竞赛的核心任务。它看起来就是一个表格型回归问题但真正上手你会发现车龄和里程怎么组合、品牌和车系怎么编码、异常价格怎么处理每一处都在影响最终分数。这个方向对从业者的价值在于它几乎是特征工程和树模型调参的完整演练场做完一个方案你迁移到其他估价、销量预测甚至风控评分场景都能直接复用套路。我在某二手车平台的估价项目上踩过一遍完整流程后来又把同样的思路搬到竞赛方案里跑通了线上验证。这篇就按我做这个方向的经验来拆先理清数据和特征怎么处理再讲树模型选型与训练随后是调参评估最后用一节专门讲那些让分数上不去的坑。新手可以照着步骤复现一个能排进前 20% 的基线熟手可以重点看特征衍生和融合那两章的边界。2. 数据与特征工程二手车价格预测的胜负手2.1 数据清洗缺失值与异常值的处理顺序二手车数据集的脏是出名的。我拿到的第一版数据里有 40 多个字段缺失率超过 30% 的就有 5 个还有一部分价格字段明显是录入错误。处理顺序我一般是固定的先看价格分布再处理特征缺失最后处理特征异常。顺序不能反因为价格是标签标签错了后面全白做。import pandas as pd import numpy as np df pd.read_csv(car_price.csv) # 1. 先看标签分布确定是否要做对数变换 print(df[price].describe()) print(df[price].skew()) # 2. 价格明显异常低于1000元或高于均值的8倍先标记不直接删 df[price_abnormal] (df[price] 1000) | (df[price] df[price].mean() * 8) # 3. 缺失率超过50%的列先剔除 missing_ratio df.isnull().mean() drop_cols missing_ratio[missing_ratio 0.5].index.tolist() df df.drop(columnsdrop_cols) # 4. 数值特征的缺失用中位数填充类别特征用众数填充 num_cols df.select_dtypes(include[np.number]).columns cat_cols df.select_dtypes(include[object]).columns df[num_cols] df[num_cols].fillna(df[num_cols].median()) df[cat_cols] df[cat_cols].fillna(df[cat_cols].mode().iloc[0])价格分布右偏严重是二手车数据的常态少数豪华车会把均值拉得很高。这里我先用skew看一下偏度超过 1 就说明模型直接拟合原始价格会很吃力后面要考虑对标签做 log1p 变换。缺失列的处理上50% 是个经验阈值低于这个比例但缺失模式有规律的列我反而会保留并用「是否缺失」本身做一个二值特征树模型有时候能从缺失模式里学到东西。价格异常值我没有直接删而是先标记这是为了避免把某些真实的高价性能车误杀具体怎么处置放到后面的避坑章节讲。2.2 特征衍生从车龄、里程和品牌里榨出信号原始字段通常只有reg_date注册日期和mileage里程但价格和它们不是线性关系。新车前三年折价最快里程对价格的影响在高里程区间会钝化。所以衍生特征的核心思路是把时间戳转成有业务含义的年龄再做非线性组合。# 假设当前时间为2024年6月 df[reg_date] pd.to_datetime(df[reg_date]) df[car_age] (pd.Timestamp(2024-06-01) - df[reg_date]).dt.days / 365.25 # 车龄分段3年内、3-5年、5-8年、8年以上 df[age_bin] pd.cut(df[car_age], bins[0, 3, 5, 8, 100], labels[0, 1, 2, 3]) # 里程分段每5万公里一段 df[mileage_bin] pd.cut(df[mileage], bins[0, 5, 10, 15, 100], labels[0, 1, 2, 3]) # 关键组合特征年均里程反映车辆使用强度 df[annual_mileage] df[mileage] / (df[car_age] 0.5) # 品牌车系的平均价格映射 brand_price_mean df.groupby(brand)[price].transform(mean) df[brand_price_ratio] df[price] / (brand_price_mean 1)annual_mileage是我在这个项目里最有用的单特征之一。两辆车同样 5 年车龄一辆年均开 1 万公里一辆年均开 3 万公里后者的机械磨损和维护成本明显更高价格差距有时候能到 15%。加 0.5 的平滑项是为了避免新车除零。brand_price_ratio这个特征的做法是先按品牌算平均价格再让每个样本的价格除以该品牌均值本质是在衡量「这辆车在同品牌里属于高价还是低价」它能帮模型捕捉品牌内部的价格层次。2.3 编码策略类别特征怎么送进树模型品牌、车系、变速箱类型、排放标准这些类别特征处理方式决定了树模型的上限。常见误区是见到类别就 LabelEncoder直接把品牌按 0、1、2 编号丢给模型。LightGBM 虽然原生支持类别特征但无序类别你用 0、1、2 编号树模型会默认 1 和 2 比 0 更「接近」产生根本不存在的顺序关系。import lightgbm as lgb # 正确做法1声明类别特征让LightGBM自己处理 cat_features [brand, series, fuel_type, gearbox, emission_std] for col in cat_features: df[col] df[col].astype(category) # 正确做法2用目标编码用类别对应价格均值代替原始类别 from sklearn.model_selection import KFold df[brand_target_enc] np.nan kf KFold(n_splits5, shuffleTrue, random_state42) for tr_idx, va_idx in kf.split(df): brand_mean df.loc[tr_idx].groupby(brand)[price].mean() df.loc[va_idx, brand_target_enc] df.loc[va_idx, brand].map(brand_mean) df[brand_target_enc] df[brand_target_enc].fillna(df[price].mean())目标编码要小心目标泄露所以我用 5 折交叉验证的方式每一折只用训练部分的均值去编码验证部分避免用全量数据算均值把标签信息透给模型。如果类别在训练里出现次数很少目标编码的均值会很不稳这时候可以加一个平滑项公式是(count * mean prior) / (count alpha)prior用全量价格均值alpha一般取 10 到 20。另外在实际项目里我会把brand series拼成一个新列再编码因为单独看series在不同品牌下可能有重复编号直接编码会混淆。3. 模型选型与训练二手车价格预测用哪种回归模型3.1 树模型为什么是二手车价格预测的主力二手车价格预测这类表格数据的竞赛近几年的优胜方案基本都被 LightGBM、XGBoost、CatBoost 这三个梯度提升树模型统治。原因不复杂表格特征里数值和类别混杂特征之间大多是非线性关系且有大量缺失神经网络在这种场景下需要非常精细的预处理和调参才能追上树模型的基线而树模型对尺度不敏感、对缺失值有原生处理策略、训练速度快迭代一个特征工程实验只要几十秒。那三者怎么选我的经验是LightGBM 作为主力基线训练最快内存占用最小特征重要性分析方便XGBoost 作为对照它在数据量不大几万行时精度往往和 LightGBM 接近甚至略好而且正则化参数更细CatBoost 在类别特征极多且有序性明显时优势大但它训练慢调参成本高。竞赛时间有限的情况下先把 LightGBM 跑到极致再留时间给融合不要在三者之间平均用力。3.2 用 LightGBM 跑通基线的最小命令下面是一个能直接跑通的 LightGBM 回归代码。我习惯先不调参用默认参数跑一遍拿到分数再逐步调整。这个基线代码也是后面的调参起点。import lightgbm as lgb from sklearn.model_selection import KFold from sklearn.metrics import mean_absolute_error X df.drop(columns[price, price_abnormal, reg_date, series]) y np.log1p(df[price]) # 对标签做log变换让模型关注相对误差 kf KFold(n_splits5, shuffleTrue, random_state2024) oof_pred np.zeros(len(X)) test_pred np.zeros(len(X_test)) params { objective: regression, metric: mae, learning_rate: 0.05, num_leaves: 31, max_depth: -1, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, min_data_in_leaf: 20, verbose: -1, seed: 42 } for tr_idx, va_idx in kf.split(X): tr_data lgb.Dataset(X.iloc[tr_idx], labely.iloc[tr_idx], categorical_featurecat_features) va_data lgb.Dataset(X.iloc[va_idx], labely.iloc[va_idx], categorical_featurecat_features) model lgb.train(params, tr_data, num_boost_round2000, valid_sets[va_data], callbacks[lgb.early_stopping(100), lgb.log_evaluation(0)]) oof_pred[va_idx] model.predict(X.iloc[va_idx], num_iterationmodel.best_iteration) test_pred model.predict(X_test, num_iterationmodel.best_iteration) / 5 mae mean_absolute_error(y, oof_pred) print(fOOF MAE(log1p): {mae:.4f})几个关键点说一下。第一y我做了log1p变换这样模型优化的是对数空间下的误差等价于在原始空间里更关注低价车的相对精度训练时 MAE 会比直接回归原始价格低不少。第二categorical_feature参数必须传入我在 2.3 节处理好的类别列名列表这样 LightGBM 会按类别分裂而不是按数值分裂。第三early_stopping(100)在验证集上连续 100 轮没有提升就停下来取best_iteration防止过拟合。第四5 折交叉验证后对测试集预测取平均这就是最简单的 bagging 融合。3.3 XGBoost 与 CatBoost 的必要性我在实际项目里会跑三套模型做融合但基线永远只有 LightGBM 一个。XGBoost 和 CatBoost 不是拿来替代 LightGBM 的而是拿来提供「不同视角」的三个树模型的实现细节不同它们学到的特征交互模式也不同融合后通常能比最好的单模型再降 1% 到 3% 的误差。import xgboost as xgb xgb_params { objective: reg:absoluteerror, eta: 0.05, max_depth: 6, subsample: 0.8, colsample_bytree: 0.8, min_child_weight: 5, eval_metric: mae, seed: 42 } dtrain xgb.DMatrix(X, labely) dvalid xgb.DMatrix(X_valid, labely_valid) model_xgb xgb.train(xgb_params, dtrain, num_boost_round2000, evals[(dvalid, valid)], early_stopping_rounds100, verbose_eval0)注意 XGBoost 的objective我这里用了reg:absoluteerror这个目标函数直接优化 MAE和最终评估指标一致。LightGBM 那边如果也想要更好的 MAE 表现可以把objective改成regression_l1但实测收敛会慢一些需要调大num_boost_round。CatBoost 的用法类似它在类别特征上支持one_hot_max_size参数类别基数小于这个值的会转成 one-hot大城市名这种基数很大的类别则走排序目标编码不用自己预处理。这三者的预测结果做加权平均时权重可以按各自 OOF 分数的倒数来定比如 LightGBM 的 OOF MAE 是 0.28XGBoost 是 0.29那权重就是 0.29/(0.280.29) 和 0.28/(0.280.29)。4. 调参与评估让二手车价格预测模型稳定收敛4.1 回归任务的评估指标MAE 还是 R²竞赛评测指标决定了你调参的方向。二手车价格预测这类任务一般用 MAE平均绝对误差或者 RMSE均方根误差两者对误差的关注点很不一样。MAE 对所有样本的误差一视同仁RMSE 因为先平方再开方会放大那些预测偏差很大的样本。如果你的模型在个别稀有豪华车上翻车RMSE 会变得很难看但 MAE 可能只受到轻微影响。在实际业务里估价系统更关心 MAE因为用户感知到的是「你估的价和最终成交价差了多少块」而不是「你的误差平方有多大」。我自己的习惯是训练时用 LightGBM 的 MAE 作为 early stopping 指标同时额外记录一个 R²决定系数作为参考——R² 接近 1 说明模型抓住了大部分价格变异但 R² 本身对离群点同样敏感所以它只用来横向比较不同特征组合的优劣不作为最终排名依据。from sklearn.metrics import r2_score mae_score mean_absolute_error(np.expm1(y_true), np.expm1(y_pred)) r2 r2_score(y_true, y_pred) print(f原始价格空间MAE: {mae_score:.2f} 元) print(flog空间R2: {r2:.4f})预测之后要做一次逆变换把np.expm1(y_pred)还原成价格再算 MAE这样算出来的数值有业务含义可以直接告诉业务方「平均误差在 X 元以内」。我只在训练和 early stopping 过程中用 log 空间的 MAE因为那样梯度更平滑但最终对外汇报和判断模型好不好用一律用原始价格空间的 MAE。4.2 关键参数与调参顺序树模型参数不少但真正决定二手车价格预测上限的就那么几个。我不建议用网格搜索一把梭因为组合爆炸之后时间成本太高。我一般按下面的顺序分阶段调每阶段只动一个维度调参顺序参数作用经验范围1num_leaves控制树的复杂度31 → 64 → 127先放大找到过拟合点再回退2min_data_in_leaf防止小叶子过拟合20 → 50 → 100叶子样本数下限3feature_fraction特征采样比例0.7 → 0.8 → 0.94bagging_fraction样本采样比例0.7 → 0.8 → 0.95learning_rate 与 num_boost_round收敛精度lr0.05 配 2000 轮或 lr0.01 配 8000 轮新手最容易翻车的地方是一上来就把learning_rate调到 0.001然后发现训练几千轮都没收敛时间全耗在等待上。先固定learning_rate0.05和num_boost_round2000在这个条件下调结构和采样参数等 OOF 分数不再下降再把学习率降到 0.01 并等比例放大num_boost_round做最后一轮精调。这个顺序能让你在同样的时间内多试三倍的特征组合竞赛场景里时间就是分数。4.3 交叉验证的坑时间序列切分二手车竞赛的数据集常会混入不同年份的车辆注册数据价格本身随市场行情波动。如果随机打乱做 KFold会有一部分「未来」样本泄露到训练集里模型学到的是过时的价格水平上线后遇到新车批次就会系统性低估或高估。# 按注册年份排序后做时序切分而不是随机KFold df df.sort_values(reg_date).reset_index(dropTrue) tr_idx df.index[df.index int(len(df) * 0.8)] va_idx df.index[df.index int(len(df) * 0.8)]我在做模拟项目X的时候就吃过这个亏随机 5 折交叉验证的 OOF MAE 很好看结果在按时间划分的验证集上一测误差直接涨了 12%。从那以后我凡是遇到带时间戳的估价任务都会先用时间切分验证一次再决定要不要做随机 KFold。如果你的模型在时间切分下明显变差那说明价格水平确实在漂移这时候要检查是不是引入了和注册时间高度相关的泄露特征或者需要在特征里加入「数据所属批次」的周期项。5. 二手车价格预测的常见问题排查5 个真实踩坑记录5.1 现象预测值整体偏向中位数高价车被严重低估模型输出的预测价格集中在 8 万到 15 万之间一些实际成交价 30 万以上的车模型只给到 20 万出头。 原因训练集里高价车样本太少模型在 MAE 目标下倾向于把预测收敛到样本密集区的中心因为这样能压低大多数样本的误差牺牲少数高价样本。 解决对标签做 log1p 变换后高价车的相对误差被压缩模型不再只盯着数量占优的中低价位。另外可以对高价车样本在损失函数里加权LightGBM 里通过Dataset的weight参数传入样本权重将价格高于 30 万的样本权重设为 2 到 3。5.2 现象同一个品牌的不同车型得分分裂特征重要性里series车系排第一但 OOF 分数很不稳定同一个品牌下有的车型预测很准有的车型完全偏掉。 原因车系类别数量可能上百个低频车系在训练集里只有几条样本模型没法学到可靠的车系均值。 解决对低频车系做合并把出现次数少于 50 的车系列入「其他」类。同时使用 2.3 节的目标编码并加平滑项让低频车系的编码向全局均值收缩。如果车系字段本身包含不完整信息有些车系的年款被截断了可以尝试从车系名里提取年款区间作为新特征。5.3 现象线上分数和线下验证差一大截本地 5 折交叉验证的 MAE 是 0.29提交线上评测变成了 0.34排名直接掉了 10%。 原因最经典的坑是用了全量训练数据计算目标编码、填充缺失值后再做交叉验证。比如 2.3 节中我用df.groupby(brand)[price].mean()全量计算均值——如果这个均值是在整个数据集上算的验证集的标签信息就泄露到了训练集里本地分数自然虚高但线上数据没有同样的标签可用。 解决所有基于标签的编码操作必须在 CV 折内完成即每一折只在训练部分计算均值再映射到验证部分。数值特征的缺失值填充如果用了中位数同样要在折内计算。我后来把整个预处理流程封装成了一个函数传入tr_idx, va_idx进行折内计算才彻底解决这个问题。5.4 现象数据泄露被反噬加了某个「神奇」特征后本地 OOF 分数直接降到 0.15但线上分数反而离谱。后来发现这个特征是从训练集和测试集合并后的索引里衍生出来的。 原因把测试集和训练集一起做预处理比如pd.concat后统一填充、统一编码索引变了测试集的信息通过中位数、均值这些统计量间接进入了训练过程。 解决测试集和训练集的任何统计操作都要分开。测试集的中位数填充应该用训练集算好的中位数而不是合并后统一算。在代码层面我会在读取数据后用is_train标记预处理函数只接收训练集计算出的统计量再应用到测试集。5.5 现象模型对新车车龄小于 1 年的预测误差极大车龄短的车残值高但模型对它们的预测经常高出很多误差远大于平均。 原因新车价格受厂商指导价和市场行情影响大而训练集里车龄小于 1 年的样本往往只占 5% 以下模型学不到足够的低价规律。 解决单独为车龄小于 1 年的样本建立一个轻量模型用品牌、指导价、排放标准等少量特征拟合然后把它的预测结果替换掉主模型在这个区间上的输出。这个做法在模拟项目X里帮我们的整体 MAE 降了 2%代价只是多维护一个小模型。6. 从优胜奖方案里学到的进阶技巧融合与残差分析先说明一点竞赛标题里的「优胜奖」指的不是某一套神秘代码而是公开方案里最常见的套路组合——把特征工程做到极致、用多种树模型做加权融合、再用残差分析找最后的提升点。这些技巧迁移到实际业务里同样有效。第一招是残差分析驱动特征迭代。训练完基线模型后计算每个样本的y_true - y_pred残差然后按品牌、车龄分段、排放标准分组看残差均值。如果某组的残差系统性为正说明模型在该组下普遍低估价格这时候去检查该组是否有独特的特征比如某个品牌的新能源车型溢价高但原始特征没体现。我在做某图像处理 Demo 的估价模块时就是这么发现「里程过低且车龄超过 5 年」这个可疑组合的——残差分析显示这部分车的价格被系统性低估补充了保养记录特征后误差立刻下降。第二招是多模型融合的精细做法。三个模型直接加权平均是最初级的融合进阶一点的做法是使用 Stacking把 LightGBM、XGBoost、CatBoost 在验证集上的 OOF 预测作为新的特征矩阵用岭回归或线性回归做第二层学习器。Stacking 在数据量超过 5 万行时收益明显几万行的小数据上效果反而可能不如简单加权因为第二层容易过拟合。第三招是区分价格区间做局部优化。二手车价格预测的误差分布通常不是均匀的低价车的绝对误差小但相对误差大高价车绝对误差大但相对误差小。先按预测价格把样本分成几个区间在每个区间上分别计算 MAE然后针对误差最大的区间单独训练一个修正模型。这个模型可以不用全量特征选 5 到 8 个最关键的特征单独训练训练完成后只在主模型预测落入该区间时才生效。我的个人教训是不要等到最后三天才开始做融合。我习惯在第一天就用默认参数把三个模型的基线都跑出来并保存 OOF 预测之后每一次特征迭代都同步更新三份 OOF而不是只更新 LightGBM 的。这样到最后需要提交时融合的部分已经是现成的不需要额外花时间重新跑模型。另外一个小习惯每次改完特征或参数把 OOF 分数和数据版本号记录在一个表格里否则十几个版本迭代下来你根本记不清 0.2831 这个分数对应的到底是哪组特征。这个习惯帮我在项目后期避免了大把重复实验。二手车价格预测这个方向做透一套方案你对表格型数据建模的全局理解会上一个台阶。希望帮到你。本文还有配套的精品资源点击获取