Baseline 哪些地方可以改进调整正则化强度常见的坑 alpha 太小如 0.001在小批次煤种上会严重过拟合本地 RMSE 好看线上崩掉。增加谱线窗口宽度当前谱线积分窗口固定如 C 元素 ±2nm但不同仪器、不同激发条件下谱线宽度会有差异适当放宽窗口能捕获更完整的谱线能量。常见的坑 窗口太宽会导致相邻谱线互相干扰先小步调整1nm观察 CV-RMSE 变化。增加 PCA 维度大批次煤种当前 N_PCA_MAX 30 对批次多的煤种如煤场混煤27批次可能信息不足。常见的坑 对批次少的煤种≤10批不要加会过拟合。当前代码已自动限制 min(N_PCA_MAX, n_batches-1)改全局值是安全的。Stage2 换 LightGBMRidge 是线性模型假设辅助指标和发热量是线性关系。实际上灰分/含水量对发热量的影响是非线性的灰分高到一定程度边际效应递减。LightGBM 能捕捉这些非线性关系。常见的坑 样本量小时 LightGBM 容易过拟合需要加强正则化min_child_samples、reg_alpha、reg_lambda或者减少树的深度。添加批次内光谱质量过滤每批次 10~20 条光谱里可能有少数污染光谱激光未打准、强度异常低或异常高。这些异常值会拉偏批次预测。分煤种调超参精细化不同煤种特性差异大如中马矿发热量跨度 1000 kcal赵固二矿只跨 500 kcal用统一超参数不是最优解。config.py文件修改为 配置文件 — 所有超参数和路径集中管理 修改这里无需改动其他代码。 importos# ── 路径相对于本文件所在目录跨平台兼容──────────────────────────────────_HEREos.path.dirname(os.path.abspath(__file__))TRAIN_DIRos.path.join(_HERE,train_data,赛题数据划分,训练集)LABEL_DIRos.path.join(_HERE,train_data,赛题数据划分,训练集标签)TEST_DIRos.path.join(_HERE,test_data,赛题数据划分,测试集)SUBMIT_TEMPLATEos.path.join(_HERE,submit_sample,submit,submit.csv)OUTPUT_DIRos.path.join(_HERE,output)# ── 数据 ──────────────────────────────────────────────────────────────────────# 赛题的5种煤类型按训练集目录名COAL_TYPES[赵固一矿豫焦末煤,赵固二矿中煤矿,中马矿中煤矿,九里山矿中煤矿,煤场混煤,]# 辅助指标列作为两阶段中间变量AUX_COLS[全水分,灰分,氢,硫]# ── 特征工程 ──────────────────────────────────────────────────────────────────# 关键元素谱线: {元素名: (中心波长 nm, 半窗口 nm)}# 物理依据: 发热量与 C/H 正相关与灰分(Ca/Al/Si/Fe/Mg)负相关KEY_LINES{C:(247.86,3.0),# 从 2.0 → 3.0 mayao # 2. 增加谱线窗口宽度H:(656.3,5.0),# 从 3.0 → 5.0 mayao # 2. 增加谱线窗口宽度#C: (247.86, 2.0), # 碳 — 最主要发热元素#H: (656.3, 3.0), # 氢 — 发热量贡献仅次于碳O:(777.2,3.0),# 氧 — 与含水量相关N:(742.4,2.0),# 氮Ca:(422.7,2.0),# 钙 — 灰分指示Ca2:(393.4,2.0),# 钙第二条线Mg:(285.2,2.0),# 镁Al:(308.2,2.0),# 铝Si:(288.2,2.0),# 硅Fe:(438.4,3.0),# 铁Na:(589.0,1.5),# 钠}# PCA 最大保留维数防止小批次煤种过拟合# N_PCA_MAX 30N_PCA_MAX50# 从 30 改为 50 mayao 3. 增加 PCA 维度大批次煤种# ── 模型 ──────────────────────────────────────────────────────────────────────RANDOM_STATE42# Ridge 正则化候选值已去掉 0.01/0.1防止小样本过拟合# ALPHAS [1.0, 10.0, 50.0, 100.0, 500.0, 1000.0, 5000.0, 10000.0]# 改后扩大范围 1. 调整正则化强度ALPHAS[0.1,1.0,5.0,10.0,50.0,100.0,500.0,1000.0,5000.0,10000.0,50000.0]# 批次数 ≤ 此值时对Stage2预测做均值收缩SMALL_BATCH_THRESHOLD10# ── 提交 ──────────────────────────────────────────────────────────────────────SUBMISSION_VERSIONv7SUBMISSION_AUTHORATIpiu# mayao 3. 分煤种调超参精细化 新增分煤种配置COAL_CONFIG{赵固一矿豫焦末煤:{n_pca:20,alphas:[1.0,10.0,100.0]},中马矿中煤矿:{n_pca:15,alphas:[10.0,100.0,1000.0]},# 其他煤种沿用默认值}model.py修改为 两阶段回归模型 Stage 1 — 光谱特征 → 辅助指标 (全水分/灰分/氢/硫) - 辅助指标与发热量相关性强但比发热量本身更稳定 - 用 OOF(Out-of-Fold) 预测避免数据泄露进 Stage2 Stage 2 — 光谱特征 Stage1预测辅助指标 → 发热量 - 信息融合: 数值模型 物理知识 均值收缩 (Mean Shrinkage): - 批次极少(≤10)的煤种模型容易过拟合到训练批次的特殊性 - 将预测值向煤种均值收缩: pred w * model_pred (1-w) * coal_mean - w 通过 OOF 验证集上网格搜索确定 importnumpyasnpfromsklearn.linear_modelimportRidgeCVfromsklearn.preprocessingimportStandardScalerfromsklearn.model_selectionimportLeaveOneGroupOut,GroupKFoldfromconfigimportALPHAS,AUX_COLS,SMALL_BATCH_THRESHOLDfromsrc.featuresimportbuild_feature_matrix# 在文件顶部添加 mayao 1. Stage2 换 LightGBMfromlightgbmimportLGBMRegressor# ── CV 分割策略 ───────────────────────────────────────────────────────────────defget_cv_splits(groups,n_batches): 批次数 ≤ 10 时用 LOOCV留一批次否则用 GroupKFold(5折)。 关键: 以批次(group)为单位分割而非以单条光谱为单位—— 同一批次的光谱不能同时出现在训练集和验证集中。 dummynp.zeros(len(groups))ifn_batchesSMALL_BATCH_THRESHOLD:returnlist(LeaveOneGroupOut().split(dummy,dummy,groups))else:kmin(5,n_batches)returnlist(GroupKFold(n_splitsk).split(dummy,dummy,groups))# ── 批次聚合 ──────────────────────────────────────────────────────────────────# def aggregate_to_batch(preds, names):# # 同批次多条光谱的预测值 → 取中位数作为批次预测。# 中位数比均值对异常光谱更鲁棒。# # grouped {}# for p, n in zip(preds, names):# grouped.setdefault(n, []).append(p)# return {k: float(np.median(v)) for k, v in grouped.items()}# 2. 添加批次内光谱质量过滤 mayao 加入异常剔除defaggregate_to_batch(preds,names):grouped{}forp,ninzip(preds,names):grouped.setdefault(n,[]).append(p)result{}fork,vingrouped.items():arrnp.array(v)# 剔除超出 1.5 倍 IQR 范围的异常预测q1,q3np.percentile(arr,[25,75])iqrq3-q1 mask(arrq1-1.5*iqr)(arrq31.5*iqr)result[k]float(np.median(arr[mask])ifmask.sum()0elsenp.median(arr))returnresult# ── 均值收缩搜索 ──────────────────────────────────────────────────────────────deffind_best_shrinkage(oof_preds,oof_true,coal_mean): 在 [0, 1] 上网格搜索混合权重 w最小化 OOF-RMSE。 w1.0 代表纯模型w0.0 代表纯均值。 best_w,best_rmse1.0,float(inf)forwinnp.linspace(0.0,1.0,21):blendedw*np.array(oof_preds)(1-w)*coal_mean rmsefloat(np.sqrt(np.mean((blended-np.array(oof_true))**2)))ifrmsebest_rmse:best_rmse,best_wrmse,wreturnbest_w,best_rmse# ── 单煤种训练 ────────────────────────────────────────────────────────────────deftrain_coal_model(coal_type,train_data): 训练某煤种的两阶段模型返回预测所需的全部参数。 输出 dict 包含: spec_scalers : (scaler_spec, pca, scaler_hand) aux_models : {辅助指标名: RidgeCV 或 None} scaler_s2 : Stage2 的特征标准化器 final_model : Stage2 最终 RidgeCV coal_mean : 训练集发热量均值收缩锚点 shrink_w : 收缩权重 w1.0 不收缩 cv_rmse : 交叉验证 RMSE ytrain_data[targets]auxtrain_data[aux]groupstrain_data[groups]n_batchestrain_data[n_batches]coal_meanfloat(y.mean())print(f\n [{coal_type}]{n_batches}批次{len(y)}条光谱 fQ{y.min():.0f}~{y.max():.0f})# 光谱 → 特征矩阵训练集 fitX_spec,scaler_spec,pca,scaler_handbuild_feature_matrix(train_data,n_batches,fitTrue)splitsget_cv_splits(groups,n_batches)# ── Stage 1: 光谱 → 辅助指标 (OOF) ────────────────────────────────────aux_models{}predicted_aux_oofnp.zeros_like(aux,dtypenp.float32)forcol_idx,col_nameinenumerate(AUX_COLS):y_auxaux[:,col_idx]# 辅助指标有缺失时退化为用均值填充ifnp.isnan(y_aux).any():predicted_aux_oof[:,col_idx]float(np.nanmean(y_aux))aux_models[col_name]NonecontinuemRidgeCV(alphasALPHAS)oofnp.zeros(len(y_aux))fortr_idx,val_idxinsplits:m.fit(X_spec[tr_idx],y_aux[tr_idx])oof[val_idx]m.predict(X_spec[val_idx])predicted_aux_oof[:,col_idx]oof m.fit(X_spec,y_aux)# 全量重新拟合存入 aux_models 供推理用aux_models[col_name]m# ── Stage 2: [光谱特征 预测辅助指标] → 发热量 ──────────────────────X_s2np.hstack([X_spec,predicted_aux_oof])scaler_s2StandardScaler()X_s2scaler_s2.fit_transform(np.nan_to_num(X_s2))# OOF 批次预测用于计算 CV-RMSE 和收缩权重oof_batch_preds,oof_batch_true,batch_rmses[],[],[]fortr_idx,val_idxinsplits:m2RidgeCV(alphasALPHAS)m2.fit(X_s2[tr_idx],y[tr_idx])val_predm2.predict(X_s2[val_idx])val_groupsgroups[val_idx]fold_se[]forbginnp.unique(val_groups):maskval_groupsbg true_qfloat(y[val_idx][mask][0])pred_qfloat(np.median(val_pred[mask]))oof_batch_preds.append(pred_q)oof_batch_true.append(true_q)fold_se.append((true_q-pred_q)**2)batch_rmses.append(float(np.sqrt(np.mean(fold_se))))cv_rmse_rawfloat(np.mean(batch_rmses))# 小批次煤种: 搜索最优收缩权重best_w1.0ifn_batchesSMALL_BATCH_THRESHOLD:best_w,cv_rmse_shrunkfind_best_shrinkage(oof_batch_preds,oof_batch_true,coal_mean)cv_rmsecv_rmse_shrunkprint(f Stage2 CV-RMSE: raw{cv_rmse_raw:.2f}fshrunk{cv_rmse_shrunk:.2f}w{best_w:.2f})else:cv_rmsecv_rmse_rawprint(f Stage2 CV-RMSE:{cv_rmse:.2f}±{np.std(batch_rmses):.2f})# 全量数据重新拟合最终模型# final_model RidgeCV(alphasALPHAS)# 替换 Stage2 最终模型找到 final_model RidgeCV(...) 这行替换为mayao 1. Stage2 换 LightGBMfinal_modelLGBMRegressor(n_estimators200,learning_rate0.05,max_depth4,subsample0.8,colsample_bytree0.8,random_state42,verbose-1)final_model.fit(X_s2,y)# print(f 最优正则化 alpha: {final_model.alpha_:.1f}) AttributeError: LGBMRegressor object has no attribute alpha_return{spec_scalers:(scaler_spec,pca,scaler_hand),aux_models:aux_models,scaler_s2:scaler_s2,final_model:final_model,coal_mean:coal_mean,shrink_w:best_w,cv_rmse:cv_rmse,}# ── 单煤种推理 ────────────────────────────────────────────────────────────────defpredict_coal(coal_type,test_data,model_dict): 对某煤种的测试批次做推理返回 {批次名: 预测发热量} 字典。 推理流程与训练流程一一对应: 光谱 → [Stage1] → 预测辅助指标 → [Stage2] → 发热量 → 批次聚合 scaler_spec,pca,scaler_handmodel_dict[spec_scalers]aux_modelsmodel_dict[aux_models]scaler_s2model_dict[scaler_s2]final_modelmodel_dict[final_model]coal_meanmodel_dict[coal_mean]shrink_wmodel_dict[shrink_w]X_specbuild_feature_matrix(test_data,n_batchesNone,scaler_specscaler_spec,pcapca,scaler_handscaler_hand,fitFalse)pred_auxnp.zeros((len(test_data[spectra]),len(AUX_COLS)),dtypenp.float32)forcol_idx,col_nameinenumerate(AUX_COLS):maux_models.get(col_name)ifmisnotNone:pred_aux[:,col_idx]m.predict(X_spec)X_s2scaler_s2.transform(np.nan_to_num(np.hstack([X_spec,pred_aux])))predsfinal_model.predict(X_s2)batch_predaggregate_to_batch(preds,test_data[names])# 应用收缩仅小批次煤种且 w 1.0 时ifshrink_w1.0:batch_pred{k:shrink_w*v(1-shrink_w)*coal_meanfork,vinbatch_pred.items()}returnbatch_pred执行python train.py后rootdsw-2039578-5bbd448cb9-xbqzc:/mnt/workspace/LIBS# python train.pyStep1: 加载标签 标签总数:70Step2: 两阶段训练分煤种[赵固一矿豫焦末煤]11批次140条光谱Q4708~6143 Stage2 CV-RMSE:146.08±37.39[赵固二矿中煤矿]7批次86条光谱Q3964~4455 Stage2 CV-RMSE:raw87.81shrunk116.42w1.00[中马矿中煤矿]7批次96条光谱Q2752~3848 Stage2 CV-RMSE:raw263.44shrunk274.89w0.55[九里山矿中煤矿]18批次262条光谱Q3379~4174 Stage2 CV-RMSE:121.65±49.38[煤场混煤]27批次360条光谱Q3555~4787 Stage2 CV-RMSE:194.62±38.03全局 CV-RMSE:170.73Step3: 测试集推理 预测结果: 中马矿中煤矿12月27日:3341.29中马矿中煤矿12月28日:3387.21中马矿中煤矿12月29日:3360.62中马矿中煤矿12月30日:3367.73中马矿中煤矿12月31日:3364.13九里山矿中煤矿12月3日:3843.62九里山矿中煤矿12月4日:4074.17九里山矿中煤矿12月5日:3872.25九里山矿中煤矿12月6日:3744.73九里山矿中煤矿12月7日:3806.42九里山矿中煤矿12月9日:3645.27煤场混煤12月11日:4210.27煤场混煤12月12日:3961.83煤场混煤12月17日:3958.87煤场混煤12月20日:3907.00煤场混煤12月21日:3982.74煤场混煤12月28日:4275.98煤场混煤12月4日:4077.67煤场混煤12月8日:4091.86煤场混煤12月9日:4079.23赵固一矿豫焦末煤12月24日:5865.18赵固一矿豫焦末煤12月2日:5785.04赵固二矿中煤矿12月11日:4263.29赵固二矿中煤矿12月12日:4159.23赵固二矿中煤矿12月15日:4299.83赵固二矿中煤矿12月27日:4243.44Step4: 生成提交文件 ✓ /mnt/workspace/LIBS/output/submit.csv 名称 预测发热量_MJ_KG 中马矿中煤矿12月27日3341.293951中马矿中煤矿12月28日3387.207088中马矿中煤矿12月29日3360.622002中马矿中煤矿12月30日3367.731310中马矿中煤矿12月31日3364.134727九里山矿中煤矿12月3日3843.618748九里山矿中煤矿12月4日4074.173471九里山矿中煤矿12月5日3872.252928九里山矿中煤矿12月6日3744.731744九里山矿中煤矿12月7日3806.417185九里山矿中煤矿12月9日3645.267252煤场混煤12月11日4210.270071煤场混煤12月12日3961.825621煤场混煤12月17日3958.871650煤场混煤12月20日3907.002200煤场混煤12月21日3982.741712煤场混煤12月28日4275.983234煤场混煤12月4日4077.672988煤场混煤12月8日4091.859688煤场混煤12月9日4079.230564赵固一矿豫焦末煤12月24日5865.181484赵固一矿豫焦末煤12月2日5785.043153赵固二矿中煤矿12月11日4263.285538赵固二矿中煤矿12月12日4159.230601赵固二矿中煤矿12月15日4299.827105赵固二矿中煤矿12月27日4243.437062✓ /mnt/workspace/LIBS/output/submit.zip 内含: submit/submit.csv submit/README.md 完成提交文件在 output/submit.zip rootdsw-2039578-5bbd448cb9-xbqzc:/mnt/workspace/LIBS#提交记录