简介一份面向时间序列预测入门及进阶学习者的 LSTMTransformer 混合模型实战资源适合具备一定 Python 与深度学习基础、希望将序列建模落地到金融、气象、销量等场景的开发者。压缩包共13个文件、约1.74MB主体包含2个CSV数据集、2个Python脚本模型训练与数据读取预处理、1份需求说明文档、1张预测效果对比图以及少量IDE工程配置结构紧凑便于直接运行、对比结果与二次修改。已有1100人学习/下载。资源重点演示了 LSTM 捕捉序列短期依赖、Transformer 建模全局模式并将两者融合以提升预测精度同时覆盖缺失值处理、归一化、训练集/测试集划分等关键预处理环节以及真实值与预测值可视化评估方法。借助需求文档中的目标与数据说明读者能完整走通混合时间序列模型的建模流程理解数据准备、架构设计、训练评估各环节的衔接为后续更复杂的时序项目提供可复用的实践参考。1. 拿到「混合模型时间序列预测实战」压缩包先别急着跑代码用 7-Zip 解开一个命名「混合模型时间序列预测实战」的 RAR 压缩包目录里通常躺着训练脚本、数据文件和一些实验记录。很多人拿到手的第一反应是找主模型代码然后盯着某个单模型的参数调一整个下午最后测试集分数卡在一个平台上不去。问题很少出在某一个模型身上而在于你从头到尾只让一个模型在硬扛。ARIMA 对非线性拐点反应迟钝树模型对趋势外推乏力深度学习模型又经常因为数据量不够而欠拟合。混合模型的价值就是让这几类模型互为补充再用一层融合逻辑把各自的预测拧成一个更稳的结果。这篇笔记不逐行拆某份资料包的源码而是把混合模型最常用的组合方式、最小可跑的 Python 管道、关键参数边界和真实翻车点一次讲清楚。2. 混合模型的组合逻辑残差补偿、堆叠与分解-重构怎么选2.1 单模型的天花板先学会看残差里藏着什么判断一个模型是否还有提升空间我一般不看训练集分数而是直接看残差的自相关。所谓残差就是真实值减去模型预测值的序列。如果残差里还残留明显的周期或趋势说明模型有一块规律没有学到这时候硬调参不如换思路把这块规律交给另一个模型。用 statsmodels 拟合一个 ARIMA 后可以这样快速检查残差from statsmodels.graphics.tsaplots import plot_acf import matplotlib.pyplot as plt # 假设 arima_fit 是已经拟合好的 ARIMA 模型 resid arima_fit.resid # 看残差序列的自相关图如果多个滞后阶显著越出置信带说明还有模式没学完 plot_acf(resid, lags20, alpha0.05) plt.show()这段代码的关键是plot_acf的lags20对日频数据看 20 阶足够覆盖一周到两周的周期残留alpha0.05画出 95% 置信带柱子明显超出带宽的位置就是残差里还带周期性相关性的位置。如果残差 ACF 在滞后 7 和滞后 14 处持续越界说明 ARIMA 没有吃干净周季节效应这正是残差学习要补的洞。这一步做扎实了后面混合模型的路线选择才有依据。2.2 三条可靠混合路线误差补偿、堆叠融合与分解-重构混合模型不是把两个模型的结果随便一拼而是有清晰的三条技术路线各自解决不同的问题。第一条是误差补偿也叫残差学习。步骤是先用一个主模型吃下线性趋势和季节骨架得到残差序列再用第二个模型去拟合残差中的非线性模式。这种组合适合主模型已经能用、但预测始终差一点点的场景。典型搭配是 ARIMA 加 XGBoost 或 LightGBMARIMA 负责把趋势和季节性拉平树模型负责捕捉节假日、突变这类残差中的非线性信息。要注意的是第二个模型如果太强会把噪声也一并学进去所以它的复杂度要克制。第二条是堆叠融合Stacking让多个异构基模型各自训练并输出预测再用一层元模型通常是线性回归或 Ridge去学习如何组合它们的预测。这条路线适合基模型差异很大的场景比如线性模型、树模型、神经网络三者并存。核心前提是基模型之间要“吵得起来”如果两个模型相关性太高堆叠的提升会非常有限。第三条是分解-重构。先对序列做 STL、EMD 或 VMD 分解得到趋势、季节、残差等分量对每个分量分别建模最后叠加输出。适合强趋势加强季节的数据比如零售销量、流量曲线。代价是分解本身的参数周期、分解层数很难一次定准而且分解算法在序列两端都有边界效应这一点我会在第五章专门展开。三条路线的选型对照可以压缩成下面这张表路线典型组合适合的数据形态主要风险误差补偿ARIMA XGBoost趋势明显、含少量非线性突变的序列把噪声当信号学进去堆叠融合线性 树 神经网络基模型差异大、样本量尚可融合层过拟合分解-重构STL/VMD 各分量独立建模强趋势 强季节分解边界失真2.3 高斯混合模型 GMM 的真实位置状态识别与误差分布热词里经常把“高斯混合模型 GMM”和“混合模型”混着提但两者不是一回事。GMM 是一种概率聚类模型它假设数据来自若干个高斯分布的混合而标题里的混合模型通常指的是多个预测模型的集成。GMM 在时间序列预测里不是拿来当主预测器的它主要有两个可靠的位置。第一个位置是状态识别。把历史序列按滑动窗口切成片段每个片段计算均值、方差、斜率等统计特征然后用 GMM 聚类出“高波动期”和“低波动期”两种状态再对每个状态分别训练预测模型。这种做法的好处是能显式建模波动率切换适合金融波动率或流量突增这类局部特征差异大的序列。第二个位置是误差分布建模用 GMM 去拟合多个基模型预测误差的混合分布从而给出比单一正态假设更合理的预测区间。用 sklearn 对误差序列做 GMM 拟合非常简短from sklearn.mixture import GaussianMixture # errors 是形状为 (n_samples, 1) 的预测误差数组 gmm GaussianMixture(n_components2, covariance_typefull, random_state42) gmm.fit(errors) # 用拟合好的GMM计算新的误差落在各状态的概率 state_prob gmm.predict_proba(errors)这里n_components2对应将误差分成两个隐状态比如“正常误差”和“极端误差”covariance_typefull允许两个状态各自的方差不同对异方差误差更友好。拟合之后每个误差点都会得到属于各状态的后验概率既可以用概率最大的状态做分类也可以把概率作为特征喂给后面的融合层。但要注意GMM 聚类的稳定性和样本量关系很大几百个点以下拟合出的组件参数相当不稳定不建议一上来就在短序列上使用。3. 用 Python 搭一条可复现的混合预测管道从滚动窗口到加权融合3.1 数据准备与滚动窗口划分评估标尺先立住混合模型的第一个坑往往不是模型选错而是数据切分不对。时间序列的验证集必须是时间上靠后的连续一段不能随机抽样。我习惯把数据切成三段训练段、验证段、测试段。验证段专门用来标定融合权重测试段只在最终评估时碰一次平时绝不回头看它。下面这段代码生成一个带趋势、季节和噪声的示例序列并完成三段切分import numpy as np import pandas as pd from sklearn.metrics import mean_squared_error np.random.seed(42) t np.arange(0, 365 * 3) season 10 * np.sin(2 * np.pi * t / 365) # 年度周期 trend 0.02 * t # 线性趋势 noise np.random.normal(0, 1.5, sizet.shape[0]) y 50 trend season noise df pd.DataFrame({ ds: pd.date_range(2021-01-01, periodslen(t), freqD), y: y }) train_len, val_len, test_len 530, 30, 30 train df.iloc[:train_len] val df.iloc[train_len:train_len val_len] test df.iloc[train_len val_len:train_len val_len test_len]切分逻辑上train_len530覆盖了一年半的日频数据能容纳完整的年度季节周期val_len30和test_len30是一步到未来一个月的典型设置。需要特别注意的是验证段和测试段必须紧贴训练段之后中间不能留空档否则模型外推的时间跨度变长验证结果会被低估。如果你的业务预测步长是一个月建议验证段和测试段都设置成和预测步长一致的长度这样融合权重标定的场景和实际推理场景才对齐。3.2 基模型训练ARIMA 管线性骨架XGBoost 管非线性残差混合模型的基模型选择常见做法是让线性模型和树模型组队。ARIMA 负责把趋势、季节这类线性结构吃掉XGBoost 用滞后特征去捕捉残差里的非线性依赖。我一般不会在第一步就用复杂的神经网络因为样本量不够时神经网络在时序外推上的表现往往不如树模型稳定。下面是两个基模型的训练代码from statsmodels.tsa.arima.model import ARIMA import xgboost as xgb # 基模型1ARIMA在训练段上拟合外推 valtest 共60步 arima_model ARIMA(train[y], order(1, 1, 1)) arima_fit arima_model.fit() arima_pred arima_fit.forecast(stepsval_len test_len) # 为XGBoost构造滞后特征用最近 n_lags 天的值预测下一天 def build_lag_features(series, n_lags): X, y [], [] for i in range(n_lags, len(series)): X.append(series[i - n_lags:i]) y.append(series[i]) return np.array(X), np.array(y) n_lags 7 xgb_model xgb.XGBRegressor( n_estimators300, max_depth4, learning_rate0.05, subsample0.8, random_state42 ) X_train, y_train build_lag_features(train[y].values, n_lags) xgb_model.fit(X_train, y_train) # XGBoost 递归外推把上一步预测值滚动进历史窗口 history list(train[y].values[-n_lags:]) xgb_pred [] for i in range(val_len test_len): next_pred xgb_model.predict(np.array([history]))[0] xgb_pred.append(next_pred) history history[1:] [next_pred] xgb_pred np.array(xgb_pred)逻辑说明ARIMA 的forecast(steps60)一次外推 60 步不做滚动重拟合这样演示逻辑最清晰严格场景下应该每预测一步就推进训练集重新拟合但那会让示例代码变复杂后面的滚动回测章节会补上这种做法。XGBoost 的部分build_lag_features用最近 7 天的值作为特征n_estimators300和max_depth4是控制模型容量不要过大的保守设置因为树模型对滞后特征的拟合能力很强太深容易把噪声也背下来。预测阶段用递归方式把上一步的预测值推进历史窗口这是时序外推的标准姿势避免了测试期数据泄露。这两个基模型的角色分工是ARIMA 对趋势的延续能力强但对最近几天的突变反应很慢XGBoost 对近期模式的拟合能力强但外推超过特征窗口后预测会快速回落向均值。正好互补。3.3 融合层简单平均、误差反比加权与网格搜索基模型预测出来了融合层才是混合模型的灵魂。我见过不少项目直接在测试集上试权重这等于把验证信息提前透支了。正确做法是只在验证段上标定权重然后把权重固定住去预测测试段。下面这段代码用网格搜索在验证段上找最优线性权重val_true val[y].values arima_val_pred arima_pred[:val_len] xgb_val_pred xgb_pred[:val_len] # 在验证段上网格搜索权重 w最小化加权预测的 RMSE best_w, best_rmse 0.5, np.inf for w in np.arange(0, 1.0001, 0.05): combined w * arima_val_pred (1 - w) * xgb_val_pred rmse mean_squared_error(val_true, combined, squaredFalse) if rmse best_rmse: best_rmse, best_w rmse, w # 用标定好的权重组合测试段预测并计算最终RMSE arima_test_pred arima_pred[val_len:] xgb_test_pred xgb_pred[val_len:] final_pred best_w * arima_test_pred (1 - best_w) * xgb_test_pred test_rmse mean_squared_error(test[y].values, final_pred, squaredFalse) print(f最优权重: ARIMA{best_w:.2f}, XGBoost{1-best_w:.2f}) print(f验证RMSE{best_rmse:.4f}, 测试RMSE{test_rmse:.4f})网格搜索的步长0.05意味着权重在 0 到 1 之间只有 21 个候选值足够细也不会过拟合。这里有一个容易被忽略的细节验证段权重寻优出的 RMSE 不能拿来当最终成绩因为权重是在这段数据上调出来的它必然偏好验证段所以最终只认测试段 RMSE。如果验证段上最优权重明显偏向了某个基模型比如 ARIMA 权重接近 0.9说明另一个基模型在当前场景下贡献很小这时候不应该硬加融合而应该回到特征层面去找原因。4. 决定混合模型成败的参数边界窗口、分解层数与融合权重4.1 窗口长度与预测步长先定标尺再谈混合混合模型的参数不是一个个独立调的它们之间存在先后关系。第一步永远是定预测步长和训练窗口。预测步长由业务决定比如要提前 30 天做库存计划horizon 就是 30。训练窗口的长度至少覆盖两个完整的季节周期如果你面对的是日频带年度季节的数据train_len低于 365 基本没有讨论意义模型连一个完整周期都没见过趋势和季节根本分不开。验证段的长度建议和预测步长相等这样融合权重标定的时间跨度和实际推理一致。参数常见起始值判断依据预测步长 horizon7 / 30业务决策周期训练窗口 train_len覆盖 2 个完整季节周期看 ACF 的季节峰位置滞后阶数 n_lags7日频自相关图显著滞后范围内验证段长度等于 horizon和实际推理场景对齐滞后阶数n_lags的选择我会看训练序列的偏自相关图如果偏自相关在滞后 7 处仍有显著峰值说明过去一周的信息对今天有直接解释力n_lags7就是合理的。盲目加大到 30 会让 XGBoost 的特征维度上升但特征里大量是冗余信息模型反而更容易过拟合。4.2 分解层数与残差阈值STL 与 VMD 怎么设才不把噪声当信号分解-重构路线里最难定的是分解参数。STL 相对温和核心参数只有周期和稳健性设置from statsmodels.tsa.seasonal import STL # 日频数据周期设为365年度robustTrue 抵抗异常值影响 stl STL(train[y], period365, robustTrue).fit() # 分解出趋势、季节、残差三个分量 trend_comp stl.trend seasonal_comp stl.seasonal resid_comp stl.resid # 残差分量的标准差可以作为“信号阈值”参考 resid_std resid_comp.std()period365对应日频数据的年度季节如果你的数据是周频这里就要改成 52。robustTrue会让 LOESS 平滑对异常值更迟钝适合带突刺的业务数据。分解之后的策略通常是趋势分量用线性回归外推季节分量复用去年的同期形态残差分量交给 XGBoost 去拟合。resid_std在这里的用途是判断哪些残差值得学如果残差标准差和原始序列标准差相比低于 5%说明主成分已经把信息吃得差不多了这时候强行对残差建模大概率是学噪声。VMD 的分解层数 K 值就麻烦一些。K 太小趋势和季节混在一个模态里分不干净K 太大会出现模态混叠相邻分量的中心频率重叠。常见做法是从 K3 开始试画出各分量的中心频率频率分离度明显下降的那一档就是上限。这个判断有点玄学成分但实操里比单纯看重构误差靠谱因为重构误差总是越小越好很容易骗你选一个过大的 K。4.3 融合权重怎么定固定、寻优与动态三条路融合权重有三种标定方式我不建议一上来就网格搜索。样本量小、基模型差异不明显的时候直接固定 0.5/0.5 反而更稳因为寻优对验证段噪声极其敏感权重会被一段偶然的波动带跑偏。第二种是验证段网格搜索上一章的 3.3 已经给出了完整实现。它的适用前提是验证段长度不少于预测步长且验证段的分布和测试段接近。如果验证段里恰好有一段异常波动搜出来的权重会过度迎合这段时间投入测试段立刻失效。第三种是动态权重按最近 N 步的预测误差反比加权适合概念漂移明显的业务场景。实现很轻def error_inverse_weights(recent_errors, alpha1.0): # recent_errors: 各基模型最近N步的绝对误差 inv 1.0 / (recent_errors 1e-8) weights inv ** alpha return weights / weights.sum()alpha控制灵敏度alpha1.0时权重与误差倒数成线性反比alpha越大权重越倾向于把宝压在最近表现最好的模型上alpha0时退化为简单平均。动态权重的代价是每次预测前都要回看一段误差窗口在推理链路里多一步状态维护。我一般只在误差波动明显的场景启用动态权重平稳场景用固定权重或验证段寻优就够了。5. 混合模型时间序列预测避坑清单五个亲测翻车的场景5.1 数据泄露归一化算子提前看到了未来现象验证集 RMSE 好得出奇测试集表现却大幅退步两个分数严重不对齐。原因在切分数据之前就对全序列做了MinMaxScaler().fit(df[[y]])scaler 的 min/max 是整段数据算出来的等于把未来信息告诉了训练过程。时间序列的归一化必须在切分之后做而且只 fit 训练段。解决# 错误示范fit 用的是整段 df scaler MinMaxScaler() scaler.fit(df[[y]]) scaled_all scaler.transform(df[[y]]) # 正确做法只 fit 训练段验证/测试段沿用同一参数 scaler MinMaxScaler() scaler.fit(train[[y]]) train_scaled scaler.transform(train[[y]]) val_scaled scaler.transform(val[[y]]) test_scaled scaler.transform(test[[y]])顺带提醒差分操作同样有这个问题。如果先对全序列做差分再切分前几个差分值会依赖未来数据必须按段做差分。5.2 随机 K 折交叉验证时序数据里的秩序不能打乱现象用KFold跑出来的交叉验证分数虚高把模型换到真正的未来数据上效果明显缩水。原因时间序列天然有自相关随机打乱后验证集里会出现训练集某个样本的“邻居”模型相当于提前见过了答案。时序数据里相邻观测高度相似随机划分本质上是在作弊。解决改用TimeSeriesSplit它保证每一折的训练集都严格在验证集之前from sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5) for train_index, test_index in tscv.split(X): # train_index 永远全部小于 test_index 中的最小下标 pass5.3 概念漂移验证段上找的权重到了测试期失效现象融合权重在验证段上效果显著投入测试段后预测误差反弹甚至还不如单一模型。原因业务规律在变。验证段是过去一段时间的规律测试段是未来两者分布有偏移时权重寻优只是在拟合过去对未来没有任何保证。这不是代码 bug是时序预测的固有矛盾。解决控制权重寻优的历史窗口不要过长比如只用最近 30 天的数据做标定或者改用动态误差倒数权重让权重随最近表现自动调整。核心认知是没有任何权重选择方式能保证未来最优只能通过对最近规律的跟踪来贴近未来。5.4 分解边界效应STL/VMD 两端失真预测偏偏从这儿开始现象用 STL 分解后序列最末尾一段分量曲线明显漂移和原始序列对不上。而混合模型的预测恰好就是从末尾开始外推的。原因STL 的 LOESS 平滑在序列边界缺少足够邻居平滑结果在两端不可靠VMD 的迭代求解在输入信号的起始和末尾段收敛慢同样会产生边界振荡。解决分解前把序列两端各自延展一段比如用最近一段周期的镜像波形向外补 20 到 30 个点分解完成后裁剪掉延展部分另一种做法是先用全序列分解但训练和验证只用中间“稳定段”的数据避免两端失真区域污染模型。我一般优先用延展法因为裁剪法会浪费掉最新的真实信息而最新信息往往是预测最需要的东西。5.5 融合层过拟合权重成了跟屁虫现象混合模型训练集 RMSE 显著下降测试集 RMSE 却不降反升简单平均反而更稳。原因融合层在验证段上寻优时验证段太短或噪声太大权重被一段偶然波动带偏变成了过度拟合验证段的“跟屁虫”。模型集成理论上不会比最差基模型更差但前提是融合方式足够简单、融合层容量不足以记住噪声。解决限制融合层复杂度使用线性权重而不要用复杂元模型网格搜索步长不要太细0.05 起步验证段长度至少等于一个完整预测周期如果条件允许用第 6 章的滚动回测替代单次验证段寻优用多段平均削弱噪声影响。6. 验证没有白做滚动回测与基准对比让混合模型现原形6.1 滚动回测多个起点多次前向验证固定一次的训练/验证/测试切分只能说明一个时间窗口上的表现很容易被某一段偶然波动带偏判断。滚动回测的核心做法是固定预测步长让训练终点不断前进在每个起点上各自做一次完整的“拟合并预测”然后汇总所有起点的误差。def rolling_backtest(df, horizon30, n_splits6, first_train300): total len(df) rmses [] for k in range(n_splits): train_end first_train k * horizon if train_end horizon total: break train_part df.iloc[:train_end] test_part df.iloc[train_end:train_end horizon] # 这里复用前面的 ARIMA 与 XGBoost 训练逻辑 # 注意每轮都要重新 fit 两个基模型再在验证段上重新标定权重 # 省略具体拟合代码仅记录最终预测误差 pred run_hybrid_pipeline(train_part, horizon) rmse mean_squared_error(test_part[y].values, pred, squaredFalse) rmses.append(rmse) return np.mean(rmses), np.std(rmses) mean_rmse, std_rmse rolling_backtest(df) print(f滚动回测平均RMSE{mean_rmse:.4f}标准差{std_rmse:.4f})这里的run_hybrid_pipeline就是把第 3 章从基模型训练到权重标定的一套流程封装起来每轮都重新拟合。平均 RMSE 衡量整体水平标准差衡量稳定性——标准差太大说明模型在某些时间段的预测极不稳定比平均误差高一点更值得警惕。6.2 和基准对比混合模型必须赢过“单一最好的模型”混合模型不是做得越多越好的摆设它的存在必须有一个金标准能不能稳定跑赢当时表现最好的单模型。我习惯同时跑三个基准线单 ARIMA、单 XGBoost、简单平均。混合模型的滚动回测平均 RMSE 如果只能和简单平均打平那说明两个基模型的互补性不够加融合层只是徒增复杂度。诊断口径是看每个滚动起点上混合模型赢了多少次、输了多少次。如果只在某几个特定时段赢大多数时候和单模型差不多甚至更差我会重新审视基模型的选择而不是继续调融合权重。这些判断在样本量允许时可以用 Diebold-Mariano 检验做显著性确认日常项目里直接看多次滚动起点上的胜负分布就够用了。我自己做混合模型早期吃过不少亏最深的教训是混合模型永远要在评估上保持“保守”融合权重只能靠验证段标定一次测试段结果无论如何都不能回头去改参数。后来我把滚动回测固化成项目的标准动作所有模型改动都先过一遍多起点验证才真正避免了拿单次切分结果自嗨。希望帮到你。本文还有配套的精品资源点击获取