简介这是一套面向时间序列预测与深度学习调参场景的 GA-LSTM 实现将遗传算法的全局寻优能力与长短时记忆网络的序列建模能力结合用进化搜索替代人工试错适合已有 Python 和循环神经网络基础、希望优化预测模型参数的开发者参考。压缩包共 4 个文件以 Python 源码和 pyc 编译文件为主整体仅 8KB代码精简便于直接阅读、修改与二次扩展优化脚本和 LSTM 脚本各自独立又互相配合使用者只需替换数据加载部分即可接入自己的序列数据。目前已有 6971 人学习下载。通过这套代码可以完整看到从种群初始化、适应度计算、选择交叉变异到逐代迭代的遗传算法流程也能理解 LSTM 门控机制在时间序列上的落地写法项目还附带测试数据便于对比优化前后模型的泛化表现。对研究参数自动搜索、搭建预测基准或入门进化算法与深度学习结合方向都有实际参考价值。1. 遗传算法优化的LSTM预测代码为什么我放弃了手动调参做过时间序列预测的人都有这种经历LSTM看起来是个人工智能领域的经典模型但一上手就发现深度学习模型真正麻烦的不是网络结构本身而是超参数——学习率、隐藏层节点数、层数、dropout、batch_size每个参数都会直接影响预测精度。以前我靠经验一套一套试跑一次几十上百分钟最后选出来的结果仍然说不清是不是最优。后来切到遗传算法优化的LSTM预测方案用Python把人群搜索的思路搬到超参数调优上效果立刻不一样了。这份代码做的事情很直接用遗传算法自动搜索LSTM的超参数组合在验证集上以误差最小化为目标进化出最优参数再拿去做预测。适合那些已经会跑基础LSTM、但还没搞定自动化调参的Python开发者也适合RNN方向想少走弯路的人。2. GA-LSTM的原理与核心流程从RNN的“玄学调参”到自动搜索超参数2.1 为什么是遗传算法对比网格搜索和贝叶斯优化的适用边界LSTM属于RNN家族的改进结构它的超参数空间是典型的高维混合空间——既有连续值学习率、dropout又有离散值层数、神经元数量。我最早试过网格搜索三个参数就搞出上百个组合每个组合都完整训练一遍根本跑不动。后来试过贝叶斯优化它对连续参数比较友好但一遇到“层数1还是2”这种离散跳跃点协方差函数的假设就经常失效来回探索也容易卡在局部。遗传算法在这个场景下的优势在于它不需要目标函数的导数信息也不要求超参空间是光滑的每个个体就是一组超参数组合通过选择、交叉、变异在全局范围内搜索。更关键的是种群里的个体可以并行评估训练机资源充足的时候一次进化迭代能把几个候选组合同时塞到不同GPU上跑效率并不差。下表是我在实际项目里总结的对比调参方法是否依赖梯度适合空间维度并行能力主要短板网格搜索否不超过3维高组合数随维度指数膨胀随机搜索否任意高完全靠采样密度运气成分大贝叶斯优化部分代理模型510维连续空间低离散参数支持弱早期容易误判遗传算法否任意维度混合空间高需要设计GA参数评估成本高遗传算法本身也有代价它让“调参”变成“调GA参数”比如种群大小、交叉率、变异率。但相比超参空间的手工试探GA参数的整定要直观得多后面章节我会给出我常用的一组值。2.2 染色体设计与解码把LSTM超参数映射成基因GA-LSTM的第一步是定义染色体。我习惯用固定长度的整数基因因为LSTM超参数大多是离散候选值比如神经元数量取[16,32,64,128]学习率取[0.001,0.005,0.01,0.05]。直接把每个候选值做成一个索引变异操作就更可控。下面是我常用的参数空间和解码函数# 参数空间每个键对应一个基因位置的候选值集合 param_space { lstm_units: [16, 32, 64, 128], # 第一层LSTM神经元节点数 num_layers: [1, 2, 3], # LSTM堆叠层数 dropout: [0.0, 0.1, 0.2, 0.3], # Dropout比例 learning_rate: [0.001, 0.005, 0.01, 0.05], # Adam学习率 batch_size: [16, 32, 64], # 训练批次大小 } def decode_chromosome(chrom): 把整数基因序列解码为LSTM模型超参字典 params {} for key, idx in zip(param_space.keys(), chrom): choices param_space[key] params[key] choices[idx % len(choices)] return params这段代码的关键在于染色体长度固定等于param_space的键数量每一位存一个候选值索引。解码函数负责把基因映射成真实超参数。我一般会把基因索引范围控制在候选集合长度以内防止越界如果你在变异时把索引改到负值或超过长度解码时的idx % len(choices)可以兜底但更好的做法是直接裁剪后面第4章会详细说。为什么不用浮点基因因为LSTM超参数中真正连续的项很少学习率这类参数在搜索时按数量级划分比连续微调更实用。而且整数索引在做交叉和变异时语义清晰不容易产生“学习率0.0037”这种看起来精确但实际不稳定的值。2.3 选择、交叉、变异的实现GA核心代码骨架遗传算法三个核心算子——选择、交叉、变异——直接决定搜索效率。选择我用锦标赛选择保持种群的多样性交叉用单点交叉简单可靠变异是对每个基因做小幅偏移偏移后再用参数空间边界裁剪。下面的代码骨架我从实际工程里抽出来的import random def crossover(p1, p2): 单点交叉随机选一个分割点交换后半段基因 point random.randint(1, len(p1) - 1) c1 p1[:point] p2[point:] c2 p2[:point] p1[point:] return c1, c2 def mutate(chrom, mutation_rate0.1): 变异每个基因位按概率做±1偏移并裁剪到有效范围 keys list(param_space.keys()) new_chrom chrom[:] for i in range(len(new_chrom)): if random.random() mutation_rate: offset random.choice([-1, 1]) max_idx len(param_space[keys[i]]) - 1 new_chrom[i] max(0, min(max_idx, new_chrom[i] offset)) return new_chrom变异的偏移量不一定非要±1也可以随机跳到候选集合中的另一个索引。但在早期迭代中小幅变异更有利于局部精细搜索到了后期如果发现种群过早收敛再把偏移范围调大。交叉率我通常设为0.8这样80%的个体会参与交叉剩下20%直接继承父代配合精英保留策略不容易丢失好基因。3. 完整可运行的Python实现GA进化主循环与LSTM训练封装3.1 时间序列滑窗数据构造与归一化用LSTM做预测第一步是把原始序列改造成监督学习格式。假设你有一列按时间顺序排列的数值我一般用滑窗方式用过去window_size个点预测未来horizon个点。滑窗宽度太大模型参数负担重太小看不到周期性规律。经验上电价、气象这类短周期数据取1020股票取3060。数据归一化是必做的LSTM对输入尺度很敏感。构造数据的代码如下import numpy as np def make_dataset(series, window_size12, horizon1): 把一维时序序列转为监督学习格式(X, y) X, y [], [] for i in range(len(series) - window_size - horizon 1): X.append(series[i:i window_size]) y.append(series[i window_size horizon - 1]) X np.array(X).reshape(-1, window_size, 1) y np.array(y).reshape(-1, 1) return X, y注意返回值形状X是(样本数, window_size, 1)最后那个1是特征维度因为这里只做单变量预测。如果是多特征把归一化后的各列拼起来再把最后维度改成特征数即可。y则保留单一输出节点对应未来第horizon个时刻的值。实际跑的时候要先对整个序列做MinMax归一化再用归一化后的序列构造X、y最后按时间顺序划分训练集、验证集、测试集不能随机打乱。3.2 适应度函数在验证集上用RMSE给个体打分GA里面适应度函数是整个框架的评价标准。我的做法是把每个个体解码成超参构建LSTM在训练集上快速训练有限轮次然后在验证集上计算RMSE取负作为适应度。这样GA内部“适应度越大越好”的约定就统一了。模型构建和评估函数如下from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping from sklearn.metrics import mean_squared_error def build_lstm_model(params, input_shape): 根据超参数构建一个回归LSTM模型 model Sequential() model.add(LSTM(params[lstm_units], input_shapeinput_shape, return_sequences(params[num_layers] 1))) model.add(Dropout(params[dropout])) for i in range(1, params[num_layers]): return_seq (i params[num_layers] - 1) model.add(LSTM(params[lstm_units], return_sequencesreturn_seq)) model.add(Dropout(params[dropout])) model.add(Dense(1)) model.compile(optimizerAdam(learning_rateparams[learning_rate]), lossmse) return model def evaluate_individual(chrom, X_train, y_train, X_val, y_val): 训练一个个体并返回适应度负RMSE params decode_chromosome(chrom) model build_lstm_model(params, (X_train.shape[1], X_train.shape[2])) early_stop EarlyStopping(monitorval_loss, patience3, restore_best_weightsTrue) model.fit(X_train, y_train, validation_data(X_val, y_val), epochs20, batch_sizeparams[batch_size], callbacks[early_stop], verbose0) pred model.predict(X_val) rmse np.sqrt(mean_squared_error(y_val, pred)) return -rmse这里有两个关键参数epochs20是评估阶段的最大轮数别设太大不然一个个体就要跑很久patience3的早停是为了防止过拟合同时节省时间。实际使用时20轮对大多数单变量序列已经足够了如果序列特别长或特别复杂可以增加到30但GA迭代轮数也要相应减少。另外由于每次训练都有随机初始化同样一组超参在不同 seed 下 RMSE 会有波动后面避坑章节我会讲怎么缓解。3.3 主进化循环精英保留策略与最优模型导出主循环把前面所有部分串起来。我推荐的GA参数是种群大小16、迭代20代、精英保留2个、交叉率0.8、变异率0.1。种群太大虽然搜索充分但训练量成倍增加太小容易早熟。第一次跑建议先用小种群试5代确认整个流程能跑通再放大。完整主循环如下POP_SIZE 16 GENERATIONS 20 ELITE_SIZE 2 CROSS_RATE 0.8 MUTATION_RATE 0.1 # 初始化种群每个个体是一个整数列表长度等于param_space的键数 keys list(param_space.keys()) pop [[random.randrange(len(param_space[k])) for k in keys] for _ in range(POP_SIZE)] for gen in range(GENERATIONS): fitness [evaluate_individual(ind, X_train, y_train, X_val, y_val) for ind in pop] # 精英保留直接把当代最好的2个个体放到下一代 sorted_idx sorted(range(POP_SIZE), keylambda i: fitness[i], reverseTrue) new_pop [pop[i] for i in sorted_idx[:ELITE_SIZE]] # 锦标赛选择 交叉 变异生成其余个体 while len(new_pop) POP_SIZE: idx1, idx2 random.sample(range(POP_SIZE), 2) parent1 pop[idx1] if fitness[idx1] fitness[idx2] else pop[idx2] idx1, idx2 random.sample(range(POP_SIZE), 2) parent2 pop[idx1] if fitness[idx1] fitness[idx2] else pop[idx2] if random.random() CROSS_RATE: child1, child2 crossover(parent1, parent2) child child1 if random.random() 0.5 else child2 else: child parent1[:] child mutate(child, MUTATION_RATE) new_pop.append(child) pop new_pop best_fitness max(fitness) best_params decode_chromosome(pop[0]) print(fGen {gen1}: best fitness {best_fitness:.4f}, params {best_params}) # 最后用最优超参数训练完整模型并保存 best_chrom pop[sorted_idx[0]] best_params decode_chromosome(best_chrom) final_model build_lstm_model(best_params, (X_train.shape[1], X_train.shape[2])) final_model.fit(X_train, y_train, epochs50, batch_sizebest_params[batch_size], verbose0) final_model.save(best_lstm.h5)这段代码里sorted_idx在每代循环结束后被更新但要注意如果当代种群中某个个体是精英它已经被转存到pop[0]而排序索引顺序基于上一代pop所以我在最后取pop[sorted_idx[0]]其实指向前代最优的位置这个位置在pop覆盖后可能已经不是最优了。更稳妥的做法是在每代记录最优个体和适应度循环结束后单独保存。这是实际项目中常见的细节问题但也是GA实现里容易踩的一个坑。建议在循环内增加一个全局变量跟踪历史最优个体# 在循环外初始化 history_best_fitness -float(inf) history_best_chrom None # 每代算出fitness后更新 if max(fitness) history_best_fitness: history_best_fitness max(fitness) history_best_idx fitness.index(max(fitness)) history_best_chrom pop[history_best_idx][:]最终用decode_chromosome(history_best_chrom)来导出参数就不会被覆盖问题影响。这个问题的root cause是pop列表被new_pop整体替换但索引引用还在旧列表上。4. GA-LSTM调试避坑五个亲身踩过的坑和对应排查方法4.1 适应度震荡不收敛明明在进化却不提升现象每代打印出的 best fitness 忽高忽低趋势混乱甚至第3代比第10代还好。这不是GA失效而是适应度函数本身的噪声过大。LSTM每次训练权重初始化不同同样的超参在验证集上的RMSE可能差3%5%导致选择压力被噪声淹没。原因没有固定随机种子且每个个体只评估了一次。不同个体之间的适应度差异一部分来自参数好坏一部分来自训练随机性。解决在程序入口固定全局随机种子和TensorFlow/Keras的种子必要时设置环境变量PYTHONHASHSEED。另一个更彻底的办法是让每个个体训练多次取均值比如同一个超参组合跑3次取RMSE的平均值。代价是评估时间变成3倍所以我在种群较大时只对进入精英池的个体做二次确认其余个体仍单次评估。4.2 最优个体突然消失种群整体退化现象上一代明明找到了一个很好的超参组合下一代的best fitness反而明显变差说明好的基因没有传下去。原因没有精英保留机制或者精英在交叉变异后被破坏了。标准GA里交叉和变异会改变基因如果最优个体也被当成普通个体拿去交叉它的优秀组合很容易被拆散。解决从sorted_idx[:ELITE_SIZE]直接把当前最优的几个个体无缝复制到下一代不经过交叉变异。我的经验是精英数量占种群10%20%比较合适。种群16时取2个种群24时取3个。另外交叉后子代如果适应度不如父代也可以直接保留父代这就是“父子竞争选择”实现起来略复杂但能显著减少退化现象。4.3 变异后超参数越界模型直接崩掉现象跑着跑着某个个体解码出的lstm_units变成-1或者256模型直接报错程序中断。原因变异时只做了加减偏移没有检查越界。比如基因位索引是0变异时偏移-1得到-1解码时用param_space[key][-1]反而取到了候选集的最后一个值——这不会报错但语义完全错乱了如果索引值超出列表长度且没做模运算更会抛 IndexError。更隐蔽的是decode_chromosome里的idx % len(choices)让越界数“看起来能用”但候选值可能变成不期望的边界值导致搜索空间变形。解决在mutate函数里对每个基因位做显式裁剪用max(0, min(max_idx, value))保证索引始终合法。同时在解码前先校验长度做一个防御性的断言。我一般会在调试阶段把解码后的参数打印出来手动检查一遍是否有异常值。4.4 batch_size搜出极端值训练时显存不够或loss爆炸现象GA跑了几代后搜索到batch_size16或64按理说都在合理范围内但训练时有些batch_size导致GPU显存溢出有些则让loss收敛极慢甚至变NaN。原因我把batch_size和网络层数放在一个参数空间里但没考虑它们之间的交互。比如层数为3、神经元数128、batch_size16时LSTM参数量大但批次小显存占用和梯度噪声都异常batch_size64时如果学习率仍为0.05Adam可能直接震荡到NaN。解决给参数空间加约束或者调整候选值。我的做法是把batch_size限制在[16, 32, 64]并且强制要求神经元数与batch_size匹配当神经元数超过64时batch_size不能小于32。更简单的方式是为不同的超参组合配置动态学习率——将学习率乘以sqrt(batch_size/32)作为实际值。另一个预防措施是在evaluate_individual里捕获异常如果模型训练中途崩溃直接给这个个体赋一个极低的适应度让它在下一次选择中被淘汰而不是让整个程序停工。4.5 进化出的超参数在测试集上严重过拟合现象验证集上的RMSE很漂亮但在独立测试集上预测效果差很多误差甚至比人工调参还大。原因GA的适应度函数本身就是用验证集误差定义的它天然会把验证集“优化”到过拟合。如果验证集很小或者只有一个时间段很容易选中刚好拟合了该段波动的参数组合。解决第一把验证集序列拆成两三个不同时间段比如前70%训练、后15%验证、最后15%测试验证集再细分为多段滚动评估第二最终确定超参后用训练集验证集重新训练模型再用从未参与过训练的测试集做一次最终评估第三将GA中每个个体的评估从“训练20轮”提升到“训练50轮后再用测试集打分”增加适应度函数的代价。但这样太慢我通常只在最后一轮使用这个策略前面都用快速评估选出最终候选后再做一次完整验证。注意GA输入到公式里的RMSE严格来说是验证误差不是测试误差。测试集的作用是给你一个“后悔药”的校验视角。如果测试误差明显高于验证误差优先检查数据是否泄漏或者验证集划分太窄。5. 进阶把GA-LSTM从“能跑”调到“好用”的参数空间设计先看一组我常用到后期的参数空间设计它的核心思路是对连续参数做对数尺度对离散参数做有限集合超参数取值范围搜索尺度lstm_units[16, 32, 64, 128, 256]离散等比num_layers[1, 2, 3]离散等差dropout[0.0, 0.1, 0.2, 0.3, 0.5]离散等差learning_rate[0.0005, 0.001, 0.005, 0.01, 0.05]近似对数batch_size[16, 32, 64]离散等比window_size[6, 12, 18, 24]离散等差把window_size也纳入进化搜索后GA的可控范围更大但搜索空间也从原来的固定滑窗长度变成了6维。每一次评估都需要重新构造数据集和训练模型成本上升很快。我的习惯是先用固定滑窗跑一轮GA得到大致的超参范围再把滑窗长度加入搜索空间只做5代左右的二次搜索避免空跑。另一个实用技巧是每5代做一次“人工干预检查”。GA不是黑匣子把每代最优个体的权重和偏置打印出来看如果发现连续几代最优个体的基因几乎完全一致但适应度没有提升说明种群已经收敛可以提前停止或者把变异率临时调高一倍跳一跳局部最优。我会在GA循环里记录历史最优点一旦连续5代没有改善就触发“变异率翻倍精英数量减半”的重启策略。代码层面还有一个容易被忽略的点最终模型训练时不要沿用评估阶段的epochs20。评估阶段为了快训练是不充分的确定最优超参后应该把训练轮数提高到完整训练的规模同时把早停的验证集换成训练集末尾的一小段防止早停发生在临时验证集上。完成这步后在测试集上计算最终指标的代码可以复用evaluate_individual里的预测逻辑只不过要把固定seed和推理时的dropout关闭。我从那次以后每次跑GA-LSTM都强制走一遍流程先固定所有随机种子小种群试跑3代确认无越界、无崩溃再放开种群和迭代每一代都记录历史最优个体到独立变量最终用独立测试集校验。这样调出来的模型才真正让人放心。希望帮到你。本文还有配套的精品资源点击获取