简介一套基于LSTM的空气质量指数预测Python期末大作业源码面向Python与机器学习方向的课程设计、毕业设计及期末大作业场景属于导师认可的高分项目类型。项目代码完整覆盖数据读取、缺失值处理、特征构造、LSTM模型构建、训练与评估等环节注释详细清晰新手也能较快上手。解压后按说明简单配置即可运行系统功能完善界面美观操作直观项目经过严格调试稳定性与可靠性较高可直接作为最终提交版本或在此基础上进行二次开发。资源包大小约29.33MB共2000个文件其中1989个CSV文件为按日期组织的北京空气质量历史数据可供模型训练与验证使用另有4个Python源码文件、5个XML配置文件、1个Markdown说明文档分别对应核心预测算法、实验参数配置和使用说明。目录结构清晰压缩包内附运行指南便于快速定位文件、启动项目与排查问题。目前已有222人学习/下载部署简便适合期末大作业、毕设或课程设计直接参考也可作为理解LSTM时序预测实战应用的入门范例。1. Python期末大作业做空气质量指数预测从选题到一份能答辩的LSTM源码期末大作业最怕的不是难而是做完说不清楚。空气质量指数预测这个题目刚好卡在“有难度但能解释”的位置上数据是公开的监测记录任务是标准的时序回归模型用LSTM神经网络输出是一张预测曲线和几个误差指标老师想听不懂都难。所谓“高分项目”的核心不是代码花哨而是你的工作流完整从数据清洗到样本切分从模型训练到反归一化评估每一步都有据可查。这篇文章不是把源码丢给你就完事而是把一个能跑通、能复现、能站在答辩台上讲十分钟的LSTM空气质量指数预测项目拆开讲覆盖数据预处理、模型搭建、训练调参与踩坑记录新手照着敲能出图熟手看参数能避坑。2. 为什么用LSTM预测AQI时序建模的选型理由与网络结构2.1 为什么偏偏是LSTM而不是ARIMA和XGBoost空气质量指数AQI是一个典型的多因子时间序列今天的PM2.5浓度受昨天扩散条件影响受一周前气象趋势影响还受早晚高峰排放的周期影响。这类数据有两个特性一是时间依赖是长期的二是关系是非线性的。ARIMA是经典的统计时序模型它擅长捕捉线性自相关但对节假日、沙尘暴这种突变束手无策XGBoost做回归预测也能出不错的结果但它本质上是把时序拆成特征工程问题需要你手动构造滞后特征、滑动窗口统计量工作量大且容易漏掉周期模式。LSTM长短期记忆网络是循环神经网络的一种变体它的设计初衷就是解决RNN在长序列上梯度消失的问题。门控机制让模型可以自主决定“记住昨天的高污染还是忘掉上个月的风向”这让它在AQI这种既有周期性又有突发性的数据上比ARIMA更灵活比XGBoost更省特征工程。期末场景下还有一个现实因素LSTM用Keras写起来代码量极少二三十行就能搭一个能收敛的模型这对时间紧张的大作业来说性价比非常高。2.2 LSTM的输入格式三维张量是新手最容易卡住的地方LSTM层在Keras中要求的输入形状是(样本数, 时间步长, 特征数)也就是三维张量。很多同学第一次跑LSTM报错“expected ndim3, found ndim2”就是忘了把二维数据reshape成三维。比如你用过去7天的AQI去预测第8天那么每一条训练样本的形状是(7, 1)这个“7”就是时间步长look_back最后的“1”是特征数量。这里有一个容易忽略的细节如果你的数据里只有一列AQI特征数就是1如果你把PM2.5、PM10、SO2、NO2、CO、O3都作为输入特征特征数就是6。多变量输入会让模型的复杂度上一个大台阶训练时间变长但对期末大作业来说做一次单变量和一次多变量的对比实验图表一摆报告厚度立刻不一样。我一般建议大作业先做单变量版本保证基线模型能跑通再扩展多变量作为进阶章节。import numpy as np # 假设 look_back7, 特征数 n_features1 # X 的形状应当是 (样本数, 7, 1) X X.reshape((X.shape[0], look_back, n_features))这段代码看着简单但它是整个LSTM项目的第一道门槛。reshape之前要确认你的数据已经是按时间升序排列的如果是乱序数据切出来的样本会破坏时间连续性模型学到的是噪声。实践中我见过不少人在这之前一步就翻车——从公开数据集站下载的CSV并不是严格按时间排序的必须先sort_values再切窗。2.3 期末评分视角下的LSTM结构层数、神经元数与Dropout大作业不需要追SOTA老师在乎的是你“有没有选择依据”。常见的LSTM回归结构是两层LSTM加一个全连接输出层第一层return_sequencesTrue是为了把完整的隐藏状态序列传给第二层。神经元数量一般从32到128之间选不是越大越好过大的模型在几千条样本的小数据集上很容易过拟合训练集loss降到零点零几测试集一塌糊涂。我给你的默认配置是6432的结构第一层64个神经元第二层32个神经元中间夹一个Dropout(0.2)。这个配置在中等规模数据集上收敛快、泛化尚可也方便你后续做对比——把64改成128把Dropout去掉看看指标变化这就是答辩时“超参数敏感性分析”的素材。损失函数用均方误差MSE因为AQI预测是回归任务优化器优先Adam它的自适应学习率可以省去大量手动调参的时间。提示input_shape只需要写(look_back, n_features)不用写样本数Keras会自动推断。3. 把AQI原始数据变成LSTM能吃的样本数据清洗与序列化预处理3.1 数据集的获取与先修基础Python环境依赖清单做这个项目之前先把Python环境装好。我推荐用Anaconda建一个独立环境Python版本选3.8到3.10之间TensorFlow 2.x在这些版本上兼容性最好。需要安装的库有tensorflow、pandas、numpy、scikit-learn、matplotlib。在命令行里一条pip install tensorflow pandas numpy scikit-learn matplotlib就能解决如果你的机器没有GPU装CPU版就够跑了这种规模的数据训练一轮只要几秒钟。数据集怎么找是同学问得最多的问题。常见做法是搜索引擎里搜“空气质量历史数据 CSV”或“AQI dataset”国内有中国环境监测总站的站点历史数据国外有UCI的Air Quality数据集还有Kaggle上按城市整理的开放数据。我一般建议用你所在城市的监测站数据做答辩时能说出“数据来自本市某国控站点”真实性一下子就有了。拿到文件后先打开看一眼结构通常包含date、AQI、PM2.5、PM10等列文件名和列名可能中英混杂先做个统一重命名。3.2 三步处理原始数据排序、补缺失、滤异常真实世界的数据没有干干净净的缺测、重复、异常值都是常态。以下代码是这三个步骤的常见实现核心顺序不能乱先排序后补缺最后滤异常。import pandas as pd import numpy as np # 1. 读取CSV并强制解析时间列 df pd.read_csv(air_quality.csv, parse_dates[date]) df df.sort_values(date).reset_index(dropTrue) # 2. 按天重采样同一天多条记录取均值 df df.set_index(date) df df.resample(D).mean().reset_index() # 3. 填补缺失值先向前填充剩下的线性插值 df[aqi] df[aqi].ffill() df[aqi] df[aqi].interpolate(methodlinear) # 4. 滤掉异常值AQI不可能小于0或大于500 df.loc[df[aqi] 0, aqi] np.nan df.loc[df[aqi] 500, aqi] np.nan df[aqi] df[aqi].interpolate()第一步里parse_dates是把这个列从字符串转成时间对象否则pandas不知道它是时间第二步resample(D)是按天聚合这一步是可选的如果你的数据本来就是逐日一条可以不做但做了之后最稳妥第三步里ffill()的意思是如果某天没数据就沿用前一天的数据interpolate则是用前后两天的值做线性插补这两步合起来能覆盖大部分缺失情况。关于异常值过滤AQI的正常范围是0到500超过这个范围一定是监测仪器故障或数据录入错误直接置空再插值是数据科学里的常见处理方式不留硬编码的删除操作。完成后顺手df.isnull().sum()检查还剩多少空值如果超过总数据的10%你这个数据集质量就有问题了建议换个时间段或换数据源。3.3 归一化必须在切分训练集之后数据泄漏是最隐蔽的坑LSTM对输入特征的尺度非常敏感。AQI数值动辄上百而神经网络的激活函数在输入过大时梯度容易饱和训练很难收敛。常见解法是用MinMaxScaler把数据压缩到0到1之间。但这里有一个新手很容易踩的坑必须先把数据按时间切成训练集和测试集再对训练集做fit然后用同一个scaler去transform测试集。from sklearn.preprocessing import MinMaxScaler # 按时间顺序切分前80%训练后20%测试 train_size int(len(df) * 0.8) train_data df[aqi].values[:train_size] test_data df[aqi].values[train_size:] # 只对训练集 fit防止未来数据泄漏到scaler里 scaler MinMaxScaler(feature_range(0, 1)) train_scaled scaler.fit_transform(train_data.reshape(-1, 1)) test_scaled scaler.transform(test_data.reshape(-1, 1))这里的关键在最后一行fit_transform只用在训练数据上测试数据用的是transform。如果先对整个序列做归一化再切分测试集的均值最大值就被模型“偷看”了测试集指标会虚高答辩时老师如果仔细追问你的数据管道这一问就能拆穿。reshape(-1, 1) 是因为sklearn的scaler要求输入至少是二维数组AQI是一列所以要补一个维度。3.4 构造监督学习样本look_back窗口的切分逻辑时序预测和普通回归的区别在于样本之间是有重叠的。你需要把连续序列切成许多个“窗口”每个窗口的末位作为标签。比如look_back7就是用第1到7天的AQI预测第8天用第2到8天预测第9天滑动窗口前进。切完之后X的形状是(样本数, 7)y的形状是(样本数,)。def make_sequences(data, look_back7): X, y [], [] for i in range(len(data) - look_back): X.append(data[i:ilook_back].reshape(look_back)) y.append(data[ilook_back]) return np.array(X), np.array(y) look_back 7 X_train, y_train make_sequences(train_scaled, look_back) X_test, y_test make_sequences(test_scaled, look_back) # 转成LSTM需要的三维形状(样本, 时间步, 特征数) X_train X_train.reshape((X_train.shape[0], look_back, 1)) X_test X_test.reshape((X_test.shape[0], look_back, 1))切窗函数里的循环遍历了从0到最后的位置每次取i到ilook_back之间的数据作为输入取ilook_back位置的数据作为目标。注意range(len(data) - look_back)的减一是因为最后一个窗口没有对应的未来值。look_back这个参数值得单独说取7表示用一周的数据预测明天取30表示用一个月预测明天。数值越大的模型看到的历史信息越多但也容易引入噪声我一般会做一个对比实验7天、14天、30天分别跑一遍选测试集误差最小的那个作为最终报告结论这本身就是很有说服力的实验数据。4. 基于Keras搭建LSTM模型并训练完整源码与参数说明4.1 用Sequential模型搭出双层LSTM的最小可跑代码模型搭建是整个项目里代码量最少的部分但每一行的shape语义都要清楚。下面的代码就是完整的建模、编译和训练流程直接复制到Jupyter里配合上面的预处理就能跑起来。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping model Sequential() model.add(LSTM(64, return_sequencesTrue, input_shape(look_back, 1))) model.add(Dropout(0.2)) model.add(LSTM(32)) model.add(Dropout(0.2)) model.add(Dense(1)) model.compile(optimizeradam, lossmse, metrics[mae]) model.summary() early_stop EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue) history model.fit( X_train, y_train, validation_split0.1, epochs100, batch_size32, callbacks[early_stop], verbose1 )第一层LSTM的return_sequencesTrue是整个结构的关键它告诉Keras这一层要把每个时间步的隐藏状态都输出给下一层而不是只输出最后一步的隐藏状态。如果你在这里写了False第二层LSTM会报维度错误这是news手最容易踩的第二个卡点。两个Dropout层的作用是随机关闭20%的神经元强制模型不依赖某一条路径训练集几千条样本的规模下这个操作基本是必需的。EarlyStopping是给大作业加分的细节它监控验证集损失连续10个epoch没有改善就提前停止训练并且恢复最佳权重。这意味着你不用手动反复调epoch数量代码写上去之后跑着跑着自己停训练过程可控。验证集是从训练集里再切出10%做出来的这个比例可以调到0.2但注意你这个项目的总样本量如果不到一千验证集太小会导致早停信号抖动我还是建议0.1。4.2 训练前后必须关注的细节epoch、batch_size与学习率epoch数量和batch_size是这阶段最影响结果的超参数。epoch太小模型没收敛太大有过拟合风险配合EarlyStopping就可以大胆设成100甚至200反正会早停。batch_size决定每次更新参数用多少条样本32是默认值如果你的数据超级少几百条可以改成16让它更稳。学习率在Adam优化器里默认是0.001不需要特别改但如果训练时loss剧烈震荡可以考虑降到0.0005重跑。训练过程中重点观察的是loss值的变化节奏前10个epoch应当明显下降然后逐渐变缓。如果loss在10以内基本不动八成是归一化或切窗出了问题不要盲目加大模型回到上一章把scaler和序列检查一遍。训练完成后画loss曲线是必做的图这既是判断收敛的依据也是答辩PPT里证明“我的模型真的在学习”的证据。import matplotlib.pyplot as plt plt.plot(history.history[loss], labeltrain_loss) plt.plot(history.history[val_loss], labelval_loss) plt.xlabel(epoch) plt.ylabel(loss) plt.legend() plt.title(Training and Validation Loss) plt.show()这张图如果呈现出训练loss和验证loss双双下降最后走平就是一个健康的过程如果训练loss一直降而验证loss在第20个epoch开始反弹那就是过拟合的典型曲线答辩时可以顺势说出你用了Dropout和早停来缓解老师的印象分立刻不一样。4.3 预测结果反归一化与RMSE、MAE、R2评估模型输出的预测值是0到1之间的归一化数值要跟真实AQI对比必须先做反归一化。这一步漏掉的话你画出来的预测曲线会是一条压扁在0附近的直线整个人瞬间懵掉。正确的做法是用之前拟合好的scaler把预测值转回原始量纲。y_pred model.predict(X_test) y_pred scaler.inverse_transform(y_pred.reshape(-1, 1)) y_test_original scaler.inverse_transform(y_test.reshape(-1, 1)) from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score rmse np.sqrt(mean_squared_error(y_test_original, y_pred)) mae mean_absolute_error(y_test_original, y_pred) r2 r2_score(y_test_original, y_pred) print(fRMSE: {rmse:.2f}) print(fMAE: {mae:.2f}) print(fR2: {r2:.4f})这里有几个细节scaler.inverse_transform要求输入是二维的所以要先reshapey_test在切窗时已经是二维了但在传给eval函数之前要确保形状一样R2越接近1说明模型解释了越多的方差如果R2是负数说明你的模型预测得还不如直接用历史均值当预测值这种情况就该回炉检查数据了。RMSE的单位是AQI指数举个例子RMSE等于15的意思是平均每次预测偏离真实值约15个指数点这个值的量级是判断你项目上线的直接参考。5. 避坑与常见问题排查LSTM预测不收敛、慢半拍、版本报错5.1 训练loss震荡不降或者干脆卡住不动现象训练过程中loss像心电图一样上下跳或者一直稳定在某个偏大的数值附近不动。原因最常见的是数据没归一化导致输入范围过大梯度更新震荡。其次是学习率过大还有一种是look_back太小模型看不到完整的周期目标值之间的随机性过大学了也学不动。解决先确认scaler真的用上了打印train_scaled[:5]看看值是否都在0到1之间然后把学习率从0.001降到0.0005重跑如果还不行把window从7提到14。我做这个项目时卡过一晚上最后发现是切窗时列名写错喂进去的不是AQI而是日期的时间戳输出自然飞了。建议每次切完窗口都打印一下X_train[0]的值手动确认它和原始数据对得上。5.2 预测曲线比真实曲线慢了一拍像是整体右移现象把预测值和真实值画在同一张图里发现预测曲线总是滞后真实曲线一天左右真实值上升预测值还在跌。原因这是单步时间序列预测的常见系统性问题。模型学到的不是“预测未来”而是“把上一刻的值平移过来”特别是当评价指标是RMSE时最简单的低损失策略就是输出接近上一个时刻的值因为前后一天AQI本来就高度相关。解决这个滞后不能完全消除但可以缓解。一是把输入维度加上其他污染物特征给模型更多独立信息二是把标签从“下一日AQI”改成“未来三日平均AQI”相当于做一个平滑目标模型被迫看更远的趋势三是用差分方式把序列变成增量序列模型学习的是变化量而非绝对值这种方式对滞后有明显效果但报告里要多解释一步。答辩时我建议直接承认这是时序预测的固有延迟同时展示你用了哪些缓解手段诚实比硬凹更稳。5.3 运行报错ModuleNotFoundError或版本兼容问题现象import tensorflow直接报No module named tensorflow或者安装时提示找不到匹配版本。原因Python版本和TensorFlow版本不匹配。Python 3.11刚出时接TensorFlow就有兼容性坑还有人在macOS上装了Apple Silicon版代码却按CPU版写路径。解决用Anaconda创建指定环境例如conda create -n lstm_env python3.9然后在这个环境里用pip install tensorflow。LSTM的在keras里的写法基本跨版本通用但老教程里的keras.layers.recurrent.LSTM这种写法在TensorFlow 2.x里已经废弃统一写成tensorflow.keras.layers.LSTM。不要在一个全局环境里同时装多个深度学习框架版本之间互相覆盖是常事隔离环境是唯一的后悔药。5.4 把look_back加到30之后效果反而变差现象原本用7天窗口RMSE是18改成30天后RMSE升到25越想看得长远越是幻觉。原因AQI的可预测窗口是有限的超过一定时间范围空气污染的持续性和周期性没有那么强加更多的历史输入只是把更远的不相关噪声塞进模型。这在气象类时序里非常典型两周前的晴雨对明天AQI的影响已经微乎其微。解决不要盲目拉长窗口做一次系统的窗口对比实验。7、14、21、30四个数值各跑一次画一张折线图看RMSE随窗口的变化找到本地最优值。这个实验花费的时间不多但能成为答辩中“模型对历史依赖长度的分析”这一小节的图表依据比空口说“我调参了”有说服力得多。5.5 训练和验证都有良好表现一到测试集就崩现象训练loss低到0.02验证loss也平稳测试集上一算R2变成了负数或者RMSE翻倍。原因训练集和测试集如果按时间切分前半段是冬季高污染时段后半段是夏季低污染时段而模型没学过夏季模式评估自然崩。有时也和数据本身的分布漂移有关。解决第一把训练集比例从8:2改成7:3让测试集覆盖更完整的时间周期第二如果是全年数据建议按“两年的前11个月训练每年12月做测试”这样的方式做留出集保证特殊性时段进入测试第三看残差图预测减真实值的序列图如果残差在某个时间段系统性正偏说明该时段模式没被学到这本身可以作为项目讨论部分的素材。6. 往高分再迈一步双向LSTM、Attention与答辩验收技巧如果基础版本已经跑通想再拉开差距有两个性价比高的改进方向。第一个是Bidirectional把LSTM改造成双向之后模型不仅能从前面的数据向后推还能从后面的数据往前看。用在时序预测里看起来像是作弊但对于AQI这种有日周期的数据它确实能把早晚高峰的特征学得更均衡。代码改动极小在原来的第一层外面套一层Bidirectional即可其余结构不变R2通常会有小幅度提升。第二个是给模型加一个简单的Attention层让模型对关键的几个历史时间步分配更高权重。Keras里Attention层需要手动编写或引入第三方实现工作量略大适合报告篇幅需要撑厚度的同学。答辩时老师最常问的三个问题几乎绕不开为什么选这个look_back为什么是这个层数和神经元数量你的预测误差主要来自哪里前两个用窗口对比实验和超参数对比实验的图表回答第三个把残差图往屏幕上一放指着秋冬季波动最大的区间说“这个时段冷空气活动频繁数据模式不稳定”老师就不会再深挖。期末项目的本质不是证明你写出了完美的模型而是证明你完整地理解了一条数据到结论的流水线。我自己的血泪经验是永远在交付前跑一遍restart kernel and run all因为平时零散执行代码块能跑通不代表从头到尾连跑能通过。很多同学就是这样在答辩现场翻车的——某个变量的值被覆盖了某个cell顺序反了从头跑直接报错。把整个脚本整理成一个干净的、从数据读取到评估画图的线性流程比多调10个epoch更重要。用到新闻里的一个说法是这种项目真正难的不是LSTM本身而是时间序列数据前后的连贯性。希望这篇文章能帮到你把时间花在数据和实验记录上而不是半夜改bug。本文还有配套的精品资源点击获取