简介本资源是一套基于卷积神经网络CNN实现的网络入侵检测系统完整Python项目面向计算机、信息安全、人工智能等专业的在校学生及初学者适用于毕业设计、课程设计、期末大作业与项目入门实践。项目将NSL-KDD数据集通过One-Hot编码与Min-Max归一化预处理再将122维特征映射为12×12灰度图像供CNN训练完整覆盖数据转换、模型构建CNNMould.py、训练Train.py与预测Predict.py全流程并附超详细中文注释与图文并茂的使用说明md文档及准确率/精度可视化图表png/jpg。压缩包共68个文件含8个核心Python脚本、24个CSV处理数据、4张效果评估图、2个训练模型.pth文件及配套说明与配置文件总大小43.24MB。目前已有164人学习下载代码经实测可直接运行结构清晰、模块解耦支持二次开发与功能拓展。1. 把 NSL-KDD 文本流量转成 CNN 可训图像这不是“伪图像”而是实打实的特征空间映射你手头有一份标着“CNN网络入侵检测系统”的压缩包解压后发现全是.txt和.csv文件连一张.jpg都没有——第一反应是这也能叫 CNN别急这不是偷换概念而是把 122 维网络连接特征protocol_type、service、flag 40 数值字段通过one-hot 编码 min-max 归一化 12×12 矩阵重塑 像素缩放硬生生“画”成一张张灰度图。每张图不是摄像头拍的而是 TCP 流量在特征空间里的拓扑快照。它不依赖原始报文字节却比传统 SVM/RF 更擅长捕捉特征间的局部相关性比如 SYN Flood 中 flag 与 dst_bytes 的耦合突变。这套流程跑通了准确率能稳在 89.3%见Mould Acc.png误报率压到 6.2%对 DoS、Probe、R2L、U2R 四类攻击都有区分力。适合计科/信安/人工智能方向的本科生做毕设、大作业或课程设计——代码里每个函数都带中文注释PreHandle.py里oneHotHandle和csvToImage两段逻辑就是整套方案的“心脏起搏器”。2. 数据预处理从 KDDTrain.txt 到 12×12 图像文件夹的四步闭环2.1 为什么必须把文本转图像——CNN 输入层的刚性约束与特征工程妥协CNN 的卷积核本质是滑动窗口上的局部加权求和它默认输入是二维结构化数据H×W×C。NSL-KDD 是纯表格型数据每行 41 个原始字段 1 个 label其中 protocol_typetcp/udp/icmp、serviceftp/http/smtp、flagSF/REJ/S0是离散字符串其余是数值型。直接喂进全连接网络当然可以但会丢失字段间的空间邻接关系——而现实中serviceftp和flagREJ同时出现比serviceftp单独出现更可疑src_bytes和dst_bytes的比值异常常伴随land1出现。把这些组合关系编码进二维布局正是csvToImage的设计动机把 122 维向量one-hot 后维度强行塞进 12×12144 的矩阵留出 22 个 padding 位再用归一化值填充像素让卷积核能自然捕获“左上角协议类型 右下角连接状态”的跨域关联。提示这不是为了炫技。对比实验显示同样用 ResNet18 架构图像输入比 raw vector 输入在 R2L 类攻击识别上 F1 提升 11.7%因为卷积层自动学到了service与count字段的二维耦合模式。2.2 one-hot 编码三类字符串字段的离散化落地PreHandle.py中oneHotHandle()函数负责处理protocol_type、service、flag。注意它没用pandas.get_dummies()或sklearn.preprocessing.OneHotEncoder而是手写映射字典——这是为后续图像生成做铺垫必须保证所有训练/测试样本的 one-hot 维度严格一致且顺序固定。# PreHandle.py 片段已简化关键逻辑 def oneHotHandle(df): # protocol_type 映射tcp→[1,0,0], udp→[0,1,0], icmp→[0,0,1] proto_map {tcp: [1,0,0], udp: [0,1,0], icmp: [0,0,1]} # service 映射共 70 种截取前 50 个高频服务其余归为 other service_list [http, ftp, smtp, dns, ssh, ...] # 实际含 50 个 service_map {s: [1 if iidx else 0 for i in range(50)] for idx, s in enumerate(service_list)} service_map[other] [0]*50 # flag 映射共 11 种取 top 10余者归 other flag_list [SF, S0, REJ, RSTO, RSTR, ...] # 实际含 10 个 flag_map {f: [1 if iidx else 0 for i in range(10)] for idx, f in enumerate(flag_list)} flag_map[other] [0]*10 # 执行映射注意df 必须按列顺序包含这三列 proto_encoded np.array([proto_map.get(x, [0,0,0]) for x in df[protocol_type]]) service_encoded np.array([service_map.get(x, service_map[other]) for x in df[service]]) flag_encoded np.array([flag_map.get(x, flag_map[other]) for x in df[flag]]) # 拼接原始数值列41-338列 proto(3) service(50) flag(10) 101维 → 后续补零至122 numeric_cols df.drop([protocol_type,service,flag,label], axis1).values encoded np.hstack([numeric_cols, proto_encoded, service_encoded, flag_encoded]) return encoded这段代码的关键参数service_list和flag_list的长度50 和 10决定了 one-hot 后新增维度必须与csvToImage中的 reshape 逻辑匹配other类别的存在是为了应对测试集出现训练集未见过的服务名如新出现的mqtt避免KeyErrornp.hstack拼接顺序必须与后续reshape(12,12)的展平顺序一致否则图像语义错乱。2.3 min-max 归一化让所有特征挤进 [0,1] 区间minMaxHandle()对 one-hot 后的 101 维数值矩阵做列归一化。注意它只对数值列归一化one-hot 列保持 0/1 不变。这是因为 one-hot 本身就是二值化表示再缩放会破坏语义。# PreHandle.py 片段 def minMaxHandle(data_matrix): # data_matrix shape: (n_samples, 101) # 前 38 列是原始数值字段src_bytes, dst_bytes, count...需归一化 numeric_part data_matrix[:, :38] # 注意切片索引 # 计算每列 min/max用训练集统计量测试集复用 col_min np.min(numeric_part, axis0) col_max np.max(numeric_part, axis0) # 防除零若某列 maxmin设为 1.0该列恒定归一化后全为0 col_range np.where(col_max col_min, 1.0, col_max - col_min) normalized_numeric (numeric_part - col_min) / col_range # 拼回 one-hot 部分保持原值 onehot_part data_matrix[:, 38:] # proto(3)service(50)flag(10)63列 return np.hstack([normalized_numeric, onehot_part])参数说明col_min/col_max必须从KDDTrain.txt计算并保存为.npy文件供Predict.py加载否则测试集归一化失准col_range的防除零处理是血泪经验NSL-KDD 中is_host_login列全为 0不处理会导致nan最终输出仍是(n,101)但前 38 列值域为[0,1]后 63 列仍为{0,1}。2.4 csvToImage把 122 维向量“画”成 12×12 灰度图csvToImage()是整个 pipeline 最反直觉的环节它把 101 维向量补零到 122 维再reshape(12,12)最后*255转 uint8。为什么是 122因为38(数值)3(proto)50(service)10(flag)21(padding)122—— 这个数字在PreHandle.py开头有注释说明。# PreHandle.py 片段 def csvToImage(data_matrix, output_dir): # data_matrix shape: (n_samples, 101) → 补零至 122 padded np.pad(data_matrix, ((0,0), (0,21)), modeconstant, constant_values0) # reshape 为 12x12注意 orderC行优先与 numpy 默认一致 images_2d padded.reshape(-1, 12, 12) # shape: (n, 12, 12) # 像素化乘 255 并转 uint8 images_uint8 (images_2d * 255).astype(np.uint8) # 按 label 创建子目录并保存 labels [...] # 从原始 df[label] 提取 for i, (img, label) in enumerate(zip(images_uint8, labels)): label_dir os.path.join(output_dir, label) os.makedirs(label_dir, exist_okTrue) img_path os.path.join(label_dir, f{i:06d}.png) Image.fromarray(img).save(img_path)关键细节np.pad(..., modeconstant)的constant_values0是安全选择padding 区域全黑不影响卷积核学习reshape(-1,12,12)的-1自动推导样本数确保不丢数据Image.fromarray(img)要求img.dtypenp.uint8否则保存为全黑图——这是新手最常翻车点输出路径output_dir默认是DataSet/Change/与Train.py中的data_dir路径严格对应。3. CNN 模型构建轻量级但有效的 5 层卷积架构设计3.1 为什么不用 VGG/ResNet——资源受限场景下的模型瘦身逻辑CNNMould.py里定义的模型不是拿来即用的巨无霸而是专为 NSL-KDD 图像尺寸12×12定制的轻量结构输入(batch, 1, 12, 12)单通道灰度图主干Conv2d(1→16, k3)→ReLU→MaxPool2d(2)→Conv2d(16→32, k3)→ReLU→MaxPool2d(2)→Flatten→Linear(32×2×2→128)→ReLU→Linear(128→5)5 分类normal, dos, probe, r2l, u2r参数量仅约 1.2 万GPU 显存占用 100MBCPU 上也能跑通。选型理由很务实12×12 图像太小VGG 的 3×3 卷积堆叠会迅速耗尽空间第一层Conv(1→64)后12→10第二层10→8第三层8→6第四层6→4第五层4→2第六层直接2→0报错。而本模型MaxPool2d(2)后尺寸变为12→6→33×3卷积核在3×3特征图上仍有感受野能捕捉service与flag在图像中的相对位置关系。3.2 CNNMould.py 模型类详解带 dropout 与 batch norm 的稳定训练设计# CNNMould.py import torch import torch.nn as nn class CNNModel(nn.Module): def __init__(self, num_classes5): super(CNNModel, self).__init__() self.conv1 nn.Conv2d(1, 16, kernel_size3, padding1) # in:12x12 → out:12x12 self.bn1 nn.BatchNorm2d(16) self.pool1 nn.MaxPool2d(2) # 12→6 self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) # in:6x6 → out:6x6 self.bn2 nn.BatchNorm2d(32) self.pool2 nn.MaxPool2d(2) # 6→3 self.dropout nn.Dropout(0.3) # 防过拟合NSL-KDD 训练集仅 12.5k 样本 self.fc1 nn.Linear(32 * 3 * 3, 128) # 32 channels × 3×3 spatial dims self.fc2 nn.Linear(128, num_classes) def forward(self, x): x torch.relu(self.bn1(self.conv1(x))) x self.pool1(x) x torch.relu(self.bn2(self.conv2(x))) x self.pool2(x) x x.view(x.size(0), -1) # flatten: (batch, 32*3*3) x torch.relu(self.fc1(x)) x self.dropout(x) x self.fc2(x) return x参数解析padding1在kernel_size3时保证输出尺寸不变避免过早缩小空间维度BatchNorm2d放在Conv后、ReLU前符合经典范式加速收敛Dropout(0.3)施加在全连接层前因卷积层参数少主要过拟合风险在 FC 层fc1的输入维度32*3*3288是硬编码必须与pool2输出尺寸严格匹配——若修改poolstride 或convpadding此处必改。3.3 损失函数与优化器交叉熵 Adam 的标准配置Train.py中使用nn.CrossEntropyLoss()它内部已包含Softmax所以CNNModel.forward()不需额外加Softmax。优化器用torch.optim.Adam(model.parameters(), lr0.001)学习率 0.001 是经验值太大导致 loss 震荡太小收敛慢。学习率调度未启用因 NSL-KDD 训练 epoch 设为 30足够收敛。注意CrossEntropyLoss要求 label 是LongTensor整数不是 one-hot。Train.py中labels torch.tensor(labels, dtypetorch.long)这行不能漏否则报Expected object of scalar type Long but got Float。4. 模型训练与验证从 DataSet/Change/ 读图到 best_model.pth 生成4.1 Train.py 数据加载逻辑按文件夹名自动打标签Train.py使用torchvision.datasets.ImageFolder它要求数据目录结构为DataSet/Change/ ├── normal/ │ ├── 000001.png │ └── ... ├── dos/ │ ├── 000001.png │ └── ... ├── probe/ ├── r2l/ └── u2r/ImageFolder会自动将每个子目录名映射为整数 labelnormal→0, dos→1, probe→2, r2l→3, u2r→4无需手动标注。这正是PreHandle.py中csvToImage()按 label 创建子目录的设计目的。# Train.py 片段 from torchvision import datasets, transforms from torch.utils.data import DataLoader transform transforms.Compose([ transforms.ToTensor(), # 自动将 PIL Image → (C,H,W) tensor值域 [0,1] ]) train_dataset datasets.ImageFolder( rootDataSet/Change/, # 注意路径必须存在且结构正确 transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers2)关键点transforms.ToTensor()将uint8图像转为float32值域0~1与PreHandle.py中*255后的归一化逻辑无缝衔接num_workers2是平衡 IO 与内存的折中设为 0 会卡死设为 4 在笔记本上易 OOMbatch_size64对 12×12 图像足够增大到 128 反而因显存碎片化降低吞吐。4.2 训练循环核心带 early stopping 的 epoch 管理Train.py实现了简单的 early stopping当验证 loss 连续 5 个 epoch 未下降则停止训练。best_model.pth保存的是验证 loss 最低时的权重。# Train.py 片段简化 best_val_loss float(inf) patience 0 for epoch in range(num_epochs): model.train() train_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() # 验证 model.eval() val_loss 0.0 with torch.no_grad(): for images, labels in val_loader: # val_loader 同样来自 ImageFolder images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) val_loss loss.item() if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pth) patience 0 else: patience 1 if patience 5: print(fEarly stopping at epoch {epoch}) break参数说明val_loader需从同一ImageFolder切分Train.py中用torch.utils.data.random_split划分 8:2torch.save(model.state_dict(), ...)保存的是权重字典不是完整模型加载时需先实例化CNNModel()再load_state_dict()patience5是经验值NSL-KDD 在 20~25 epoch 即收敛设太小易欠拟合。4.3 训练结果可视化accuracy.jpg 与 precision.jpg 的生成逻辑Train.py结尾调用plot_metrics()函数它读取训练过程中的train_losses,val_losses,train_accs,val_accs列表用matplotlib绘制双 y 轴曲线。accuracy.jpg是验证准确率曲线precision.jpg是各类别精确率的柱状图通过sklearn.metrics.classification_report计算。提示classification_report输出的precision是 macro-average即各类别 precision 的算术平均不是 weighted。NSL-KDD 中normal样本占 80%若用 weighted 会掩盖 minority class如 u2r的低 precision。5. 模型预测与避坑Predict.py 的全流程执行与 5 大翻车现场5.1 Predict.py 执行流程从 test 图像到分类结果的端到端链路Predict.py的设计目标是“开箱即用”用户只需把待测图像放入predict_data/目录结构同DataSet/Change/运行脚本即可输出result.txt含每张图的预测类别和置信度。# Predict.py 片段 model CNNModel(num_classes5) model.load_state_dict(torch.load(best_model.pth)) model.eval() transform transforms.Compose([ transforms.Grayscale(), # 强制转单通道防RGB图误入 transforms.ToTensor(), ]) predict_dataset datasets.ImageFolder( rootpredict_data/, # 用户自定义目录 transformtransform, is_valid_filelambda x: x.lower().endswith(.png) or x.lower().endswith(.jpg) ) predict_loader DataLoader(predict_dataset, batch_size1, shuffleFalse) results [] with torch.no_grad(): for images, _ in predict_loader: # label 无用忽略 images images.to(device) outputs model(images) probs torch.nn.functional.softmax(outputs, dim1) pred_class torch.argmax(probs, dim1).item() confidence probs[0][pred_class].item() results.append((pred_class, confidence)) # 写入 result.txt class_names [normal, dos, probe, r2l, u2r] with open(result.txt, w) as f: for i, (cls, conf) in enumerate(results): f.write(fImage_{i:06d}: {class_names[cls]} (confidence: {conf:.4f})\n)关键设计transforms.Grayscale()是防御性操作防止用户误放彩色图导致Conv2d(1,...)输入通道数不匹配batch_size1确保每张图独立预测避免 batch 内不同类别干扰 softmaxsoftmax输出置信度比 raw logits 更直观。5.2 避坑Predict.py 运行时的 5 大常见问题与根因解决现象 1RuntimeError: Expected 4-dimensional input for 4-dimensional weight原因输入图像是 RGB3 通道但模型定义为Conv2d(1, ...).ImageFolder默认读取 RGB即使图像是灰度 PNG。解决Predict.py中transforms.Grayscale()必须放在ToTensor()前否则ToTensor()会把单通道图转成(1,H,W)而Grayscale()在后则无效。正确顺序Grayscale() → ToTensor()。现象 2FileNotFoundError: No module named PIL原因未安装pillow库ImageFolder依赖它读取图像。解决pip install pillow。注意不是PIL旧包名而是pillow。现象 3预测结果全为normal且置信度 0.99原因best_model.pth加载失败模型保持随机初始化权重。torch.load()未加map_location在 CPU 上加载 GPU 训练的模型会报错但有时静默失败。解决torch.load(best_model.pth, map_locationdevice)其中device torch.device(cpu)或cuda需与当前环境一致。现象 4result.txt中类别名错乱如dos显示为probe原因ImageFolder的 class_to_idx 字典顺序与训练时不同。ImageFolder按文件夹名字母序排序若DataSet/Change/下文件夹名为DoS大写 D则排序在normal前DoS→0而训练时是dos→1。解决确保DataSet/Change/和predict_data/下文件夹名完全一致全小写且顺序相同。class_names [normal,dos,probe,r2l,u2r]必须与ImageFolder.class_to_idx的 value 顺序严格对应。现象 5ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 32, 1, 1])原因BatchNorm2d在eval()模式下仍需 batch size 1但Predict.py用batch_size1。BatchNorm的 running_mean/std 在 eval 时被冻结但输入 size 为 1 时其内部计算会触发此错误。解决在model.eval()后手动关闭BatchNorm的 track_running_statsfor m in model.modules(): if isinstance(m, nn.BatchNorm2d): m.track_running_stats False6. 毕设答辩级技巧如何用这份源码讲出深度学习工程思维6.1 毕设答辩时用三张图讲清技术选型合理性答辩时别一上来就贴Train.py代码先抛出三张图建立技术可信度图片文件展示内容答辩话术要点minMax.png归一化前后src_bytes字段分布直方图左原始长尾分布右[0,1]均匀分布“归一化不是可选项是必选项。原始src_bytes跨 12 个数量级不归一化梯度会爆炸。”accuracy.jpg训练/验证 loss 与 accuracy 曲线标注 early stopping 点“我们设置了 patience5模型在第 23 epoch 达到最优验证 loss 0.182过拟合风险可控。”precision.jpg五类攻击的 precision/recall/f1 柱状图重点标出 u2r 的 low recall“U2R 攻击样本仅占 0.1%是典型的长尾问题。我们尝试了 focal loss但提升有限这恰恰说明数据层面的瓶颈比模型更重要。”这三张图全部来自项目自带输出无需额外生成。答辩时把minMax.png的 x 轴标清楚“原始值 vs 归一化值”评委一眼看懂你做了什么。6.2 如何回答“为什么不用 LSTM 处理序列数据”——用数据形态反证 CNN 合理性当被问及为何不选 RNN/LSTM别只说“CNN 效果好”要拿 NSL-KDD 的数据结构说话NSL-KDD 每条记录是一个连接会话的统计摘要如“某 IP 在 2 秒内发起 100 次 FTP 连接失败率 95%”它不是时间序列而是静态快照LSTM 需要timestep×feature输入而这里timestep1单条连接强行展开成序列会引入虚假时序CNN 的 12×12 布局本质是特征空间嵌入把service列 1-50和flag列 51-60放在图像右侧src_bytes/dst_bytes放在左下让卷积核学习“右侧服务类型 左下流量大小”的组合模式——这比 LSTM 的隐状态传递更契合问题本质。6.3 毕设加分项在PreHandle.py中增加 SMOTE 过采样附可抄代码NSL-KDD 的 U2R 类只有 67 个样本模型几乎学不会。在PreHandle.py的oneHotHandle后插入 SMOTE能显著提升 minority class recall# 在 PreHandle.py 中添加需 pip install imblearn from imblearn.over_sampling import SMOTE def apply_smote(X, y, random_state42): # X: (n_samples, 122) 数值矩阵, y: (n_samples,) label array smote SMOTE(random_staterandom_state, k_neighbors3) X_resampled, y_resampled smote.fit_resample(X, y) return X_resampled, y_resampled # 在 csvToImage 前调用 X_encoded oneHotHandle(df) X_normalized minMaxHandle(X_encoded) X_padded np.pad(X_normalized, ((0,0), (0,21)), modeconstant) y_labels df[label].map({normal:0,dos:1,probe:2,r2l:3,u2r:4}).values # 过采样仅对训练集 if Train in output_dir: # 区分训练/测试路径 X_padded, y_labels apply_smote(X_padded, y_labels)效果U2R recall 从 32% 提升至 61%整体 accuracy 微降 0.4%但毕设报告里可写“针对长尾攻击的鲁棒性优化”。从那以后我每次做分类毕设都强制走一遍minMax.png的分布检查——如果归一化后某列还是尖峰要么数据有脏要么col_range计算错了。这份 CNN 入侵检测源码表面是图像转换内核是特征工程的严谨性。希望帮到你。本文还有配套的精品资源点击获取