简介这份资源聚焦CNN与SVM的融合图像分类方案面向对深度学习和机器学习感兴趣、希望在Python中实现特征提取与分类器结合的开发者。压缩包共8个文件、仅8KB以6个Python脚本为核心涵盖CNN训练、特征提取、SVM训练与预测、t-SNE可视化等环节并附有说明文档与README便于快速理解代码结构并复现实验。当前已有2085人学习下载适合作为课程设计、毕业设计或算法对比实验的参考。读者可获得从Keras构建CNN、提取全连接层特征到利用scikit-learn训练SVM的完整流程以及配套的模型评估与可视化思路帮助在实际图像分类任务中提升精度并拓展调优方向。1. 以 CNN-SVM 混合模型作为图像分类实战起点这条路为何值得走做过图像分类的都知道纯 CNN 跑到后面会陷入一种尴尬训练集准确率漂亮验证集却来回震荡。换更深的网络显存先扛不住换更简单的全连接层特征又不够抽象。我拆过不少课程设计的源码包CNN-SVM 这种组合是出现频率最高的一个套路——把 CNN 当成自动特征提取器把最后一层全连接换成 SVM 分类器。这个思路听起来简单实际落地时涉及特征怎么导出来、SVM 的 C 和 gamma 怎么设、维度爆炸怎么处理等一系列问题。这份基于 Python 的 Land_Use_CNN 项目恰恰把这些步骤拆成了独立的脚本。本文就把整套流程掰开揉碎从文件结构讲到参数调优再讲几个我实际复现时踩过的坑最后落到怎么用 t-SNE 验证自己提取的特征到底像不像样。适合刚跑通深度学习基础教程、想拿一个完整图像分类项目练手的人。2. 项目文件拆解train.py 到 svm_predict.py 各管哪一段2.1 这个源码包的文件布局与数据流方向解压之后能看到 Land_Use_CNN-master 目录下躺着六个文件加一个说明文档。train.py、extract_features.py、train_svm.py、svm_predict.py、t_sne.py 这五个 Python 脚本构成了完整流水线README.md 是项目作者的说明另外还有一个 CNN-SVM 说明.txt。从命名就能看出这个项目的设计思路把深度学习特征提取和传统机器学习分类彻底解耦每个阶段都能单独跑、单独验证。数据流是单向的而且非常清晰。train.py 负责训练 CNN 基座模型把学好的权重存下来。extract_features.py 加载这个权重在训练集和测试集上分别跑一遍把全连接层之前的激活输出存成特征矩阵。train_svm.py 拿训练集的特征矩阵去训练 SVM。svm_predict.py 加载训练好的 SVM 模型对测试集特征做预测。t_sne.py 则是把高维特征降到二维做可视化让你直观看到两类样本在特征空间里是否真的分得开。这种一个阶段一个脚本的结构对初学者非常友好改任何一环都不会牵动其他代码。这里有个关键点项目用的是「先冻结 CNN、再单独训练 SVM」的两阶段方案而不是端到端的联合训练。常见的做法是先把 CNN 训好训练过程中全连接层承担分类任务然后丢掉最后的 softmax 层把前面所有层输出的特征向量交给 SVM。这样做的好处是你可以随时替换分类器比如把线性 SVM 换成 RBF 核甚至换成随机森林而不需要重新训练那个耗时最长的卷积网络。2.2 各文件的依赖关系与运行顺序运行顺序有强依赖不能乱。train.py 必须最先跑因为它产出的是 extract_features.py 需要的模型权重文件。extract_features.py 必须在 train_svm.py 之前跑因为后者依赖它导出的 .npy 特征文件。svm_predict.py 是最后一个环节它需要同时加载 CNN 权重和 SVM 模型。t_sne.py 的位置稍微灵活一些它只需要特征文件所以可以在 extract_features.py 之后随时执行。我把这份依赖关系列成一张表方便你对照检查脚本文件前置依赖输出产物运行耗时参考train.py原始图像数据集CNN 权重文件最长取决于 epoch 数extract_features.pyCNN 权重文件训练/测试特征 .npy中等纯前向推理train_svm.py训练特征 .npySVM 模型文件快秒级到分钟级svm_predict.py特征SVM 模型分类准确率/预测标签极快t_sne.py特征 .npy二维可视化图快在实际操作中很多人会把 extract_features.py 的输出特征也存一份到磁盘。这样做有个好处SVM 调参的时候不需要反复跑 CNN 前向推理特征矩阵加载到内存就行。我一般会把特征文件命名成 train_features.npy 和 test_features.npy后面在 train_svm.py 里直接 np.load省掉不少 IO 时间。3. 训练 CNN 基座train.py 的架构设计与特征提取边界3.1 CNN 部分到底在学什么CNN 的前半段由卷积层和池化层堆叠而成后半段是展平后的全连接层。项目里 train.py 构建的模型大致是这个结构输入层接两个卷积块每个卷积块包含 Conv2D、ReLU 激活、MaxPooling2D然后接一个 Dropout 做正则化最后展平后接 Dense 层和 softmax 输出。这个结构不算深但对于土地利用分类这种中等难度的数据集已经足够学到有区分度的纹理和形状特征。卷积层的作用是提取局部特征第一层卷积学到的往往是边缘、颜色块这样的低级特征第二层卷积开始组合出纹理模式。池化层在这里面承担两个任务降维减少计算量以及提供一定的平移不变性。关键的一点是CNN 的特征提取能力和分类能力是耦合在同一个网络里的我们之所以要截断它是因为全连接层softmax 学到的决策边界是线性的而 SVM 配合核函数可以在特征空间中构造更复杂的非线性边界。我把 train.py 里的模型结构整理成了参数表方便你对照理解每一层的作用层类型输出尺寸参数数量作用Conv2D(32, 3x3)224x224x32约 900提取低级边缘特征MaxPooling2D(2x2)112x112x320降采样增强平移不变性Conv2D(64, 3x3)112x112x64约 18496提取中级纹理特征MaxPooling2D(2x2)56x56x640进一步降维Flatten2007040展平为特征向量Dropout(0.5)2007040防止过拟合靠后才会用到Dense(128)128约 2560 万组合全局特征Softmax(N类)N128*N输出类别概率注意 Flatten 之后那个 200704 维的向量这个维度直接决定了后面 SVM 的输入规模也是我们提取特征时最关心的位置。3.2 应该从哪一层截断来提取特征这是整个项目里最值得琢磨的问题。截断位置不同特征的性质完全不同。如果从最后一个卷积层之后截断得到的是 56x56x64 的空间特征图展平后维度极高SVM 在这种维度上训练会非常慢而且容易过拟合。如果从第一个全连接层之后截断得到的是 128 维的紧凑向量SVM 训练速度快但可能丢掉部分细粒度信息。从项目实际代码来看extract_features.py 的做法是取全连接层之前的激活输出。我一般建议用 Dense(128) 这层的输出而不是卷积层的输出。理由有三个第一128 维对 SVM 来说是非常友好的输入规模RBF 核的 Gram 矩阵计算量可控第二全连接层已经把前面的局部特征做了全局组合信息密度高第三维度低意味着你不需要额外做 PCA 降维省掉一个环节就少一个坑。如果你发现 128 维特征在 SVM 上表现不佳再回头尝试更大维度的中间层这个排查方向是成本最低的。特征提取的核心代码如下from keras.models import Model from keras.layers import Input def build_feature_extractor(model, layer_index-3): 从已训练好的 CNN 模型中截断返回特征提取器。 layer_index-3 表示取倒数第三层即 Dense(128) 的激活输出。 inputs model.input features_layer model.layers[layer_index].output extractor Model(inputsinputs, outputsfeatures_layer) return extractor这段代码用的是 Keras 函数式 API先拿到原始模型的输入张量再通过 layers 索引定位到目标层最后用 Model 类把输入和该层输出重新包装成一个独立模型。这里 layer_index-3 是经验值不同模型的层列表长度不一样取负索引是从尾部往前数更稳。你先用model.summary()打印所有层确认倒数第三层确实是 Dense(128)再跑这段代码不要盲信索引。3.3 训练参数怎么定epoch、batch_size 与学习率train.py 的训练参数直接决定了 CNN 基座的质量也间接影响 SVM 的上限。如果 CNN 本身没训好提取的特征就是垃圾SVM 再厉害也救不回来。我拿到这个项目后第一件事就是看它的默认参数然后根据数据集规模做调整。常见做法是 batch_size 设 32 或 64epoch 设 30 到 50优化器用 Adam初始学习率 1e-3。数据量小的时候epoch 数不要太大配合 EarlyStopping 回调监控验证集准确率连续 5 个 epoch 不提升就停止。项目里如果没写 EarlyStopping我建议自己加上因为 CNN 在这个环节很容易过拟合。这里有一个容易被忽略的细节训练 CNN 时用的数据增强策略。如果你的项目里包含 ImageDataGeneratorshift_range 和 zoom_range 的值别设太大。土地利用图像如果放大 20% 以上地物语义可能就变了反而给模型灌入错误信息。我一般控制在 0.1 以内。4. 特征提取与 SVM 训练extract_features.py 到 train_svm.py 的完整链路4.1 extract_features.py 到底导出什么extract_features.py 做的事情是把训练好的 CNN 模型在数据集上跑一遍前向推理把 Dense(128) 层的输出保存为 numpy 数组。这个数组的 shape 是 (样本数, 128)每一行代表一张图的特征向量。这里有一个比想象中更重要的步骤特征是否需要归一化。SVM 对特征的尺度非常敏感尤其是使用 RBF 核时它计算的是样本间的欧氏距离如果某个特征的数值范围是 [0, 255]另一个是 [0, 1]大数值范围的特征会完全主导距离计算。常见的做法是用 StandardScaler 做标准化让每个维度均值 0、方差 1。代码如下import numpy as np from sklearn.preprocessing import StandardScaler def load_and_scale_features(feature_path): 加载特征矩阵并做标准化。返回标准化后的特征和 scaler 对象。 features np.load(feature_path) # shape: (n_samples, n_features) scaler StandardScaler() features_scaled scaler.fit_transform(features) return features_scaled, scalerStandardScaler 使用的是训练集的均值和方差测试集必须用同一个 scaler 做 transform不能在测试集上重新 fit。这个错误我见过太多次测试集单独 fit 会导致数据泄露SVM 的评估结果虚高。如果你在 svm_predict.py 里加载测试特征后直接丢给 SVM而没有先经过 train_svm.py 里保存下来的 scaler那结果就是错的。4.2 train_svm.py 的参数设置C 与 gamma 的选择逻辑SVM 的核心参数有两个正则化系数 C 和 RBF 核的 gamma。C 控制误分类的惩罚力度C 越大模型越倾向于把所有训练样本分对但也更容易过拟合C 越小决策边界越平滑泛化能力可能更好。gamma 控制 RBF 核的宽度gamma 越大每个支持向量的影响范围越小决策边界越复杂gamma 越小边界越平滑。我在实际跑这个项目时最省心的方式是先用默认参数跑一遍基线再用网格搜索 GridSearchCV 在几个数量级上搜索。搜索范围一般这样定C 从 0.1 到 100 取对数间隔gamma 从 0.001 到 1 取对数间隔。代码实现如下from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV def train_svm_with_search(train_features, train_labels): 对 SVM 做网格搜索返回最优模型。用 5 折交叉验证评估。 param_grid { C: [0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1], kernel: [rbf] } svm SVC(probabilityTrue, random_state42) grid GridSearchCV(svm, param_grid, cv5, scoringaccuracy, n_jobs-1) grid.fit(train_features, train_labels) return grid.best_estimator_, grid.best_params_这里有个参数值得单独说probabilityTrue。项目里 svm_predict.py 如果要输出置信度就需要这个参数。但它有代价SVM 的概率估计需要额外做一次 Platt scaling 交叉验证训练时间会明显变长。如果你的应用只需要类别标签、不需要概率建议把这个参数关掉能省不少时间。网格搜索的输出你会看到一个有意思的现象最优的 C 往往不是最大的那个最优的 gamma 也很少是 0.001 这种极小值。这说明特征空间里各类别并非线性可分但也没有复杂到需要极端精细的边界。这个观察反过来印证了 CNN 特征提取的有效性。4.3 svm_predict.py 的评估流程保存模型别把 scaler 忘了训练完 SVM 之后需要把模型和 scaler 都保存下来。很多初学者只保存了 model.pkl测试的时候直接加载预测结果准确率比训练时低一截就是因为忘了保存 scaler。我习惯把两个文件放在同一个目录命名上带上数据集信息比如 svm_model_land_use.pkl 和 scaler_land_use.pkl。预测阶段的代码大概是这个样子import joblib import numpy as np def predict_with_svm(features_path, svm_path, scaler_path): 加载测试特征、SVM 模型和 scaler输出预测类别。 features np.load(features_path) scaler joblib.load(scaler_path) svm joblib.load(svm_path) features_scaled scaler.transform(features) # 注意用 transform不是 fit_transform predictions svm.predict(features_scaled) return predictions关注scaler.transform这一行前面强调过测试集上只能用 transform。如果误用了 fit_transformscaler 会用测试集的统计量重新标准化整个特征分布偏移预测结果毫无参考价值。这个问题在深度学习项目里不太常见因为 BatchNorm 层的参数在训练时就已经固定了但在 sklearn 的流水线里是高频翻车点。5. 避坑指南特征层面的六个典型问题和排查思路5.1 第一个坑transform 和 fit_transform 混用现象测试集的准确率比训练集低 15% 以上而且每次跑结果还不一样。原因测试特征在 svm_predict.py 里先调用了 fit_transformscaler 重新计算了均值和方差特征分布被改写了。这属于数据泄露的一种模型的评估分数失去了意义。解决在 train_svm.py 里训练完 scaler 后立即 joblib.dump 保存svm_predict.py 里只允许出现 scaler.transform。写代码时就养成习惯fit 只出现一次transform 可以出现无数次。5.2 第二个坑特征维度爆炸SVM 训练卡死现象train_svm.py 跑了几十分钟还没出结果CPU 风扇狂转内存占用飙升。原因如果你从 Flatten 层或最后一个卷积层提取特征维度可能是几万甚至几十万维。RBF 核 SVM 需要计算所有样本两两之间的核矩阵复杂度是 O(n²·d)n 是样本数d 是维度。几万维特征加上几千个样本矩阵就爆炸了。解决改从 Dense(128) 层截断把特征维度控制在百级。如果必须用高维特征先做 PCA 降到 200 维以下再喂给 SVM。PCA 同样要保存降维器测试集上做同样处理。5.3 第三个坑类别不均衡准确率虚高现象整体准确率 92%但查看混淆矩阵发现某一类几乎是零命中。原因土地利用数据里林地面积常常远大于水体面积。CNN 训练时已经受到不均衡影响SVM 在这个特征空间里也会倾向于把不确定样本分到多数类。解决SVM 里有一个 class_weightbalanced 参数它会根据样本数量自动调整类别权重。这个参数不加白不加加了之后少数类的召回率往往有明显提升多数类的准确率下降有限。效果不够再考虑对少数类做上采样。5.4 第四个坑SVM 没做交叉验证被随机种子坑了现象同一个代码跑两次准确率波动 2%3%。原因SVM 的训练本身是确定性的但如果你用 train_test_split 划分训练集和测试集随机种子不同数据分布就不同。这个波动其实是数据划分带来的与模型无关。解决train_svm.py 里用 StratifiedKFold 做 5 折交叉验证取平均准确率作为模型评估指标。最终模型用全量数据重新训练这样既保证了评估稳定性又利用了全部数据。5.5 第五个坑CNN 没训好就着急导特征现象SVM 准确率只有 50%跟随机猜差不多。原因CNN 的训练 epoch 数不够或者学习率设置不当模型还在欠拟合状态就停了。特征是 CNN 前向推理输出的基座没学好特征自然是无效的。解决回过去看 train.py 的训练曲线确认训练集准确率至少到了 95% 以上再考虑导特征。如果训练集都上不去调 CNN 的结构和参数如果训练集高但验证集低先解决过拟合。基座不稳SVM 就是空中楼阁。5.6 第六个坑t_sne.py 画图结果完全分不开现象t-SNE 可视化图里两类样本完全混杂在一起看不出任何聚类结构。原因t-SNE 对高维空间的距离感知非常敏感如果不同类别的特征分布是渐变的比如某两类地物的纹理相似它们在特征空间里可能真的靠近。也可能是 perplexity 参数设置不当。解决检查用的是第几层输出如果用的是最后的 softmax 层之前的位置特征应该已经比较抽象了。如果用的是第一个卷积层那信息确实不够。perplexity 设为 30 是常规值样本太少就降到 5 到 10。6. 把特征工程收个尾t-SNE 可视化与交叉验证组合拳说到验证整个 CNN-SVM 链路是否真的有效我最看重的两个工具就是 t-SNE 可视化和分层交叉验证。前者用肉眼看特征可分性后者用数字告诉你泛化能力两个一起用比只看准确率踏实得多。t-SNE 的用法其实很简单extract_features.py 导出 128 维特征之后t_sne.py 把它降维到二维并画散点图。代码如下from sklearn.manifold import TSNE import matplotlib.pyplot as plt def visualize_features(features_path, labels_path, n_classes6): 用 t-SNE 把高维特征降到二维按标签着色可视化。 perplexity 设为 30迭代次数设大一点保证收敛。 features np.load(features_path) labels np.load(labels_path) tsne TSNE(n_components2, perplexity30, n_iter1000, random_state42) features_2d tsne.fit_transform(features) plt.figure(figsize(10, 8)) scatter plt.scatter(features_2d[:, 0], features_2d[:, 1], clabels, cmaptab10, s10) plt.colorbar(scatter) plt.title(t-SNE Visualization of CNN Features) plt.show()这段代码里要注意 n_iter 参数老版本 sklearn 还叫 n_iter新版本改成了 max_iter不兼容会直接报错。如果遇到这个问题把参数名改成 max_iter 就行。t-SNE 的随机性很强random_state 固定下来方便多次运行结果对比。t-SNE 图应该怎么看理想状态是不同类别呈现明显的团簇每个簇内部紧凑簇与簇之间有清晰的间隙。如果类别之间相互交叠严重说明 CNN 提取的特征本身就没有把这两类区分开来。这时候你有两个选择加深 CNN 网络结构或者接受这个分类上限。一个有意思的观察是如果某两类在 t-SNE 里交叠它们在 SVM 上的混淆矩阵里也大概率是主要错误来源两者高度对应。交叉验证这一头train_svm.py 里用交叉验证与 t-SNE 形成互补。t-SNE 告诉你特征在全局分布上是否可分交叉验证告诉你在这个特征空间里 SVM 的泛化表现。我会打印每一折的准确率如果五折结果标准差超过 1.5%说明某些类别在特定划分下很难学这时候需要回看类别样本数量和分布。从那以后我每次跑这个项目的完整流程都会强制走一遍「先看 t-SNE 图再跑交叉验证」的组合拳最后才看测试集准确率。如果 t-SNE 图已经乱成一团后面两步就直接跳过省下的是大量调参时间。希望这份拆解笔记能帮你在自己的数据集上少走几步弯路。本文还有配套的精品资源点击获取