大家好我是专注于技术实战分享的博主。在医学影像分析领域如何从复杂的病理切片图像中自动、定量地识别和定位肿瘤的生长模式一直是计算机视觉辅助诊断的难点。传统的目视评估耗时耗力且存在主观差异。本文将深入探讨如何利用经典的Bag-of-Visual-Words视觉词袋BoVW模型结合空间映射技术实现对肺腺癌生长模式的自动化分类与可视化定位。无论你是计算机视觉的初学者还是希望将传统CV方法应用于特定领域如医疗影像的开发者都能通过本文掌握一套从理论到代码的完整流程。1. 背景与核心概念为什么是视觉词袋在深入代码之前我们首先要理解问题的本质和所选工具的合理性。1.1 肺腺癌生长模式分析的任务挑战肺腺癌的病理切片中癌细胞并非均匀分布它们会形成不同的生长模式例如贴壁型、腺泡型、乳头型、微乳头型、实体型等。病理学家需要在整张高分辨率全切片图像Whole Slide Image, WSI中识别并评估这些模式的比例这对预后判断至关重要。手动完成这项工作极其繁琐且不同观察者之间可能存在判断差异。因此自动化、可重复的定量分析工具需求迫切。1.2 Bag-of-Visual-Words 模型的适配性BoVW 模型源于文本分析中的词袋模型后被成功引入计算机视觉。其核心思想是特征提取将图像视为“文档”从图像中提取大量局部特征如SIFT、SURF这些特征点相当于“视觉单词”。构建词典对所有训练图像提取的特征进行聚类如K-Means聚类中心即为“视觉词典”中的“单词”。图像表示对于任何一张新图像提取其特征并统计每个“视觉单词”出现的频率形成该图像的直方图表示。这个过程丢弃了特征的空间位置信息只保留频率信息故称“词袋”。分类将图像的直方图表示作为特征向量输入分类器如SVM、随机森林进行训练和预测。对于医学影像分类任务BoVW 的优势在于对局部特征鲁棒不依赖于全局的、固定的结构能很好地捕捉纹理、细胞形态等局部模式。可解释性可以通过分析哪些“视觉单词”对分类贡献大反向关联到图像局部区域。技术成熟流程清晰无需极深的网络和大量数据也能取得不错效果非常适合作为传统CV方法入门的典型案例。1.3 空间映射的引入经典BoVW模型丢失了空间信息这对于需要定位生长模式的我们来说是不可接受的。因此空间映射Spatial Mapping成为关键。其思路是我们不将整张图像编码为一个直方图而是将图像划分为多个小块例如将WSI划分为成千上万个固定大小的小图块。对每个小图块独立应用BoVW模型得到其类别概率或特征向量。最终根据每个小图块的位置和预测结果生成一张彩色的“热图”或“分类图”直观显示不同生长模式在整张切片中的空间分布。这就是“Spatial Mapping of Growth Patterns”的核心。2. 环境准备与版本说明本项目主要使用 Python 及其科学计算和计算机视觉库。以下环境配置已通过测试。操作系统 Ubuntu 20.04 LTS / Windows 10 WSL2 / macOS。Linux 环境在依赖安装上最为顺畅。Python 版本 3.8 或 3.9。避免使用 Python 3.10 可能存在的某些库兼容性问题。核心库及版本opencv-python(4.5.5.64) 用于图像读取、预处理和SIFT特征提取。scikit-learn(1.0.2) 用于K-Means聚类、标准化和分类器SVM。scikit-image(0.19.2) 用于图像处理和图块划分。numpy(1.22.3) 数值计算基础。matplotlib(3.5.1) seaborn(0.11.2) 结果可视化。tqdm(4.64.0) 显示进度条。Pillow(9.1.0) 图像处理辅助。项目结构建议lung_adenocarcinoma_bovw/ ├── data/ │ ├── train/ │ │ ├── pattern_A/ # 存放贴壁型训练图像 │ │ ├── pattern_B/ # 存放腺泡型训练图像 │ │ └── ... │ └── test/ │ └── patient_01.svs # 测试用的整张WSI或大图 ├── src/ │ ├── config.py # 参数配置文件 │ ├── feature_extraction.py │ ├── dictionary_learning.py │ ├── spatial_encoding.py │ ├── classifier_training.py │ ├── spatial_mapping.py │ └── utils.py ├── output/ │ ├── visual_vocabulary.npy │ ├── svm_model.pkl │ └── spatial_maps/ └── requirements.txt你可以通过以下命令快速安装依赖pip install opencv-python4.5.5.64 scikit-learn1.0.2 scikit-image0.19.2 numpy1.22.3 matplotlib3.5.1 seaborn0.11.2 tqdm4.64.0 Pillow9.1.0注意OpenCV 默认的opencv-python包不包含专利保护算法如 SIFT。如果你需要 SIFT请安装opencv-contrib-python或者从源码编译 OpenCV 并开启OPENCV_ENABLE_NONFREE。本文示例使用opencv-contrib-python。3. 核心原理与流程拆解整个项目流程可以分解为离线训练和在线推理两个阶段下图清晰地展示了从数据到最终空间热图的完整闭环flowchart TD A[输入: 已标注的br训练图像块] -- B[特征提取brSIFT/SURF] B -- C[视觉词典学习brK-Means聚类] C -- D[训练集图像编码br生成BoVW特征向量] D -- E[训练分类器br如SVM] F[输入: 待分析的br整张WSI] -- G[图像分块] G -- H[单图块特征提取与编码] H -- I[分类器预测br每个图块的类别] I -- J[空间映射与可视化br生成分类热图] C -- 视觉词典 -- H E -- 分类模型 -- I3.1 特征提取从图像到局部描述子我们使用 SIFTScale-Invariant Feature Transform算法。SIFT 能够检测图像中的关键点并计算每个关键点周围区域的128维描述子该描述子对尺度、旋转和亮度变化具有一定的不变性。# src/feature_extraction.py import cv2 import numpy as np from tqdm import tqdm import os def extract_sift_features_from_image(image_path): 从单张图像提取SIFT特征 img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) # 转为灰度图 if img is None: print(fWarning: Could not read image {image_path}) return None # 初始化SIFT检测器 sift cv2.SIFT_create() # 检测关键点并计算描述子 keypoints, descriptors sift.detectAndCompute(img, None) if descriptors is not None: # 描述子是一个 (n_keypoints, 128) 的numpy数组 return descriptors else: return np.array([]).reshape(0, 128) # 返回空数组保持维度一致 def extract_sift_features_from_directory(data_dir, pattern_folders): 从指定目录的所有子文件夹代表不同类别中提取特征 all_descriptors [] all_labels [] for label_idx, pattern in enumerate(pattern_folders): folder_path os.path.join(data_dir, pattern) image_files [f for f in os.listdir(folder_path) if f.endswith((.png, .jpg, .tif))] print(fProcessing class {pattern} with {len(image_files)} images...) for img_file in tqdm(image_files): img_path os.path.join(folder_path, img_file) descriptors extract_sift_features_from_image(img_path) if descriptors is not None and len(descriptors) 0: all_descriptors.append(descriptors) # 为每个描述子打上相同的标签 all_labels.extend([label_idx] * len(descriptors)) # 将所有描述子堆叠成一个大的数组 (N_total_descriptors, 128) if all_descriptors: all_descriptors np.vstack(all_descriptors) else: all_descriptors np.array([]).reshape(0, 128) all_labels np.array(all_labels) return all_descriptors, all_labels关键点extract_sift_features_from_directory函数返回两个数组一个是所有描述子的集合另一个是对应的类别标签。注意这里标签是打在每个描述子上的而不是每张图像。这在后续构建词典时用于分析词典单词的判别力但在标准BoVW流程中K-Means聚类本身是无监督的不依赖标签。3.2 视觉词典学习聚类生成视觉单词我们将从所有训练图像中提取的数十万甚至上百万个SIFT描述子进行聚类。每个聚类中心就是一个“视觉单词”所有聚类中心构成“视觉词典”。词典大小聚类数K是一个超参数通常根据经验在500-2000之间选择。# src/dictionary_learning.py import numpy as np from sklearn.cluster import MiniBatchKMeans import joblib import os def learn_visual_vocabulary(descriptors, vocab_size500, batch_size1000, random_state42): 使用MiniBatchKMeans学习视觉词典 参数: descriptors: 所有训练描述子形状 (n_samples, n_features) vocab_size: 视觉词典大小即聚类数量K batch_size: MiniBatchKMeans的批大小 random_state: 随机种子保证可复现 返回: kmeans: 训练好的KMeans模型 if len(descriptors) vocab_size: print(fWarning: Number of descriptors ({len(descriptors)}) is less than vocab_size ({vocab_size}). Reducing vocab_size.) vocab_size len(descriptors) print(fClustering {len(descriptors)} descriptors into {vocab_size} visual words...) # 使用MiniBatchKMeans加速大规模数据聚类 kmeans MiniBatchKMeans(n_clustersvocab_size, batch_sizebatch_size, random_staterandom_state, verbose1) kmeans.fit(descriptors) print(fVisual vocabulary learned. Cluster centers shape: {kmeans.cluster_centers_.shape}) return kmeans def save_vocabulary(model, filepath): 保存视觉词典KMeans模型到文件 joblib.dump(model, filepath) print(fVocabulary saved to {filepath}) def load_vocabulary(filepath): 从文件加载视觉词典 model joblib.load(filepath) print(fVocabulary loaded from {filepath}) return model为什么用MiniBatchKMeans标准的K-Means算法需要计算所有样本点到所有质心的距离复杂度高。MiniBatchKMeans使用小批量数据迭代更新质心大大降低了内存消耗和计算时间尤其适合处理海量特征描述子且效果接近标准K-Means。3.3 图像编码生成BoVW特征向量对于一张图像或一个图块我们提取其SIFT描述子然后对于每个描述子在视觉词典中找到距离最近的视觉单词即所属的聚类并统计所有描述子所属单词的直方图。这个直方图就是该图像的BoVW表示。# src/spatial_encoding.py import numpy as np from sklearn.preprocessing import normalize def encode_image_with_bovw(descriptors, kmeans_model): 将图像的描述子编码为BoVW直方图 参数: descriptors: 单张图像的描述子形状 (n_descriptors, 128) kmeans_model: 训练好的KMeans模型 返回: bovw_vector: 归一化的BoVW直方图形状 (vocab_size,) if descriptors is None or len(descriptors) 0: # 如果图像没有提取到特征返回全零向量 return np.zeros(kmeans_model.n_clusters) # 预测每个描述子属于哪个视觉单词聚类 visual_word_ids kmeans_model.predict(descriptors) # 形状 (n_descriptors,) # 统计直方图 bovw_hist, _ np.histogram(visual_word_ids, binsnp.arange(kmeans_model.n_clusters 1), densityFalse) # 可选进行归一化消除图像大小特征数量的影响 # L2归一化是常见选择 bovw_vector normalize(bovw_hist.reshape(1, -1), norml2).flatten() return bovw_vector def create_bovw_features_for_dataset(image_paths, kmeans_model): 为数据集中的多张图像生成BoVW特征矩阵 参数: image_paths: 图像路径列表 kmeans_model: 视觉词典模型 返回: X: 特征矩阵形状 (n_images, vocab_size) from .feature_extraction import extract_sift_features_from_image X [] print(fEncoding {len(image_paths)} images into BoVW features...) for img_path in tqdm(image_paths): desc extract_sift_features_from_image(img_path) bovw_vec encode_image_with_bovw(desc, kmeans_model) X.append(bovw_vec) return np.array(X)4. 完整实战案例肺腺癌生长模式空间映射现在我们将上述模块串联起来完成一个端到端的示例。假设我们的数据已经准备好训练集是已裁剪好的、标注好生长模式的小图块测试集是一张完整的WSI大图。4.1 第一步训练视觉词典和分类器我们首先在训练集图块上训练出视觉词典和分类器。# src/classifier_training.py import os import numpy as np from sklearn.model_selection import train_test_split from sklearn.svm import SVC from sklearn.metrics import classification_report, confusion_matrix import joblib from .feature_extraction import extract_sift_features_from_directory from .dictionary_learning import learn_visual_vocabulary, save_vocabulary from .spatial_encoding import create_bovw_features_for_dataset def train_pipeline(train_data_dir, vocab_size800, test_size0.2, random_state42): 完整的训练流程 1. 提取训练集所有描述子 2. 学习视觉词典 3. 将训练图像编码为BoVW特征 4. 训练SVM分类器 # 假设训练数据按类别存放在子文件夹中 pattern_folders [lepidic, acinar, papillary, micropapillary, solid] # 示例类别 # 1. 提取特征 print(Step 1: Extracting SIFT features from training patches...) all_descriptors, descriptor_labels extract_sift_features_from_directory(train_data_dir, pattern_folders) # 2. 学习视觉词典 print(\nStep 2: Learning visual vocabulary...) kmeans_model learn_visual_vocabulary(all_descriptors, vocab_sizevocab_size, random_staterandom_state) save_vocabulary(kmeans_model, ../output/visual_vocabulary.pkl) # 3. 准备图像级标签和路径 print(\nStep 3: Preparing image-level data...) image_paths [] image_labels [] for label_idx, pattern in enumerate(pattern_folders): folder_path os.path.join(train_data_dir, pattern) for img_file in os.listdir(folder_path): if img_file.lower().endswith((.png, .jpg, .jpeg, .tif, .tiff)): image_paths.append(os.path.join(folder_path, img_file)) image_labels.append(label_idx) # 4. 将每张训练图像编码为BoVW特征向量 print(\nStep 4: Encoding training images into BoVW features...) X create_bovw_features_for_dataset(image_paths, kmeans_model) y np.array(image_labels) # 5. 划分训练集和验证集 X_train, X_val, y_train, y_val train_test_split(X, y, test_sizetest_size, random_staterandom_state, stratifyy) # 6. 训练分类器这里使用线性SVM适合高维特征 print(\nStep 5: Training SVM classifier...) svm_classifier SVC(kernellinear, C1.0, probabilityTrue, random_staterandom_state) # 启用概率估计便于后续分析 svm_classifier.fit(X_train, y_train) # 7. 在验证集上评估 y_pred svm_classifier.predict(X_val) print(\n Classification Report on Validation Set ) print(classification_report(y_val, y_pred, target_namespattern_folders)) print(\n Confusion Matrix ) print(confusion_matrix(y_val, y_pred)) # 8. 保存模型 joblib.dump(svm_classifier, ../output/svm_classifier.pkl) print(\nModels saved to ../output/) return kmeans_model, svm_classifier, pattern_folders if __name__ __main__: # 配置你的训练数据路径 TRAIN_DATA_DIR ../data/train/ kmeans, svm, class_names train_pipeline(TRAIN_DATA_DIR, vocab_size800)4.2 第二步整张WSI的空间映射训练好模型后我们将其应用于整张WSI生成空间分类图。# src/spatial_mapping.py import cv2 import numpy as np from skimage.util import view_as_windows import matplotlib.pyplot as plt from matplotlib import colors from .feature_extraction import extract_sift_features_from_image from .spatial_encoding import encode_image_with_bovw def generate_spatial_map(wsi_path, kmeans_model, classifier, class_names, patch_size256, stride128): 对整张WSI进行滑动窗口预测生成空间分类图 参数: wsi_path: 全切片图像路径可能是.svs, .tif等这里假设已转换为金字塔TIFF或大图 kmeans_model: 视觉词典模型 classifier: 训练好的分类器 class_names: 类别名称列表 patch_size: 滑动窗口大小像素 stride: 滑动步长像素 返回: prediction_map: 预测类别ID的矩阵 probability_maps: 每个类别的概率矩阵列表 # 注意真实WSI非常大需要专用库如openslide读取。这里假设已加载为numpy数组 wsi_image # 以下为简化示例使用OpenCV读取一个大的测试图像 wsi_image cv2.imread(wsi_path) if wsi_image is None: # 如果是.svs格式需要使用 openslide # import openslide # slide openslide.OpenSlide(wsi_path) # level slide.level_count - 1 # 读取最低分辨率层级 # wsi_image np.array(slide.read_region((0,0), level, slide.level_dimensions[level]))[:, :, :3] # slide.close() raise ValueError(fCould not read image from {wsi_path}) # 转换为灰度图用于特征提取SIFT需要灰度 wsi_gray cv2.cvtColor(wsi_image, cv2.COLOR_BGR2GRAY) h, w wsi_gray.shape # 初始化输出矩阵 # 计算预测图的大小基于步长 map_h (h - patch_size) // stride 1 map_w (w - patch_size) // stride 1 prediction_map np.full((map_h, map_w), -1, dtypenp.int8) # -1表示未处理 probability_maps [np.zeros((map_h, map_w)) for _ in range(len(class_names))] print(fWSI size: {w}x{h}, Patch size: {patch_size}, Stride: {stride}, Prediction map size: {map_w}x{map_h}) # 滑动窗口遍历 for i in range(0, h - patch_size 1, stride): for j in range(0, w - patch_size 1, stride): # 提取图块 patch wsi_gray[i:ipatch_size, j:jpatch_size] # 提取SIFT特征并编码为BoVW sift cv2.SIFT_create() kp, desc sift.detectAndCompute(patch, None) if desc is not None and len(desc) 10: # 特征点太少可能不可靠 bovw_vec encode_image_with_bovw(desc, kmeans_model) # 预测 # 获取类别概率 proba classifier.predict_proba(bovw_vec.reshape(1, -1))[0] pred_class np.argmax(proba) # 计算在图上的位置索引 map_i i // stride map_j j // stride if map_i map_h and map_j map_w: prediction_map[map_i, map_j] pred_class for cls_idx in range(len(class_names)): probability_maps[cls_idx][map_i, map_j] proba[cls_idx] else: # 无足够特征可能为背景或空白区域 map_i i // stride map_j j // stride if map_i map_h and map_j map_w: prediction_map[map_i, map_j] -1 # 标记为背景 return prediction_map, probability_maps, wsi_image def visualize_spatial_map(prediction_map, class_names, original_imageNone, stride128, patch_size256): 可视化空间分类图 # 创建颜色映射 cmap plt.cm.get_cmap(tab10, len(class_names)) norm colors.Normalize(vmin-0.5, vmaxlen(class_names)-0.5) fig, axes plt.subplots(1, 2, figsize(15, 7)) # 显示原图如果提供 if original_image is not None: axes[0].imshow(cv2.cvtColor(original_image, cv2.COLOR_BGR2RGB)) axes[0].set_title(Original WSI (Low-res)) axes[0].axis(off) # 显示预测图 # 将预测图放大到与原图对应的坐标 # 这里简化处理直接显示prediction_map im axes[1].imshow(prediction_map, cmapcmap, normnorm, interpolationnearest) axes[1].set_title(Predicted Growth Pattern Map) axes[1].axis(off) # 添加颜色条 cbar fig.colorbar(im, axaxes[1], ticksnp.arange(len(class_names))) cbar.ax.set_yticklabels(class_names) plt.tight_layout() plt.savefig(../output/spatial_maps/prediction_map.png, dpi300, bbox_inchestight) plt.show() print(Spatial map saved to ../output/spatial_maps/prediction_map.png) if __name__ __main__: # 加载模型 import joblib kmeans joblib.load(../output/visual_vocabulary.pkl) svm joblib.load(../output/svm_classifier.pkl) class_names [lepidic, acinar, papillary, micropapillary, solid] # 生成空间映射图 TEST_WSI_PATH ../data/test/patient_01_lowres.jpg # 替换为你的测试图像路径 pred_map, prob_maps, original_img generate_spatial_map(TEST_WSI_PATH, kmeans, svm, class_names, patch_size256, stride128) # 可视化 visualize_spatial_map(pred_map, class_names, original_img)5. 常见问题与排查思路在实际运行中你可能会遇到以下典型问题问题现象可能原因排查与解决思路OpenCV 无法提取 SIFT 特征1. 安装的opencv-python不包含 SIFT。2. 图像路径错误或无法读取。3. 图像全黑或纹理单一检测不到关键点。1. 卸载opencv-python安装opencv-contrib-python。2. 检查路径用cv2.imread打印img是否为None。3. 尝试其他特征如 SURF (cv2.xfeatures2d.SURF_create()) 或 ORB。K-Means 聚类内存不足或极慢描述子数量过多100万标准 K-Means 内存爆炸。1. 使用MiniBatchKMeans。2. 对描述子进行下采样随机抽取一部分如30%用于聚类。3. 增加batch_size参数。SVM 训练准确率很低 (50%)1. 视觉词典大小不合适。2. BoVW 特征未归一化量纲影响大。3. 训练数据量太少或类别不平衡。4. 特征本身缺乏判别力。1. 调整vocab_size(200, 500, 1000, 2000)。2. 检查encode_image_with_bovw中是否进行了 L2 归一化。3. 增加数据或对 BoVW 特征使用 TF-IDF 加权。4. 尝试结合颜色特征如颜色直方图或使用深度学习特征。空间映射结果全是背景或杂乱无章1. 图块大小 (patch_size) 不合适可能远大于细胞结构。2. 步长 (stride) 太小计算量巨大且过拟合太大则丢失细节。3. 分类器在验证集上表现就差模型本身不行。1. 根据细胞尺度调整patch_size(如 128x128, 256x256)。2. 步长通常设为patch_size/2或patch_size/4以平衡细节和速度。3. 返回检查训练流程确保分类器在独立验证集上表现良好。处理整张 WSI 速度极慢滑动窗口遍历所有图块每个图块都提取 SIFT 并预测计算成本高。1.多尺度处理先在低分辨率下定位感兴趣区域ROI再在高分辨率下细分类。2.并行计算使用multiprocessing或joblib并行处理图块。3.优化特征提取使用更快的特征如 ORB或预计算图块特征。生成的预测图有网格状伪影步长 (stride) 等于图块大小 (patch_size)图块间无重叠导致边界不连续。使用重叠滑动窗口即stridepatch_size。重叠区域可以通过概率平均或投票来平滑结果。6. 最佳实践与工程建议将 BoVW 模型应用于实际的医学影像分析项目需要考虑以下工程化细节1. 特征工程优化特征融合SIFT 描述的是局部梯度纹理。对于医学图像颜色信息HE染色也很重要。可以额外提取颜色直方图、局部二值模式LBP纹理特征与 BoVW 特征拼接形成多模态特征向量。TF-IDF 加权直接统计词频TF会偏向于频繁出现但判别力不强的“视觉单词”。引入逆文档频率IDF可以降低常见单词的权重提升稀有但具有类别特异性的单词的重要性。scikit-learn的TfidfTransformer可以方便实现。空间金字塔匹配SPM为了引入一定的空间信息可以在图像划分的多个层级如1x1, 2x2, 4x4网格上分别计算 BoVW 直方图然后拼接起来。这能显著提升分类精度是传统 BoVW 的强力改进。2. 分类器选择与调参SVM 核函数线性核 (kernel‘linear’) 通常对高维稀疏的 BoVW 特征效果很好且速度快。如果效果不佳可以尝试径向基函数核 (kernel‘rbf’)但需要小心调参 (C和gamma) 以防止过拟合。集成方法随机森林RandomForestClassifier或梯度提升树XGBoost对特征尺度不敏感且能提供特征重要性排序有助于理解哪些“视觉单词”贡献大可解释性强。类别不平衡处理医学数据常有不平衡问题。在 SVM 中可设置class_weight‘balanced’。对于其他分类器可以使用过采样SMOTE、欠采样或调整评估指标如使用 F1-score 或 AUC。3. 针对全切片图像WSI的工程化处理使用专业库切勿用cv2.imread直接读取.svs等格式。使用openslidePython库它能高效读取 WSI 的多分辨率金字塔数据。多尺度分析策略低分辨率层Level 4 或 5用于快速扫描定位肿瘤区域例如通过简单的阈值分割或预训练的语义分割模型生成组织掩膜。高分辨率层Level 0 或 1仅在肿瘤区域内进行精细的图块划分和分类。这能极大减少计算量。结果后处理与平滑直接对每个独立图块分类会产生“椒盐噪声”。可以使用形态学操作如开闭运算或条件随机场CRF对最终的分类图进行平滑使同质区域更连续。4. 模型评估与验证数据集划分务必按病人划分训练集、验证集和测试集而不是随机打乱图像。确保同一个病人的所有图块只出现在一个集合中以避免数据泄露评估模型泛化能力。评估指标对于多分类问题不要只看整体准确率。报告每个类别的精确率Precision、召回率Recall和 F1-score。对于不平衡数据宏观平均Macro-averageF1 比微观平均Micro-average更能反映小类的性能。可视化分析除了最终的热图还应可视化视觉单词将聚类中心视觉单词反向映射到原图查看它代表的典型局部图案是什么。混淆矩阵清晰显示哪些生长模式容易被混淆如腺泡型与乳头型。错误案例查看分类错误的图块分析是特征问题、标注噪声还是模型局限。5. 从传统方法到深度学习的演进BoVW 是一个强大的基线模型。但在数据充足的情况下基于深度学习的方法如 CNN通常能获得更高的性能。你可以将本文的流程作为起点和基线特征提取替代用预训练的 CNN如 ResNet, VGG的中间层输出作为“深度特征”替代 SIFT。然后用这些深度特征进行聚类生成“深度视觉词典”后续流程不变。这通常被称为“深度 BoVW”。端到端训练直接使用 CNN如 Patch-based CNN对每个图块进行分类。虽然需要更多数据和计算资源但特征学习与分类一体化性能上限更高。弱监督学习使用多实例学习MIL框架仅用图像级标签整张WSI的生长模式构成来训练模型避免繁琐的像素级或图块级标注。掌握 Bag-of-Visual-Words 这一经典范式不仅让你能完成一个可用的医学影像分析项目更重要的是理解了图像表示、特征编码和空间分析的核心思想。这为你后续学习更复杂的深度学习方法奠定了坚实的基础。建议读者从本文的代码框架出发在自己的数据集上尝试调整参数、融合新特征并逐步对比引入深度学习组件后的效果提升。