CT扫描做3D图像分类这个题目我第一次看到Keras官方示例库里的那期教程时第一反应是“模型结构肯定很复杂”。等我把整个示例的代码和数据处理流程走了一遍之后才反应过来真正劝退大多数人的根本不是3D卷积长什么样而是“怎么把一堆几百层的CT切片喂进模型”这件听起来简单、做起来全是细节的事情。这篇内容我想从原理到实操完整拆解一遍CT扫描3D图像分类任务讲清楚CT数据为什么天生就是“3D图片”3D卷积到底在算什么预处理阶段的几个关键数字比如-1000和400从哪里来以及搭一个能跑通的训练管线最容易被忽略的环节。适合已经开始学深度学习、想从2D图像分类跨到3D医学影像分类或者被CT数据加载逼疯的读者直接拿这条思路去套你自己的数据集。1. 3D卷积到底在算什么以及CT这类“3D图片”和普通照片的本质差异1.1 CT扫描为什么天生就是3D数据从切片堆叠到体素密度先说清楚一个基础认知CT本质上不是“一张图”而是“一叠图”。CT机绕人体扫一圈之后得到的是沿身体长轴方向一层一层切出来的横断面图像每一层的分辨率通常是512×512或者略低层与层之间有一定的间距比如1mm到3mm。这一叠切片按顺序堆起来就构成了一个三维体数据。这个三维体数据里的基本单位叫“体素”voxel它对标的是普通2D图像里的“像素”pixel。像素只有平面上的x、y两个坐标体素则额外多了一个z坐标代表层与层之间的厚度。所以在代码里一个完整的CT扫描样本的长相是(depth, height, width)也就是常说的D、H、W三个维度后续在送入神经网络时再补上通道维变成(depth, height, width, channel)。这里还得补充一个概念CT图像里每个体素对应的数值不是随便的灰度而是“CT值”也叫亨氏单位HU。这个值的物理含义是组织对X射线的衰减程度空气大约是-1000水是0骨头可以达到几百甚至上千。也就是说CT数据的每一个值都携带了物理意义这和普通照片里“0到255表示亮度”完全不同。这带来的影响是你不能把CT图当成普通灰度图直接扔进网络。比如空气区域大量集中在-1000附近而肺组织大概在-500到100之间如果你想识别肺部相关病灶就必须把数值窗口截断到真正有信息量的区间否则模型会把大量算力花在区分“空气”和“肋骨”这种无意义的任务上。1.2 3D卷积和2D卷积的对应关系多出来的那个维度去哪了理解了体素概念之后3D卷积其实很好理解。2D卷积是拿一个小窗口比如3×3的卷积核在图像的宽和高两个方向上滑动3D卷积则再多一个深度方向也就是拿一个3×3×3的小立方体在体素空间里同时沿宽、高、深三个方向滑动。从代码维度上说2D卷积输入是(batch, height, width, channels)3D卷积输入则变成(batch, depth, height, width, channels)。输出维度除了空间上的宽高之外也会保留一个深度维所以整个特征图也是三维的。代价当然也摆在明面上3D卷积的参数量和计算量不是线性增长而是呈立方级扩张。一个3×3×3的卷积核如果输入输出通道都是64那么这一层的权重数量就是3×3×3×64×64算下来超过11万参数是同等通道数2D卷积的3倍。所以3D网络通常设计得比2D网络更浅通道数也更克制否则显存和训练时间都吃不消。1.3 这个示例真正难的地方不在模型而在数据准备我在把Keras这个官方示例完整跑一遍之后最大的感受是模型代码可能二十行就能写完但数据从原始CT文件到能送入网络的张量中间要经历读文件、解析元信息、重采样、截断数值、加掩膜、切片采样、归一化每一步都可能出错而且错误还特别隐蔽。官方案例的流程大致是先从某个公开的肺部CT数据集里读取携带病灶标注的扫描数据这些数据通常是NIfTI或NRRD格式每个扫描对应一个三维数组和一个描述体素间距的元信息文件。然后做重采样和数值截断再通过数据加载器在每次读取时随机抽取一个固定深度的子块既缓解了显存压力也算一种在线增广。最后把子块送入一个堆叠了若干3D卷积层的分类模型去判断这个扫描里是否含有某个肺部疾病病灶。所以这篇文章的后半部分我会按照这条流水线逐段拆解重点放在那些你照着官方示例能跑通、但自己换数据就翻车的细节上。2. 拿到CT原始数据之后的几步“洗数据”那个-1000到400的截断到底在干嘛2.1 CT值是物理量不是随便的灰度图第一次接触CT数据的人最容易犯的错就是把CT值当成普通图像像素做归一化。实际上CT值范围极大从-1000的空气到接近3000以上的金属假体都有。如果直接对整个数据做0到1的缩放绝大多数数值会被压缩到很窄的区间里软组织之间的差异会变得几乎不可见。正确的做法是先做“窗宽窗位”截断也就是只保留我们关心的CT值范围超出范围的直接置为边界值。对于肺部这个场景常见的截断范围是[-1000, 400]因为有诊断意义的区域基本都落在肺实质、血管和软组织的CT值区间里超过400的基本是骨头或金属低于-1000的基本是纯空气这些信息对分类不仅没帮助反而会占用模型容量。截断之后再做归一化比如把[-1000, 400]线性映射到[0, 1]这时候模型看到的输入数值才是有意义的相对密度。这个步骤和在2D图像里做标准化不太一样不是简单的“减均值除方差”而是先剪到物理上有意义的区间再做线性缩放。如果你处理的不是肺部CT这套数字要跟着改。比如看腹部就把窗口调宽看骨窗就把上限调到1000以上。2.2 体素间距重采样为什么要统一成某个固定间距CT扫描来自不同设备、不同医疗机构层厚和面内分辨率五花八门。有的数据层厚1mm有的层厚3mm有的面内分辨率是0.6mm有的是0.8mm。如果我们不处理这个差异模型在这个数据集上学到的东西到另一个数据集上就会失效原因很简单同一个病灶在不同间距下呈现的尺寸和形态在体素空间里完全不同。解决办法是重采样到统一间距。Keras官方示例采用的是把整个扫描重采样到(2mm, 2mm, 2mm)左右的各向同性体素。具体做法是根据原始间距和目标间距的比值计算出重采样后的体素尺寸再用线性插值重建三维数组。这一步有一个便宜的写法直接用scipy.ndimage.zoom对每个维度的比例缩放数组快捷而且效果足够好。重采样之后别忘了另一件事——标注掩膜也要同步变换。数据集里每个扫描会附带一个标注区域掩膜它标记了病灶在哪些体素上存在。如果你只对图像重采样而不对掩膜做同样的变换后续模型看到的“病灶位置”就全错位了。官方示例在预处理阶段同步对掩膜做重采样然后把它叠加到CT体数据上这样每个子块被抽出来时就知道里面有没有病灶、占比多大。2.3 掩膜标注与病灶区域模型看的不是整颗肺刚才说到掩膜其实这是CT分类相对自然图像分类一个很大的区别自然图像分类通常给整张图一个标签而医学影像很多情况下是在给定的区域内有病灶其他地方都是正常组织。直接用整张CT的标签去做分类训练信号会被大量正常体素稀释掉。处理起来有两类策略一是只取有掩膜的体素区域进行训练让模型只关注病灶特征二是把掩膜作为额外输入通道喂给模型让模型自己去学哪些部位重要。官方示例的做法偏向前者数据加载器在做切片时会更倾向于抽取包含掩膜的区块让每个训练子块里都有可见的病灶特征。我自己换数据集实测的时候发现一个坑有些公开数据集的掩膜标注得粗边界往外扩了一大圈或者在某个层上是断的。这时候如果无脑采样子块很可能抽出来的子块里病灶只占半个角落或者根本被边缘切片截断。更稳妥的做法是除了掩膜本身再计算一个“病灶中心坐标”列表采样时优先以中心点为核心在它周围随机偏移几个体素保证子块里病灶完整。3. 内存友好才是3D训练的真本事构建按需读取的数据管线3.1 一次性把整批volume全读进显存这不是方案我最早试过的一个简陋做法是在训练开始前把所有CT扫描全部加载到内存里然后做数据预处理再转成NumPy数组作为训练数据。当时用的数据集不算大几十个扫描但每个扫描重采样后也有大约(150, 256, 256)一个样本的浮点数组就有几十MB。几十个样本还好扩大到一个完整数据集的几百个扫描内存直接吃紧。就算内存够大还有显存这道坎。一个完整的(150, 256, 256)体积数据就算只放一个样本输入张量也有接近千万的体素在显存里光输入就占掉几十MB。但你训练时还要算中间特征图、梯度、优化器状态一个3D网络跑起来单样本显存轻松上GB。所以把整颗volume直接喂进模型基本等于给自己挖坑。正确的思路是让数据管线“按需读取”并“按块采样”。每次只从三维体积中抽取一个固定大小的子块比如(32, 128, 128)左右把子块作为模型输入。这样显存占用从“整颗肺”降到了“一小筒”batch size才有得谈。3.2 自定义DataLoader的核心逻辑当时官方示例里的做法我简化之后觉得非常值得讲清楚核心逻辑就四步一是从磁盘上读取预处理好的三维数组和掩膜二是从掩膜区域或全图区域随机选一个中心点三是从中心点周围抠出固定尺寸的三维子块四是把子块数值、标签组装成一个sample返回。关键点在于“每次读取时随机采样”。这意味着同一个CT扫描每轮训练看到的子块位置可能不同既实现了空间增广又让每个epoch里模型接触到的有效样本数量比整图数量大得多。下面是这个自定义数据加载器的骨架我精简过但思路完全保留import numpy as np from tensorflow import keras TARGET_SIZE (32, 128, 128) POS_RATIO 0.5 # 阳性样本包含病灶的采样比例 class CtVolumeSequence(keras.utils.Sequence): def __init__(self, sample_ids, labels, volume_dir, batch_size4): self.sample_ids sample_ids self.labels labels self.volume_dir volume_dir self.batch_size batch_size def __len__(self): return int(np.ceil(len(self.sample_ids) / self.batch_size)) def __getitem__(self, idx): batch_ids self.sample_ids[idx * self.batch_size:(idx 1) * self.batch_size] batch_x [] batch_y [] for sid in batch_ids: volume, mask load_volume_and_mask(sid, self.volume_dir) sub_volume, label self._sample_patch(volume, mask, self.labels[sid]) batch_x.append(sub_volume) batch_y.append(label) return np.stack(batch_x), np.array(batch_y) def _sample_patch(self, volume, mask, label): depth, height, width volume.shape d, h, w TARGET_SIZE if label 1: # 从病灶区域采样优先病灶中心小幅随机偏移 pos_voxels np.argwhere(mask 0) center pos_voxels[np.random.randint(len(pos_voxels))] center np.random.randint(-8, 9, size3) else: # 从非病灶区域随机采样 center np.array([ np.random.randint(d // 2, depth - d // 2), np.random.randint(h // 2, height - h // 2), np.random.randint(w // 2, width - w // 2), ]) # 边界裁剪 start center - np.array([d, h, w]) // 2 start np.clip(start, 0, np.array([depth, height, width]) - np.array([d, h, w])) patch volume[start[0]:start[0] d, start[1]:start[1] h, start[2]:start[2] w] patch patch / 1.0 # 数值已在预处理阶段截断并缩放 return patch[..., np.newaxis], label这里有几个值得展开的细节。batch_size在3D训练里不能照搬2D的经验官方示例里用的batch size非常小4就已经相当吃显存了我自己实验时甚至试过1和2。数据处理阶段使用的Sequence类由Keras提供好处是训练时会做多进程预取不会让GPU空等CPU切片。另一个细节是阳性样本的采样比例。为了让每个batch里不是清一色正常体素我设了一个POS_RATIO或者像上面这样简单粗暴地区分阳性和阴性采样逻辑。实际使用时还可以加入更细腻的控制让阳性子块和阴性子块按比例混合在每个batch里这样模型能同时看到两类样本梯度方向更稳定。3.3 在线增强与切块策略的权衡3D数据的在线增强自由度比2D小很多。旋转和翻转要尤其谨慎因为医学影像是有方向语义的左右翻转还好上下翻转或者绕z轴旋转90度在很多任务里会导致解剖结构错位。我见过不少初学者把2D图像处理里的随机旋转直接搬过来结果模型在验证集上表现时好时坏找半天原因才发现是增广把器官朝向搞乱了。比较安全的增广方式是随机平移几个体素、随机加一点强度扰动、随机翻转某个轴如果任务对镜像对称不敏感。平移增广其实已经包含在随机采样逻辑里了因为每次采样中心点都有随机偏移这个比显式的RandomTranslation更自然因为它发生在三维层面而不是作用在渲染出来的二维切片上。还有一个细节是“采样顺序”。如果阳性样本很少纯靠随机均匀采样抽到病灶子块的概率会非常低模型几乎学不到正类特征。这也是为什么要把病灶中心坐标单独拎出来在阳性样本上做“中心采样”。如果你用的数据集病灶特别小还可以考虑用小步长的密集采样策略让每个病灶体素都有机会被抽到代价是正样本之间相关性变大可能造成过拟合需要配合更重的Dropout使用。4. 搭建3D CNN骨架的取舍哪一层值得花钱4.1 从卷积到全连接的每一层设计逻辑3D CNN的经典骨架其实不复杂官方示例也走的是保守路线几个3D卷积层配合3D池化提取特征之后接全局池化或者直接拉平接全连接层。我把它的层间逻辑拆开讲一下你换自己的任务时也能知道每层为什么放在那里。第一组卷积通常从较小的通道数开始比如8到16个通道配合一个3D最大池化把空间尺寸迅速降下来。这里有一个细节3D最大池化窗口和步长要匹配如果你输入子块是(32, 128, 128)池化两次之后空间分辨率降到(8, 32, 32)体素数降了64倍后续卷积就算通道数多了计算量也完全可控。中段卷积层逐步加大通道数从16翻到32、64同时继续保持空间下采样。这个阶段的作用是把低级特征组合成高级语义特征比如局部纹理、边缘轮廓逐步组合成病灶形态。最后一组特征图经过拉平或全局池化接一个或多个全连接层做分类决策。一个关键取舍在“拉平”和“全局池化”之间。全局平均池化可以大幅减少参数量还能保证输入尺寸灵活但它会丢掉空间位置信息而拉平再接全连接层保留了每个位置的特征代价是参数暴增。官方示例的做法是拉平后接一个带Dropout的Dense层因为数据量本来有限全连接层在这里更像是一个“特征组合器”用Dropout压一压过拟合风险。我自己实践下来在医学小数据集上这个选择比直接全局池化更稳尤其是病灶只占很小区域的场景位置信息确实有价值。4.2 训练参数与收敛速度的现实考量3D网络训练比2D慢一个数量级这是很多初次接触的人没有心理预期的。官方示例给出的epoch数通常不大几十个以内每个epoch也跑得很快因为数据量小、batch小子块采样又很廉价。但如果你自己换大数据集训练时长会急剧拉升。优化器方面示例用的是Adam配上默认学习率。3D任务里梯度方差比较大Adam的逐参数自适应能给训练过程带来不小的稳定性省去手动调学习率的精力。如果后续发现验证集精度上不去可以先试着把学习率降一个数量级再考虑改网络结构。关于batch size3D训练里一个直观的尴尬是batch大一点收敛确实更稳但显存总和“差那么一点”。我当时的折中方案是batch设4子块尺寸控制在(32, 128, 128)模型通道数最高只到64这样可玩性最好。下表是我在单卡上测试不同配置的显存占用情况近似值输入子块尺寸batch size峰值显存占用约说明(32, 128, 128)2约4GB保守训练很稳(32, 128, 128)4约7GB大部分单卡可跑(64, 128, 128)2约8GB需要中高端显卡(64, 128, 128)4超12GB容易爆显存这个表只针对浅层3D CNN挖深之后数据会整体上浮。想要增大batch而不爆显存优先压缩子块深度而不是压缩batch。深度维采样得越短每个样本包含的空间上下文越少但batch内多样性更高在很多小块病灶任务里反而表现不差。4.3 数据不平衡问题要不要第一轮就上class weightCT分类里阳性和阴性样本数量往往相差悬殊尤其是病灶稀少的场景。处理数据不平衡有一种做法是给少数类加大损失权重这方向是对的但我不建议第一轮训练就这么干。先把模型跑通、把基准精度拿下来等验证集正常了再引入class weight能省很多排查时间。不先上class weight的原因在于在一开始模型还在“啥都没学会”的阶段加大少数类权重会让损失被少数类主导梯度方向剧烈抖动表现为训练曲线上下乱窜。与其这样不如先让模型学会区分batch内部相对容易的特征再通过后续的微调、阈值调整甚至Focal Loss把正类的召回拉起来。这是很多医学影像比赛参与者会用到的“先易后难”的节奏。5. 实操比预期难缠的几件事我的踩坑记录与最终训练流水线5.1 全零判定为正常样本的阴差阳错第一次跑通这个项目时我惊喜地发现模型验证集精度高达0.95以上一度以为自己的参数设置天赋异禀。后来把预测结果可视化出来才发现模型对几乎所有样本都预测成了“正常”因为阴性样本占比高全猜阴性也能拿到漂亮的精度。这就是典型的类别不平衡陷阱只看总体准确率根本无济于事。想避免这个坑一要在验证集上同时看每一类的精确率、召回率和混淆矩阵不能只看accuracy二要在数据加载器层面控制阳性子块的采样比例让每个batch里都有足够多的正样本三要调整决策阈值不要默认0.5而是根据验证集上precision-recall曲线的拐点去选分类边界。5.2 验证集精度不错可视化却全预测成类别0这个现象比上一条更隐蔽。模型训练过程中由于子块是随机采样的验证集上每个样本只抽了一次子块而这个子块可能恰好从无病灶区域采样导致预测结果偏向阴性。这种情况下模型本身未必差而是评估方式和推演方式不一致。解决办法是在推理阶段做“多子块投票”也就是从每个扫描的多个位置采样固定数量的子块分别过模型把输出的概率取平均作为最终预测。这个技巧在2D图像里叫测试时增强在3D里一样适用而且由于CT扫描天然是三维的多位置采样的成本比2D做多视角裁剪低得多。我实测下来从单子块改成8个子块投票在多数小病灶数据上都有明显提升。5.3 显存爆掉之后的workaround训练到一半报ResourceExhaustedError基本是3D训练的家常便饭。我遇到时的排查顺序是先看是不是输入子块太大压缩深度维然后看是不是中间层通道数堆得太高检查网络里有没有通道翻倍过于激进的地方最后看是不是batch size的问题降到2甚至1起步。这里有个小经验在Keras里训练到中途爆显存不要只靠改显存配置先确认模型输入shape是否和你实际喂进去的能对上有很多“爆显存”其实是因为某个维度计算失误导致特征图爆炸。5.4 一套可以直接复制的训练流水线清单这条流水线是我把Keras官方示例和自己在其他数据集上的实践结合起来之后归纳出来的一套固定流程基本每一步都踩过坑才定下来的数据读取使用自定义的Sequence数据加载器从磁盘按需读取NIfTI/NRRD等格式的体积数组不预先一次性加载到内存。预处理统一体素间距推荐各向同性2mm对CT值做物理范围截断肺部场景约-1000到400再做线性归一化。采样策略阳性样本以病灶中心为锚点做随机偏移采样阴性样本在全图范围内随机采样batch内两类样本保持一定比例。增广策略以随机平移和少量强度扰动为主避免任意旋转可选的镜像翻转要看任务方向语义是否安全。模型结构3D卷积层3D池化逐步下采样末端拉平接DropoutDense分类通道数克制宁浅勿深。训练策略先用小batch、小子块把流水线跑通验证集上不用只求高准确率要看混淆矩阵与各类指标确认无误后再循序渐进地加大batch、引入类别权重并尝试多子块投票推理。这套流程里每一步都可以按自己的数据规模调整但流程顺序尽量别乱跳。数据加载和采样策略是3D医学影像分类的地基模型结构反而是最不容易出错的部分。写在最后的几句实在话玩CT扫描3D分类这段时间我个人觉得最大的收获不是“学会了3D卷积”而是开始理解医学影像数据和自然图像数据在底层逻辑上的不同。2D图像是“给人看的”像素值本身没有绝对物理含义CT是“给机器测量的”每个数值都对应真实的组织密度。尊重这个本质区别数据预处理就不会跑偏。如果你第一次跑这个示例别急着在模型上做花样先把数据管线和可视化验证做扎实。把训练集里采样的子块画出来看一眼确认病灶确实在子块里、数值范围确实合理再启动训练。这一步能省下后续大量排查时间。等到你能稳定复现一套完整流程之后后续的迁移学习、Focal Loss、多模态融合这些进阶操作都不过是在这条已经跑通的地基上继续加砖罢了。