期刊Transactions on Medical Imaging年份2024英文题目Clinically-Inspired Multi-Agent Transformers for Disease Trajectory Forecasting From Multimodal Data中文译为基于临床启发式多智能体 Transformer 的多模态疾病轨迹预测一、摘要现有医学 AI 更多关注患者现在患什么病、当前是什么等级但临床中更加重要的问题之一是未来疾病会怎样发展传统疾病预后模型往往需要复杂的人工特征或特定领域知识同时也难以直接整合医学影像临床指标人口统计学信息其他生物标志物。因此作者提出CLIMATv2将疾病轨迹预测建模为一种one-to-many prediction当前多模态数据→未来多个时间点疾病状态CLIMATv2受到临床诊疗流程启发设置了多个 Transformer“智能体”Radiologist Block分析医学影像Context Block分析临床变量General Practitioner Block综合上述信息预测疾病未来轨迹。另外作者提出新的CLUB Loss不仅优化预测准确率还改善模型预测概率的校准性Calibration。论文分别在膝骨关节炎 OAI 数据集和阿尔茨海默病 ADNI 数据集上进行验证结果优于多种 RNN 和 Transformer 基线。CLIMATv2 的概念源于一个多智能体决策系统其中包含放射科医生和全科医生。放射科医生负责处理各类疾病影像数据而全科医生则利用放射科医生生成的报告描述以及临床变量的背景信息来预测疾病的未来发展趋势。二、创新点创新点一 模拟真实临床多角色决策流程论文最大的思想创新是不直接把所有数据简单拼起来。而是模拟放射科医生→临床医生 的工作流程。Radiologist 先读取影像并形成“视觉描述”General Practitioner 再结合这些影像信息和患者临床变量预测疾病未来变化。因此它本质上属于一种 Clinically-Inspired Multi-Agent Learning创新点二多模态 Transformer 疾病轨迹预测模型能够同时处理2D X-ray3D FDG-PET数值型临床变量类别型临床变量影像测量指标。并一次性预测未来多个时间点而不是只预测某一个时间点的疾病进展。创新点三CLIMATv2 改进诊断与预后之间的信息一致性相比 CLIMATv1CLIMATv2 不再假设临床变量⊥当前疾病诊断而是让Radiologist 和 General Practitioner 都进行当前疾病诊断并通过一致性损失约束两者预测。这样模型更加符合真实临床场景。创新点四提出 CLUB Loss作者提出Calibrated Loss based on Upper BoundCLUB不仅希望模型 预测准确还希望 预测概率可信例如模型说某患者未来 OA 恶化概率是 90%这个“90%”本身也应该具有较高可靠性。因此 CLUB 同时考虑 Performance Calibration这是该论文的重要方法创新三、方法3.1 Overall临床启发的多智能体框架CLIMATv2模拟临床中的两个核心角色。首先Medical Image→RadiologistRadiologist分析影像得到当前疾病诊断Visual Description。然后 Visual DescriptionClinical Variables→General Practitioner最终预测 y0,y1,⋯,yT即当前和未来多个时间点的疾病状态。CLIMATv2 的概念源于一个多智能体决策系统其中包含放射科医生和全科医生。放射科医生负责处理各类疾病影像数据而全科医生则利用放射科医生生成的报告描述以及临床变量的背景信息来预测疾病的未来发展趋势。技术实现上实际上包含三个 Transformer BlockR: RadiologistC: Context P:General Practitioner3.2 Multimodal Feature Extraction不同类型的数据首先使用不同编码器提取特征。2D影像例如膝关节 X-rayX−ray→2D CNN论文实验使用ResNet18。3D影像例如 AD 的 FDG-PETPET→3D CNN采用3D-ShuffleNet2。临床变量例如AgeSexBMIWOMACInjury historySurgery history。通过 FFN 映射到统一特征空间。因此不同模态→统一Embedding3.3 Radiologist ModuleRadiologist Block 专门负责影像信息分析。CNN 提取出来的多个视觉特征输入 Radiologist Transformer。经过 Self-Attention 后得到作者将这些特征理解成类似Radiology Report / Visual Description即放射科医生从影像中提取出的疾病描述。同时对进行 Average Pooling再通过 FFN预测即当前疾病状态。因此 Radiologist 模块承担两个功能 影像表征当前诊断3.4 Context ModuleContext Block负责处理Clinical Variables例如在 KOA 中AgeSexBMIWOMACInjurySurgery。这些临床变量首先编码为多个 Embedding然后输入 Context Transformer。最终提取一个作为所有临床变量的综合 Context Token。简单来说Radiologist负责看片Context负责理解患者背景。4.5 General Practitioner Module这是最终的疾病轨迹预测模块。首先将 Context Token复制并与 Radiologist 输出的视觉特征在特征通道维度进行拼接。于是每个视觉 Token 同时包含 Imaging InformationClinical Context然后送入 General Practitioner Transformer。最终使用不同的 [CLS] Token 对应不同时间点因此一次前向传播就可以得到当前状态 多个未来时间点状态这也是论文所谓的one-to-many disease trajectory forecasting。3.6 CLUB Loss 与一致性约束最终训练损失主要包括两部分。疾病轨迹预测损失作者提出 CLUB其中 τ 是可学习的任务权重。不同时间点的预测难度不同因此模型可以自动调整不同时间任务的学习强度。同时 CLUB 还帮助改善模型的 Calibration。Agent Consistency LossRadiologist预测当前疾病状态General Practitioner同样预测当前状态作者要求从而得到最终因此模型既学习未来轨迹预测又保证Radiologist 与 General Practitioner 当前诊断保持一致。四、试验4.1 数据集论文用了两个完全不同的疾病数据集。OAI膝骨关节炎来自Osteoarthritis Initiative原始包含 4796名受试者。输入包括影像Knee X-ray。临床变量AgeSexBMIWOMACInjurySurgery。预测多个未来时间点的 OA 结构变化。ADNI阿尔茨海默病使用 ADNI数据包括3D FDG-PETMRI measurementsCognitive testsClinical historyRisk factors。预测未来 1, 2, 4 years患者的临床状态 CN, MCI, AD4.2 KOA 预测任务KOA并不只预测 KL。论文共研究7个结构性指标KLKellgren-Lawrence Grade。JSL / JSM外侧 / 内侧 Joint Space Narrowing。OSFL / OSFM股骨外侧 / 内侧骨赘。OSTL / OSTM胫骨外侧 / 内侧骨赘。因此模型预测的是OA多个结构指标随时间的变化而不是单纯预测 KL。4.3 结果论文与多种序列和 Transformer 方法进行了比较FCNGRULSTMMMTFReformerInformerAutoformerCLIMATv1CLIMATv2。评价指标包括Balanced AccuracyBA评价预测性能。ECE Expected Calibration Error用于评价概率预测是否可信。AD任务额外采用mROC-AUC。五、结论这篇论文的核心思想实际上非常直观传统方法是所有数据→一个网络→未来预测而 CLIMATv2 模拟真实临床决策过程 医学影像→Radiologist→Visual Report然后 Visual ReportClinical Context→General Practitioner→Disease Trajectory即把临床工作流程本身作为模型结构先验。同时利用多 [CLS] Token 实现多个未来时间点预测并利用 CLUB Loss 兼顾准确性与概率校准性。实验在OAI膝骨关节炎和ADNI阿尔茨海默病两个完全不同的疾病场景中验证了其有效性说明这种“临床启发式多智能体 多模态 Transformer”的疾病轨迹预测方法具有较好的通用性。