摘要病理形态与多层分子图谱的系统性跨模态推断、整合可推动疾病生物学研究但多模态学习仍存在诸多方法学难题。本文提出统一、具备可解释性的多模态学习框架Multi-Embed实现多层病理形态与多层分子图谱联合建模。在12种癌症的多类基准测试与实际应用场景中Multi-Embed在形态-分子双向推理、精细组织分区识别、时空轨迹建模任务上均取得更优性能证明该工具可助力深入解析疾病发病机制。病理图像与分子图谱的多模态学习可加深疾病发病机制、靶向治疗的机制理解。shaolimail.tsinghua.edu.cn#多模态嵌入 #病理全切片 #空间多组学 #自监督学习 #跨模态推理 #组织微环境 #肿瘤预后 #时空轨迹 #可解释人工智能 #空间聚类结果图1 Multi-Embed方法架构与多任务基准对比(a) Multi-Embed完整工作流分为特征提取、自监督对比学习、下游评估3大模块。特征提取模块提取切片/斑点/细胞3级多尺度病理形态特征以及基因组、表观组、转录组、蛋白质组多层分子图谱将2类特征投影至Multi-Embed联合嵌入空间后开展自监督学习最终用于跨模态推理、跨模态整合2类下游任务。(b,c) TCGA大宗数据集12种癌症、预测高可变基因表达跨模态推理小提琴图。b 为全部癌症整体平均皮尔相关系数 (PCC) 对比c 为各癌症分箱结果对比对比模型为HE2RNA、DeepPT全部1,550个高可变基因交叉验证平均相关系数展示。(d–f) 3类空间转录组数据集Visium、Xenium、Visium HD基因表达预测基准箱线图分别为HER2乳腺癌Visium、Xenium、单细胞分辨率Visium HD数据集对比模型iStar、OmiCLIP。(g) 甲基化图谱预测基准(h) 蛋白丰度预测基准(i) 基因突变预测基准基于TCGA数据对比DEPLOY、WSI2RPPA、CHIEF/MUSK模型。(j) 空间蛋白质组ORION结直肠癌数据集蛋白表达预测箱线图。(k) 3阴性乳腺癌空间聚类调整兰德指数(ARI)对比图对比OmiCLIP、MISO、SpaGCN等多/单模态模型。b–h采用双侧t检验计算P值i–k采用配对t检验箱线中心线为中位数上下框为上下4分位数。空间聚类跨模态整合性能评估图2 Multi-Embed多模态整合典型应用场景(a) TCGA12种癌症多模态预后模型10折交叉验证C指数对比对照工具PORPOISE。(b,c) 可解释影像-组学预后标志物Multi-Embed识别PORPOISE遗漏高预后风险病理区域(b)并基于该区域病理形态推导对应基因表达图谱(c)(d) 6套独立外部预后数据集C指数柱状图3阴乳腺癌、结直肠癌、胰腺导管腺癌、头颈部鳞癌、肺腺癌、子宫内膜癌误差棒为95%置信区间。(e,f) 3阴乳腺癌空间转录组3级淋巴结构(TLS)空间聚类识别单样本训练后其余14张标注切片F1得分对比f 为切片病理原图、人工标注、Multi-Embed/OmiCLIP/MISO识别TLS区域绿色框为病理医师确认新发现TLS区域。(g) 早期胃癌空间切片病理分区标注慢性萎缩性胃炎(CAG)、肠上皮化生(IM)、低级别上皮内瘤变(LGD)、早期胃癌(EGC)。(h) UMAP降维空间聚类与时空轨迹附带ARI对比柱状图。(i) 模型推导肿瘤恶性伪时间轨迹。(j) 轨迹伪时间与拷贝数变异(CNV)评分、6个早期胃癌特征基因平均表达相关性散点图。a/e/h采用配对t检验箱线中心线为中位数框限为4分位数。数据本研究中12种癌症对应的RNA测序配套病理图像可通过癌症基因组图谱TCGA平台获取https://portal.gdc.cancer.gov/本研究使用的CPT数据库数据可访问链接https://portal.gdc.cancer.gov/projects/CPTAC3/配套病理图像存储于癌症影像档案库TCIA用于预后预测的SurGen数据集访问地址https://www.ebi.ac.uk/biostudies/bioimages/studies/S-BIAD1285/本研究用到的HER2ST、阴性乳腺癌TNBC空间转录组数据集、结直肠癌ORION空间蛋白质组数据集均存放于Zenodo平台对应数字对象标识符分别为https://doi.org/10.5281/zenodo.3957256https://doi.org/10.5281/zenodo.14204217https://doi.org/10.5281/zenodo.7637988本研究采用的人胃癌10x Visium空间转录组数据集存储于基因表达综合数据库GEO登录号GSE287979人乳腺癌10x Visium空间转录组数据集可在10x Genomics官网获取https://www.10xgenomics.com/datasets/human-breast-cancer-block-a-section-1-1-standard-1-1-0/人扁桃体空间多组学数据集发布于10x Genomics CytAssist平台https://www.10xgenomics.com/datasets/gene-protein-expression-library-of-human-tonsil-cytassist-ffpe-2-standard人乳腺癌Xenium原位空间转录组数据集、款人肺癌Xenium数据集均可在10x Genomics平台查阅乳腺癌https://www.10xgenomics.com/products/xenium-in-situ/preview-dataset-human-breast/肺癌1https://www.10xgenomics.com/datasets/xenium-human-lung-cancer-post-xenium-technote/肺癌2https://www.10xgenomics.com/datasets/preview-data-ffpe-human-lung-cancer-with-xenium-multimodal-cell-segmentation-1-standard/人结直肠癌、人肺癌10x Visium高分辨率数据集同样开放于10x Genomics平台结直肠癌https://www.10xgenomics.com/datasets/visium-hd-cytassist-gene-expression-libraries-of-human-crc/肺癌https://www.10xgenomics.com/datasets/visium-hd-cytassist-gene-expression-human-lung-cancer-post-xenium-expt/代码MultiEmbed完整开源代码https://github.com/Epoch1128/在线交互平台https://multiembed.qhdyr.net/详细总结思维导图TCGA批量转录组预测12种肿瘤3大空间转录平台独立测试参考Nat Methods. 2026 May;23(5):903-908. doi: 10.1038/s41592-026-03070-5.Systematically decoding pathological morphologies and molecular profiles with unified multimodal embedding注AI辅助创作如有不当欢迎指出。内容仅供参考不构成任何建议。