今天将分享多模态眼科智能决策挑战赛之血管工具和內界膜分割完整实现版本为了方便大家学习理解整个流程将整个流程步骤进行了整理并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。一、FIDO2026介绍该竞赛为国际顶级医疗图像计算会议 MICCAI 2026 的官方挑战赛由 SynthesEyes GmbH 与 蔡司Carl Zeiss Meditec AG 联合组织与资助并与慕尼黑工业大学 (TUM) 以及鹿特丹眼科医院协作开展。眼科手术特别是眼底/视网膜手术极具挑战性需要高精度的实时图像引导以操作微型器械并处理精细的组织结构。目前的眼科手术辅助系统通常独立使用广角眼底显微镜图像2D 平面图或高分辨率术中光学相干断层扫描iOCT3D 深度切片/体积。FIDO 挑战赛旨在通过结合 2D 眼底显微镜与 3D 术中 iOCT 的多模态数据融合推动实时智能决策支持系统的创新突破单一模态的局限。二、FIDO2026任务任务 1手术器械关键点空间定位与器械-组织距离估计(Task 1: Surgical Instrument Keypoints Spatial Localisation)。任务目标将传统的 2D 关键点检测拓展至伪 3D 空间定位。算法需要在眼底图像中精准定位手术工具的关键点同时利用眼底图与 iOCT 数据联合估计工具与视网膜组织之间的绝对距离。单模态缺失鲁棒性模型必须具备高鲁棒性在推理阶段若某种模态缺失如仅输入眼底图或仅输入 iOCT 数据算法仍能正常推理。输入眼底图像RGB512×512 iOCT 切片灰度2×256×256包含 2 张 B-scan在消融测试用例中可能为 None。输出关键点像素坐标 [x, y] 以及器械-组织距离数值 z。评价指标 (Metric)以关键点预测与真值之间的欧氏距离误差在不同像素阈值下计算的 AUC (Area Under Curve) 为主指标。排名依据所有测试用例含完整模态与单模态消融用例的平均 AUC越高越好。任务 2术中 iOCT 到眼底图像的对准/配准(Task 2: Intraoperative iOCT to Fundus Registration)。任务目标估算将 3D 体积 iOCT 扫描对齐到 2D 眼底显微镜图像的刚性 3D 到 2D 变换矩阵2D 单应性矩阵 Homography Matrix。算法要求具备实时推理能力。输入眼底图像RGB512×512 完整 iOCT 体积灰度256×256×256在消融测试中可能为 None。输出形状为(3,3)(3, 3)(3,3)的 2D 单应性矩阵float64 NumPy 数组。评价指标 (Metric)基于角点误差Corner Error的 AUC 曲线下的面积即利用预测矩阵将 3D 点投影到 2D 平面后与 ground-truth 2D 位置之间的欧式距离。排名依据所有测试用例的平均 AUC。三、FIDO2026数据集由 SynthesEyes 提供的首个全合成多模态眼科手术数据集。数据基于鹿特丹眼科研究所Rotterdam Ophthalmic Institute的真实临床案例建立模型并融入了蔡司Carl Zeiss Meditec AG工业级显微镜和 iOCT 设备的真实成像参数。标注直接由物理模拟真值自动生成并经由资深视网膜外科医生验证。模态包含眼底显微镜图像 (Fundus)1024×1024 RGB 广角俯视图展现 ZEISS 手术显微镜的光学特征。术中 iOCT 数据高分辨率视网膜横截面与三维体积扫描展现 ZEISS iOCT 特性。数据拆分与具体规模|任务|数据集划分|数据规模|单个样本/帧包含内容|标注内容|| — | — | — | — | — ||Task 1(器械关键点与距离)|• 训练集: 10 个视频• 测试集: 5 个视频 (隐藏)|• 训练集约 25,000 帧• 测试集约 5,000 帧(15 fps每段视频约 1 分钟)|1 张眼底图像 2 张 iOCT 交叉切片|• 工具关键点眼底图及 iOCT 上• 工具到组织的距离• iOCT 到眼底变换矩阵• 眼球姿态 (Eye pose)||Task 2(iOCT-眼底配准)|• 训练集: 150 个快照• 验证集: 30 个快照• 测试集: 30 个快照 (隐藏)|共 210 组配准快照样本|1 张 1024×1024 眼底图像 1 个 512×256×256 完整 iOCT 体积由 256 张切片组成| |数据下载https://www.codabench.org/competitions/16804/四、技术路线眼底血管眼科工具套管、眼内照明器显微镊子内界膜分割1、图像缩放到固定大小1024x1024再采用均值为0方差为1的方式进行归一化处理。然后将数据分成训练集和验证集。2、搭建VNet2d网络使用AdamW优化器学习率是0.001batchsize是16epoch是500损失函数采用ce和dice函数评价函数采用dice函数。3、训练结果和验证结果4、测试集分割结果[外链图片转存中…(img-LYEbzo44-1786755548544)]点击阅读原文可以访问参考项目如果大家觉得这个项目还不错希望大家给个Star并Fork可以让更多的人学习。如果有任何问题随时给我留言我会及时回复的。