医学论文解读：Reliable Multi-Prototypical Contrastive Learning for Semi-Supervised Heterogeneous and Multi-

期刊：Transactions on Medical Imaging

年份：2026

英文名字：Reliable Multi-Prototypical Contrastive Learning for Semi-Supervised Heterogeneous and Multi-Organ Medical Image Segmentation

中文译为：面向半监督异构多器官医学图像分割的可靠多原型对比学习

一、摘要

论文认为真实临床中的多器官分割主要面临两个问题：

① 类间特征模糊（Inter-class Feature Ambiguity）

不同器官之间，或者器官与背景之间可能具有非常相似的图像特征，例如膝关节中的：

  • 髌韧带；
  • 股四头肌腱；
  • 半月板；
  • 软骨。

特别是在低对比度和边界区域，很容易发生误分割。

② 多源样本高度异质（High Multi-source Sample Heterogeneity）

来自不同医院、扫描仪和扫描协议的数据具有明显差异，因此：

同一个器官的特征并不一定聚集成一个紧凑的特征簇，而可能形成多个分散的子簇。

针对这两个问题，作者提出TP-Net，采用可靠的多原型对比学习（Multi-Prototypical Contrastive Learning, MPCL）。

核心思想是：一个类别一个Prototype

而是： 一个类别→多个Prototype​

利用多个 prototype 描述同一器官在不同数据源中的复杂分布，再通过对比学习实现同类聚合、异类分离。

多器官分割面临两大挑战：（a）类间特征模糊，（b）多源样本异质性高。
请注意，（a）显示了不同颜色的不同器官的轮廓，红色箭头表示两个器官或一个器官和背景相似的区域。（b）左侧总结了为多个医学图像数据[24]、[25]、[26]、[27]、[28]、[29]、[30]做出贡献的医疗中心的数量，而（b）右侧显示了具有不同视觉特征的样本

二、创新点

创新一：提出 TP-Net 半监督异构多器官分割框架

论文面向：

少量标注 + 大量未标注 + 多来源异构数据 + 多器官分割

设计了一个统一的半监督学习框架。

它结合：Dual Network+Multi-Prototype+Contrastive Learning

既利用未标注数据，又针对真实临床数据的异质性进行特征建模。

创新二：异构原型动态演化机制

传统 prototype 方法通常采用： Class↔One Prototype

但作者认为多中心数据中，一个器官可能形成多个不同特征子簇。

因此提出： Class↔Multiple Prototypes

并建立Class Prototype Feature Bank。

新产生的 prototype 与历史 prototype 共同建立相似性图，通过图驱动聚类、相似 prototype 合并以及过期 prototype 删除，动态维护原型库。

因此可以更完整地描述多来源数据中的类内分布。

创新三：可靠多原型对比学习

作者设计了两种 MPCL（Multi-Prototypical Contrastive Learning）：

  • LL-MPCL：Limited Labels Guided MPCL；
  • PL-MPCL：Reliable Pseudo-Labels Guided MPCL。

前者利用少量真实标签获得可靠 prototype；后者通过不确定性估计筛选可靠 pseudo-label，再利用未标注数据构建 prototype。

之后通过： 同类 Prototype Attraction和 异类 Prototype Repulsion增强类间可分性，从而解决不同器官之间边界模糊的问题。

三、方法

所提出的TP-Net模型概述，其中包括两个类原型特征库和两个由一个共享编码器和三个具有不同上采样策略的解码器组成的主网络。请注意，类原型特征库由几个原型特征库组成，每个原型特征库对应一个类（包括背景），并存储有限数量的原型特征。该模型通过最小化监督损失、具有不同上采样Lucks的CPS的一致性损失、具有不同初始化的CPS的一致性损失、有限标签引导的多原型对比损失和可靠的伪标签引导多原型对比丢失来执行SSL。

3.1 双网络 Multi-CPS 半监督框架

TP-Net首先建立两个结构相同但初始化不同的主网络。

每个主网络包括：

1个共享 Encoder + 3个 Decoder

三个 Decoder 分别采用不同的上采样方式：

  • 转置卷积；
  • 双线性插值；
  • 最近邻插值。

因此一共有：2×3=6个预测分支。

作者利用两类 Cross-Pseudo Supervision：

  • CPS with Different Upsampling同一个网络内部，不同 Decoder 之间互相进行一致性约束。

  • CPS with Different Initialization两个不同初始化的网络之间，相同 Decoder 分支互相提供 pseudo-label，损失。

这样可以人为制造更丰富的模型扰动，提高半监督训练稳定性，避免两个网络预测过于相似。

3.2 异构原型动态演化机制

这是 TP-Net 的核心模块之一。网络从最后一层特征中提取可靠像素，并针对每一个类别计算 class prototype。

作者分别建立两个 Prototype Bank：，用于少量真实标签引导的 prototype；

以及用于可靠 pseudo-label 引导的 prototype。

与传统方法不同，一个类别可以保存多个 prototype：

每一个 prototype 可以表示该器官在某一个数据来源或者某种特征分布下的模式。

Prototype 如何更新？

将：

  • 当前 batch 新生成的 prototype；
  • 历史 Prototype Bank 中的 prototype

共同作为图节点。

计算 prototype 之间的 cosine similarity。

如果：

  • Similarity≥α则认为两个 prototype 相似，将它们连接并合并。
  • 若 Prototype Bank 超过最大容量 Vmax​，则利用时间戳删除长期没有更新的 prototype。

因此整个过程为：生成Prototype→相似性图→合并相似Prototype→删除过期Prototype​，形成一个持续演化的多原型库。

3.3 可靠多原型对比学习

1、LL-MPCL（Limited Labels Guided MPCL）

针对有标签数据，首先计算每个像素预测的不确定性：

即使用预测熵衡量不确定性。

根据真实标签，可以知道不同 uncertainty interval 中预测的准确率，然后选择准确率最高的不确定性区间中的像素，用于构造可靠 prototype。

之后进行对比学习：

  • 当前Class Feature→靠近同类Prototype
  • 当前Class Feature→远离其他类别Prototype

从而提高类间分离性。

使用的损失：

2、PL-MPCL（Reliable Pseudo-Labels Guided MPCL）

对于未标注数据没有 Ground Truth，因此无法直接判断 pseudo-label 是否正确。

作者利用有标签数据建立： Uncertainty↔Prediction Accuracy之间的对应关系。

再把这一可靠 uncertainty interval 迁移到未标注数据中。

也就是说：

如果在有标签数据中，某一低不确定性区间通常具有很高准确率，那么未标注数据中落入相同区间的 prediction 也认为更加可靠。

然后利用这些可靠 pseudo-label 构建第二套 Prototype Bank，并进行 MPCL。

这就是论文所谓的：Uncertainty-aware Cross-domain Alignment。

使用的损失：

3.4 总体损失

最终 TP-Net 的 Loss 为：

其中：

  • Ls​：有标签数据的监督分割损失；
  • Lucps​：不同上采样方式的 CPS；
  • Licps​：不同初始化网络之间的 CPS；
  • Llpc​：真实标签引导的多原型对比损失；
  • Lppc​：可靠 pseudo-label 引导的多原型对比损失。

因此 TP-Net 可以概括为：

多CPS一致性学习+动态多Prototype+可靠Pseudo−label+对比学习​

四、试验

4.1 数据集

论文使用两个公共数据集 + 一个包含自采数据的膝关节数据集。

主要包括：

1、Knee Dataset

共100例：

  • 31例自采膝关节 MRI；
  • 69例从 MRNet 随机选择。

分割包括7类组织：

  • Bone；
  • Meniscus；
  • Patellar Ligament；
  • Cartilage；
  • Quadriceps Tendon；
  • Cruciate Ligaments；
  • Background。

2、SPIDER

脊柱 MRI 多器官分割数据。

3、AbdomenCT-1K

腹部 CT 多器官数据，包括：

  • Liver；
  • Kidney；
  • Spleen；
  • Pancreas。

全部数据按照：7:1:2划分训练、验证和测试集。

4.2 试验结果

五、结论

论文最终提出了一套面向真实异构医学数据的半监督多器官分割方法TP-Net。

它解决了两个核心问题类间特征模糊​以及多来源数据类内分布分散​

其解决思路可以浓缩为一个器官多个Prototype​，用多个 Prototype 描述同一器官在不同医院、不同扫描设备和不同病例中的复杂分布；

再通过同类吸引 + 异类排斥​提高不同器官之间的可分性。

同时利用 uncertainty 筛选可靠 pseudo-label，使大量未标注数据能够参与 Prototype 学习。

最终在Knee、SPIDER 和 AbdomenCT-1K三个异构多器官数据集上取得优异结果，并通过自研的膝关节微创手术导航系统和 ACL 重建临床实验验证了实际应用潜力。