相似度感知蒸馏的统一弱监督个性化联邦图像分割

潘建珊; 林立; 吴洁伟; 刘翼翔; 陈孝华; 林其友; 黄建业; 唐晓颖

doi:10.11834/jig.230295

English Version 空天荟作者查稿（旧版）专家审稿（旧版）

图像分析和识别 | 浏览量 : 49 下载量: 121 CSCD: 0

PDF
导出
分享给微信好友或者朋友圈

分享
收藏
专辑

相似度感知蒸馏的统一弱监督个性化联邦图像分割
pFedWSD： unified weakly supervised personalized federated image segmentation via similarity-aware distillation
- 角色： First author 第一作者
- 机构：
  深圳市公共信用中心,深圳 518000
- 邮箱： panjs@mail.amr.sz.gov.cn
- 简介：潘建珊，男，博士，主要研究方向为法学、消费维权及信息化。E-mail： panjs@mail.amr.sz.gov.cn
潘建珊
1 ，
- 机构：
  南方科技大学电子与电气工程系,深圳 518000
  香港大学电机电子工程系,香港 999077
  南方科技大学嘉兴研究院,嘉兴 314000
- 邮箱： linli@eee.hku.hk
- 简介：林立，男，博士研究生，主要研究方向为计算机视觉和医学影像分析。E-mail：linli@eee.hku.hk
林立
2 3 4 ，
- 机构：
  南方科技大学电子与电气工程系,深圳 518000
  南方科技大学嘉兴研究院,嘉兴 314000
- 邮箱： wujw65@mail2.sysu.edu.cn
- 简介：吴洁伟，男，硕士研究生，主要研究方向为医学影像分析和联邦学习。E-mail：wujw65@mail2.sysu.edu.cn
吴洁伟
2 4 ，
- 机构：
  南方科技大学电子与电气工程系,深圳 518000
- 邮箱： 201905190310@smail.xtu.edu.cn
- 简介：刘翼翔，男，硕士研究生，主要研究方向为弱监督学习。E-mail：201905190310@smail.xtu.edu.cn
刘翼翔
2 ，
- 机构：
  深圳市公共信用中心,深圳 518000
- 邮箱： chenxh@mail.amr.sz.gov.cn
- 简介：陈孝华，男，副高级工程师，主要研究方向为信息化和数据管理。E-mail：chenxh@mail.amr.sz.gov.cn
陈孝华
1 ，
- 机构：
  深圳市公共信用中心,深圳 518000
- 邮箱： linqy1@mail.amr.sz.gov.cn
- 简介：林其友，男，副高级工程师，主要研究方向为信息化和数据管理。E-mail：linqy1@mail.amr.sz.gov.cn
林其友
1 ，
- 机构：
  香港大学电机电子工程系,香港 999077
- 邮箱： kywong@eee.hku.hk
- 简介：黄建业，男，教授，主要研究方向为光学成像和生物光子学。E-mail：kywong@eee.hku.hk
黄建业
3 ，
- 角色： Corresponding author 通讯作者
- 机构：
  南方科技大学电子与电气工程系,深圳 518000
  南方科技大学嘉兴研究院,嘉兴 314000
- 邮箱： tangxy@sustech.edu.cn
- 简介：唐晓颖 tangxy@sustech.edu.cn
唐晓颖
2 4
2024年29卷第3期页码：620-636
纸质出版日期： 2024-03-16 ，
DOI： 10.11834/jig.230295
稿件说明：

移动端阅览

引用

阅读全文PDF
潘建珊，林立，吴洁伟，刘翼翔，陈孝华，林其友，黄建业，唐晓颖. 2024. 相似度感知蒸馏的统一弱监督个性化联邦图像分割. 中国图象图形学报， 29(03):0620-0636

Pan Jianshan， Lin Li， Wu Jiewei， Liu Yixiang， Chen Xiaohua， Lin Qiyou， Huang Jianye， Tang Xiaoying. 2024. pFedWSD： unified weakly supervised personalized federated image segmentation via similarity-aware distillation. Journal of Image and Graphics， 29(03):0620-0636
潘建珊，林立，吴洁伟，刘翼翔，陈孝华，林其友，黄建业，唐晓颖. 2024. 相似度感知蒸馏的统一弱监督个性化联邦图像分割. 中国图象图形学报， 29(03):0620-0636 DOI： 10.11834/jig.230295.

Pan Jianshan， Lin Li， Wu Jiewei， Liu Yixiang， Chen Xiaohua， Lin Qiyou， Huang Jianye， Tang Xiaoying. 2024. pFedWSD： unified weakly supervised personalized federated image segmentation via similarity-aware distillation. Journal of Image and Graphics， 29(03):0620-0636 DOI： 10.11834/jig.230295.

相似度感知蒸馏的统一弱监督个性化联邦图像分割

潘建珊 ; 林立 ; 吴洁伟 ; 刘翼翔 ; 陈孝华 ; 林其友 ; 黄建业 ; 唐晓颖 ;

PDF下载

摘要

目的

联邦学习允许多个机构在不侵犯数据隐私、安全的前提下协作训练强大的深度模型。现有多数联邦范式在处理多中心不同数据分布时性能通常会下降，且弱监督条件下的联邦范式鲜有研究，特别是各站点数据采用不同形式稀疏标注的情况。针对该问题，提出一种站点分布相似度感知知识蒸馏的统一弱监督个性化联邦学习框架（unified weakly supervised personalized federated image segmentation via similarity-aware distillation，pFedWSD），以应对多中心数据分布和标注上的差异。

译

方法

所提出的pFedWSD通过循环知识蒸馏为每个站点训练个性化模型，包含动态循环公共知识积累及个性化两个阶段。第1阶段以不确定度感知方式动态地排序每轮训练中各站点模型性能，并以循环知识蒸馏的形式积累公共知识；第2阶段通过批标准化层的统计信息来度量各站点间相似性并聚合得到各站点教师模型并进行知识蒸馏。在弱监督方面，引入门控条件随机场损失和树能量损失相结合的训练目标，以产生更为精确的伪标注监督信号。

译

结果

在眼底视杯视盘分割和视网膜中心凹无血管区分割两项任务中，pFedWSD的Dice系数和HD95（95% Hausdorff distance）指标均优于多种中心式联邦和个性化联邦方法，在两项任务中，Dice系数分别为90.38%和93.12%，相比于较先进的方法FedAP（federated learning with adaptive batchnorm for personalized healthcare）和FedALA（adaptive local aggregation for personalized federated learning）分别提升了1.67%和6.56%，性能接近于全监督集中式训练所得的模型。

译

结论

本文提出的弱监督个性化联邦学习框架能有效统一不同形式稀疏标注数据并对不同分布的各站点数据训练得到个性化模型，使各站点分割性能均得到显著提升。

译

Abstract

Objective

Federated learning （FL） allows multiple healthcare institutions to collaboratively train a powerful deep learning model without compromising data privacy and security （i.e.， centralizing data）. However， employing a single model to accommodate the diverse data distributions from different sites is extremely challenging. Performance degradation is common for existing approaches when huge distribution gaps exist across sites. Additionally， previous works paid little attention to FL under weak supervision， especially under the supervision of different sparsely grained forms （i.e.， point-， bounding box-， scribble-， block-wise）. Weakly supervised FL is clinically practical but challenging. To address this issue， we propose a unified and weakly-supervised personalized FL framework named pFedWSD， targeting medical image segmentation and based on similarity-aware knowledge distillation across multiple sites. We aim to accommodate the domain gaps and annotation drifts across multiple sites and enhance the segmentation model’s performance for each site.

译

Method

The proposed pFedWSD trains a personalized model for each site via cyclic knowledge distillation， which consists of two stages： uncertainty-aware dynamic and cyclic common knowledge accumulation and similarity-aware personalization. In the first stage， during each training round， the performance of each site’s model is dynamically ranked in an uncertainty-aware manner， and common knowledge is accumulated in the form of cyclic knowledge distillation. In the second stage， the similarity between two sites is measured and aggregated based on the statistics from the batch normalization layers to attain a teacher model for each site and perform knowledge distillation. As for weakly-supervised learning， a combination of partial cross-entropy loss， gated conditional random field （CRF） loss， and tree energy loss is employed. Specifically， the partial cross-entropy loss is employed for supervising the annotated regions， ensuring informative guidance. The tree energy loss establishes pairwise affinities on the basis of the preserved characteristics of high and low semantic spatial structures for the same object. This approach， in conjunction with the model’s predictions， generates soft pseudo-labels for the unlabeled regions. Through continuous online training and refinement， the model’s predictions and the delivered pseudo-annotations gradually improve over time. Furthermore， the gated CRF loss serves as a regularization term， effectively curbing the potential issues of excessive expansion or contraction of the target regions’ pseudo-labels that may arise from solely employing the tree energy loss. This approach adeptly consolidates diverse sparsely annotated data for training， facilitating real-time generations of additional pseudo proposals， and consequently attaining exceptional segmentation performance without requiring supplementary supervised data， iterative optimization， nor time-intensive post-processing. To the best of our knowledge， pFedWSD is a pioneering weakly supervised personalized federated learning approach for medical image segmentation and adeptly implemented under heterogeneous annotation settings on multiple client devices.

译

Result

We create two datasets （from multiple publicly available datasets）， each with five subsets serving as five different sites， for optic/disc cup （OD/OC） segmentation and retinal foveal avascular zone （FAZ） segmentation， respectively. Quantitative and qualitative experimental results show that pFedWSD outperforms representative state-of-the-art （SOTA） centralized and personalized FL methods in terms of Dice coefficients and HD95 statistics. The proposed pFedWSD achieves an average Dice coefficient of 90.38% on the OD/OC segmentation task， exhibiting a remarkable improvement of 1.67% over the previous best-performing method. Moreover， pFedWSD demonstrates a marginal difference of only 0.58% compared with local training under full supervision and a slight gap of merely 1.23% from centralized training under full supervision. Regarding the FAZ segmentation task， the proposed method achieves an impressive average Dice coefficient of 93.12%， showcasing a substantial improvement of 6.56% over the previous state-of-the-art method. Furthermore， pFedWSD has a marginal difference of 0.5% from local training under full supervision and a mere 0.86% difference from centralized training under full supervision.

译

Conclusion

The proposed weakly-supervised and personalized FL framework （pFedWSD） can effectively unify different forms of sparsely labeled data and train personalized models that adapt well to different data distributions， with an established superior segmentation performance. Our pFedWSD demonstrates its effectiveness through achieving optimal performance on both OD/OC and FAZ segmentation tasks across datasets from multiple centers， with its overall performance closely approaching that of local or centralized training using fully supervised labels. Extensive ablation experiments demonstrate the importance and efficacy of each stage in pFedWSD and each component in the weakly supervised composite objective. Moreover， through site-ablation experiments， we analyze the contribution of each site to the federation， providing valuable guidance for medical institutions regarding the appropriate data volume and the sparse annotation form in federated learning. Future research directions include the further reduction of the communication and computation overhead and the integration of universal large model training paradigms， like prompt learning， to concurrently foster our proposed framework’s generalization performance and adaptive personalization capacity toward diverse data distributions.

译

关键词

相似度感知; 知识蒸馏; 弱监督学习; 个性化联邦学习; 医学图像分割

译

Keywords

译

论文引用格式：Pan J S， Lin L， Wu J W， Liu Y X， Chen X H， Lin Q Y， Huang J Y and Tang X Y. 2024. pFedWSD： unified weakly supervised personalized federated image segmentation via similarity-aware distillation. Journal of Image and Graphics， 29（03）：0620-0636（引用格式:潘建珊，林立，吴洁伟，刘翼翔，陈孝华，林其友，黄建业，唐晓颖. 2024. 相似度感知蒸馏的统一弱监督个性化联邦图像分割. 中国图象图形学报， 29（03）：0620-0636）［

译

0　引言

近年来，机器学习尤其是深度学习模型在多个计算机视觉和医学影像分析任务中取得了先进性能并因此在许多相关领域得到广泛应用（

周传鑫等，2021）。然而作为一种数据驱动的方法，深度学习模型的性能在很大程度上取决于可用数据的数量及标注的质量。受限于患者数量和标注成本，单个医疗机构往往面临着数据量不足的问题，因而联合多家医院的数据进行协作训练对于获取一个性能强大的智能分析模型意义重大，特别是对于医学影像分割任务而言。然而，随着隐私和安全意识的增强，许多政府和组织通过不同的法规或指南规定了对于个人或患者数据及影像的保护，限制了数据的共享（Voigt和von dem Bussche，2017）。在这种情况下，联邦学习（federated learning，FL）应运而生并受到研究者的广泛关注，因其允许不同中心在无需共享或集中数据的情况下联合训练性能强大的全局模型（Yang等，2019）。在常见的联邦学习范式中，每个本地客户端（如医疗站点）使用本地的训练数据训练模型，并将各个本地/局部模型参数汇聚到中心服务器进行某种方式的聚合并向各个站点广播更新后的参数来实现协调。举例说明，最常用的平均式联邦学习（federated averaging，FedAvg）依据各站点样本数量对各局部模型参数进行加权平均，在服务器端获得单个全局模型（McMahan等，2017）。

译

尽管联邦学习已经在医学图像分割领域取得了一定的进展，但现有工作仍大多属于传统的中心化联邦范式，也即通过图像风格迁移（

Liu等，2021）、图像模拟（Li等，2020a）或调整聚合权重（Li等，2019）等手段来提升单个全局模型在每个站点的鲁棒性和泛化性。然而由于各站点之间数据存在着不可避免的分布差异，使用单一全局模型以适应联邦中的所有站点是极具挑战的，尤其是在医学影像场景中，如图1（a）所示。医生的拍摄经验、成像设备的型号、成像参数及患者的群体差异等都是导致客户端图像存在领域偏移的重要因素。

译

图1 本文使用的数据及标注的样例

Fig.1 Representative examples of data and labels utilized （（a） the two datasets constructed and used in this paper， with domain gaps across sites；（b） examples of original images with various sparse labels and full masks）

下载: 原图 | 高精图 | 低精图

在这种背景下，研究者提出个性化联邦学习，它为提升联邦中每个客户端模型的性能提供了一个有潜力的解决思路（

Sun等，2023）。目前已经提出的个性化联邦方法主要分为两大类，第1类延续了中心化联邦获取中心模型的思路，并在各个站点进行局部微调以获取更适合自身分布的个性化模型，如Wang等人（2019）提出的FT（FedAVG with fine-tuning），这类方法易受限于深度学习模型的固有弱点：灾难性遗忘，即遗忘在第1阶段学到的公共知识而在局部数据上过拟合。另一类更先进的解决方案通过将模型划分为全局共享部分和个性化部分，将模型的共享部分汇聚到中心服务器进行聚合，个性化部分则保留本地训练所得参数，从而实现模型性能的提升，例如，Li等人（2021）将批标准化（batch normalization，BN）层作为模型个性化部分，而Collins等人（2021）则将个性化层设置在模型的预测头部分。这些方法仅关注各站点自身的信息而忽略了站点间的相似性，不可避免地丢失了其他站点的有用知识，从而弱化了模型的表征能力。另一方面，上述方法仍需要额外的中央服务器以聚合共享部分的参数，探索一种无需中央服务器的联邦方法对降低计算消耗、提升方法实用性起到重要意义。此外，由于个性化联邦学习发展时间尚短，多数方法仅在简单的分类任务上进行设计及验证，而在相对复杂的分割任务上鲜有研究。

译

深度学习方法在医学影像分割任务上受到极大关注并取得重大成功，特别是在

Ronneberger等人（2015）提出U-Net之后。此后大多数的分割方法主要关注于提出精心设计的更为强大的网络架构（Lin等，2021），或者各种融合医学、拓扑、体积等先验的损失函数（Lin等，2020）以提升分割性能。然而数据可用性和标注质量是全监督分割范式的主要限制，这对于需要专家知识和临床经验进行标注的医学影像而言尤甚。弱监督学习提供了一种数据高效的解决方案（田萱等，2019），通过使用稀疏粒度（如点、涂鸦、边界框、多边形块等）的标注进行模型的监督，已经有部分工作分别基于上述各种稀疏标签的弱监督训练方法进行研究，并取得了良好的性能（Obukhov等，2019；Liang等，2022）。在联邦中，一个更符合实际需求的设定是允许不同的中心站点使用异构形式的稀疏标签，如图1（b）所示，并以统一、兼容的方式进行训练，使各站点都能从联邦中获得性能收益。据调研，目前针对弱监督下的个性化联邦方法仍未有相关研究报道。

译

针对上述现状，本文立足于医学影像分割这一任务，提出了一种统一的弱监督个性化联邦学习范式，称为pFedWSD（unified weakly suppervised personalized federated image segmentation via similarity-aware distillation）。所提出的pFedWSD通过循环知识蒸馏为每个中心训练个性化模型，主要包含两个阶段：不确定度感知的动态循环公共知识积累阶段和分布相似度感知的个性化阶段。在弱监督方面，采用了部分交叉熵、门控条件随机场和树能量损失函数的综合优化目标，有效统一了各种不同稀疏标注的数据来进行训练，可以在线得到边缘更准确的伪标签，从而获得优异的分割性能，而无需额外的监督数据、交替的优化过程或耗时的后处理。

译

本文的主要贡献归纳如下：1）据调研，这是第1个在各客户端采用异构标签设定下的弱监督医学图像分割个性化联邦学习方法；2）所提出的两阶段个性化联邦，通过不确定度感知的方式动态地排序每一轮训练中各客户端模型性能，并以循环知识蒸馏的形式积累公共知识，在第2阶段通过批标准化层的统计信息度量各站点之间的相似性并聚合得到各站点教师模型后进行知识蒸馏，可以有效地在无需中心站点的条件下进行所有中心的公共知识积累及自适应个性化，并且有效利用其他站点模型的有效信息；3）经过在眼底视杯（optic cup，OC）、视盘（optic disc，OD）和视网膜中心凹无血管区（foveal avascular zone，FAZ）分割任务上的定量和定性实验，所提方法相比其他联邦学习方法取得了更好的性能，所有中心都能从联邦中获益，并且取得了接近于使用全监督标签进行集中式训练的性能表现。

译

1　本文方法

1.1　问题表述

在个性化联邦中，假设给定N个不同医疗站点/客户端 $\{C_{1}, C_{2}, \dots, C_{N}\}$ ，并且用 $\{D_{1}, D_{2}, \dots, D_{N}\}$ 表示每个站点的数据，划分为训练集 $D_{i}^{t r}$ 和测试集 $D_{i}^{t e}$ （验证集从训练集中按一定比例划分），则 $D_{i} = {\{(x_{i, j}, y_{i, j})\}}_{j = 1}^{n_{i}} = D_{i}^{t r} ⋃ D_{i}^{t e}$ ，其中 $(x_{i, j}, y_{i, j})$ 表示样本及对应的稀疏标签，且总样本量 $n_{i} = n_{i}^{t r} + n_{i}^{t e}$ 。各个站点数据间存在一定的分布差异/领域偏移，即 $P (D_{i}) \neq P (D_{j})$ 。在pFedWSD中将为每个站点训练一个个性化模型，表示为 ${\{ϕ_{i}\}}_{i = 1}^{N}$ ，则总的目标为在数据无泄露前提下聚合所有中心数据的知识以获得在每个中心表现良好的个性化模型 $ϕ_{i}$ ，表示为

译

\underset{{\{ϕ_{k}\}}_{k = 1}^{N}}{m i n} \frac{1}{N} \sum_{i = 1}^{N} \frac{1}{n_{i}^{t r}} \sum_{j = 1}^{n_{i}^{t r}} L (ϕ_{i} (x_{i, j}^{t r}), y_{i, j}^{t r})

（1）

式中， $L$ 为损失函数。

译

1.2　个性化联邦流程

受

Chen等人（2023）所提出的MetaFed（federated learning among federations with cyclic knowledge distillation for personalized healthcare）的启发， pFedWSD同样采用循环知识蒸馏的基本框架，而无需额外的中心服务器，在不损害数据隐私和安全的前提下实现多中心通用知识的积累并保留个性化信息，其主要框架展示在图2（a）中。不失一般性，本文假设有5个中心参与联邦学习，整个训练过程主要包含两个阶段，不确定度感知的动态知识积累阶段（黄色箭头表示）和分布相似度感知的知识蒸馏个性化阶段（蓝色箭头表示）。

译

图2 本文弱监督个性化联邦学习框架图

Fig.2 Overview of the proposed pFedWSD pipeline

（（a） the personalized FL framework；（b） the weakly-supervised learning approach）

下载: 原图 | 高精图 | 低精图

在通用知识积累阶段，所提出框架采用循环知识蒸馏的训练范式以完成模型对于公共知识的积累，即按一定的顺序将多个中心排序并将上一个中心作为下一个中心的教师模型。不同于MetaFed的固定顺序蒸馏，为了更有效地完成知识的蒸馏并加速训练，各中心的模型应按照当前训练轮次的性能进行排序，即性能最高的模型作为性能次优模型的教师，以此类推，并在每个联邦轮次中进行动态调整，以达到各中心均衡提升的目的。pFedWSD采用在各终端验证集上的分割性能（Dice系数）及模型不确定度进行模型性能排序，该综合评价指标既考虑了模型的绝对分割精度，又将鲁棒性/方差考虑在内，可以更全面地排序当前轮次各站点的模型性能。具体为

译

P f_{i} = D c_{i} + λ_{u} \frac{1}{U_{i}}

（2）

式中， $D c_{i}$ 和 $U_{i}$ 分别表示第 $i$ 个站点当前训练轮次的Dice系数和不确定度， $λ_{u}$ 为权衡参数。受贝叶斯网络中不确定度估计的启发，本文方法使用蒙特卡洛丢弃法来估计不确定度（

Kendall和Gal，2017）。具体而言，在不同的加性高斯噪声和随机丢弃下，每幅验证图像通过模型随机地向前传递

T

次。对于输入样本的每个像素，可以获取一组softmax概率向量

{\{p_{t}\}}_{t = 1}^{T}

，选择预测的熵作为度量来近似不确定度，从而可以表述为

译

μ_{c} = \frac{1}{T} \sum_{t} p_{t}^{c}

（3）

u = - \sum_{c} μ_{c} l o g μ_{c}

（4）

式中， $p_{t}^{c}$ 为第 $t$ 次预测中第 $c$ 类的概率。由此，每个样本的不确定度图 $U_{I}$ 为 ${u} \in R^{H \times W}$ 。从而，每个中心模型的不确定度以每个站点的验证样本的平均不确定度来衡量。具体为

译

U_{i} = \sum_{1}^{N_{v a}} U_{I} / H \times W \times N_{v a}

（5）

式中， $N_{v a}$ 为验证样本的个数， $H$ 和 $W$ 分别表示图像的高和宽。经过观察发现，不同站点模型的性能与样本的平均不确定度之间存在一定的负向关联。为了直观呈现这一观察结果，图3展示了不同模型对同一样本的预测结果，并提供了相应的不确定度图样例。

译

图3 不同模型对同一样本的预测结果及不确定度图样例

Fig.3 Examples of segmentation predictions and uncertainty maps from different models for the same samples

（（a）original images；（b）predictions；（c）uncertainty maps；（d）ground truth）

下载: 原图 | 高精图 | 低精图

在确定循环蒸馏排序之后，本文框架使用KL（Kullback-Leibler）散度损失来拉近教师与学生模型预测级别之间的距离，实现公共知识的传递。具体为

译

L_{d i s t} = K L (ϕ_{i} (x), ϕ_{i - 1} (x))

（6）

式中， $ϕ_{i}$ 为当前站点（学生）模型，而 $ϕ_{i - 1}$ 为上一站点（教师）模型， $x$ 为当前站点的样本。因此，训练每个站点模型的总目标函数为

译

L_{t o t a l}^{i} = \frac{1}{n_{i}^{t r}} \sum_{(x, y) \in D_{i}^{t r}} L_{s e g} (ϕ_{i}; x, y) + λ_{d} L_{d i s t} (ϕ_{i}, ϕ_{i - 1}; x)

（7）

式中， $λ_{d}$ 为权衡知识蒸馏损失和当前数据监督损失之间的权重系数， $L_{s e g}$ 为弱监督分割损失，其具体形式将在1.3节展开。需要注意的是，在第1阶段的每一轮训练中，对每个站点模型的验证性能与教师模型的验证性能进行对比，如教师模型在验证集上的Dice系数高于学生模型的Dice系数，则模型使用式（7）进行训练，否则仅利用本地数据进行训练，即式（7）中 $λ_{d}$ 设置为0。在这个阶段中，为了保持各站点模型对其数据分布的个性化，本文方法沿用了FedBN（

Li等，2021）保留每个客户端模型批标准化（BN）层的操作。经过一定的训练轮数，可以获得一个带有各站点公共知识的通用模型

ϕ

。

译

在第2阶段，即分布相似度感知的个性化阶段，首先将 $ϕ$ 分发给各站点，并结合各站点BN层初始化各站点模型。第2阶段仍然采用循环蒸馏的方式进行本地模型的迭代训练。为了更好地实现个性化，并从相似站点模型学习获取有用知识，第2阶段各站点的教师模型为每个训练轮次中各站点模型的相似度加权聚合。具体而言，每个客户端基于本地数据计算BN层的统计量并广播，而后各终端计算得到相似度权重矩阵 $M$ ，以指导每轮训练中各客户端教师模型的加权聚合。在每轮训练中，各个客户端将模型进行广播，并使用 $M$ 聚合知识蒸馏教师模型。在实际设置中，为了稳定和提升计算效率，仅使用第1阶段中获得的各站点BN层参数计算 $M$ ，并在第2阶段的训练中固定 $M$ 。 $M$ 为一个 $N \times N$ 矩阵，矩阵元素 $m_{i j} \in [0,1]$ 表示站点 $i$ 与站点 $j$ 之间的相似度，其值越大，相似度越高。需要注意的是，各站点教师模型的BN层使用本地上一轮更新模型的BN层参数，而其他层参数为

译

ψ_{i}^{t + 1} = \sum_{j = 1}^{N} m_{i j} ψ_{i}^{\hat{t}}

（8）

式中， $ψ_{i}^{\hat{t}}$ 表示第 $t$ 轮训练更新后的非BN层参数。对于相似度权重，需要首先获取模型BN层的统计量，使用 $μ$ 表示均值， $σ$ 表示方差，则第 $i$ 个客户端模型的统计量可以表示为

译

(μ_{i}, σ_{i}) = [(μ^{i, 1}, σ^{i, 1}), (μ^{i, 2}, σ^{i, 2}), \dots, (μ^{i, L}, σ^{i, L})]

（9）

式中， $L$ 代表网络的层数。受

Lu等人（2022）的启发，使用推土机距离（Wasserstein distance，WD）的近似值来度量两个高斯分布之间的距离，具体为

译

\begin{array}{l} W_{2}^{2} (N (μ^{i, l}, σ^{i, l}), N (μ^{j, l}, σ^{j, l})) = \\ {‖μ^{i, l} - μ^{j, l}‖}^{2} + {‖\sqrt[]{r^{i, l}} - \sqrt[]{r^{j, l}}‖}_{2}^{2} \end{array}

（10）

假设每个通道都是相互独立的，则 $σ^{j, l}$ 为对角矩阵， $σ^{j, l} = d i a g (r^{i, l})$ 。因此，两个客户端i，j之间的距离可以表示为

译

\begin{array}{l} d_{i, j} = \sum_{l = 1}^{L} W_{2} (N (μ^{i, l}, σ^{i, l}), N (μ^{j, l}, σ^{j, l})) = \\ \sum_{l = 1}^{L} {({‖μ^{i, l} - μ^{j, l}‖}^{2} + {‖\sqrt[]{r^{i, l}} - \sqrt[]{r^{j, l}}‖}_{2}^{2})}^{1 / 2} \end{array}

（11）

$d_{i, j}$ 值越大代表分布差异越大，则相似度权重 $m_{i j}$ 应越小。因此将 ${\tilde{m}}_{i j}$ 设置为 $d_{i, j}$ 的倒数，即 ${\tilde{m}}_{i j} = 1 / d_{i, j}$ ， $j \neq i$ ，将 ${\tilde{m}}_{i j}$ 进行归一化，可得

译

{\hat{m}}_{i, j} = \frac{{\tilde{m}}_{i, j}}{\sum_{j = 1, j \neq i}^{N} {\tilde{m}}_{i, j}}, j \neq i

（12）

使用滑动平均方式更新 $ψ_{}^{t + 1}$ ，并将 $m_{i, i}$ 设置为常数 $α$ ，则

译

m_{i, j} = \{\begin{array}{l} α & i = j \\ (1 - α) \times {\hat{m}}_{i, j} & i \neq j \end{array}

（13）

由此，可得到各个终端的教师模型的相似度聚合权重。在第2阶段，每个站点模型延续式（7）进行训练，教师模型将在当前中心的验证数据上得到的Dice系数作为性能指标，当其值低于本地模型的性能指标，则 $λ_{d}$ 设置为0，反之，教师模型性能越高，则 $λ_{d}$ 越大，式中 $λ_{0}$ 为超参数， $D c_{t e}^{v a}$ 和 $D c_{s t}^{v a}$ 分别表示教师模型和学生模型在验证集上的Dice系数。经过若干轮次训练，直至各客户端模型收敛。

译

λ_{d} = λ_{0} \times 10^{m i n (1, (D c_{t e}^{v a} - D c_{s t}^{v a}) \times 5) - 1}

（14）

1.3　弱监督训练范式

图像的语义分割本质为像素级别的分类任务。最经典的弱监督分割方法将传统交叉熵损失函数修改为部分交叉熵函数（partial cross entropy，pCE）（

Tang等，2018），也即仅在标注区域的像素点进行交叉熵损失计算。然而仅仅在稀疏标注区域上应用pCE通常无法在靠近语义边界的地方提供足够的监督信号，因而在没有监督的地方会导致差的预测结果。一种较为可行的思路是通过特定方式从已标注的监督区域向外扩展，形成未标注区域的伪标注，从而为模型训练提供更充足的监督信号（Obukhov等，2019；任冬伟等，2022）。

译

属于同一物体或对象的像素在不同的特征语义空间上应共享相似的模式，受树滤波器的启发（

Song等，2019；Liang等，2022），本文根据其结构保持的特性来建立这种成对相似性，而成对相似性与模型预测则用于为未标记的像素生成软伪标签，通过不断在线训练与修正，实现模型预测与伪标注的逐渐改进。图2（b）中展示了pFedWSD中采用的弱监督训练范式，主要由一个对标注像素的分割分支和一个对未标注像素的辅助分支构成。分割分支将稀疏标注

Y

作为监督信号并沿用pCE损失进行监督，辅助分支则从原始图像

I

与分割模型中选定层的特征

F

得到一对亲和性矩阵

A^{l o}

和

A^{h i}

，用于精细化网络预测

P

并生成软伪标注

\tilde{Y}

，生成的伪标注用于监督未标注的像素区域。此外，为了进一步修正模型对于目标边缘的预测精度，本框架采用了Obukhov等人（2019）提出的门控条件随机场损失（gated conditional random field loss，

L_{g C R F}

）作为正则化项，用于抑制单纯使用树能量损失

L_{t r e e}

可能会出现的目标区域伪标注过度膨胀或坍缩的情况，总体目标函数可以表示为

译

L_{s e g} = L_{p C E} + λ_{t} L_{t r e e} + λ_{g} L_{g C R F}

（15）

式中， $λ_{t}$ 和 $λ_{g}$ 为平衡各弱监督分割损失函数的权重参数。

译

以下给出树能量损失 $L_{t r e e}$ 的具体计算过程，首先是树亲和度计算。一幅图像可以用无向图 $G = (V, E)$ 来表示， $V$ 表示所有像素形成的顶点集，而相邻点之间的边组成边集 $E$ ，在本文中采用四方位联通建图，即仅将每个顶点的上下左右相邻像素连接成边。给定相邻像素 $i$ 和 $j$ ，它们之间的低阶权重和高阶权重分别定义为

译

ω_{i, j}^{l o} = ω_{j, i}^{l o} = {|I (i) - I (j)|}^{2}

（16）

ω_{i, j}^{h i} = ω_{j, i}^{h i} = {|F (i) - F (j)|}^{2}

（17）

式中， $I (i) \in R^{3 \times h \times w}$ 和 $F (i) \in R^{256 \times h \times w}$ 分别为原始图像像素值和特征图值， $h$ 和 $w$ 代表图像的高和宽。 $F (i)$ 由分割网络选定层的特征经过 $1 \times 1$ 卷积改变通道数得到。得到权重之后，在保证图连通性前提下依次从 $E$ 中删除权重最大的边以构建最小生成树（minimum spanning tree，MST）。使用Borůvka（

Gallager等，1983）算法生成高阶和低阶MST，与Song等人（2019）方法相似，MST的两个顶点之间的距离可以通过它们相连边的权重求和来计算。顶点之间最短路径的距离，记为超边

S

，构成了MST的距离图，具体为

译

D_{i, j}^{*} = D_{j, i}^{*} = \sum_{(k, m) \in S_{i, j}^{*}} ω_{k, m}^{*}

（18）

式中， $i$ ， $j$ ， $k$ 和 $m$ 为顶点索引， $* \in \{l o, h i\}$ 。为了捕捉顶点间的长程关系，将距离图投射到正亲和度矩阵，即

译

A^{l o} = e x p (- D^{l o} / σ)

（19）

A^{h i} = e x p (- D^{h i})

（20）

式中， $σ$ 为用于调节强度信息的超参数。给定一幅图像，低阶亲和度矩阵是静态的而高阶亲和度矩阵是动态的，两个矩阵提取特征层面的成对关系，可以训练网络获取互补知识。由于低阶亲和矩阵 $A^{l o}$ 包含边界信息，而高阶亲和矩阵 $A^{h i}$ 保持语义一致性，通过级联滤波器模块，将模型预测图精细化后的结果作为软伪标签 $\tilde{Y}$

译

\tilde{Y} = F (F (P, A^{l o}), A^{h i})

（21）

式中， $P$ 为softmax层输出的概率值图。通过与低阶、高阶亲和度矩阵相乘并经过滤波器 $F$ ，其运算式为

译

F (P, A^{*}) = \frac{1}{z_{i}} \sum_{\forall j \in Ω} A_{i, j}^{*} P_{j}

（22）

式中， $Ω$ 为所有像素集合，而 $z_{i} = \sum_{j} A_{i, j}$ 为归一化项。

译

获得伪标注之后，树能量损失可以表示为

译

L_{t r e e} = δ (P, \tilde{Y})

（23）

式中， $δ$ 为标签分配函数，用于测量预测概率 $P$ 和伪标签 $\tilde{Y}$ 之间的距离，此处本文框架使用L1范数损失。因此，最终树能量损失可以表示为

译

L_{t r e e} = - \frac{1}{|Ω_{U}|} \sum_{\forall i \in Ω_{U}} |P_{i} - {\tilde{Y}}_{i}|

（24）

式中， $Ω_{U}$ 代表图像未标注区域像素，带标注区域通过监督信号由部分交叉熵损失进行优化，而无标注区域由树能量损失进行优化，从而使每个站点模型在弱监督设定下实现在线自训练。

译

此外，值得注意的是，点、涂鸦和块标注均可以作为像素级别的稀疏类别监督信号，然而边界框作为描述目标边界的矩形框，需要经过一定的预处理转化才可作为类别监督信号。根据所分割目标的形状、尺寸等先验，可以将其转换为点、涂鸦、块或者三者的混合。以本文使用数据集为例，如图4所示，由于已知OD、OC为两种类椭圆结构，因而首先计算获得两种目标区域边界框的最大内接椭圆，而后对内椭圆中间挖去一个小圆区域并对两椭圆环形区域应用骨架化操作，从而获得两个目标区域的骨架/涂鸦稀疏标注，同时对OD边界框外的背景部分进行骨架化操作得到背景类的稀疏标注，从而将边界框标注转换为类涂鸦标注；对于FAZ，由于其形状较不规则，将边界框四边往外扩张若干像素（本文具体设置为10像素），扩张后的矩形框的外部像素设置为背景类，同时，将目标区域边界框的长与宽分别缩小为原本的1/3得到缩小框，将缩小框内的像素设置为目标类，由此可将边界框转换为块标注。对于其他复杂结构，同样可以根据形状、尺寸等先验，进行一定的预处理将框标注转换为稀疏像素标注。

译

图4 对采用边界框标注的数据的标签预处理流程

Fig.4 Label preprocessing process for data annotated with bounding boxes

下载: 原图 | 高精图 | 低精图

2　实验结果与讨论

2.1　实验数据集及预处理

依据实验和验证需要，本文利用多个公开医学影像分割数据集，使用自动化方法生成其对应稀疏标注（同一站点使用同一种标注形式，包含点、涂鸦、边界框和块4种形式），构建两个分别用于眼底OD/OC分割及视网膜FAZ分割的多领域分布弱监督分割数据集。其中，眼底OD/OC分割数据集分别使用Drishti-GS（retinal image dataset for optic nerve head segmentatio）（

Sivaswamy等，2014）、RIM-ONE-r（open retinal image database for optic nerve evaluation）（Fumero等，2011）、REFUGE-train（retinal fundus glaucoma challenge）、REFUGE-val（Orlando等，2020）及Gamma（Wu等，2023）数据集充当站点A—站点E的数据，各站点标注形式分别为涂鸦、涂鸦（另一种风格）、边界框、点、块，以下统称为Fed-ODOC数据集；对于FAZ分割任务，本文使用了FAZID（foveal avascular zone image database）（Agarwal等，2020）、OCTA500-3M、OCTA500-6M（Li等，2020b）、OCTA-25K-IQA-SEG（Wang等，2021）和ROSE（retinal OCT-angiography vessel segmentation dataset）（Ma等，2021）眼底相干光层析血管图像（optical coherence tomography angiography，OCTA）来充当各站点数据，其标注形式分别为涂鸦、点、块、边界框、涂鸦（另一种风格），以下称为Fed-FAZ数据集。各站点数据集均遵循原有数据集的训练集与测试集划分，并在训练集中按一定比例进行训练集和验证集的划分。各站点图像样例见图1（a），图中同时列出了训练及测试样本数。对于Fed-ODOC数据集，依据原始眼底照的掩码标注截取视杯视盘区域并统一调整大小为384 × 384像素；而Fed-FAZ数据集则维持原图像范围并统一调整大小为256 × 256像素。数据预处理包括将所有图像像素值归一化到0至1之间（数据精度使用float32），数据增强包括随机水平与垂直翻转图像，随机旋转一定角度（范围为-45°～45°）。

译

接下来说明各稀疏标注形式的自动化生成方法。给定一个全监督掩膜标注，如图1（b）最后一列所示，可以通过形态学腐蚀变换对每一类区域进行处理得到块标注，通过scikit-image库中的骨架化操作得到涂鸦标注，通过对取得的骨架做局部形变变换并随机擦除得到另一种风格的涂鸦标注，通过计算目标区域掩膜的外接矩形得到边界框标注，通过计算目标区域的内接矩形四边中点作为目标类点标注，通过扩展边界框并取四边中点作为背景类点标注。

译

2.2　实验环境与参数设置

实验环境为一台装配8块NVIDIA GeForce RTX 3090显卡，系统为CentOS 7，CPU型号为Intel Xeon Gold 6242R的服务器。编程语言为Python，深度学习框架为PyTorch，本文框架在联邦学习框架Flower的基础上进行开发。在每个站点使用原版U-Net作为分割模型架构，网络的通道数从上到下分别为16、32、64、128和256，并且在树能量损失的计算中选用解码器第2层特征进行级联滤波。模型的初始化方式为随机初始化，优化器选用默认参数下的AdamW优化器，初始学习率为10^-2，并随着迭代步数进行更新。

译

l_{r} = l_{r_{0}} \times {(1 - \frac{e}{N_{e}})}^{0.9}

（25）

式中， $l_{r}$ 表示当前学习率， $l_{r_{0}}$ 表示初始学习率， $e$ 为当前迭代步数， $N_{e}$ 为总迭代步数，其数值为3万。在超参数选择方面，根据内部探究性实验经验将 $λ_{u}$ （式（2））， $λ_{d}$ （式（7））， $α$ （式（13））， $λ_{0}$ （式（14））均设置为0.5，将式（15）中的 $λ_{t}$ 和 $λ_{g}$ 均设置为0.1。所设计的联邦方法中第1阶段的训练轮数为50，第2阶段轮数为1 000。所有对比方法均在相同的实验环境中部署并采用相同的学习率、优化器、优化策略及模型架构，以达到尽可能公平的对比。

译

2.3　评判指标

本文着眼于医学影像分割任务，因而选取了Dice相似性系数（Dice similarity coefficient，DSC）与95%豪斯多夫距离（Hausdorff distance，HD95），以及精确率（precision，Pre）、召回率（recall，Rec）作为主要的衡量指标，其中Dice系数表示预测结果与真实标签图的重叠程度，其值在［0，1］之间。而HD表明了预测结果与真实标签图的最大不匹配程度。Dice的数学表达式为

译

D i c e = \frac{2 |Y ⋂ P|}{|Y| + |P|}

（26）

HD的数学表达式为

译

\{\begin{array}{l} d_{p y} = \underset{p \in P}{m a x} \underset{y \in Y}{m i n} (p, y) \\ d_{y p} = \underset{y \in Y}{m a x} \underset{p \in P}{m i n} (y, p) \end{array}

（27）

H D = m a x \{d_{p y}, d_{y p}\}

（28）

式中， $P$ 与 $Y$ 分别表示预测结果与真实标签， $p$ 、 $y$ 为预测结果与真实标签上的像素点，HD95与HD类似，是基于计算 $P$ 与 $Y$ 中边界点之间距离的第95百分位数，以此消除小异常值子集的影响。较大的 Dice系数和较小的 HD 95代表更好的分割结果。

译

2.4　与其他联邦学习算法对比

将本文方法与几个代表性联邦学习框架进行性能比较，包括常用的传统中心化联邦方法（如FedAvg与FedProx）以及较先进的个性化联邦方法（如FT、FedBN、FedAP（federated learning with adaptive batchnorm for personalized healthcare）、FedRep、FedALA（adaptive local aggregation for personalized federated learning）等）。在实现方面，由于这些方法最初是为图像分类任务设计，本文实验尽量保持它们原本的设计原则并使其适应弱监督图像分割任务。FedAvg依据各站点样本数量对各局部模型参数进行加权平均，在服务器端获得单个全局模型（

McMahan等，2017）；FedProx通过在每次迭代中强制执行模型参数之间的平衡，以确保各个站点训练的模型具有相似的参数值，从而减少数据偏差，是FedAvg的泛化形式（Li等，2020c）。个性化联邦方法中，FT为带有站点微调的FedAvg；FedBN和FedRep分别将所有的BN层和分割头（最后一个卷积层）作为模型的个性化部分；FedAP通过BN层统计各站点相似度并聚合，同时保留各站点BN层的个性化参数；MetaFed基于静态（固定顺序）环形知识蒸馏实现各站点的个性化；FedALA（adaptive local aggregation for personalized federated learning）（Zhang等，2023）通过可学习的自适应局部聚合（adaptive local aggregation，ALA）模块，针对每个客户端上的局部目标自适应地聚合全局模型和局部模型，在每次迭代中训练之前初始化局部模型。在对比联邦方法中，各站点均使用原始稀疏标注进行直接监督（边界框标注站点与本文方法同样经过预处理为可直接监督的稀疏标注形式），而未针对弱监督进行额外的范式设计。同时本文还与基线设定（弱监督下的本地训练）进行比较，在该设定下各站点使用各自的数据及对应的稀疏标注训练本地分割模型。类似地，本文进行了全监督下的本地训练、弱监督下的集中训练及全监督下的集中训练，其中，集中训练指不考虑数据的隐私性及安全性，将各站点数据集中于一台中心服务器上合并，而后进行直接训练。

译

表1和表2显示了Fed-ODOC数据集的量化结果。首先，通过表1和表2的最后一列总计指标可以看到，相对于本地训练而言，所有联邦学习方法都可以有效提升各站点模型在各自测试数据中的整体性能。其中站点D通过加入联邦，性能获得了显著提升，其主要原因是站点D使用了点标注这一种监督信号最弱的标注形式，加入联邦使其可以从其他站点获取有效知识。站点F同样在加入联邦之后获得了较大的性能提升，其原因在于该站点数据/患者的分布差异较大，仅通过单一站点的数据难以训练一个强大、泛化性能强的深度分割模型。从方法类别上来看，个性化联邦方法由于可以个性化模型以应对各个站点分布各异的数据，因而性能总体优于传统的中心化联邦框架。值得注意的是，本文个性化联邦框架取得了最好的性能，每个站点均能在本文联邦框架中获益，大多数站点取得了所有联邦方法中最优或者次优的性能，并且是唯一在视杯视盘分割的综合性能中取得Dice系数高于90%的方法，显著优于集中式训练（弱监督）的性能，并取得与本地训练（全监督）、集中式训练（全监督）最接近的性能。这意味着，每个站点在保护隐私的前提下，通过多站点的数据合作可以训练得到一个性能强大的模型，并且各站点可以采用不同的稀疏标注方式，极大程度上节约了标注成本。

译

表1 不同联邦学习算法及不同本地训练、集中训练设定下的算法在视杯视盘分割任务上的Dice系数对比

Table 1 Dice scores of OD/OC segmentation from different federated learning approaches， as well as under various localized and centralized training conditions /%

方法	视杯分割						视盘分割						总计
方法	A	B	C	D	E	平均值	A	B	C	D	E	平均值	总计
FedAvg（McMahan等，2017）	92.58	83.90	94.67	93.36	88.92	90.68	83.16	69.91	85.35	82.80	86.76	81.60	86.14
FedProx（Li等，2020c）	95.19	82.14	95.03	88.28	91.06	90.34	82.18	70.14	84.64	81.33	87.19	81.10	85.72
FT（Collins等，2022）	95.97	91.09	94.83	93.34	90.10	93.06	85.02	80.76	82.51	82.95	86.88	83.62	88.34
FedBN（Li等，2021）	95.88	92.66	94.80	95.06	90.72	93.82	84.54	82.09	83.79	86.48	79.38	83.25	88.54
FedAP（Lu等，2022）	95.81	92.24	95.45	95.17	90.73	93.88	83.97	79.89	83.55	86.78	83.47	83.53	88.71
FedRep（Collins等，2021）	95.28	88.10	92.68	92.34	88.75	91.43	82.47	76.22	82.14	83.04	81.29	81.03	86.23
MetaFed（Chen等，2023）	95.87	91.97	89.78	93.51	86.44	91.51	83.69	81.86	84.72	85.04	82.24	83.51	87.51
FedALA（Zhang等，2023）	95.02	87.86	94.42	92.04	94.15	92.70	83.85	76.22	88.00	86.02	89.35	84.69	88.69
本文	95.88	93.96	94.55	94.83	93.85	94.61	86.38	84.21	86.24	87.64	85.86	86.15	90.38
本地训练（弱监督）	94.83	90.65	89.31	76.38	86.11	87.45	84.50	79.31	84.11	77.02	81.38	81.26	84.36
集中式训练（弱监督）	95.45	91.41	95.45	91.92	91.21	93.09	84.25	78.94	84.63	85.68	87.08	84.12	88.60
本地训练（全监督）	96.28	96.21	95.21	95.56	94.33	95.52	87.94	81.72	87.22	88.60	86.53	86.40	90.96
集中式训练（全监督）	96.97	94.28	96.06	96.20	95.52	95.81	87.40	82.90	88.30	89.17	89.25	87.40	91.61

注：加粗字体表示各方法各列最优结果，下划线字体表示各方法各列次优结果。

下载: CSV

下载: 表格图片

表2 不同联邦学习算法及不同本地训练、集中训练设定下的算法在视杯视盘分割任务上的豪斯多夫距离对比

Table 2 Hausdorff distances of OD/OC segmentation from different federated learning approaches， as well as under various localized and centralized training conditions

方法	视杯分割						视盘分割						总计
方法	A	B	C	D	E	平均值	A	B	C	D	E	平均值	总计
FedAvg（McMahan等，2017）	13.17	24.10	9.28	20.80	24.59	18.39	18.56	23.98	11.19	22.42	16.80	18.59	18.49
FedProx（Li等，2020c）	10.07	22.26	8.51	40.12	20.36	20.26	19.96	22.24	11.68	31.60	14.59	20.02	20.14
FT（Collins等，2022）	8.38	15.72	10.64	16.02	20.36	14.22	14.17	12.82	13.36	13.91	16.10	14.07	14.15
FedBN（Li等，2021）	8.78	18.06	19.54	10.72	17.68	14.96	15.70	12.08	17.24	9.96	11.96	13.39	14.17
FedAP（Lu等，2022）	9.19	21.59	8.96	5.77	16.80	12.46	15.69	14.68	12.66	7.05	14.49	12.91	12.69
FedRep（Collins等，2021）	17.39	21.59	23.56	54.10	31.00	29.53	27.61	18.90	17.89	50.60	17.71	26.54	28.03
MetaFed（Chen等，2023）	18.41	27.91	114.22	31.53	19.21	42.26	18.93	17.45	21.63	8.46	15.22	16.34	29.30
FedALA（Zhang等，2023）	17.51	16.76	9.57	46.05	11.02	20.18	19.76	14.10	8.89	16.29	7.24	13.26	16.72
本文	8.27	9.29	9.04	6.28	10.52	8.68	13.04	11.31	10.40	7.05	11.05	10.57	9.63
本地训练（弱监督）	26.91	44.05	74.35	151.71	19.53	63.31	16.51	35.98	24.93	19.27	16.45	22.62	42.97
集中式训练（弱监督）	9.32	12.25	7.29	11.97	14.52	11.07	15.55	13.79	10.73	9.83	12.15	12.41	11.74
本地训练（全监督）	9.27	6.26	7.55	5.38	11.07	7.91	13.34	12.62	9.18	6.30	11.51	10.59	9.25
集中式训练（全监督）	6.40	8.95	6.13	4.62	8.92	7.00	12.31	11.28	8.47	5.74	8.48	9.26	8.13

注：加粗字体表示各方法各列最优结果，下划线字体表示各方法各列次优结果。

下载: CSV

下载: 表格图片

在Fed-FAZ上的结果进一步验证了所提方法带来的提升，如表3所示，Fed-FAZ数据更具挑战性，存在部分站点数据较少的问题（如站点E）。此外，由于各站点存在不同的图像质量问题和分布差异，导致在集中训练以及部分联邦学习方法中只有小幅度提升甚至存在性能下降，各站点间存在负向干扰。相较于本地训练，并非所有的联邦方法都能为各站点带来性能提升，例如FedBN、FedAP与MetaFed。可以看出，简单地将部分参数个性化并不能为各站点模型带来显著的正向效果，模型的共享部分仍容易受到其他站点由于分布差异、质量差异等因素带来的负面干扰，同时静态的环形知识蒸馏也容易受到不相似站点模型充当教师模型所带来的无效知识影响。本文方法由于经过公共知识积累阶段以及相似度聚合知识蒸馏阶段，可以凝练积累各站点数据的相似且有效的知识，并在第2阶段为相似站点赋予更高权重，从而蒸馏得到有益知识，为差异站点赋予小权重从而减轻干扰。同样地，本文方法可以提供与本地训练（全监督）及集中式训练（全监督）相竞争的性能。

译

表3 不同联邦学习算法及不同本地训练、集中训练设定下的算法在中心凹无血管区分割任务上的性能对比

Table 3 Performance comparison of different federated learning approaches， as well as under various localized and centralized training conditions on FAZ segmentation

方法	Dice系数/%↑						95%豪斯多夫距离（HD95）↓
方法	A	B	C	D	E	平均值	A	B	C	D	E	平均值
FedAvg（McMahan等，2017）	76.56	90.65	77.64	88.85	86.55	84.05	5.85	8.28	22.73	12.45	21.59	14.18
FedProx（Li等，2020c）	73.87	89.70	77.44	89.15	83.78	82.79	7.38	8.63	23.07	12.18	22.62	14.78
FT（Collins等，2022）	83.18	91.96	78.58	88.75	88.10	86.11	10.11	8.86	20.84	11.53	20.17	14.30
FedBN（Li等，2021）	62.28	90.11	60.93	87.87	53.05	70.84	51.03	9.42	60.14	11.84	20.31	30.54
FedAP（Lu等，2022）	62.23	87.82	72.67	90.36	66.00	75.82	18.50	7.71	14.51	8.30	18.60	13.52
FedRep（Collins等，2021）	78.55	91.69	79.29	91.04	86.83	85.48	16.07	9.14	15.24	7.64	19.92	13.60
MetaFed（Chen等，2023）	70.99	86.22	74.15	88.77	74.62	78.95	9.18	10.37	24.61	13.91	39.61	19.54
FedALA（Zhang等，2023）	77.57	90.43	82.33	91.97	90.48	86.56	9.47	7.00	8.91	7.34	6.80	7.90
本文	87.93	97.24	90.97	94.25	95.22	93.12	5.43	4.46	8.06	5.63	4.20	5.56
本地训练（弱监督）	73.74	91.90	79.03	85.78	79.89	82.07	30.94	42.49	20.81	10.87	72.08	35.44
集中式训练（弱监督）	74.93	89.24	76.64	89.25	86.50	83.31	8.38	7.54	10.46	8.87	8.28	8.70
本地训练（全监督）	90.88	97.75	89.22	95.14	95.11	93.62	5.31	3.36	7.84	4.80	4.54	5.17
集中式训练（全监督）	90.93	97.23	91.49	94.88	95.38	93.98	4.57	3.66	6.86	4.82	2.99	4.58

注：加粗字体表示各方法各列最优结果，下划线字体表示各方法各列次优结果。

下载: CSV

下载: 表格图片

图5展示了本文方法与其他联邦方法的分割结果可视化对比。其中，CT代表汇总集中数据训练，weak指数据使用稀疏标签，full指数据使用全监督标签，图中数值表示Dice系数（%）。得益于所提出的个性化方法及更优的弱监督损失，本文方法在目标区域的边缘精确度、拓扑结构保持以及离群值抑制等方面都取得了更好的性能表现。

译

图5 分割结果对比

Fig.5 Visualization of representative segmentation results from pFedWSD and other federated learning approach （（a）original images；（b）FedAvg；（c）FT；（d）FedProx；（e）FedBN；（f）FedAP；（g）FedRep；（h）ours；（i）CT（weak）；（j）CT（full）；（k）ground truth）

下载: 原图 | 高精图 | 低精图

2.5　消融实验

为了证明所提出的弱监督损失以及联邦范式的有效性，本文在Fed-ODOC数据集上进行了5项关键组件的消融实验，分别是弱监督损失中的树能量损失及门控条件随机场损失，即分别对两项弱监督损失、pFedWSD中的两个阶段、pFedWSD第2阶段中的相似度感知权重（替换为FedAvg中的样本权重系数）进行消融，结果如表4所示。可以看出，任何一个损失项的消除均导致一定程度的分割性能下降；导致模型在预测中边缘精确度下降或离散预测区域增加。随后进行pFedWSD框架的两个阶段——不确定度感知的动态循环公共知识积累阶段（无公共知识积累阶段）和分布相似度感知个性化阶段（无个性化阶段）的消融。可以看出，随着公共知识积累阶段的去除，各站点综合性能大幅下降，表明对各站点知识进行动态循环蒸馏可以使得各站点模型保留各中心训练数据所得到的有效知识，并摒弃冗余知识，对最终模型性能有着重要意义。个性化阶段的消除造成了较小程度的性能下降，表明即使仅使用公共知识积累阶段的模型，也可以取得较好的分割结果。即便如此，个性化阶段仍然为各站点模型的综合性能在Dice方面提升了约2.2%。此外，将个性化阶段的教师模型采用的相似度感知聚合权重消除，替换为FedAvg中基于样本占比的权重，各站点模型无法高效地从教师模型中学习相似站点的有效知识，并且容易受到不相似站点带来的负面影响，因此性能存在较大下降。

译

表4 对本文框架pFedWSD重要组件的消融实验

Table 4 Ablation experiments on the key components of the pFedWSD framework

方法	Dice系数/%	豪斯多夫距离	召回率/%	精确率/%
无树能量损失	88.47	12.67	89.81	89.08
无门控条件随机场损失	88.41	11.84	90.50	88.58
无公共知识积累阶段	85.45	33.42	88.39	85.84
无相似度感知	87.67	15.49	89.77	87.75
无个性化阶段	88.19	11.49	89.73	89.26
本文	90.38	9.63	91.20	91.34

注：加粗字体表示各列最优结果，下划线字体表示各列次优结果。

下载: CSV

下载: 表格图片

本文还通过对各站点依次消融来分析在pFedWSD框架下各站点数据对整个联邦的贡献程度。同时，随着各站点的依次消融，可以分析各站点之间数据的相似程度及相互之间的影响。在pFedWSD框架下，无站点A、无站点B、无站点C、无站点D、无站点E与全站点设置下的各站点综合平均Dice系数依次为88.17%、88.63%、88.19%、87.98%、89.14%和90.38%，豪斯多夫距离依次为13.18、12.59、11.562、12.42、11.74和9.63。从图6的详细结果展示中可以看出，各站点均在全站点设定中取得最优性能，表明了尽管各中心存在数据分布差异，但所有站点均能从尽可能多的联邦站点中学习到更好的个性化模型。对于站点A而言，站点D退出时取得了最低的性能，表明两中心间数据相似度较高，能有效相互促进性能；同样地，对于站点D，站点A的退出导致了最大的性能下降。类似地，可以看出站点E与其他站点数据分布差距较大，随着站点E的退出，其余多数站点取得了在4个站点联邦条件下最优或次优的性能。实际中，站点E可能要提供更多的样本或更高质量的标注形式以提升该站点对联邦的贡献程度。与之相反，站点D的退出导致其余站点的综合性能较大跌幅，这可能是因为站点D贡献着所有中心中最大的样本量，其他的中心应允许其使用更为稀疏（宽松）、高效的标注方式。

译

图6 在pFedWSD联邦框架中对各站点的消融实验

Fig.6 Ablation experiments on each site in the pFedWSD framework（（a）site A；（b）site B；（c）site C；（d）site D；（e）site E）

下载: 原图 | 高精图 | 低精图

3　结论

针对医学影像全监督分割标签标注成本高、联邦学习中可能出现的数据分布差异以及标签异构等问题，本文提出了一种弱监督个性化联邦分割方法，通过循环知识蒸馏为每个中心训练个性化模型，主要包含两个阶段：不确定度感知的动态循环公共知识积累阶段和分布相似度感知的个性化阶段。

译

通过在视网膜FAZ及眼底OD和OC两个分割任务上的大量定性和定量对比实验，所提出的pFedWSD在与其他中心式联邦学习和先进的个性化联邦学习方法的对比中取得了更优的性能，可以提取各站点的有效公共信息并进行自适应个性化，在各站点均是不同形式弱监督稀疏标签的设定下，取得了接近于使用全监督标签进行本地训练甚至集中训练的性能。但由于在两个阶段中均需要进行多个教师模型的计算与通讯，本文方法存在通讯和计算开销上的短板。如何降低上述开销以及引入例如提示学习等通用大模型训练范式，将数据分布与标注稀疏程度作为模型的额外条件输入，同时促进模型的泛化性能和针对具体数据分布的自适应个性化性能是今后的主要研究方向。

译

参考文献（References）

Agarwal A， Balaji J， Raman R and Lakshminarayanan V. 2020. The foveal avascular zone image database （FAZID）//Proceedings of 2020 SPIE 11510， Applications of Digital Image Processing XLIII. Vitual： SPIE： 507-512 ［DOI： 10.1117/12.2567580］ [百度学术]

Chen Y Q， Lu W， Qin X， Wang J D and Xie X. 2023. MetaFed： federated learning among federations with cyclic knowledge distillation for personalized healthcare. IEEE Transactions on Neural Networks and Learning Systems ［DOI： 10.1109/TNNLS.2023.3297103］ [百度学术]

Collins L， Hassani H， Mokhtari A and Shakkottai S. 2021. Exploiting shared representations for personalized federated learning//Proceedings of the 38th International Conference on Machine Learning ［s.l.］： PMLR： 2089-2099 [百度学术]

Collins L， Hassani H， Mokhtari A and Shakkottai S. 2022. Fedavg with fine tuning： local updates lead to representation learning//Proceedings of the 36th International Conference on Advances in Neural Information Processing Systems. New Orleans， USA： Curran Associates Inc.： 10572-10586 [百度学术]

Fumero F， Alayón S， Sanchez J L， Sigut J and Gonzalez-Hernandez M. 2011. RIM-ONE： an open retinal image database for optic nerve evaluation//The 24th International Symposium on Computer-based Medical Systems. Bristol， UK： IEEE： 1-6 ［DOI： 10.1109/cbms.2011.5999143］ [百度学术]

Gallager R G， Humblet P A and Spira P M. 1983. A distributed algorithm for minimum-weight spanning trees. ACM Transactions on Programming Languages and Systems， 5（1）： 66-77 ［DOI： 10.1145/357195.357200］ [百度学术]

Kendall A and Gal Y. 2017. What uncertainties do we need in Bayesian deep learning for computer vision?//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach， USA： Curran Associates Inc.： 5580-5590 [百度学术]

Li D Q， Kar A， Ravikumar N， Frangi A F and Fidler S. 2020a. Federated simulation for medical imaging//Proceedings of the 23rd International Conference on Medical Image Computing and Computer-assisted Intervention. Lima， Peru： Springer： 159-168 ［DOI： 10.1007/978-3-030-59710-8_16］ [百度学术]

Li M C， Zhang Y H， Ji Z X， Xie K R， Yuan S T， Liu Q H and Chen Q. 2020b. IPN-V2 and OCTA-500： methodology and dataset for retinal image segmentation ［EB/OL］. ［2023-05-15］. https://arxiv.org/pdf/2012.07261v1.pdf [百度学术]

Li T， Sahu A K， Zaheer M， Sanjabi M， Talwalkar A and Smith V. 2020c. Federated optimization in heterogeneous networks//Proceedings of 2020 Machine Learning and Systems. Austin， USA： mlsys.org： 429-450 [百度学术]

Li W Q， Milletarì F， Xu D G， Rieke N， Hancox J， Zhu W T， Baust M， Cheng Y， Ourselin S， Cardoso M J and Feng A. 2019. Privacy-preserving federated brain tumour segmentation//Proceedings of the 10th International Workshop on Machine Learning in Medical Imaging. Shenzhen， China： Springer： 133-141 ［DOI： 10.1007/978-3-030-32692-0_16］ [百度学术]

Li X X， Jiang M R， Zhang X F， Kamp M and Dou Q. 2021. FedBN： federated learning on Non-IID features via local batch normalization//Proceedings of the 9th International Conference on Learning Representations. Vienna， Austria： OpenReview.net： 1-12 [百度学术]

Liang Z Y， Wang T C， Zhang X Y， Sun J and Shen J B. 2022. Tree energy loss： towards sparsely annotated semantic segmentation//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans， USA： IEEE： 16907-16916 ［DOI： 10.1109/cvpr52688.2022.01640］ [百度学术]

Lin L， Wang Z H， Wu J W， Huang Y J， Lyu J Y， Cheng P J， Wu J and Tang X Y. 2021. BSDA-Net： a boundary shape and distance aware joint learning framework for segmenting and classifying OCTA images//Proceedings of the 24th International Conference on Medical Image Computing and Computer-Assisted Intervention. Strasbourg， France： Springer： 65-75 ［DOI： 10.1007/978-3-030-87237-3_7］ [百度学术]

Lin L， Wu J W， Cheng P J， Wang K and Tang X Y. 2020. BLU-GAN： bi-directional convLSTM U-Net with generative adversarial training for retinal vessel segmentation//Proceedings of the 1st BenchCouncil International Federated Intelligent Computing and Block Chain Conferences. Qingdao， China： Springer： 3-13 ［DOI： 10.1007/978-981-16-1160-5_1］ [百度学术]

Liu Q D， Chen C， Qin J， Dou Q and Heng P A. 2021. FedDG： federated domain generalization on medical image segmentation via episodic learning in continuous frequency space//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville， USA： IEEE： 1013-1023 ［DOI： 10.1109/cvpr46437.2021.00107］ [百度学术]

Lu W， Wang J D， Chen Y Q， Qin X， Xu R J， Dimitriadis D and Qin T. 2022. Personalized federated learning with adaptive batchnorm for healthcare. IEEE Transactions on Big Data， 14（8）： 1-12 ［DOI： 10.1109/tbdata.2022.3177197］ [百度学术]

Ma Y H， Hao H Y， Xie J Y， Fu H Z， Zhang J， Yang J L， Wang Z， Liu J， Zheng Y L and Zhao Y T. 2021. ROSE： a retinal OCT-angiography vessel segmentation dataset and new model. IEEE Transactions on Medical Imaging， 40（3）： 928-939 ［DOI： 10.1109/tmi.2020.3042802］ [百度学术]

McMahan B， Moore E， Ramage D， Hampson S and Arcas B A. 2017. Communication-efficient learning of deep networks from decentralized data//Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. Fort Lauderdale， USA： PMLR： 1273-1282 [百度学术]

Obukhov A， Georgoulis S， Dai D X and Van Gool L. 2019. Gated CRF loss for weakly supervised semantic image segmentation［EB/OL］. ［2023-05-15］. https://arxiv.org/pdf/1906.04651v1.pdf [百度学术]

Orlando J I， Fu H Z， Breda J B， van Keer K， Bathula D R， Diaz-Pinto A， Fang R G， Heng P A， Kim J， Lee J， Lee J， Li X X， Liu P， Lu S， Murugesan B， Naranjo V， Phaye S S R， Shankaranarayana S M， Sikka A， Son J， Van Den hengel A， Wang S J， Wu J Y， Wu Z F， Xu G H， Xu Y L， Yin P S， Li F， Zhang X L， Xu Y W and Bogunović H. 2020. REFUGE Challenge： a unified framework for evaluating automated methods for glaucoma assessment from fundus photographs. Medical Image Analysis， 59： #101570 ［DOI： 10.1016/j.media.2019.101570］ [百度学术]

Ren D W， Wang Q L， Wei Y C， Meng D Y and Zuo W M. 2022. Progress in weakly supervised learning for visual understanding. Journal of Image and Graphics， 27（6）： 1768-1798 [百度学术]

任冬伟，王旗龙，魏云超，孟德宇，左旺孟. 2022. 视觉弱监督学习研究进展. 中国图象图形学报， 27（6）： 1768-1798 ［DOI： 10.11834/jig.220178］ [百度学术]

Ronneberger O， Fischer P and Brox T. 2015. U-Net： convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich， Germany： Springer： 234-241 ［DOI： 10.1007/978-3-319-24574-4_28］ [百度学术]

Sivaswamy J， Krishnadas S R， Joshi G D， Jain M and Tabish A U S. 2014. Drishti-GS： retinal image dataset for optic nerve head （ONH） segmentation//Proceedings of the 11th IEEE International Symposium on Biomedical Imaging. Beijing， China： IEEE： 53-56 ［DOI： 10.1109/ISBI.2014.6867807］ [百度学术]

Song L， Li Y W， Li Z M， Yu G， Sun H B， Sun J and Zheng N N. 2019. Learnable tree filter for structure-preserving feature transform//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver， Canada： Curran Associates Inc.： 153 [百度学术]

Sun Y H， Shi Y H， Li M， Yang R Z and Si P B. 2023. Personalized federated learning method based on collation game and knowledge distillation. Journal of Electronics and Information Technology， 45： 3702-3709 [百度学术]

孙艳华，史亚会，李萌，杨睿哲，司鹏搏. 2023. 基于合作博弈和知识蒸馏的个性化联邦学习算法. 电子与信息学报， 45： 3702-3709 ［DOI： 10.11999/JEIT221223］ [百度学术]

Tang M， Djelouah A， Perazzi F， Boykov Y and Schroers C. 2018. Normalized cut loss for weakly-supervised CNN segmentation//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， USA： IEEE： 1818-1827 ［DOI： 10.1109/cvpr.2018.00195］ [百度学术]

Tian X， Wang L and Ding Q. 2019. Review of image semantic segmentation based on deep learning. Journal of Software， 30（2）： 440-468 [百度学术]

田萱，王亮，丁琪. 2019. 基于深度学习的图像语义分割方法综述. 软件学报， 30（2）： 440-468 ［DOI： 10.13328/j.cnki.jos.005659］ [百度学术]

Voigt P and von dem Bussche A. 2017. The EU General Data Protection Regulation （GDPR）. A Practical Guide. Cham： Springer ［DOI： 10.1007/978-3-319-57959-7］ [百度学术]

Wang K K， Mathews R， Kiddon C， Eichner H， Beaufays F and Ramage D. 2019. Federated evaluation of on-device personalization ［EB/OL］. ［2023-05-15］. https://arxiv.org/pdf/1910.10252.pdf [百度学术]

Wang Y F， Shen Y Q， Yuan M， Xu J， Yang B， Liu C， Cai W J， Cheng W J， Wang W. 2021. A deep learning-based quality assessment and segmentation system with a large-scale benchmark dataset for optical coherence tomographic angiography image ［EB/OL］. ［2023-05-15］. https://arxiv.org/pdf/2107.10476.pdf [百度学术]

Wu J D， Fang H H， Li F， Fu H Z， Lin F B， Li J C， Huang Y， Yu Q J， Song S F， Xu X X， Xu Y Y， Wang W S， Wang L X， Lu S， Li H Q， Huang S H， Lu Z C， Ou C B， Wei X F， Liu B Y， Kobbi R， Tang X Y， Lin L， Zhou Q， Hu Q， Bogunović H， Orlando J I， Zhang X L and Xu Y W. 2023. GAMMA challenge： glaucoma grAding from multi-modality imAges. Medical Image Analysis， 90： #102938 [百度学术]

Yang Q， Liu Y， Chen T J and Tong Y X. 2019. Federated machine learning： concept and applications. ACM Transactions on Intelligent Systems and Technology， 10（2）： 1-19 ［DOI： 10.1145/3298981］ [百度学术]

Zhang J Q， Hua Y， Wang H， Song T， Xue Z G， Ma R H and Guan H B. 2023. FedALA： adaptive local aggregation for personalized federated learning//Proceedings of the 37th AAAI Conference on Artificial Intelligence. Washington， USA： AAAI： 11237-11244 ［DOI： 10.1609/aaai.v37i9.26330］ [百度学术]

Zhou C X， Sun Y， Wang D G and Ge H W. 2021. Survey of federated learning research. Chinese Journal of Network and Information Security， 7（5）： 77-92 [百度学术]

周传鑫，孙奕，汪德刚，葛桦玮. 2021. 联邦学习研究综述. 网络与信息安全学报， 7（5）： 77-92［DOI： 10.11959/j.issn.2096-109x.2021056］ [百度学术]

摘要

目的

方法

结果

结论

Abstract

Objective

Method

Result

Conclusion

关键词

相似度感知知识蒸馏弱监督学习个性化联邦学习医学图像分割

Keywords

similarity-awareknowledge distillationweakly supervised learningpersonalized federated learningmedical image segmentation

references

Ren D W， Wang Q L， Wei Y C， Meng D Y and Zuo W M. 2022. Progress in weakly supervised learning for visual understanding. Journal of Image and Graphics， 27（6）： 1768-1798

任冬伟，王旗龙，魏云超，孟德宇，左旺孟. 2022. 视觉弱监督学习研究进展. 中国图象图形学报， 27（6）： 1768-1798 ［DOI： 10.11834/jig.220178http://dx.doi.org/10.11834/jig.220178］

孙艳华，史亚会，李萌，杨睿哲，司鹏搏. 2023. 基于合作博弈和知识蒸馏的个性化联邦学习算法. 电子与信息学报， 45： 3702-3709 ［DOI： 10.11999/JEIT221223http://dx.doi.org/10.11999/JEIT221223］

Tian X， Wang L and Ding Q. 2019. Review of image semantic segmentation based on deep learning. Journal of Software， 30（2）： 440-468

田萱，王亮，丁琪. 2019. 基于深度学习的图像语义分割方法综述. 软件学报， 30（2）： 440-468 ［DOI： 10.13328/j.cnki.jos.005659http://dx.doi.org/10.13328/j.cnki.jos.005659］

Voigt P and von dem Bussche A. 2017. The EU General Data Protection Regulation （GDPR）. A Practical Guide. Cham： Springer ［DOI： 10.1007/978-3-319-57959-7http://dx.doi.org/10.1007/978-3-319-57959-7］

Zhou C X， Sun Y， Wang D G and Ge H W. 2021. Survey of federated learning research. Chinese Journal of Network and Information Security， 7（5）： 77-92

周传鑫，孙奕，汪德刚，葛桦玮. 2021. 联邦学习研究综述. 网络与信息安全学报， 7（5）： 77-92［DOI： 10.11959/j.issn.2096-109x.2021056http://dx.doi.org/10.11959/j.issn.2096-109x.2021056］

文章被引用时，请邮件提醒。

提交

TransAS-UNet:融合Swin Transformer和UNet的乳腺癌区域分割

U-Net通道变换网络在腺体图像分割中的应用

用于组织病理图像分类的双层多实例学习模型

全监督和弱监督图网络的病理图像分割

基于边缘信息增强的前列腺MR图像分割网络