分布式学习在医学图像分析中表现出了巨大的潜力。它允许使用具有隐私保护的多中心培训数据。但是，由于不同的成像供应商和注释协议，本地中心的数据分布可能会彼此不同。这种变化降低了基于学习的方法的性能。为了减轻影响，已经提出了两组方法针对不同的目标，即全球方法和个性化方法。前者的目的是改善来自看不见的中心（称为通用数据）的所有测试数据的单个全局模型的性能；而后者则针对每个中心的多个模型（称为本地数据）。但是，几乎没有研究以同时实现这两个目标。在这项工作中，我们提出了一个新的分布式学习框架，该框架弥合了两组之间的差距，并提高了通用和本地数据的性能。具体而言，我们的方法通过分布条件的适应矩阵将通用数据和局部数据的预测分解。多中心左心房（LA）MRI分割的结果表明，我们的方法表明，在通用和局部数据上的现有方法比现有方法表现出色。我们的代码可从https://github.com/key1589745/decouple_predict获得

通过允许多个临床站点在不集中数据集的情况下协作学习全球模型，在联邦学习（FL）下进行的医学图像分割是一个有希望的方向。但是，使用单个模型适应来自不同站点的各种数据分布非常具有挑战性。个性化的FL仅利用来自Global Server共享的部分模型参数来解决此问题，同时保留其余部分以适应每个站点本地培训中的数据分布。但是，大多数现有方法都集中在部分参数分裂上，而在本地培训期间，不考虑\ textit {textit {site Inter-inter insteriscisies}，实际上，这可以促进网站上的知识交流，以使模型学习有益于改进模型学习本地准确性。在本文中，我们提出了一个个性化的联合框架，使用\ textbf {l} ocal \ textbf {c}启动（lc-fed），以利用\ textIt {feftrict-and prediction-lactic}中的位置间暂停。提高细分。具体而言，由于每个本地站点都对各种功能都有另一种关注，因此我们首先设计嵌入的对比度位点，并与通道选择操作结合以校准编码的功能。此外，我们建议利用预测级别的一致性的知识，以指导模棱两可地区的个性化建模，例如解剖界限。它是通过计算分歧感知图来校准预测来实现的。我们的方法的有效性已在具有不同方式的三个医学图像分割任务上进行了验证，在该任务中，我们的方法始终显示出与最先进的个性化FL方法相比的性能。代码可从https://github.com/jcwang123/fedlc获得。

晚期钆增强磁共振成像（LGE MRI）的左心房（LA）和心房瘢痕分割是临床实践中的重要任务。 ％，引导消融治疗和预测心房颤动（AF）患者的治疗结果。然而，由于图像质量差，各种La形状，薄壁和周围增强区域，自动分割仍然具有挑战性。以前的方法通常独立解决了这两个任务，并忽略了洛杉矶和疤痕之间的内在空间关系。在这项工作中，我们开发了一个新的框架，即atrialjsqnet，其中La分段，在La表面上的瘢痕投影以及疤痕量化，在端到端的样式中进行。我们通过明确的表面投影提出了一种形状注意（SA），以利用LA和LA瘢痕之间的固有相关性。具体而言，SA方案嵌入到多任务架构中以执行联合LA分段和瘢痕量化。此外，引入了空间编码（SE）丢失以包含目标的连续空间信息，以便在预测的分割中减少嘈杂的斑块。我们从Miccai2018 La挑战中评估了60 LGE MRIS上提出的框架。在公共数据集上的广泛实验表明了拟议的ATRIALJSQNET的效果，从而实现了最先进的竞争性能。明确探索了LA分割和瘢痕量化之间的相关性，并对这两个任务显示出显着的性能改进。一旦稿件接受通过https://zmiclab.github.io/projects.html，就会公开发布的代码和结果。

精确的心脏计算，多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像（LGE MRI）是一种有希望的技术，可视化和量化心肌梗塞（MI）和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案，MI和心房疤痕的自动化量可能是具有挑战性的。此外，与带金标准标签的其他序列LGE MRIS相比特别有限，这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先，我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次，提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三，我们为跨型心脏图像分割提出了三种无监督的域适应技术。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

联合学习是一种新兴的范式，允许大规模分散学习，而无需在不同的数据所有者中共享数据，这有助于解决医学图像分析中数据隐私的关注。但是，通过现有方法对客户的标签一致性的要求很大程度上缩小了其应用程序范围。实际上，每个临床部位只能以部分或没有与其他站点重叠的某些感兴趣的器官注释某些感兴趣的器官。将这种部分标记的数据纳入统一联邦是一个未开发的问题，具有临床意义和紧迫性。这项工作通过使用新型联合多重编码U-NET（FED-MENU）方法来应对挑战，以进行多器官分割。在我们的方法中，提出了一个多编码的U-NET（菜单网络），以通过不同的编码子网络提取器官特异性功能。每个子网络都可以看作是特定风琴的专家，并为该客户培训。此外，为了鼓励不同子网络提取的特定器官特定功能具有信息性和独特性，我们通过设计辅助通用解码器（AGD）来规范菜单网络的训练。四个公共数据集上的广泛实验表明，我们的Fed-Menu方法可以使用具有优越性能的部分标记的数据集有效地获得联合学习模型，而不是由局部或集中学习方法培训的其他模型。源代码将在纸质出版时公开提供。

现代深层神经网络在医学图像分割任务中取得了显着进展。然而，最近观察到他们倾向于产生过于自信的估计，即使在高度不确定性的情况下，导致校准差和不可靠的模型。在这项工作中，我们介绍了错误的预测（MEEP）的最大熵，分割网络的培训策略，这些网络选择性地惩罚过度自信预测，仅关注错误分类的像素。特别是，我们设计了一个正规化术语，鼓励出于错误的预测，增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知，不会提高模型复杂性，并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准：脑磁共振图像（MRI）中的白质超强度病变，心脏MRI中的心房分段。实验结果表明，具有标准分割损耗的耦合MEEP不仅可以改善模型校准，而且还导致分割质量。

无监督的域适应方法最近在各种医学图像分割任务中成功了。报告的作品通常通过对齐域不变特征并最大程度地减少特定于域的差异来解决域移位问题。当特定域之间的差异和不同域之间的差异很小时，该策略效果很好。但是，这些模型对各种成像方式的概括能力仍然是一个重大挑战。本文介绍了UDA-VAE ++，这是一种无监督的域适应框架，用于心脏分割，并具有紧凑的损失函数下限。为了估算这一新的下限，我们使用全局估计器，局部估计器和先前的信息匹配估计器开发了新的结构共同信息估计（SMIE）块，以最大程度地提高重建和分割任务之间的相互信息。具体而言，我们设计了一种新型的顺序重新聚集方案，该方案可以实现从低分辨率潜在空间到高分辨率潜在空间的信息流和方差校正。基准心脏分割数据集的全面实验表明，我们的模型在定性和定量上优于先前的最先进。该代码可在https://github.com/louey233/toward-mutual-information} {https://github.com/louey233/toward-mutual-information中获得

使用联合学习（FL）协作培训模型的多个医疗机构已成为最大化数据驱动模型的潜力的有希望的解决方案，但医学图像中的非独立性和相同分布的（非IID）数据仍然是一个突出的挑战在真实的练习中。由不同扫描仪或协议引起的特征异质性在本地（客户端）和全局（服务器）优化中引入了学习过程中的漂移，这损害了收敛以及模型性能。许多以前的作品已经尝试通过在本地或全球范围内解决漂移来解决非IID问题，但如何共同解决两个基本耦合的漂移仍然不清楚。在这项工作中，我们专注于处理本地和全球漂移，并介绍一个名为HARMOFL的新协调框架。首先，我们建议通过将变换到频域的图像的幅度归一化以模仿统一的成像设置来减轻本地更新漂移，以便在跨本地客户端生成统一的特征空间。其次，基于谐波功能，我们设计了引导每个本地模型的客户重量扰动，以达到平坦的最佳状态，其中局部最佳解决方案的邻域面积具有均匀低损耗。如果没有任何额外的沟通成本，则扰动协助全局模型通过聚合几个局部平面OptimA来优化融合的最佳解决方案。理论上，我们已经分析了所提出的方法和经验上对三种医学图像分类和分割任务进行了广泛的实验，表明HARMOFL优于一系列具有有前途的收敛行为的最近最先进的方法。

尽管受到监督的深度学习在医学图像细分方面取得了有希望的表现，但许多方法不能很好地概括在看不见的数据上，从而限制了其现实世界的适用性。为了解决这个问题，我们提出了一个基于学习的贝叶斯框架，该框架共同对图像和标签统计数据进行建模，并利用医学图像的域 - iRrelevant轮廓进行分割。具体而言，我们首先将图像分解为轮廓和基础的组成部分。然后，我们将预期标签建模为仅与轮廓相关的变量。最后，我们开发了一个变异的贝叶斯框架，以推断这些变量的后验分布，包括轮廓，基础和标签。该框架是通过神经网络实现的，因此称为深贝叶斯分割。跨序列心脏MRI分割的任务的结果表明，我们的方法为模型推广设定了新的最新技术。特别是，在T2图像上良好训练的LGE MRI训练的贝斯模型超过了其他型号，即在平均骰子方面超过0.47。我们的代码可在https://zmiclab.github.io/projects.html上找到。

最近，已经提出了几种半监督医学图像分割的贝叶斯深度学习方法。尽管他们在医疗基准方面取得了令人鼓舞的结果，但仍然存在一些问题。首先，他们的整体体系结构属于判别模型，因此，在培训的早期阶段，它们仅使用标记的数据进行培训，这可能会使它们过于贴合标记的数据。其次，实际上，它们仅部分基于贝叶斯深度学习，因为它们的整体体系结构不是在贝叶斯框架下设计的。但是，统一贝叶斯观点下的整体体系结构可以使体系结构具有严格的理论依据，因此体系结构的每个部分都可以具有明确的概率解释。因此，为了解决问题，我们提出了一种新的生成贝叶斯深度学习（GBDL）体系结构。 GBDL属于生成模型，其目标是估计输入医疗量及其相应标签的联合分布。估计联合分布隐式涉及数据的分布，因此在培训的早期阶段都可以使用标记和未标记的数据，从而减轻潜在的过度拟合问题。此外，GBDL是在贝叶斯框架下完全设计的，因此我们提供了其完整的贝叶斯配方，这为我们的建筑奠定了理论上的概率基础。广泛的实验表明，我们的GBDL在三个公共医疗数据集上的四个常用评估指标方面优于先前的最新方法。

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

由于缺乏对未标记的结构的监督，部分监督的学习对于细分可能是具有挑战性的，并且直接应用完全监督学习的方法可能导致不兼容，这意味着地面真相不在损失功能的解决方案集合中。为了应对挑战，我们提出了一个深入的兼容学习（DCL）框架，该框架使用仅带有部分结构的图像来训练单个多标签分割网络。我们首先将部分监督的分割制定为与缺少标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备有条件的分割策略，以将标签从多个部分注销的图像传播到目标。此外，我们提出了一种双重学习策略，该策略同时学习了标签传播的两个相反的映射，以对未标记的结构进行实质性的监督。这两种策略分别为兼容形式，分别称为条件兼容性和双重兼容性。我们显示该框架通常适用于常规损失功能。该方法对现有方法具有重大的性能提高，尤其是在只有小型培训数据集的情况下。三个细分任务的结果表明，所提出的框架可以实现匹配完全监督模型的性能。

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.

Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力，但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境：“我们是否应该优先考虑学习模型的通用性能（用于服务器的将来使用）或其个性化绩效（对于每个客户端）？”这两个看似竞争的目标使社区分裂了专注于一个或另一个，但在本文中，我们表明可以同时实现这两者。具体而言，我们提出了一个新颖的联邦学习框架，该框架将模型的双重职责与两个预测任务相结合。一方面，我们介绍了一个损失家族，这些损失家庭对非相同的班级分布，使客户能够培训一个通用的预测指标，并以一致的目标培训。另一方面，我们将个性化预测变量作为一种轻巧的自适应模块，以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩（FED-ROD）命名的两个损失的两次挑战框架，学识渊博的模型可以同时实现最先进的通用和个性化的性能，从而实质上弥补了这两个任务。

计算机断层扫描（CT）在临床实践中非常重要，因为它强大的能力在没有任何侵入性检查的情况下提供患者的解剖信息，但其潜在的辐射风险引起了人们的关注。基于深度学习的方法在CT重建中被认为是有希望的，但是这些网络模型通常是通过从特定扫描协议获得的测量数据进行训练的，并且需要集中收集大量数据，这将导致严重的数据域移动，并引起隐私问题。 。为了缓解这些问题，在本文中，我们提出了一种基于超网络的联合学习方法，用于个性化CT成像，称为超fed。超fed的基本假设是，每个机构的优化问题可以分为两个部分：本地数据适应问题和全局CT成像问题，这些问题分别由机构特定的超网络和全球共享成像网络实现。全球共享成像网络的目的是从不同机构学习稳定而有效的共同特征。特定于机构的超网络经过精心设计，以获取超参数，以调节用于个性化本地CT重建的全球共享成像网络。实验表明，与其他几种最先进的方法相比，超档在CT重建中实现了竞争性能。它被认为是提高CT成像质量并达到没有隐私数据共享的不同机构或扫描仪的个性化需求的有希望的方向。这些代码将在https://github.com/zi-yuanyang/hyperfed上发布。

一方（服务器）培训的检测模型可能会在分发给其他用户（客户）时面临严重的性能降解。例如，在自主驾驶场景中，不同的驾驶环境可能会带来明显的域移动，从而导致模型预测的偏见。近年来出现的联合学习可以使多方合作培训无需泄漏客户数据。在本文中，我们专注于特殊的跨域场景，其中服务器包含大规模数据，并且多个客户端仅包含少量数据。同时，客户之间的数据分布存在差异。在这种情况下，传统的联合学习技术不能考虑到所有参与者的全球知识和特定客户的个性化知识的学习。为了弥补这一限制，我们提出了一个跨域联合对象检测框架，名为FedOD。为了同时学习不同领域的全球知识和个性化知识，拟议的框架首先执行联合培训，以通过多教老师蒸馏获得公共全球汇总模型，并将汇总模型发送给每个客户端以供应其个性化的个性化模型本地模型。经过几轮沟通后，在每个客户端，我们可以对公共全球模型和个性化本地模型进行加权合奏推理。通过合奏，客户端模型的概括性能可以胜过具有相同参数量表的单个模型。我们建立了一个联合对象检测数据集，该数据集具有基于多个公共自主驾驶数据集的显着背景差异和实例差异，然后在数据集上进行大量实验。实验结果验证了所提出的方法的有效性。

由于客户之间统计异质性的诅咒，采用个性化联合学习方法已成为成功部署基于联合学习的服务的基本选择。在个性化技术的各种分支中，基于模型混合物的个性化方法是优选的，因为每个客户都有自己的个性化模型，因为联合学习。它通常需要本地模型和联合模型，但是这种方法要么仅限于部分参数交换，要么需要其他本地更新，每种都对新颖客户端无助，并且对客户的计算能力负担重。由于已经发现了两个或更多独立深度网络之间包含多种低损失解决方案的连接子空间的存在，因此我们将这种有趣的属性与基于模型混合物的个性化联合学习方法相结合，以改善个性化的性能。我们提出了一种个性化的联合学习方法，该方法诱导了体重空间中本地和联合模型的优势之间的明确联系，以相互促进。通过在几个基准数据集上进行的广泛实验，我们证明了我们的方法在个性化绩效和鲁棒性方面都可以在现实服务中实现有问题的情况。

U-shaped networks are widely used in various medical image tasks, such as segmentation, restoration and reconstruction, but most of them usually rely on centralized learning and thus ignore privacy issues. To address the privacy concerns, federated learning (FL) and split learning (SL) have attracted increasing attention. However, it is hard for both FL and SL to balance the local computational cost, model privacy and parallel training simultaneously. To achieve this goal, in this paper, we propose Robust Split Federated Learning (RoS-FL) for U-shaped medical image networks, which is a novel hybrid learning paradigm of FL and SL. Previous works cannot preserve the data privacy, including the input, model parameters, label and output simultaneously. To effectively deal with all of them, we design a novel splitting method for U-shaped medical image networks, which splits the network into three parts hosted by different parties. Besides, the distributed learning methods usually suffer from a drift between local and global models caused by data heterogeneity. Based on this consideration, we propose a dynamic weight correction strategy (\textbf{DWCS}) to stabilize the training process and avoid model drift. Specifically, a weight correction loss is designed to quantify the drift between the models from two adjacent communication rounds. By minimizing this loss, a correction model is obtained. Then we treat the weighted sum of correction model and final round models as the result. The effectiveness of the proposed RoS-FL is supported by extensive experimental results on different tasks. Related codes will be released at https://github.com/Zi-YuanYang/RoS-FL.