Myocardial pathology segmentation (MyoPS) can be a prerequisite for the accurate diagnosis and treatment planning of myocardial infarction. However, achieving this segmentation is challenging, mainly due to the inadequate and indistinct information from an image. In this work, we develop an end-to-end deep neural network, referred to as MyoPS-Net, to flexibly combine five-sequence cardiac magnetic resonance (CMR) images for MyoPS. To extract precise and adequate information, we design an effective yet flexible architecture to extract and fuse cross-modal features. This architecture can tackle different numbers of CMR images and complex combinations of modalities, with output branches targeting specific pathologies. To impose anatomical knowledge on the segmentation results, we first propose a module to regularize myocardium consistency and localize the pathologies, and then introduce an inclusiveness loss to utilize relations between myocardial scars and edema. We evaluated the proposed MyoPS-Net on two datasets, i.e., a private one consisting of 50 paired multi-sequence CMR images and a public one from MICCAI2020 MyoPS Challenge. Experimental results showed that MyoPS-Net could achieve state-of-the-art performance in various scenarios. Note that in practical clinics, the subjects may not have full sequences, such as missing LGE CMR or mapping CMR scans. We therefore conducted extensive experiments to investigate the performance of the proposed method in dealing with such complex combinations of different CMR sequences. Results proved the superiority and generalizability of MyoPS-Net, and more importantly, indicated a practical clinical application.

心肌活力的评估对于患有心肌梗塞的患者的诊断和治疗管理是必不可少的，并且心肌病理学的分类是本评估的关键。这项工作定义了医学图像分析的新任务，即进行心肌病理分割（MYOPS）结合三个序列的心脏磁共振（CMR）图像，该图像首次与Mycai 2020一起在Myops挑战中提出的。挑战提供了45个配对和预对准的CMR图像，允许算法将互补信息与三个CMR序列组合到病理分割。在本文中，我们提供了挑战的详细信息，从十五个参与者的作品调查，并根据五个方面解释他们的方法，即预处理，数据增强，学习策略，模型架构和后处理。此外，我们对不同因素的结果分析了结果，以检查关键障碍和探索解决方案的潜力，以及为未来的研究提供基准。我们得出结论，虽然报告了有前途的结果，但研究仍处于早期阶段，在成功应用于诊所之前需要更深入的探索。请注意，MyOPS数据和评估工具继续通过其主页（www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20 /）注册注册。

精确的心脏计算，多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像（LGE MRI）是一种有希望的技术，可视化和量化心肌梗塞（MI）和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案，MI和心房疤痕的自动化量可能是具有挑战性的。此外，与带金标准标签的其他序列LGE MRIS相比特别有限，这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先，我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次，提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三，我们为跨型心脏图像分割提出了三种无监督的域适应技术。

医学图像分割是许多临床方法的基本和关键步骤。半监督学习已被广​​泛应用于医学图像分割任务，因为它减轻了收购专家审查的注释的沉重负担，并利用了更容易获得的未标记数据的优势。虽然已被证明是通过实施不同分布下的预测的不变性的一致性学习，但现有方法无法充分利用来自未标记数据的区域级形状约束和边界级距离信息。在本文中，我们提出了一种新颖的不确定性引导的相互一致学习框架，通过将任务中的一致性学习与自组合和交叉任务一致性学习从任务级正则化的最新预测集成了任务内的一致性学习，从而有效地利用了未标记的数据利用几何形状信息。该框架是由模型的估计分割不确定性指导，以便为一致性学习选择相对某些预测，以便有效地利用来自未标记数据的更可靠的信息。我们在两个公开的基准数据集中广泛地验证了我们提出的方法：左心房分割（LA）数据集和大脑肿瘤分割（BRATS）数据集。实验结果表明，我们的方法通过利用未标记的数据和优于现有的半监督分段方法来实现性能增益。

晚期钆增强磁共振成像（LGE MRI）通常用于可视化和量化左心房（LA）疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息（AF）。因此，LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的，并且经过专家内和专家间变异性，因此非常需要自动化这种计算，这然而仍然仍然具有挑战性和研究。本文旨在为La腔，墙壁，瘢痕和消融差距分割和LGE MRI的定量提供系统审查，以及AF研究的相关文献。具体而言，我们首先总结AF相关的成像技术，特别是LGE MRI。然后，我们详细介绍了四个计算任务的方法，并总结了每个任务中应用的验证策略。最后，概述了未来可能的未来发展，简要调查了上述方法的潜在临床应用。审查表明，该主题的研究仍处于早期阶段。虽然已经提出了几种方法，但特别是对于LA分割，由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题，仍有很大的算法发展。

在多模式分割领域中，可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性，在本文中，我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源，三关注融合块，双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用，我们建议使用基于双重的融合来重量沿模态和空间路径的特征，可以抑制更少的信息特征，并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性，基于双重关注融合块，我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中，首先使用相关描述块来学习模态之间的相关性，然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后，通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。

晚期钆增强磁共振成像（LGE MRI）的左心房（LA）和心房瘢痕分割是临床实践中的重要任务。 ％，引导消融治疗和预测心房颤动（AF）患者的治疗结果。然而，由于图像质量差，各种La形状，薄壁和周围增强区域，自动分割仍然具有挑战性。以前的方法通常独立解决了这两个任务，并忽略了洛杉矶和疤痕之间的内在空间关系。在这项工作中，我们开发了一个新的框架，即atrialjsqnet，其中La分段，在La表面上的瘢痕投影以及疤痕量化，在端到端的样式中进行。我们通过明确的表面投影提出了一种形状注意（SA），以利用LA和LA瘢痕之间的固有相关性。具体而言，SA方案嵌入到多任务架构中以执行联合LA分段和瘢痕量化。此外，引入了空间编码（SE）丢失以包含目标的连续空间信息，以便在预测的分割中减少嘈杂的斑块。我们从Miccai2018 La挑战中评估了60 LGE MRIS上提出的框架。在公共数据集上的广泛实验表明了拟议的ATRIALJSQNET的效果，从而实现了最先进的竞争性能。明确探索了LA分割和瘢痕量化之间的相关性，并对这两个任务显示出显着的性能改进。一旦稿件接受通过https://zmiclab.github.io/projects.html，就会公开发布的代码和结果。

使用多模式磁共振成像（MRI）对于精确的脑肿瘤细分是必需的。主要问题是，并非所有类型的MRI都始终可以在临床考试中提供。基于同一患者的先生模式之间存在强烈相关性，在这项工作中，我们提出了一种缺少一个或多种方式的脑肿瘤分割网络。所提出的网络由三个子网组成：特征增强的生成器，相关约束块和分割网络。特征增强的生成器利用可用模态来生成表示缺少模态的3D特征增强图像。相关性约束块可以利用模态之间的多源相关性，并且还限制了发电机，以合成特征增强的模态，该特征增强的模态必须具有与可用模式具有相干相关性的特征增强的模态。分段网络是基于多编码器的U-Net，以实现最终的脑肿瘤分割。所提出的方法在Brats 2018数据集上进行评估。实验结果表明，拟议方法的有效性分别在全肿瘤，肿瘤核心和增强肿瘤上实现了82.9,74.9和59.1的平均骰子得分，并且优于3.5％，17％和18.2的最佳方法％。

基于深度学习的半监督学习（SSL）方法在医学图像细分中实现了强大的性能，可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同，基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源，导致细分器生成更准确的预测。我们认为，此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督的对抗方法，称为贴片置信疗法训练（PCA），用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图，而是创建贴片置信图，并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于歧视器以融合到最佳状态，并改善半监督的分段性能。此外，在歧视者的输入中，我们补充了图像上的语义信息约束，使得未标记的数据更简单，以适合预期的数据分布。关于自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BRATS）2019挑战数据集的广泛实验表明，我们的方法优于最先进的半监督方法，这证明了其对医疗图像分割的有效性。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

磁共振图像（MRI）中的脑肿瘤分割（BTS）对于脑肿瘤诊断，癌症管理和研究目的至关重要。随着十年小型挑战的巨大成功以及CNN和Transformer算法的进步，已经提出了许多出色的BTS模型来解决BTS在不同技术方面的困难。但是，现有研究几乎没有考虑如何以合理的方式融合多模式图像。在本文中，我们利用了放射科医生如何从多种MRI模态诊断脑肿瘤的临床知识，并提出了一种称为CKD-TRANSBTS的临床知识驱动的脑肿瘤分割模型。我们没有直接串联所有模式，而是通过根据MRI的成像原理将输入方式分为两组来重新组织输入方式。具有拟议模态相关的跨意义块（MCCA）的双支支混合式编码器旨在提取多模式图像特征。所提出的模型以局部特征表示能力的能力来继承来自变压器和CNN的强度，以提供精确的病变边界和3D体积图像的远程特征提取。为了弥合变压器和CNN功能之间的间隙，我们提出了解码器中的反式和CNN功能校准块（TCFC）。我们将提出的模型与五个基于CNN的模型和六个基于Transformer的模型在Brats 2021挑战数据集上进行了比较。广泛的实验表明，与所有竞争对手相比，所提出的模型可实现最先进的脑肿瘤分割性能。

在本文中，我们提出了一个新型的相互一致性网络（MC-NET+），以有效利用未标记的数据进行半监督的医学图像分割。 MC-NET+模型的动机是通过观察到的，即经过有限注释训练的深模型很容易输出不确定的，易于分类的预测，例如模棱两可的区域（例如，粘合边缘或薄分支）进行医学图像分割。利用这些具有挑战性的样品可以使半监督分割模型训练更有效。因此，我们提出的MC-NET+模型由两个新设计组成。首先，该模型包含一个共享的编码器和多个略有不同的解码器（即使用不同的上采样策略）。计算多个解码器输出的统计差异以表示模型的不确定性，这表明未标记的硬区域。其次，我们在一个解码器的概率输出和其他解码器的软伪标签之间应用了一种新颖的相互一致性约束。通过这种方式，我们最大程度地减少了训练过程中多个输出（即模型不确定性）的差异，并迫使模型在此类具有挑战性的区域中产生不变的结果，旨在使模型训练正规化。我们将MC-NET+模型的细分结果与三个公共医疗数据集中的五种最先进的半监督方法进行了比较。具有两个标准半监督设置的扩展实验证明了我们模型的优越性能，而不是其他方法，这为半监督医学图像分割设定了新的最新技术。我们的代码将在https://github.com/ycwu1997/mc-net上公开发布。

最先进的深度学习方法在分割任务中表现出令人印象深刻的性能。然而，这些方法的成功取决于大量手动标记的掩模，这是昂贵且耗时的收集。在这项工作中，提出了一种新的一致性感知的对抗网络（Cpgan），用于半监督卒中病变细分。拟议的CPGAN可以减少对完全标记的样品的依赖。具体地，设计相似性连接模块（SCM）以捕获多尺度特征的信息。所提出的SCM可以通过加权和选择性地聚合每个位置处的特征。此外，将一致的感知策略引入所提出的模型中，以增强脑卒中病变预测对未标记数据的影响。此外，构建助理网络以鼓励鉴别者学习在训练阶段期间经常被遗忘的有意义的特征表示。助理网络和鉴别者用于共同决定分割结果是否是真实的或假的。 CPGAN在中风（ATLAS）后病变的解剖学描记。实验结果表明，所提出的网络实现了卓越的分割性能。在半监督分割任务中，使用只有五分之二的标记样本的建议的CPGAN优于使用完整标记样本的一些方法。

多发性硬化症（MS）是中枢神经系统的慢性炎症和退行性疾病，其特征在于，白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像（MRI）提供了详细的体内结构信息，允许定量和分类MS病变，其批判性地通知疾病管理。传统上，MS病变在2D MRI切片上手动注释，一个流程效率低，易于观察室内误差。最近，已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而，它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现，深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里，我们提供了全面审查最先进的自动统计和深度学习MS分段方法，并讨论当前和未来的临床应用。此外，我们审查了域适应等技术策略，以增强现实世界临床环境中的MS病变分段。

小儿肌肉骨骼系统的临床诊断依赖于医学成像检查的分析。在医学图像处理管道中，使用深度学习算法的语义分割使人可以自动生成患者特定的三维解剖模型，这对于形态学评估至关重要。但是，小儿成像资源的稀缺性可能导致单个深层分割模型的准确性和泛化性能降低。在这项研究中，我们建议设计一个新型的多任务多任务多域学习框架，在该框架中，单个分割网络对由解剖学的不同部分产生的多个数据集进行了优化。与以前的方法不同，我们同时考虑多个强度域和分割任务来克服小儿数据的固有稀缺性，同时利用成像数据集之间的共享特征。为了进一步提高概括能力，我们从自然图像分类中采用了转移学习方案，以及旨在在共享表示中促进域特异性群集的多尺度对比正则化，以及多连接解剖学先验来执行解剖学上一致的预测。我们评估了使用脚踝，膝盖和肩关节的三个稀缺和小儿成像数据集进行骨分割的贡献。我们的结果表明，所提出的方法在骰子指标中的表现优于个人，转移和共享分割方案，并具有统计学上足够的利润。拟议的模型为智能使用成像资源和更好地管理小儿肌肉骨骼疾病提供了新的观点。

Optical coherence tomography angiography (OCTA) is a novel imaging modality that has been widely utilized in ophthalmology and neuroscience studies to observe retinal vessels and microvascular systems. However, publicly available OCTA datasets remain scarce. In this paper, we introduce the largest and most comprehensive OCTA dataset dubbed OCTA-500, which contains OCTA imaging under two fields of view (FOVs) from 500 subjects. The dataset provides rich images and annotations including two modalities (OCT/OCTA volumes), six types of projections, four types of text labels (age / gender / eye / disease) and seven types of segmentation labels (large vessel/capillary/artery/vein/2D FAZ/3D FAZ/retinal layers). Then, we propose a multi-object segmentation task called CAVF, which integrates capillary segmentation, artery segmentation, vein segmentation, and FAZ segmentation under a unified framework. In addition, we optimize the 3D-to-2D image projection network (IPN) to IPN-V2 to serve as one of the segmentation baselines. Experimental results demonstrate that IPN-V2 achieves an ~10% mIoU improvement over IPN on CAVF task. Finally, we further study the impact of several dataset characteristics: the training set size, the model input (OCT/OCTA, 3D volume/2D projection), the baseline networks, and the diseases. The dataset and code are publicly available at: https://ieee-dataport.org/open-access/octa-500.

随着深度学习方法的进步，如深度卷积神经网络，残余神经网络，对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法在不同应用中显示了最先进的性能，以便在脑肿瘤，肺癌，阿尔茨海默，乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等，使用各种方式。本文通过描述U-Net框架来提出这些方法的成功，然后通过执行1）型号的U-Net变体进行综合分析，2）模特内分类，建立更好的见解相关的挑战和解决方案。此外，本文还强调了基于U-Net框架在持续的大流行病，严重急性呼吸综合征冠状病毒2（SARS-COV-2）中的贡献也称为Covid-19。最后，分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战，以发现该领域的未来未来的研究方向。

由于缺乏对未标记的结构的监督，部分监督的学习对于细分可能是具有挑战性的，并且直接应用完全监督学习的方法可能导致不兼容，这意味着地面真相不在损失功能的解决方案集合中。为了应对挑战，我们提出了一个深入的兼容学习（DCL）框架，该框架使用仅带有部分结构的图像来训练单个多标签分割网络。我们首先将部分监督的分割制定为与缺少标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备有条件的分割策略，以将标签从多个部分注销的图像传播到目标。此外，我们提出了一种双重学习策略，该策略同时学习了标签传播的两个相反的映射，以对未标记的结构进行实质性的监督。这两种策略分别为兼容形式，分别称为条件兼容性和双重兼容性。我们显示该框架通常适用于常规损失功能。该方法对现有方法具有重大的性能提高，尤其是在只有小型培训数据集的情况下。三个细分任务的结果表明，所提出的框架可以实现匹配完全监督模型的性能。

集成多模式数据以改善医学图像分析，最近受到了极大的关注。但是，由于模态差异，如何使用单个模型来处理来自多种模式的数据仍然是一个开放的问题。在本文中，我们提出了一种新的方案，以实现未配对多模式医学图像的更好的像素级分割。与以前采用模式特异性和模态共享模块的以前方法不同，以适应不同方式的外观差异，同时提取共同的语义信息，我们的方法基于具有精心设计的外部注意模块（EAM）的单个变压器来学习在训练阶段，结构化的语义一致性（即语义类表示及其相关性）。在实践中，可以通过分别在模态级别和图像级别实施一致性正则化来逐步实现上述结构化语义一致性。采用了提出的EAM来学习不同尺度表示的语义一致性，并且一旦模型进行了优化，就可以丢弃。因此，在测试阶段，我们只需要为所有模态预测维护一个变压器，这可以很好地平衡模型的易用性和简单性。为了证明所提出的方法的有效性，我们对两个医学图像分割方案进行了实验：（1）心脏结构分割，（2）腹部多器官分割。广泛的结果表明，所提出的方法的表现优于最新方法，甚至通过极有限的训练样本（例如1或3个注释的CT或MRI图像）以一种特定的方式来实现竞争性能。