最先进的深度学习方法在分割任务中表现出令人印象深刻的性能。然而，这些方法的成功取决于大量手动标记的掩模，这是昂贵且耗时的收集。在这项工作中，提出了一种新的一致性感知的对抗网络（Cpgan），用于半监督卒中病变细分。拟议的CPGAN可以减少对完全标记的样品的依赖。具体地，设计相似性连接模块（SCM）以捕获多尺度特征的信息。所提出的SCM可以通过加权和选择性地聚合每个位置处的特征。此外，将一致的感知策略引入所提出的模型中，以增强脑卒中病变预测对未标记数据的影响。此外，构建助理网络以鼓励鉴别者学习在训练阶段期间经常被遗忘的有意义的特征表示。助理网络和鉴别者用于共同决定分割结果是否是真实的或假的。 CPGAN在中风（ATLAS）后病变的解剖学描记。实验结果表明，所提出的网络实现了卓越的分割性能。在半监督分割任务中，使用只有五分之二的标记样本的建议的CPGAN优于使用完整标记样本的一些方法。

基于深度学习的半监督学习（SSL）方法在医学图像细分中实现了强大的性能，可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同，基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源，导致细分器生成更准确的预测。我们认为，此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督的对抗方法，称为贴片置信疗法训练（PCA），用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图，而是创建贴片置信图，并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于歧视器以融合到最佳状态，并改善半监督的分段性能。此外，在歧视者的输入中，我们补充了图像上的语义信息约束，使得未标记的数据更简单，以适合预期的数据分布。关于自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BRATS）2019挑战数据集的广泛实验表明，我们的方法优于最先进的半监督方法，这证明了其对医疗图像分割的有效性。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

对医学图像的器官或病变的准确分割对于可靠的疾病和器官形态计量学的可靠诊断至关重要。近年来，卷积编码器解码器解决方案在自动医疗图像分割领域取得了重大进展。由于卷积操作中的固有偏见，先前的模型主要集中在相邻像素形成的局部视觉提示上，但无法完全对远程上下文依赖性进行建模。在本文中，我们提出了一个新型的基于变压器的注意力指导网络，称为Transattunet，其中多层引导注意力和多尺度跳过连接旨在共同增强语义分割体系结构的性能。受到变压器的启发，具有变压器自我注意力（TSA）和全球空间注意力（GSA）的自我意识注意（SAA）被纳入Transattunet中，以有效地学习编码器特征之间的非本地相互作用。此外，我们还使用解码器块之间的其他多尺度跳过连接来汇总具有不同语义尺度的上采样功能。这样，多尺度上下文信息的表示能力就可以增强以产生判别特征。从这些互补组件中受益，拟议的Transattunet可以有效地减轻卷积层堆叠和连续采样操作引起的细节损失，最终提高医学图像的细分质量。来自不同成像方式的多个医疗图像分割数据集进行了广泛的实验表明，所提出的方法始终优于最先进的基线。我们的代码和预培训模型可在以下网址找到：https：//github.com/yishuliu/transattunet。

自动图像分割技术对于视觉分析至关重要。自动编码器体系结构在各种图像分割任务中具有令人满意的性能。但是，基于卷积神经网络（CNN）的自动编码器似乎在提高语义分割的准确性方面遇到了瓶颈。增加前景和背景之间的类间距离是分割网络的固有特征。但是，分割网络过于关注前景和背景之间的主要视觉差异，而忽略了详细的边缘信息，从而导致边缘分割的准确性降低。在本文中，我们提出了一个基于多任务学习的轻量级端到端细分框架，称为Edge Coasity AutoCododer Network（EAA-NET），以提高边缘细分能力。我们的方法不仅利用分割网络来获得类间特征，而且还采用重建网络来提取前景中的类内特征。我们进一步设计了一个阶层和类间特征融合模块-I2融合模块。 I2融合模块用于合并课内和类间特征，并使用软注意机制去除无效的背景信息。实验结果表明，我们的方法在医疗图像分割任务中的表现良好。 EAA-NET易于实现，并且计算成本较小。

随着深度学习方法的进步，如深度卷积神经网络，残余神经网络，对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法在不同应用中显示了最先进的性能，以便在脑肿瘤，肺癌，阿尔茨海默，乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等，使用各种方式。本文通过描述U-Net框架来提出这些方法的成功，然后通过执行1）型号的U-Net变体进行综合分析，2）模特内分类，建立更好的见解相关的挑战和解决方案。此外，本文还强调了基于U-Net框架在持续的大流行病，严重急性呼吸综合征冠状病毒2（SARS-COV-2）中的贡献也称为Covid-19。最后，分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战，以发现该领域的未来未来的研究方向。

自动肿瘤或病变分割是用于计算机辅助诊断的医学图像分析的关键步骤。尽管基于卷积神经网络（CNN）的现有方法已经达到了最先进的表现，但医疗肿瘤分割中仍然存在许多挑战。这是因为，尽管人类视觉系统可以有效地检测到2D图像中的对称性，但常规CNN只能利用翻译不变性，忽略医学图像中存在的进一步固有的对称性，例如旋转和反射。为了解决这个问题，我们通过编码那些固有的对称性来学习更精确的表示形式，提出了一个新型的群体模棱两可的分割框架。首先，在每个方向上都设计了基于内核的模棱两可的操作，这使其能够有效地解决现有方法中学习对称性的差距。然后，为了保持全球分割网络，我们设计具有层面对称性约束的独特组层。最后，基于我们的新框架，对现实世界临床数据进行的广泛实验表明，一个群体含量的res-unet（名为GER-UNET）优于其基于CNN的常规对应物，并且在最新的分段方法中优于其最新的分段方法。肝肿瘤分割，COVID-19肺部感染分割和视网膜血管检测的任务。更重要的是，新建的GER-UNET还显示出在降低样品复杂性和过滤器的冗余，升级当前分割CNN和划定器官上的其他医学成像方式上的潜力。

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

卷积神经网络（CNN）的深度学习体系结构在计算机视野领域取得了杰出的成功。 CNN构建的编码器架构U-Net在生物医学图像分割方面取得了重大突破，并且已在各种实用的情况下应用。但是，编码器部分中每个下采样层和简单堆积的卷积的平等设计不允许U-NET从不同深度提取足够的特征信息。医学图像的复杂性日益增加为现有方法带来了新的挑战。在本文中，我们提出了一个更深层，更紧凑的分裂注意U形网络（DCSAU-NET），该网络有效地利用了基于两个新颖框架的低级和高级语义信息：主要功能保护和紧凑的分裂注意力堵塞。我们评估了CVC-ClinicDB，2018 Data Science Bowl，ISIC-2018和SEGPC-2021数据集的建议模型。结果，DCSAU-NET在联合（MIOU）和F1-SOCRE的平均交点方面显示出比其他最先进的方法（SOTA）方法更好的性能。更重要的是，提出的模型在具有挑战性的图像上表现出了出色的细分性能。我们的工作代码以及更多技术细节，请访问https://github.com/xq141839/dcsau-net。

在医学图像分割任务中，脑肿瘤分割仍然是一个挑战。随着变压器在各种计算机视觉任务中的应用，变压器块显示了在全球空间中学习长距离依赖性的能力，这是与CNN互补的。在本文中，我们提出了一个新型的基于变压器的生成对抗网络，以自动分割具有多模式MRI的脑肿瘤。我们的架构由一个发电机和一个歧视器组成，这些发电机和歧视器接受了最小游戏进度的培训。发电机基于典型的“ U形”编码器架构，其底层由带有Resnet的变压器块组成。此外，发电机还接受了深度监督技术的培训。我们设计的鉴别器是一个基于CNN的网络，具有多尺度$ L_ {1} $损失，事实证明，这对于医学语义图像分割是有效的。为了验证我们方法的有效性，我们对BRATS2015数据集进行了实验，比以前的最新方法实现了可比或更好的性能。

Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.

目的：多发性硬化症（MS）是一种自身免疫和脱髓鞘疾病，导致中枢神经系统的病变。可以使用磁共振成像（MRI）跟踪和诊断该疾病。到目前为止，多数多层自动生物医学方法用于在成本，时间和可用性方面对患者没有有益的病变。本文的作者提出了一种使用只有一个模态（Flair Image）的方法，准确地将MS病变分段。方法：由3D-Reset和空间通道注意模块进行设计，灵活的基于补丁的卷积神经网络（CNN），以段MS病变。该方法由三个阶段组成：（1）对比度限制自适应直方图均衡（CLAHE）被施加到原始图像并连接到提取的边缘以形成4D图像; （2）尺寸80 * 80 * 80 * 2的贴片从4D图像中随机选择; （3）将提取的贴片传递到用于分割病变的关注的CNN中。最后，将所提出的方法与先前的相同数据集进行比较。结果：目前的研究评估了模型，具有测试集的ISIB挑战数据。实验结果表明，该方法在骰子相似性和绝对体积差方面显着超越了现有方法，而该方法仅使用一种模态（Flair）来分割病变。结论：作者推出了一种自动化的方法来分割基于最多两种方式作为输入的损伤。所提出的架构由卷积，解卷积和SCA-VOXRES模块作为注意模块组成。结果表明，所提出的方法优于与其他方法相比良好。

本文提出了基于对脑肿瘤细分任务的普遍学习培训方法。在这一概念中，3D分割网络从双互惠对抗性学习方法学习。为了增强分割预测的概括并使分割网络稳健，我们通过在原始患者数据上添加一些噪声来通过增加一些噪声来遵循虚拟的对抗训练方法。通过将其作为定量主观裁判的评论者纳入了批评，分割网络从与分段结果相关的不确定性信息学习。我们在RSNA-ASNR-MICCAI BRATS 2021数据集上培训和评估网络架构。我们在线验证数据集的表现如下：骰子相似度得分为81.38％，90.77％和85.39％; Hausdorff距离（95±95±95毫米）分别为增强肿瘤，全肿瘤和肿瘤核心的5.37毫米，8.56毫米。同样，我们的方法实现了84.55％，90.46％和85.30％的骰子相似度得分，以及最终测试数据集上的13.48 mm，6.32毫米和16.98mm的Hausdorff距离（95 \％）。总体而言，我们所提出的方法对每个肿瘤次区域的分割准确性产生更好的性能。我们的代码实现在https://github.com/himashi92/vizviva_brats_2021上公开使用

医学图像分割是许多临床方法的基本和关键步骤。半监督学习已被广​​泛应用于医学图像分割任务，因为它减轻了收购专家审查的注释的沉重负担，并利用了更容易获得的未标记数据的优势。虽然已被证明是通过实施不同分布下的预测的不变性的一致性学习，但现有方法无法充分利用来自未标记数据的区域级形状约束和边界级距离信息。在本文中，我们提出了一种新颖的不确定性引导的相互一致学习框架，通过将任务中的一致性学习与自组合和交叉任务一致性学习从任务级正则化的最新预测集成了任务内的一致性学习，从而有效地利用了未标记的数据利用几何形状信息。该框架是由模型的估计分割不确定性指导，以便为一致性学习选择相对某些预测，以便有效地利用来自未标记数据的更可靠的信息。我们在两个公开的基准数据集中广泛地验证了我们提出的方法：左心房分割（LA）数据集和大脑肿瘤分割（BRATS）数据集。实验结果表明，我们的方法通过利用未标记的数据和优于现有的半监督分段方法来实现性能增益。

Cross-modality magnetic resonance (MR) image synthesis aims to produce missing modalities from existing ones. Currently, several methods based on deep neural networks have been developed using both source- and target-modalities in a supervised learning manner. However, it remains challenging to obtain a large amount of completely paired multi-modal training data, which inhibits the effectiveness of existing methods. In this paper, we propose a novel Self-supervised Learning-based Multi-scale Transformer Network (SLMT-Net) for cross-modality MR image synthesis, consisting of two stages, \ie, a pre-training stage and a fine-tuning stage. During the pre-training stage, we propose an Edge-preserving Masked AutoEncoder (Edge-MAE), which preserves the contextual and edge information by simultaneously conducting the image reconstruction and the edge generation. Besides, a patch-wise loss is proposed to treat the input patches differently regarding their reconstruction difficulty, by measuring the difference between the reconstructed image and the ground-truth. In this case, our Edge-MAE can fully leverage a large amount of unpaired multi-modal data to learn effective feature representations. During the fine-tuning stage, we present a Multi-scale Transformer U-Net (MT-UNet) to synthesize the target-modality images, in which a Dual-scale Selective Fusion (DSF) module is proposed to fully integrate multi-scale features extracted from the encoder of the pre-trained Edge-MAE. Moreover, we use the pre-trained encoder as a feature consistency module to measure the difference between high-level features of the synthesized image and the ground truth one. Experimental results show the effectiveness of the proposed SLMT-Net, and our model can reliably synthesize high-quality images when the training set is partially unpaired. Our code will be publicly available at https://github.com/lyhkevin/SLMT-Net.

已显示自动深度学习分割模型可提高分割效率和准确性。但是，训练强大的分割模型需要大量标记的训练样本，这可能是不切实际的。这项研究旨在开发一个深度学习框架，用于生成可用于增强网络培训的合成病变。病变合成网络是一种修改的生成对抗网络（GAN）。具体而言，我们创新了部分卷积策略来构建一个类似于Unet的发电机。该鉴别器是使用具有梯度惩罚和光谱归一化的Wasserstein GAN设计的。开发了基于主成分分析的掩模生成方法，以模拟各种病变形状。然后通过病变合成网络将生成的面膜转换为肝病。评估了病变的合成框架的病变纹理，并使用合成病变来训练病变分割网络，以进一步验证该框架的有效性。所有网络均经过LIT的公共数据集训练和测试。与所采用的两个纹理参数（GLCM-能量和GLCM相关）相比，该方法产生的合成病变具有非常相似的直方图分布。 GLCM-能量和GlCM相关的Kullback-Lebler差异分别为0.01和0.10。包括肿瘤分割网络中的合成病变包括U-NET的分割骰子性能从67.3％显着提高到71.4％（p <0.05）。同时，体积的精度和灵敏度从74.6％提高到76.0％（p = 0.23）和66.1％至70.9％（p <0.01）。合成数据可显着提高分割性能。

Automated detecting lung infections from computed tomography (CT) data plays an important role for combating COVID-19. However, there are still some challenges for developing AI system. 1) Most current COVID-19 infection segmentation methods mainly relied on 2D CT images, which lack 3D sequential constraint. 2) Existing 3D CT segmentation methods focus on single-scale representations, which do not achieve the multiple level receptive field sizes on 3D volume. 3) The emergent breaking out of COVID-19 makes it hard to annotate sufficient CT volumes for training deep model. To address these issues, we first build a multiple dimensional-attention convolutional neural network (MDA-CNN) to aggregate multi-scale information along different dimension of input feature maps and impose supervision on multiple predictions from different CNN layers. Second, we assign this MDA-CNN as a basic network into a novel dual multi-scale mean teacher network (DM${^2}$T-Net) for semi-supervised COVID-19 lung infection segmentation on CT volumes by leveraging unlabeled data and exploring the multi-scale information. Our DM${^2}$T-Net encourages multiple predictions at different CNN layers from the student and teacher networks to be consistent for computing a multi-scale consistency loss on unlabeled data, which is then added to the supervised loss on the labeled data from multiple predictions of MDA-CNN. Third, we collect two COVID-19 segmentation datasets to evaluate our method. The experimental results show that our network consistently outperforms the compared state-of-the-art methods.

Covid-19的传播给世界带来了巨大的灾难，自动分割感染区域可以帮助医生快速诊断并减少工作量。但是，准确和完整的分割面临一些挑战，例如散射的感染区分布，复杂的背景噪声和模糊的分割边界。为此，在本文中，我们提出了一个新的网络，用于从CT图像（名为BCS-NET）的自动covid-19肺部感染分割，该网络考虑了边界，上下文和语义属性。 BCS-NET遵循编码器架构，更多的设计集中在解码器阶段，该阶段包括三个逐渐边界上下文 - 语义重建（BCSR）块。在每个BCSR块中，注意引导的全局上下文（AGGC）模块旨在通过突出显示重要的空间和边界位置并建模全局上下文依赖性来学习解码器最有价值的编码器功能。此外，语义指南（SG）单元通过在中间分辨率上汇总多规模的高级特征来生成语义指南图来完善解码器特征。广泛的实验表明，我们提出的框架在定性和定量上都优于现有竞争对手。

在多模式分割领域中，可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性，在本文中，我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源，三关注融合块，双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用，我们建议使用基于双重的融合来重量沿模态和空间路径的特征，可以抑制更少的信息特征，并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性，基于双重关注融合块，我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中，首先使用相关描述块来学习模态之间的相关性，然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后，通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。