来自多个磁共振成像（MRI）方式的脑肿瘤分割是医学图像计算中的具有挑战性的任务。主要挑战在于各种扫描仪和成像协议的普遍性。在本文中，我们探讨了在不增加推理时间的情况下增加模型稳健性的策略。为此目的，我们探索使用不同损失，优化仪和培训验证数据拆分培训的型号的强大合奏。重要的是，我们探讨了U-Net架构的瓶颈中的变压器。虽然我们在瓶颈中发现变压器比平均基线U-Net更差，但是广义的Wasserstein骰子损失一致地产生优异的结果。此外，我们采用了高效的测试时间增强策略，以实现更快和强大的推论。我们的最终集合具有测试时间增强的七个3D U-Nets的平均骰子得分为89.4％，平均HAUSDORFF 95％距离10.0 mm在Brats 2021测试数据集时。我们的代码和培训的型号在https://github.com/lucasfidon/trabit_brats2021上公开提供。

本文介绍了我们参与FETA挑战2021的方法（团队名称：特拉比特）。认为医学图像分割的卷积神经网络的性能被认为与训练数据的数量正相关。 FETA挑战不会限制参与者仅使用提供的培训数据，还可以使用其他公共可用的来源。然而，开放式胎儿脑数据仍然有限。因此，有利的策略可以扩展训练数据以覆盖更广泛的围产期脑成像来源。除了敌人挑战数据之外，围产期脑部MRIS，目前可公开可用，跨越正常和病理胎儿地图空间以及新生儿扫描。然而，在不同数据集中分段的围产期脑MRIS通常具有不同的注释协议。这使得将这些数据集结合起来训练深度神经网络的挑战。我们最近提出了一系列损失职能，标签集丢失功能，用于部分监督学习。标签集丢失功能允许使用部分分段图像培训深度神经网络，即某些类可以将某些类分为超级类别。我们建议使用标签集丢失功能来通过合并几个公共数据集来改善多级胎儿脑细分的最先进的深度学习管道的分割性能。为了促进可延流性，我们的方法不会引入任何额外的超参数调整。

我们为Brats21挑战中的脑肿瘤分割任务提出了优化的U-Net架构。为了找到最佳模型架构和学习时间表，我们运行了一个广泛的消融研究来测试：深度监督损失，焦点，解码器注意，下降块和残余连接。此外，我们搜索了U-Net编码器的最佳深度，卷积通道数量和后处理策略。我们的方法赢得了验证阶段，并在测试阶段进行了第三位。我们已开放源代码以在NVIDIA深度学习示例GitHub存储库中重现我们的Brats21提交。

Glioblastomas是最具侵略性的快速生长的主要脑癌，起源于大脑的胶质细胞。准确鉴定恶性脑肿瘤及其子区域仍然是医学图像分割中最具挑战性问题之一。脑肿瘤分割挑战（Brats）是自动脑胶质细胞瘤分割算法的流行基准，自于其启动。在今年的挑战中，Brats 2021提供了2,000名术前患者的最大多参数（MPMRI）数据集。在本文中，我们提出了两个深度学习框架的新聚合，即在术前MPMRI中的自动胶质母细胞瘤识别的Deepseg和NNU-Net。我们的集合方法获得了92.00,87.33和84.10和Hausdorff距离为3.81,8.91和16.02的骰子相似度分数，用于增强肿瘤，肿瘤核心和全肿瘤区域，单独进行。这些实验结果提供了证据表明它可以在临床上容易地应用，从而助攻脑癌预后，治疗计划和治疗反应监测。

Automatic segmentation is essential for the brain tumor diagnosis, disease prognosis, and follow-up therapy of patients with gliomas. Still, accurate detection of gliomas and their sub-regions in multimodal MRI is very challenging due to the variety of scanners and imaging protocols. Over the last years, the BraTS Challenge has provided a large number of multi-institutional MRI scans as a benchmark for glioma segmentation algorithms. This paper describes our contribution to the BraTS 2022 Continuous Evaluation challenge. We propose a new ensemble of multiple deep learning frameworks namely, DeepSeg, nnU-Net, and DeepSCAN for automatic glioma boundaries detection in pre-operative MRI. It is worth noting that our ensemble models took first place in the final evaluation on the BraTS testing dataset with Dice scores of 0.9294, 0.8788, and 0.8803, and Hausdorf distance of 5.23, 13.54, and 12.05, for the whole tumor, tumor core, and enhancing tumor, respectively. Furthermore, the proposed ensemble method ranked first in the final ranking on another unseen test dataset, namely Sub-Saharan Africa dataset, achieving mean Dice scores of 0.9737, 0.9593, and 0.9022, and HD95 of 2.66, 1.72, 3.32 for the whole tumor, tumor core, and enhancing tumor, respectively. The docker image for the winning submission is publicly available at (https://hub.docker.com/r/razeineldin/camed22).

来自磁共振成像（MRI）数据的自动脑肿瘤分割在评估治疗和个性化治疗分层的肿瘤反应中起重要作用.Manual分割是乏味的，主观的脑肿瘤细分算法有可能提供目标并且快速肿瘤分割。但是，这种算法的培训需要大量数据集，这些数据集并不总是可用的。数据增强技术可以减少对大型数据集的需求。然而，当前方法主要是参数，并且可能导致次优的性能。我们引入了两个非参数化的脑肿瘤分割的数据增强方法：混合结构正则化（MSR）和Shuffle像素噪声（SPN）.we评估了MSR和SPN增强对大脑肿瘤分割（BRATS）2018挑战数据集的附加值与编码器 - 解码器NNU-NNU-NNU-NET架构作为分割算法。从MSR和SPN改善NNU-NET分段与参数高斯噪声增强相比的准确性。当分别将MSR与肿瘤核心和全肿瘤实验的非参数增强分别增加了80％至82％和p值= 0.0022,00028。所提出的MSR和SPN增强有可能在其他任务中提高神经网络性能。

脑肿瘤的语义分割是一个基本的医学图像分析任务，涉及多个MRI成像方式，可以帮助临床医生诊断患者并先后研究恶性实体的进展。近年来，完全卷积神经网络（FCNNS）方法已成为3D医学图像分割的事实标准。受欢迎的“U形”网络架构在不同的2D和3D语义分割任务和各种成像方式上实现了最先进的性能基准。然而，由于FCNNS中的卷积层的核心大小有限，它们的建模远程信息的性能是次优的，这可能导致具有可变尺寸的肿瘤分割的缺陷。另一方面，变压器模型在捕获多个域中的这种远程信息，包括自然语言处理和计算机视觉中的卓越功能。灵感来自视觉变形金刚的成功及其变体，我们提出了一种新的分割模型，被称为往返博物馆变压器（Swin Unet）。具体地，3D脑肿瘤语义分割的任务被重新重整为序列预测问题的序列，其中多模态输入数据被投射到嵌入的1D序列并用作作为编码器的分层SWIN变压器的输入。 SWIN变压器编码器通过利用移位窗口来提取五个不同分辨率的特征，以通过跳过连接在每个分辨率下连接到每个分辨率的基于FCNN的解码器。我们参与了Brats 2021分割挑战，我们所提出的模型在验证阶段的最佳方法中排名。代码：https://monai.io/research/swin-unetr.

脑肿瘤细分对于胶质瘤患者的诊断和预后至关重要。脑肿瘤分割挑战赛继续提供一种开发自动算法来执行任务的伟大数据来源。本文介绍了我们对2021年竞争的贡献。我们开发了基于NN-UNET的方法，去年竞争的胜利。我们尝试了多种修改，包括使用较大的网络，用组标准化替换批量归一化，并在解码器中使用轴向注意力。内部5倍交叉验证以及组织者的在线评估显示了我们的方法的有效性，与基线相比，定量度量的微小改善。拟议的型号在最终排名上赢得了未经证明的测试数据的第一名。获奖提交的代码，备用重量和Docker图像在https://github.com/rixez/brats21_kaist_mri_lab上公开可用

Brain tumor imaging has been part of the clinical routine for many years to perform non-invasive detection and grading of tumors. Tumor segmentation is a crucial step for managing primary brain tumors because it allows a volumetric analysis to have a longitudinal follow-up of tumor growth or shrinkage to monitor disease progression and therapy response. In addition, it facilitates further quantitative analysis such as radiomics. Deep learning models, in particular CNNs, have been a methodology of choice in many applications of medical image analysis including brain tumor segmentation. In this study, we investigated the main design aspects of CNN models for the specific task of MRI-based brain tumor segmentation. Two commonly used CNN architectures (i.e. DeepMedic and U-Net) were used to evaluate the impact of the essential parameters such as learning rate, batch size, loss function, and optimizer. The performance of CNN models using different configurations was assessed with the BraTS 2018 dataset to determine the most performant model. Then, the generalization ability of the model was assessed using our in-house dataset. For all experiments, U-Net achieved a higher DSC compared to the DeepMedic. However, the difference was only statistically significant for whole tumor segmentation using FLAIR sequence data and tumor core segmentation using T1w sequence data. Adam and SGD both with the initial learning rate set to 0.001 provided the highest segmentation DSC when training the CNN model using U-Net and DeepMedic architectures, respectively. No significant difference was observed when using different normalization approaches. In terms of loss functions, a weighted combination of soft Dice and cross-entropy loss with the weighting term set to 0.5 resulted in an improved segmentation performance and training stability for both DeepMedic and U-Net models.

多模式脑肿瘤分割挑战（BRALS）2021的另一年提供了较大的数据集，以促进脑肿瘤分割方法的合作和研究，这对于疾病分析和治疗规划是必要的。 BRATS 2021的大型数据集大小和现代GPU的出现为学习基于深度学习的方法提供了更好的机会，以学习来自数据的肿瘤表示。在这项工作中，我们维护了一个基于编码器解码器的分段网络，但专注于网络培训过程的修改，从而最大限度地减少扰动下的冗余。鉴于培训的网络，我们进一步介绍了基于置信的组合技术，以进一步提高性能。我们评估了Brats 2021验证板上的方法，并分别为增强肿瘤核心，肿瘤核心和全肿瘤的0.8600,0.8868和0.9265平均骰子。我们的团队（NVAUTO）提交是在ET和TC分数方面的最高表演，并且在WT分数方面的十大表演团队内。

磁共振成像（MRI）数据由于设备制造商，扫描协议和受试者间变异性的差异而具有异质性。减轻MR图像异质性的一种常规方法是应用预处理转换，例如解剖学比对，体素重新采样，信号强度均衡，图像降解和利益区域的定位（ROI）。尽管预处理管道标准化了图像外观，但其对图像分割质量和深度神经网络（DNN）的其他下游任务的影响从未经过严格研究。在这里，我们报告了一项关于TCIA-GBM开源数据集的多模式MRI MRI脑癌图像分割的全面研究。我们的结果表明，大多数流行的标准化步骤对人工神经网络的性能没有任何价值。此外，预处理可以妨碍模型性能。我们建议，由于信号差异降低了图像标准化，图像强度归一化方法不会导致模型准确性。最后，如果根据临床相关的指标来衡量，我们表明了型型型在数据预处理中的贡献几乎可以忽略不计。我们表明，准确分析的唯一必不可少的转换是整个数据集的体素间距的统一。相反，非刚性地图集注册形式的解剖学对齐不是必需的，大多数强度均衡步骤不能提高模型的生产力。

State-of-the-art brain tumor segmentation is based on deep learning models applied to multi-modal MRIs. Currently, these models are trained on images after a preprocessing stage that involves registration, interpolation, brain extraction (BE, also known as skull-stripping) and manual correction by an expert. However, for clinical practice, this last step is tedious and time-consuming and, therefore, not always feasible, resulting in skull-stripping faults that can negatively impact the tumor segmentation quality. Still, the extent of this impact has never been measured for any of the many different BE methods available. In this work, we propose an automatic brain tumor segmentation pipeline and evaluate its performance with multiple BE methods. Our experiments show that the choice of a BE method can compromise up to 15.7% of the tumor segmentation performance. Moreover, we propose training and testing tumor segmentation models on non-skull-stripped images, effectively discarding the BE step from the pipeline. Our results show that this approach leads to a competitive performance at a fraction of the time. We conclude that, in contrast to the current paradigm, training tumor segmentation models on non-skull-stripped images can be the best option when high performance in clinical practice is desired.

本文提出了基于对脑肿瘤细分任务的普遍学习培训方法。在这一概念中，3D分割网络从双互惠对抗性学习方法学习。为了增强分割预测的概括并使分割网络稳健，我们通过在原始患者数据上添加一些噪声来通过增加一些噪声来遵循虚拟的对抗训练方法。通过将其作为定量主观裁判的评论者纳入了批评，分割网络从与分段结果相关的不确定性信息学习。我们在RSNA-ASNR-MICCAI BRATS 2021数据集上培训和评估网络架构。我们在线验证数据集的表现如下：骰子相似度得分为81.38％，90.77％和85.39％; Hausdorff距离（95±95±95毫米）分别为增强肿瘤，全肿瘤和肿瘤核心的5.37毫米，8.56毫米。同样，我们的方法实现了84.55％，90.46％和85.30％的骰子相似度得分，以及最终测试数据集上的13.48 mm，6.32毫米和16.98mm的Hausdorff距离（95 \％）。总体而言，我们所提出的方法对每个肿瘤次区域的分割准确性产生更好的性能。我们的代码实现在https://github.com/himashi92/vizviva_brats_2021上公开使用

尽管脑肿瘤分割的准确性最近取得了进步，但结果仍然遭受低可靠性和鲁棒性的影响。不确定性估计是解决此问题的有效解决方案，因为它提供了对分割结果的信心。当前的不确定性估计方法基于分位数回归，贝叶斯神经网络，集合和蒙特卡洛辍学者受其高计算成本和不一致的限制。为了克服这些挑战，在最近的工作中开发了证据深度学习（EDL），但主要用于自然图像分类。在本文中，我们提出了一个基于区域的EDL分割框架，该框架可以生成可靠的不确定性图和可靠的分割结果。我们使用证据理论将神经网络的输出解释为从输入特征收集的证据价值。遵循主观逻辑，将证据作为差异分布进行了参数化，预测的概率被视为主观意见。为了评估我们在分割和不确定性估计的模型的性能，我们在Brats 2020数据集上进行了定量和定性实验。结果证明了所提出的方法在量化分割不确定性和稳健分割肿瘤方面的最高性能。此外，我们提出的新框架保持了低计算成本和易于实施的优势，并显示了临床应用的潜力。

尽管脑肿瘤分割的准确性最近有所提高，但结果仍然表现出较低的置信度和稳健性。不确定性估计是改变这种情况的一种有效方法，因为它提供了对分割结果的信心。在本文中，我们提出了一个可信赖的脑肿瘤分割网络，该网络可以产生可靠的分割结果和可靠的不确定性估计，而不会过多的计算负担和骨干网络的修改。在我们的方法中，不确定性是使用主观逻辑理论明确建模的，该理论将主干神经网络的预测视为主观观点，通过将分割的类概率参数视为差异分布。同时，可信赖的分割框架学习了从功能中收集可靠证据的功能，从而导致最终分割结果。总体而言，我们统一的可信赖分割框架使该模型具有可靠性和鲁棒性，对分布式样本。为了评估我们的模型在鲁棒性和可靠性方面的有效性，在Brats 2019数据集中进行了定性和定量实验。

在多模式分割领域中，可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性，在本文中，我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源，三关注融合块，双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用，我们建议使用基于双重的融合来重量沿模态和空间路径的特征，可以抑制更少的信息特征，并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性，基于双重关注融合块，我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中，首先使用相关描述块来学习模态之间的相关性，然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后，通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。

在医学图像分割任务中，脑肿瘤分割仍然是一个挑战。随着变压器在各种计算机视觉任务中的应用，变压器块显示了在全球空间中学习长距离依赖性的能力，这是与CNN互补的。在本文中，我们提出了一个新型的基于变压器的生成对抗网络，以自动分割具有多模式MRI的脑肿瘤。我们的架构由一个发电机和一个歧视器组成，这些发电机和歧视器接受了最小游戏进度的培训。发电机基于典型的“ U形”编码器架构，其底层由带有Resnet的变压器块组成。此外，发电机还接受了深度监督技术的培训。我们设计的鉴别器是一个基于CNN的网络，具有多尺度$ L_ {1} $损失，事实证明，这对于医学语义图像分割是有效的。为了验证我们方法的有效性，我们对BRATS2015数据集进行了实验，比以前的最新方法实现了可比或更好的性能。

我们提出了一个联合图卷积图像卷积神经网络，作为我们对脑肿瘤分割（BRATS）2021挑战的提交。我们将每个大脑建模为由不同的图像区域组成的图，最初由图神经网络（GNN）分割。随后，由GNN鉴定的肿瘤体积通过简单（体素）卷积神经网络（CNN）进一步完善，该卷积神经网络（CNN）产生了最终的分割。这种方法通过图形表示捕获了全局大脑特征的交互，也可以通过使用卷积过滤器来捕获局部图像详细信息。我们发现，GNN成分本身可以有效地识别和分割脑肿瘤。在评估的所有指标中，CNN的添加进一步提高了该模型的中值性能。在验证集中，我们的联合GNN-CNN模型的平均骰子得分分别为0.89、0.81、0.73和平均Hausdorff距离（95％），分别为6.8、12.6、28.2mm，分别在整个肿瘤，核心肿瘤和增强肿瘤上。

限制机器学习系统的故障对于安全至关重要的应用至关重要。为了提高机器学习系统的鲁棒性，已提出了分配鲁棒优化（DRO）作为经验风险最小化（ERM）的概括。然而，由于与ERM的随机梯度下降（SGD）优化器相比，由于可用于DRO的优化器的相对效率相对效率相对低效率，因此在深度学习中的使用受到了严格的限制。我们建议使用硬度加权采样的SGD，这是机器学习中DRO的原则性高效优化方法，在深度学习的背景下特别适合。与实践中的硬示例挖掘策略类似，所提出的算法可以直接实施和计算，并且与用于深度学习的基于SGD的优化器一样有效，需要最小的开销计算。与典型的临时硬采矿方法相反，我们证明了我们的DRO算法的收敛性，用于过度参数化的深度学习网络，并具有RELU激活以及有限数量的层和参数。我们对MRI中胎儿脑3D MRI分割和脑肿瘤分割的实验证明了我们方法的可行性和有用性。使用我们的硬度加权采样进行训练，最先进的深度学习管道可改善自动胎儿脑中解剖学变异的鲁棒性3D MRI分割，并改善了对脑肿瘤分割的图像方案变化的鲁棒性。我们的代码可从https://github.com/lucasfidon/hardnessweightedsampler获得。

使用多模式磁共振成像（MRI）对于精确的脑肿瘤细分是必需的。主要问题是，并非所有类型的MRI都始终可以在临床考试中提供。基于同一患者的先生模式之间存在强烈相关性，在这项工作中，我们提出了一种缺少一个或多种方式的脑肿瘤分割网络。所提出的网络由三个子网组成：特征增强的生成器，相关约束块和分割网络。特征增强的生成器利用可用模态来生成表示缺少模态的3D特征增强图像。相关性约束块可以利用模态之间的多源相关性，并且还限制了发电机，以合成特征增强的模态，该特征增强的模态必须具有与可用模式具有相干相关性的特征增强的模态。分段网络是基于多编码器的U-Net，以实现最终的脑肿瘤分割。所提出的方法在Brats 2018数据集上进行评估。实验结果表明，拟议方法的有效性分别在全肿瘤，肿瘤核心和增强肿瘤上实现了82.9,74.9和59.1的平均骰子得分，并且优于3.5％，17％和18.2的最佳方法％。