数字医学图像的机器学习和流行的最新进展已经开辟了通过使用深卷积神经网络来解决挑战性脑肿瘤细分（BTS）任务的机会。然而，与非常广泛的RGB图像数据不同，在脑肿瘤分割中使用的医学图像数据在数据刻度方面相对稀缺，但在模态属性方面包含更丰富的信息。为此，本文提出了一种新的跨模型深度学习框架，用于从多种方式MRI数据分段脑肿瘤。核心思想是通过多模态数据挖掘丰富的模式以弥补数据量表不足。所提出的跨型号深度学习框架包括两个学习过程：跨模型特征转换（CMFT）过程和跨模型特征融合（CMFF）过程，其目的是通过跨越不同模态的知识来学习丰富的特征表示数据和融合知识分别来自不同的模态数据。在Brats基准上进行了综合实验，表明，与基线方法和最先进的方法相比，所提出的跨模型深度学习框架可以有效地提高大脑肿瘤分割性能。

使用多模式磁共振成像（MRI）对于精确的脑肿瘤细分是必需的。主要问题是，并非所有类型的MRI都始终可以在临床考试中提供。基于同一患者的先生模式之间存在强烈相关性，在这项工作中，我们提出了一种缺少一个或多种方式的脑肿瘤分割网络。所提出的网络由三个子网组成：特征增强的生成器，相关约束块和分割网络。特征增强的生成器利用可用模态来生成表示缺少模态的3D特征增强图像。相关性约束块可以利用模态之间的多源相关性，并且还限制了发电机，以合成特征增强的模态，该特征增强的模态必须具有与可用模式具有相干相关性的特征增强的模态。分段网络是基于多编码器的U-Net，以实现最终的脑肿瘤分割。所提出的方法在Brats 2018数据集上进行评估。实验结果表明，拟议方法的有效性分别在全肿瘤，肿瘤核心和增强肿瘤上实现了82.9,74.9和59.1的平均骰子得分，并且优于3.5％，17％和18.2的最佳方法％。

脑肿瘤分割是医学图像分析中最具挑战性问题之一。脑肿瘤细分的目标是产生准确描绘脑肿瘤区域。近年来，深入学习方法在解决各种计算机视觉问题时表现出了有希望的性能，例如图像分类，对象检测和语义分割。基于深度学习的方法已经应用于脑肿瘤细分并取得了有希望的结果。考虑到最先进技术所制作的显着突破，我们使用本调查来提供最近开发的深层学习脑肿瘤分割技术的全面研究。在本次调查中选择并讨论了100多篇科学论文，广泛地涵盖了网络架构设计，在不平衡条件下的细分等技术方面，以及多种方式流程。我们还为未来的发展方向提供了富有洞察力的讨论。

在多模式分割领域中，可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性，在本文中，我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源，三关注融合块，双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用，我们建议使用基于双重的融合来重量沿模态和空间路径的特征，可以抑制更少的信息特征，并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性，基于双重关注融合块，我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中，首先使用相关描述块来学习模态之间的相关性，然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后，通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。

由于在临床实践中获得多模式成对图像的困难，最近的研究提议用未配对的图像训练脑肿瘤分割模型，并通过模态翻译捕获互补信息。但是，这些模型无法完全利用不同方式的互补信息。因此，在这项工作中，我们提出了一个新颖的两步（内模态和模式间）课程分解学习框架，以有效利用特权的半成绩图像，即仅在训练中可用于脑肿瘤分段的有限的配对图像。具体而言，在第一步中，我们建议通过增强模式内风格的图像进行重建和分割。在第二步中，该模型共同执行重建，无监督/监督的翻译以及对未配对和配对模式图像的分割。提出了内容一致性损失和监督翻译损失，以利用此步骤中不同方式的互补信息。通过这两个步骤，我们的方法有效地提取了特定于模式的样式代码，描述了组织特征和图像对比度的衰减，以及来自输入图像的解剖和功能信息的模态不变的内容代码。对三个脑肿瘤分割任务的实验表明，我们的模型比基于未配对图像的分割模型优于竞争分割模型。

本文提出了基于对脑肿瘤细分任务的普遍学习培训方法。在这一概念中，3D分割网络从双互惠对抗性学习方法学习。为了增强分割预测的概括并使分割网络稳健，我们通过在原始患者数据上添加一些噪声来通过增加一些噪声来遵循虚拟的对抗训练方法。通过将其作为定量主观裁判的评论者纳入了批评，分割网络从与分段结果相关的不确定性信息学习。我们在RSNA-ASNR-MICCAI BRATS 2021数据集上培训和评估网络架构。我们在线验证数据集的表现如下：骰子相似度得分为81.38％，90.77％和85.39％; Hausdorff距离（95±95±95毫米）分别为增强肿瘤，全肿瘤和肿瘤核心的5.37毫米，8.56毫米。同样，我们的方法实现了84.55％，90.46％和85.30％的骰子相似度得分，以及最终测试数据集上的13.48 mm，6.32毫米和16.98mm的Hausdorff距离（95 \％）。总体而言，我们所提出的方法对每个肿瘤次区域的分割准确性产生更好的性能。我们的代码实现在https://github.com/himashi92/vizviva_brats_2021上公开使用

磁共振图像（MRI）中的脑肿瘤分割（BTS）对于脑肿瘤诊断，癌症管理和研究目的至关重要。随着十年小型挑战的巨大成功以及CNN和Transformer算法的进步，已经提出了许多出色的BTS模型来解决BTS在不同技术方面的困难。但是，现有研究几乎没有考虑如何以合理的方式融合多模式图像。在本文中，我们利用了放射科医生如何从多种MRI模态诊断脑肿瘤的临床知识，并提出了一种称为CKD-TRANSBTS的临床知识驱动的脑肿瘤分割模型。我们没有直接串联所有模式，而是通过根据MRI的成像原理将输入方式分为两组来重新组织输入方式。具有拟议模态相关的跨意义块（MCCA）的双支支混合式编码器旨在提取多模式图像特征。所提出的模型以局部特征表示能力的能力来继承来自变压器和CNN的强度，以提供精确的病变边界和3D体积图像的远程特征提取。为了弥合变压器和CNN功能之间的间隙，我们提出了解码器中的反式和CNN功能校准块（TCFC）。我们将提出的模型与五个基于CNN的模型和六个基于Transformer的模型在Brats 2021挑战数据集上进行了比较。广泛的实验表明，与所有竞争对手相比，所提出的模型可实现最先进的脑肿瘤分割性能。

基于深度学习的半监督学习（SSL）方法在医学图像细分中实现了强大的性能，可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同，基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源，导致细分器生成更准确的预测。我们认为，此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督的对抗方法，称为贴片置信疗法训练（PCA），用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图，而是创建贴片置信图，并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于歧视器以融合到最佳状态，并改善半监督的分段性能。此外，在歧视者的输入中，我们补充了图像上的语义信息约束，使得未标记的数据更简单，以适合预期的数据分布。关于自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BRATS）2019挑战数据集的广泛实验表明，我们的方法优于最先进的半监督方法，这证明了其对医疗图像分割的有效性。

多模式MR成像通常用于临床实践中，以通过提供丰富的互补信息来诊断和研究脑肿瘤。以前的多模式MRI分割方法通常通过在网络的早期/中阶段连接多模式MRIS来执行模态融合，这几乎无法探索模态之间的非线性依赖性。在这项工作中，我们提出了一种新型的嵌套模态感知变压器（嵌套形式），以明确探索多模式MRIS在脑肿瘤分割中的模式内和模式间关系。我们建立在基于变压器的多模型和单一码头结构的基础上，我们对不同模式的高级表示进行嵌套的多模式融合，并在较低的尺度上应用对模态敏感的门控（MSG），以进行更有效的跳过连接。具体而言，多模式融合是在我们提出的嵌套模态感知特征聚合（NMAFA）模块中进行的，该模块通过三个方向的空间意见变压器增强了单个模态内的长期依赖性，并进一步补充了模态信息之间的关键情境信息。通过跨模式注意变压器。关于BRATS2020基准和私人脑膜瘤细分（Maniseg）数据集的广泛实验表明，嵌套形式显然比最先进的表现优于最先进的。该代码可从https://github.com/920232796/nestedformer获得。

Glioblastomas是最具侵略性的快速生长的主要脑癌，起源于大脑的胶质细胞。准确鉴定恶性脑肿瘤及其子区域仍然是医学图像分割中最具挑战性问题之一。脑肿瘤分割挑战（Brats）是自动脑胶质细胞瘤分割算法的流行基准，自于其启动。在今年的挑战中，Brats 2021提供了2,000名术前患者的最大多参数（MPMRI）数据集。在本文中，我们提出了两个深度学习框架的新聚合，即在术前MPMRI中的自动胶质母细胞瘤识别的Deepseg和NNU-Net。我们的集合方法获得了92.00,87.33和84.10和Hausdorff距离为3.81,8.91和16.02的骰子相似度分数，用于增强肿瘤，肿瘤核心和全肿瘤区域，单独进行。这些实验结果提供了证据表明它可以在临床上容易地应用，从而助攻脑癌预后，治疗计划和治疗反应监测。

\ textit {objection：}基于gadolinium的对比剂（GBCA）已被广泛用于更好地可视化脑磁共振成像中的疾病（MRI）。然而，大脑和身体内部的gadolin量引起了人们对使用GBCA的安全问题。因此，在提供类似的对比度信息的同时，可以减少甚至消除GBCA暴露的新方法的发展将在临床上具有重大用途。 \ textit {方法：}在这项工作中，我们提出了一种基于深度学习的方法，用于对脑肿瘤患者的对比增强T1合成。 3D高分辨率完全卷积网络（FCN）通过处理和聚合并行的多尺度信息保持高分辨率信息，旨在将前对比度MRI序列映射到对比度增强的MRI序列。具体而言，将三个前对比的MRI序列T1，T2和表观扩散系数图（ADC）用作输入，而对比后T1序列则被用作目标输出。为了减轻正常组织与肿瘤区域之间的数据不平衡问题，我们引入了局部损失，以改善肿瘤区域的贡献，从而可以更好地增强对肿瘤的增强结果。 \ textIt {结果：}进行了广泛的定量和视觉评估，我们提出的模型在大脑中达到28.24db的PSNR，在肿瘤区域达到21.2db。 \ textit {结论和意义：}我们的结果表明，用深度学习产生的合成对比图像代替GBCA的潜力。代码可在\ url {https://github.com/chenchao666/contrast-enhanced-mri-synthesis中获得

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

多模式学习通过在预测过程中同样组合多个输入数据模式来重点关注培训模型。但是，这种相等的组合可能不利于预测准确性，因为不同的方式通常伴随着不同水平的不确定性。通过几种方法研究了使用这种不确定性来组合模式，但是成功有限，因为这些方法旨在处理特定的分类或细分问题，并且不能轻易地转化为其他任务，或者遭受数值的不稳定性。在本文中，我们提出了一种新的不确定性多模式学习者，该学习者通过通过跨模式随机网络预测（CRNP）测量特征密度来估计不确定性。 CRNP旨在几乎不需要适应来在不同的预测任务之间转换，同时进行稳定的培训过程。从技术角度来看，CRNP是探索随机网络预测以估算不确定性并结合多模式数据的第一种方法。对两个3D多模式医学图像分割任务和三个2D多模式计算机视觉分类任务的实验显示了CRNP的有效性，适应性和鲁棒性。此外，我们提供了有关不同融合功能和可视化的广泛讨论，以验证提出的模型。

集成多模式数据以改善医学图像分析，最近受到了极大的关注。但是，由于模态差异，如何使用单个模型来处理来自多种模式的数据仍然是一个开放的问题。在本文中，我们提出了一种新的方案，以实现未配对多模式医学图像的更好的像素级分割。与以前采用模式特异性和模态共享模块的以前方法不同，以适应不同方式的外观差异，同时提取共同的语义信息，我们的方法基于具有精心设计的外部注意模块（EAM）的单个变压器来学习在训练阶段，结构化的语义一致性（即语义类表示及其相关性）。在实践中，可以通过分别在模态级别和图像级别实施一致性正则化来逐步实现上述结构化语义一致性。采用了提出的EAM来学习不同尺度表示的语义一致性，并且一旦模型进行了优化，就可以丢弃。因此，在测试阶段，我们只需要为所有模态预测维护一个变压器，这可以很好地平衡模型的易用性和简单性。为了证明所提出的方法的有效性，我们对两个医学图像分割方案进行了实验：（1）心脏结构分割，（2）腹部多器官分割。广泛的结果表明，所提出的方法的表现优于最新方法，甚至通过极有限的训练样本（例如1或3个注释的CT或MRI图像）以一种特定的方式来实现竞争性能。

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

在医学图像分割任务中，脑肿瘤分割仍然是一个挑战。随着变压器在各种计算机视觉任务中的应用，变压器块显示了在全球空间中学习长距离依赖性的能力，这是与CNN互补的。在本文中，我们提出了一个新型的基于变压器的生成对抗网络，以自动分割具有多模式MRI的脑肿瘤。我们的架构由一个发电机和一个歧视器组成，这些发电机和歧视器接受了最小游戏进度的培训。发电机基于典型的“ U形”编码器架构，其底层由带有Resnet的变压器块组成。此外，发电机还接受了深度监督技术的培训。我们设计的鉴别器是一个基于CNN的网络，具有多尺度$ L_ {1} $损失，事实证明，这对于医学语义图像分割是有效的。为了验证我们方法的有效性，我们对BRATS2015数据集进行了实验，比以前的最新方法实现了可比或更好的性能。

对于3D医学图像（例如CT和MRI）分割，在临床情况下分割每个切片的难度差异很大。先前以逐片方式进行体积医学图像分割的研究通常使用相同的2D深神经网络来细分同一情况的所有切片，从而忽略了图像切片之间的数据异质性。在本文中，我们专注于多模式3D MRI脑肿瘤分割，并根据自适应模型选择提出了一个名为MED-DANET的动态体系结构网络，以实现有效的准确性和效率折衷。对于输入3D MRI量的每个切片，我们提出的方法学习了决策网络的特定于切片的决策，以动态从预定义的模型库中选择合适的模型，以完成后续的2D分割任务。 Brats 2019和2020年数据集的广泛实验结果表明，我们提出的方法比以前的3D MRI脑肿瘤分割的最先进方法获得了可比或更好的结果，模型的复杂性要少得多。与最新的3D方法TransBT相比，提出的框架提高了模型效率高达3.5倍，而无需牺牲准确性。我们的代码将很快公开可用。

Automatic segmentation is essential for the brain tumor diagnosis, disease prognosis, and follow-up therapy of patients with gliomas. Still, accurate detection of gliomas and their sub-regions in multimodal MRI is very challenging due to the variety of scanners and imaging protocols. Over the last years, the BraTS Challenge has provided a large number of multi-institutional MRI scans as a benchmark for glioma segmentation algorithms. This paper describes our contribution to the BraTS 2022 Continuous Evaluation challenge. We propose a new ensemble of multiple deep learning frameworks namely, DeepSeg, nnU-Net, and DeepSCAN for automatic glioma boundaries detection in pre-operative MRI. It is worth noting that our ensemble models took first place in the final evaluation on the BraTS testing dataset with Dice scores of 0.9294, 0.8788, and 0.8803, and Hausdorf distance of 5.23, 13.54, and 12.05, for the whole tumor, tumor core, and enhancing tumor, respectively. Furthermore, the proposed ensemble method ranked first in the final ranking on another unseen test dataset, namely Sub-Saharan Africa dataset, achieving mean Dice scores of 0.9737, 0.9593, and 0.9022, and HD95 of 2.66, 1.72, 3.32 for the whole tumor, tumor core, and enhancing tumor, respectively. The docker image for the winning submission is publicly available at (https://hub.docker.com/r/razeineldin/camed22).

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.