该技术报告对现有的深度学习（DL）方法进行了比较分析，用于脑肿瘤分割，而MRI模式缺失。评估的方法包括对抗性共同训练网络（ACN）以及MMGAN和DEEPMEDIC的组合。MMGAN的更稳定，易于使用的版本也在GitHub存储库中开源。使用BRATS2018数据集，这项工作表明，最先进的ACN表现更好，尤其是在缺少T1C时。当仅缺少一种MRI模式时，MMGAN和DEEPMEDIC的简单组合也显示出强大的潜力。此外，这项工作还与未来的研究方向进行了讨论，以进行脑肿瘤分割，而MRI模式缺失。

使用多模式磁共振成像（MRI）对于精确的脑肿瘤细分是必需的。主要问题是，并非所有类型的MRI都始终可以在临床考试中提供。基于同一患者的先生模式之间存在强烈相关性，在这项工作中，我们提出了一种缺少一个或多种方式的脑肿瘤分割网络。所提出的网络由三个子网组成：特征增强的生成器，相关约束块和分割网络。特征增强的生成器利用可用模态来生成表示缺少模态的3D特征增强图像。相关性约束块可以利用模态之间的多源相关性，并且还限制了发电机，以合成特征增强的模态，该特征增强的模态必须具有与可用模式具有相干相关性的特征增强的模态。分段网络是基于多编码器的U-Net，以实现最终的脑肿瘤分割。所提出的方法在Brats 2018数据集上进行评估。实验结果表明，拟议方法的有效性分别在全肿瘤，肿瘤核心和增强肿瘤上实现了82.9,74.9和59.1的平均骰子得分，并且优于3.5％，17％和18.2的最佳方法％。

\ textit {objection：}基于gadolinium的对比剂（GBCA）已被广泛用于更好地可视化脑磁共振成像中的疾病（MRI）。然而，大脑和身体内部的gadolin量引起了人们对使用GBCA的安全问题。因此，在提供类似的对比度信息的同时，可以减少甚至消除GBCA暴露的新方法的发展将在临床上具有重大用途。 \ textit {方法：}在这项工作中，我们提出了一种基于深度学习的方法，用于对脑肿瘤患者的对比增强T1合成。 3D高分辨率完全卷积网络（FCN）通过处理和聚合并行的多尺度信息保持高分辨率信息，旨在将前对比度MRI序列映射到对比度增强的MRI序列。具体而言，将三个前对比的MRI序列T1，T2和表观扩散系数图（ADC）用作输入，而对比后T1序列则被用作目标输出。为了减轻正常组织与肿瘤区域之间的数据不平衡问题，我们引入了局部损失，以改善肿瘤区域的贡献，从而可以更好地增强对肿瘤的增强结果。 \ textIt {结果：}进行了广泛的定量和视觉评估，我们提出的模型在大脑中达到28.24db的PSNR，在肿瘤区域达到21.2db。 \ textit {结论和意义：}我们的结果表明，用深度学习产生的合成对比图像代替GBCA的潜力。代码可在\ url {https://github.com/chenchao666/contrast-enhanced-mri-synthesis中获得

State-of-the-art brain tumor segmentation is based on deep learning models applied to multi-modal MRIs. Currently, these models are trained on images after a preprocessing stage that involves registration, interpolation, brain extraction (BE, also known as skull-stripping) and manual correction by an expert. However, for clinical practice, this last step is tedious and time-consuming and, therefore, not always feasible, resulting in skull-stripping faults that can negatively impact the tumor segmentation quality. Still, the extent of this impact has never been measured for any of the many different BE methods available. In this work, we propose an automatic brain tumor segmentation pipeline and evaluate its performance with multiple BE methods. Our experiments show that the choice of a BE method can compromise up to 15.7% of the tumor segmentation performance. Moreover, we propose training and testing tumor segmentation models on non-skull-stripped images, effectively discarding the BE step from the pipeline. Our results show that this approach leads to a competitive performance at a fraction of the time. We conclude that, in contrast to the current paradigm, training tumor segmentation models on non-skull-stripped images can be the best option when high performance in clinical practice is desired.

Glioblastomas是最具侵略性的快速生长的主要脑癌，起源于大脑的胶质细胞。准确鉴定恶性脑肿瘤及其子区域仍然是医学图像分割中最具挑战性问题之一。脑肿瘤分割挑战（Brats）是自动脑胶质细胞瘤分割算法的流行基准，自于其启动。在今年的挑战中，Brats 2021提供了2,000名术前患者的最大多参数（MPMRI）数据集。在本文中，我们提出了两个深度学习框架的新聚合，即在术前MPMRI中的自动胶质母细胞瘤识别的Deepseg和NNU-Net。我们的集合方法获得了92.00,87.33和84.10和Hausdorff距离为3.81,8.91和16.02的骰子相似度分数，用于增强肿瘤，肿瘤核心和全肿瘤区域，单独进行。这些实验结果提供了证据表明它可以在临床上容易地应用，从而助攻脑癌预后，治疗计划和治疗反应监测。

在我们的全面实验和评估中，我们表明可以生成多个对比度（甚至是合成的），并使用合成生成的图像来训练图像分割引擎。我们显示出在描绘肌肉，脂肪，骨骼和骨髓的实际多对比度MRI扫描测试的有希望的分割结果，这些结果均接受了合成图像的训练。基于合成图像训练，我们的分割结果分别高达93.91 \％，94.11 \％，91.63 \％，95.33 \％，分别用于肌肉，脂肪，骨骼，骨骼和骨髓描绘。结果与使用真实图像进行分割训练时获得的结果没有显着差异：94.68 \％，94.67 \％，95.91 \％和96.82 \％。

Automatic segmentation is essential for the brain tumor diagnosis, disease prognosis, and follow-up therapy of patients with gliomas. Still, accurate detection of gliomas and their sub-regions in multimodal MRI is very challenging due to the variety of scanners and imaging protocols. Over the last years, the BraTS Challenge has provided a large number of multi-institutional MRI scans as a benchmark for glioma segmentation algorithms. This paper describes our contribution to the BraTS 2022 Continuous Evaluation challenge. We propose a new ensemble of multiple deep learning frameworks namely, DeepSeg, nnU-Net, and DeepSCAN for automatic glioma boundaries detection in pre-operative MRI. It is worth noting that our ensemble models took first place in the final evaluation on the BraTS testing dataset with Dice scores of 0.9294, 0.8788, and 0.8803, and Hausdorf distance of 5.23, 13.54, and 12.05, for the whole tumor, tumor core, and enhancing tumor, respectively. Furthermore, the proposed ensemble method ranked first in the final ranking on another unseen test dataset, namely Sub-Saharan Africa dataset, achieving mean Dice scores of 0.9737, 0.9593, and 0.9022, and HD95 of 2.66, 1.72, 3.32 for the whole tumor, tumor core, and enhancing tumor, respectively. The docker image for the winning submission is publicly available at (https://hub.docker.com/r/razeineldin/camed22).

胶质母细胞瘤多形状（GBM）是一种恶性脑癌，形成约占Al脑和中枢神经系统（CNS）癌症的48％。据估计，由于GBM，美国每年发生超过13,000人死亡，使得具有可能导致可预测和有效的治疗的早期诊断系统至关重要。 GBM诊断后最常见的治疗方法是化疗，通过将迅速的分割细胞发送到凋亡。然而，当MgMT启动子序列甲基化时，这种形式的治疗无效，并且导致严重的副作用降低患者生存性。因此，重要的是能够通过基于非侵入性磁共振成像（MRI）的机器学习（ML）模型来鉴定MGMT启动子甲基化状态。这是使用脑肿瘤分割（BRALS）2021数据集完成的，该数据集最近用于国际摇臂竞争。我们开发了四种初级模型 - 两个辐射模型和两个CNN型号 - 每次解决具有逐步改进的二进制分类任务。我们构建了一种称为中间状态发生器称为中间状态发生器的新型ML模型，用于归一化所有MRI扫描的切片厚度。通过进一步的改进，我们最好的模型能够显着达到性能（P <0.05 $），比最佳性能的滑动模型更好，平均交叉验证精度增加6％。这种改进可能导致更明智的化疗选择作为治疗选择，每年延长成千上万的GBM患者的生命。

在多模式分割领域中，可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性，在本文中，我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源，三关注融合块，双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用，我们建议使用基于双重的融合来重量沿模态和空间路径的特征，可以抑制更少的信息特征，并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性，基于双重关注融合块，我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中，首先使用相关描述块来学习模态之间的相关性，然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后，通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。

脑转移性疾病的治疗决策依赖于主要器官位点的知识，目前用活组织检查和组织学进行。在这里，我们开发了一种具有全脑MRI数据的准确非侵入性数字组织学的新型深度学习方法。我们的IRB批准的单网回顾性研究由患者（n = 1,399）组成，提及MRI治疗规划和伽马刀放射牢房超过19年。对比增强的T1加权和T2加权流体减毒的反转恢复脑MRI考试（n = 1,582）被预处理，并输入肿瘤细分，模态转移和主要部位分类的建议深度学习工作流程为五个课程之一（肺，乳腺，黑色素瘤，肾等）。十倍的交叉验证产生的总体AUC为0.947（95％CI：0.938,0.955），肺类AUC，0.899（95％CI：0.884,0.915），乳房类AUC为0.990（95％CI：0.983,0.997） ，黑色素瘤ACAC为0.882（95％CI：0.858,0.906），肾类AUC为0.870（95％CI：0.823,0.918），以及0.885的其他AUC（95％CI：0.843,0.949）。这些数据确定全脑成像特征是判别的，以便准确诊断恶性肿瘤的主要器官位点。我们的端到端深度射出方法具有巨大的分类来自全脑MRI图像的转移性肿瘤类型。进一步的细化可以提供一种无价的临床工具，以加快对精密治疗和改进的结果的原发性癌症现场鉴定。

来自磁共振成像（MRI）数据的自动脑肿瘤分割在评估治疗和个性化治疗分层的肿瘤反应中起重要作用.Manual分割是乏味的，主观的脑肿瘤细分算法有可能提供目标并且快速肿瘤分割。但是，这种算法的培训需要大量数据集，这些数据集并不总是可用的。数据增强技术可以减少对大型数据集的需求。然而，当前方法主要是参数，并且可能导致次优的性能。我们引入了两个非参数化的脑肿瘤分割的数据增强方法：混合结构正则化（MSR）和Shuffle像素噪声（SPN）.we评估了MSR和SPN增强对大脑肿瘤分割（BRATS）2018挑战数据集的附加值与编码器 - 解码器NNU-NNU-NNU-NET架构作为分割算法。从MSR和SPN改善NNU-NET分段与参数高斯噪声增强相比的准确性。当分别将MSR与肿瘤核心和全肿瘤实验的非参数增强分别增加了80％至82％和p值= 0.0022,00028。所提出的MSR和SPN增强有可能在其他任务中提高神经网络性能。

磁共振成像（MRI）数据由于设备制造商，扫描协议和受试者间变异性的差异而具有异质性。减轻MR图像异质性的一种常规方法是应用预处理转换，例如解剖学比对，体素重新采样，信号强度均衡，图像降解和利益区域的定位（ROI）。尽管预处理管道标准化了图像外观，但其对图像分割质量和深度神经网络（DNN）的其他下游任务的影响从未经过严格研究。在这里，我们报告了一项关于TCIA-GBM开源数据集的多模式MRI MRI脑癌图像分割的全面研究。我们的结果表明，大多数流行的标准化步骤对人工神经网络的性能没有任何价值。此外，预处理可以妨碍模型性能。我们建议，由于信号差异降低了图像标准化，图像强度归一化方法不会导致模型准确性。最后，如果根据临床相关的指标来衡量，我们表明了型型型在数据预处理中的贡献几乎可以忽略不计。我们表明，准确分析的唯一必不可少的转换是整个数据集的体素间距的统一。相反，非刚性地图集注册形式的解剖学对齐不是必需的，大多数强度均衡步骤不能提高模型的生产力。

肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者（OPC）原发性肿瘤（GTVP）的准确分割，需要同时评估不同图像模态，并从不同方向探索每个图像体积。此外，分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习（DL）模型，以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过（化学）辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证，进行了3​​次，对从113例患者的轴向（a），矢状（s）和冠状（c）平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片，因此每个切片产生了平均的三个结果预测。在A，S和C平面中，输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数（DSC）评估了25名患者的模型性能。预测是最接近地面真理的概率阈值（在A中为0.70，s为0.70，在s中为0.77，在C平面中为0.80）。提出的DL模型的有希望的结果表明，注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。

脑肿瘤细分对于胶质瘤患者的诊断和预后至关重要。脑肿瘤分割挑战赛继续提供一种开发自动算法来执行任务的伟大数据来源。本文介绍了我们对2021年竞争的贡献。我们开发了基于NN-UNET的方法，去年竞争的胜利。我们尝试了多种修改，包括使用较大的网络，用组标准化替换批量归一化，并在解码器中使用轴向注意力。内部5倍交叉验证以及组织者的在线评估显示了我们的方法的有效性，与基线相比，定量度量的微小改善。拟议的型号在最终排名上赢得了未经证明的测试数据的第一名。获奖提交的代码，备用重量和Docker图像在https://github.com/rixez/brats21_kaist_mri_lab上公开可用

多模式脑肿瘤分割挑战（BRALS）2021的另一年提供了较大的数据集，以促进脑肿瘤分割方法的合作和研究，这对于疾病分析和治疗规划是必要的。 BRATS 2021的大型数据集大小和现代GPU的出现为学习基于深度学习的方法提供了更好的机会，以学习来自数据的肿瘤表示。在这项工作中，我们维护了一个基于编码器解码器的分段网络，但专注于网络培训过程的修改，从而最大限度地减少扰动下的冗余。鉴于培训的网络，我们进一步介绍了基于置信的组合技术，以进一步提高性能。我们评估了Brats 2021验证板上的方法，并分别为增强肿瘤核心，肿瘤核心和全肿瘤的0.8600,0.8868和0.9265平均骰子。我们的团队（NVAUTO）提交是在ET和TC分数方面的最高表演，并且在WT分数方面的十大表演团队内。

来自多个磁共振成像（MRI）方式的脑肿瘤分割是医学图像计算中的具有挑战性的任务。主要挑战在于各种扫描仪和成像协议的普遍性。在本文中，我们探讨了在不增加推理时间的情况下增加模型稳健性的策略。为此目的，我们探索使用不同损失，优化仪和培训验证数据拆分培训的型号的强大合奏。重要的是，我们探讨了U-Net架构的瓶颈中的变压器。虽然我们在瓶颈中发现变压器比平均基线U-Net更差，但是广义的Wasserstein骰子损失一致地产生优异的结果。此外，我们采用了高效的测试时间增强策略，以实现更快和强大的推论。我们的最终集合具有测试时间增强的七个3D U-Nets的平均骰子得分为89.4％，平均HAUSDORFF 95％距离10.0 mm在Brats 2021测试数据集时。我们的代码和培训的型号在https://github.com/lucasfidon/trabit_brats2021上公开提供。

Quantifying the perceptual similarity of two images is a long-standing problem in low-level computer vision. The natural image domain commonly relies on supervised learning, e.g., a pre-trained VGG, to obtain a latent representation. However, due to domain shift, pre-trained models from the natural image domain might not apply to other image domains, such as medical imaging. Notably, in medical imaging, evaluating the perceptual similarity is exclusively performed by specialists trained extensively in diverse medical fields. Thus, medical imaging remains devoid of task-specific, objective perceptual measures. This work answers the question: Is it necessary to rely on supervised learning to obtain an effective representation that could measure perceptual similarity, or is self-supervision sufficient? To understand whether recent contrastive self-supervised representation (CSR) may come to the rescue, we start with natural images and systematically evaluate CSR as a metric across numerous contemporary architectures and tasks and compare them with existing methods. We find that in the natural image domain, CSR behaves on par with the supervised one on several perceptual tests as a metric, and in the medical domain, CSR better quantifies perceptual similarity concerning the experts' ratings. We also demonstrate that CSR can significantly improve image quality in two image synthesis tasks. Finally, our extensive results suggest that perceptuality is an emergent property of CSR, which can be adapted to many image domains without requiring annotations.

具有多级连接的深度神经网络，以复杂的方式进程输入数据来了解信息。网络学习效率不仅取决于复杂的神经网络架构，还取决于输入训练图像。具有用于头骨剥离或肿瘤的深神经网络的Medical图像分段。来自磁共振图像的分割使得能够学习图像的全局和局部特征。虽然收集在受控环境中的医学图像，但可能存在导致输入集中固有偏差的伪影或基于设备的方差。在本研究中，我们调查了具有神经网络分割精度的MR图像的图像质量指标的相关性。我们使用了3D DenSenet架构，并让网络在相同的输入上培训，但应用不同的方法来基于IQM值选择训练数据集。基于随机训练的模型之间的分割精度的差异基于IQM的训练输入揭示了图像质量指标对分割精度的作用。通过运行图像质量指标来选择培训输入，进一步调整网络的学习效率和分割精度。

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

多模式的医学图像完成已广泛应用，以减轻许多多模式诊断任务中缺失的模式问题。但是，对于大多数现有的合成方法，它们缺失模式的推断可能会崩溃为确定性映射，从而忽略了跨模式关系中固有的不确定性。在这里，我们提出了统一的多模式条件分数的生成模型（UMM-CSGM），以利用基于得分的生成模型（SGM）在建模和随机采样目标概率分布中，并进一步将SGM扩展到交叉模式统一框架中各种缺失模式配置的条件合成。具体而言，UMM-CSGM采用一种新型的多中心条件分数网络（MM-CSN），通过在完整的模态空间中的条件扩散和反向产生来学习一组综合的跨模式条件分布。通过这种方式，可以通过所有可用信息来准确地制定生成过程，并可以符合单个网络中缺少模式的所有可能配置。 BRATS19数据集的实验表明，UMM-CSGM可以更可靠地合成肿瘤诱导的任何缺失方式的肿瘤诱导病变中的异质增强和不规则面积。