激光间质热疗法（LITT）是一种新型的微创治疗方法，用于烧蚀颅内结构，以治疗肠内颞叶癫痫（MTLE）。 LITT之前和之后的感兴趣区域（ROI）分割将使自动化病变定量能够客观地评估治疗疗效。深度学习技术，例如卷积神经网络（CNN）是ROI分割的最新解决方案，但在培训过程中需要大量注释的数据。但是，从LITT等新兴治疗中收集大型数据集是不切实际的。在本文中，我们提出了一个进行性脑部病变合成框架（PAVAE），以扩大训练数据集的数量和多样性。具体而言，我们的框架由两个顺序网络组成：掩模合成网络和掩模引导的病变合成网络。为了更好地利用外部信息来在网络培训期间提供额外的监督，我们设计了条件嵌入块（CEB）和掩模嵌入块（MEB），以将掩模的固有条件编码到功能空间中。最后，使用原始和合成病变图像对分割网络进行训练，以评估所提出的框架的有效性。实验结果表明，我们的方法可以实现逼真的合成结果，并在传统数据增强技术之上提高下游分割任务的性能。

了解脑损伤的强度特征是定义神经系统研究和预测疾病负担和结局的基于图像的生物标志物的关键。在这项工作中，我们提出了一种基于前景的新型生成方法，用于对局部病变特征进行建模，该方法既可以在健康图像上产生合成病变，又可以从病理图像中综合受试者特异性的伪健康图像。此外，该方法可以用作数据增强模块，以生成用于训练大脑图像分割网络的合成图像。在磁共振成像（MRI）上获得的多发性硬化症（MS）脑图像的实验表明，所提出的方法可以生成高度逼真的伪健康和伪病理学脑图像。与传统的数据增强方法以及最近的病变感知数据增强技术Carvemix相比，使用合成图像进行数据扩展可改善大脑图像分割的性能。该代码将在https://github.com/dogabasaran/lesion-synthesis中发布。

创伤性脑损伤（TBI）患者的脑网络分析对于其意识水平评估和预后评估至关重要，这需要分割某些意识相关的大脑区域。但是，由于很难收集TBI患者的手动注释的MR扫描，因此很难构建TBI分割模型。数据增强技术可用于缓解数据稀缺问题。但是，常规数据增强策略（例如空间和强度转化）无法模仿创伤性大脑中的变形和病变，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种名为TBIGA的新型医学图像授课模型，以通过配对的脑标签图合成TBI MR扫描。我们的TBIGAN方法的主要优势在于，它可以同时生成TBI图像和相应的标签映射，这在以前的医学图像的先前涂上方法中尚未实现。我们首先按照粗到细节的方式在边缘信息的指导下生成成分的图像，然后将合成强度图像用作标签上填充的先验。此外，我们引入了基于注册的模板增强管道，以增加合成图像对的多样性并增强数据增强能力。实验结果表明，提出的TBIGAN方法可以产生具有高质量和有效标签图的足够合成的TBI图像，这可以大大改善与替代方案相比的2D和3D创伤性脑部分割性能。

已显示自动深度学习分割模型可提高分割效率和准确性。但是，训练强大的分割模型需要大量标记的训练样本，这可能是不切实际的。这项研究旨在开发一个深度学习框架，用于生成可用于增强网络培训的合成病变。病变合成网络是一种修改的生成对抗网络（GAN）。具体而言，我们创新了部分卷积策略来构建一个类似于Unet的发电机。该鉴别器是使用具有梯度惩罚和光谱归一化的Wasserstein GAN设计的。开发了基于主成分分析的掩模生成方法，以模拟各种病变形状。然后通过病变合成网络将生成的面膜转换为肝病。评估了病变的合成框架的病变纹理，并使用合成病变来训练病变分割网络，以进一步验证该框架的有效性。所有网络均经过LIT的公共数据集训练和测试。与所采用的两个纹理参数（GLCM-能量和GLCM相关）相比，该方法产生的合成病变具有非常相似的直方图分布。 GLCM-能量和GlCM相关的Kullback-Lebler差异分别为0.01和0.10。包括肿瘤分割网络中的合成病变包括U-NET的分割骰子性能从67.3％显着提高到71.4％（p <0.05）。同时，体积的精度和灵敏度从74.6％提高到76.0％（p = 0.23）和66.1％至70.9％（p <0.01）。合成数据可显着提高分割性能。

基于深度学习的计算机辅助诊断（CAD）已成为医疗行业的重要诊断技术，有效提高诊断精度。然而，脑肿瘤磁共振（MR）图像数据集的稀缺性导致深度学习算法的低性能。传统数据增强（DA）生成的转换图像的分布本质上类似于原始的图像，从而在泛化能力方面产生有限的性能。这项工作提高了具有结构相似性损失功能（PGGAN-SSIM）的GAN的逐步生长，以解决图像模糊问题和模型崩溃。我们还探讨了其他基于GAN的数据增强，以证明所提出的模型的有效性。我们的结果表明，PGGAN-SSIM成功地生成了256x256的现实脑肿瘤MR图像，填充了原始数据集未发现的真实图像分布。此外，PGGAN-SSSIM超过了其他基于GAN的方法，实现了FRECHET成立距离（FID）和多尺度结构相似性（MS-SSIM）的有希望的性能提升。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

基于深度学习的疾病检测和分割算法承诺提高许多临床过程。然而，由于数据隐私，法律障碍和非统一数据采集协议，此类算法需要大量的注释训练数据，通常在医学环境中不可用。具有注释病理学的合成数据库可以提供所需的培训数据量。我们展示了缺血性卒中的例子，即利用基于深度学习的增强的病变分割的改善是可行的。为此，我们训练不同的图像到图像转换模型，以合成大脑体积的磁共振图像，并且没有来自语义分割图的中风病变。此外，我们培养一种生成的对抗性网络来产生合成病变面具。随后，我们组合这两个组件来构建大型合成描边图像数据库。使用U-NET评估各种模型的性能，该U-NET在临床测试集上培训以进行段中风病变。我们向最佳性能报告$ \ mathbf {72.8} $％[$ \ mathbf {70.8 \ pm1.0} $％]的骰子分数，这胜过了单独临床图像培训的模型培训$ \ mathbf { 67.3} $％[$ \ mathbf {63.2 \ pm1.9} $％]，并且接近人类互相互联网骰子评分$ \ mathbf {76.9} $％。此外，我们表明，对于仅为10或50个临床案例的小型数据库，与使用不使用合成数据的设置相比，合成数据增强产生了显着的改进。据我们所知，这提出了基于图像到图像翻译的合成数据增强的第一个比较分析，并将第一应用于缺血性卒中。

多发性硬化症（MS）是一种慢性神经系统疾病，其特征是大脑白质病变的发展。相对于其他MRI模态，T2流体减弱的反转恢复（FLAIR）脑磁共振成像（MRI）提供了MS病变的卓越可视化和表征。 MS中的后续大脑FLAIR MRI为临床医生提供了有用的信息，以监测疾病进展。在这项研究中，我们提出了对生成对抗网络（GAN）的新颖修饰，以预测MS以固定时间间隔的MS预测未来病变特异性MRI。我们在鉴别器中使用受监督的引导注意力和扩张卷积，该歧视者支持对生成图像是否实现的明智预测，这是基于对病变区域的关注，这反过来又有可能帮助改善生成器以预测病变区域将来的考试更准确。我们将我们的方法与几个基线和一种最先进的CF-Sagan模型进行了比较[1]。总之，我们的结果表明，与其他总体性能相似的模型相比，所提出的方法可实现更高的准确性，并减少病变区域预测误差的标准偏差。

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

使用磁共振成像（MRI）的平移大脑研究变得越来越受欢迎，因为动物模型是科学研究的重要组成部分，超高场扫描仪变得更加可用。 MRI的一些缺点是MRI扫描仪可用性，并且执行完整扫描会话所需的时间（通常需要30分钟）。数据保护法和3R道德规则也使得难以为培训深度学习模型创建大型数据集。已经显示了生成的对抗网络（GaN）能够以比其他技术更高的质量执行数据增强。在这项工作中，Alpha-GaN架构用于测试其生成RAT大脑的现实3D MRI扫描的能力。就作者来说，这是第一次基于GAN的方法首次用于临床前数据的数据增强。使用各种定性和定量度量来评估生成的扫描。由4名专家执行的图灵测试表明，生成的扫描可能几乎可以欺骗任何专家。产生的扫描也用于评估它们对对白种物质，灰质和脑脊髓液的大鼠脑分割开发的现有深度学习模型的性能的影响。使用骰子分数进行比较模型。当使用174种实际扫描和348种合成物时，实现了全脑和白质分割的最佳结果，提高了0.0172和0.0129。使用174个真实扫描和87个合成物导致了0.0038和0.0764的灰质和脑脊液细分的改善。因此，通过使用所提出的新归一化层和损耗功能，可以改善生成的RAT MRI扫描的现实主义，并且证明使用数据产生的改进的分割模型比使用传统数据增强改进。

多发性硬化症（MS）是一种慢性进行性神经系统疾病，其特征是大脑白质病变的发展。相对于其他MRI模态，T2流体体面的反转恢复（FLAIR）脑磁共振成像（MRI）提供了MS病变的卓越可视化和表征。 MS中的纵向脑感状MRI，涉及随着时间的推移重复对患者进行成像，为临床医生提供了有用的信息，以监测疾病进展。仅在有限的应用中尝试预测未来的整个大脑MRI检查，例如在有限的应用中，例如在阿尔茨海默氏病中的健康衰老和结构性变性。在本文中，我们为MS Flair图像合成的深度学习体系结构提供了新的修改，以支持以灵活的连续方式支持纵向图像的预测。这是通过学习的转移卷积来实现的，该卷积将建模时间作为空间分布的阵列，在不同的空间位置具有可变的时间特性。因此，这种方法理论上可以对空间特定的时间依赖性大脑发育进行建模，从而支持在适当的物理位置（例如MS脑损伤部位）建模更快的生长。这种方法还支持临床医生用户定义预测考试应针对的未来。对未来成像的准确预测可以为临床医生提供潜在的患者预后，这可能有助于早期治疗和更好的预后。已经开发了四个不同的深度学习体系结构。 ISBI2015纵向MS数据集用于验证和比较我们提出的方法。结果表明，修改后的ACGAN可实现最佳性能并降低模型准确性的可变性。

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

目前无监督的异常本地化方法依赖于生成模型来学习正常图像的分布，后来用于识别从重建图像上的误差导出的潜在的异常区域。然而，几乎所有先前文献的主要限制是需要采用异常图像来设置特定类阈值以定位异常。这限制了它们在现实方案中的可用性，通常可以访问正常数据。尽管存在这一重大缺点，但只有少数工程才能通过整合在培训期间对关注地图的监督来解决了这一限制。在这项工作中，我们提出了一种新的制定，不需要访问异常来定义阈值的图像。此外，与最近的工作相反，所提出的约束以更具原则的方式配制，利用了在约束优化中的知名知识。特别是，在现有工作中的注意图上的平等限制由不等式约束取代，这允许更灵活性。此外，为了解决基于惩罚的函数的限制，我们使用流行的日志屏障方法的扩展来处理约束。对流行的Brats'19数据集的综合实验表明，该方法的方法显着优于相关文献，为无监督的病变细分建立了新的最先进结果。

检测新的多发性硬化症（MS）病变是该疾病进化的重要标志。基于学习的方法的适用性可以有效地自动化此任务。然而，缺乏带有新型病变的注释纵向数据是训练健壮和概括模型的限制因素。在这项工作中，我们描述了一条基于学习的管道，该管道解决了检测和细分新MS病变的挑战性任务。首先，我们建议使用单个时间点对在分割任务进行训练的模型中使用转移学习。因此，我们从更轻松的任务中利用知识，并为此提供更多注释的数据集。其次，我们提出了一种数据综合策略，以使用单个时间点扫描生成新的纵向时间点。通过这种方式，我们将检测模型预算到大型合成注释数据集上。最后，我们使用旨在模拟MRI中数据多样性的数据实践技术。通过这样做，我们增加了可用的小注释纵向数据集的大小。我们的消融研究表明，每个贡献都会提高分割精度。使用拟议的管道，我们获得了MSSEG2 MICCAI挑战中新的MS病变的分割和检测的最佳分数。

当前的无监督异常定位方法依赖于生成模型来学习正常图像的分布，后来用于识别从重建图像上的错误中得出的潜在异常区域。但是，几乎所有先前的文献的主要局限性是需要使用异常图像来设置特定于类的阈值以定位异常。这限制了它们在现实的情况下的可用性，其中通常只能访问正常数据。尽管存在这一主要缺点，但只有少量作品通过在培训期间将监督整合到注意地图上，从而解决了这一限制。在这项工作中，我们提出了一种新颖的公式，不需要访问异常的图像来定义阈值。此外，与最近的工作相反，提出的约束是以更有原则的方式制定的，在约束优化方面利用了知名的知识。特别是，对先前工作中注意图的平等约束被不平等约束所取代，这允许更具灵活性。此外，为了解决基于惩罚的功能的局限性，我们采用了流行的对数栏方法的扩展来处理约束。最后，我们提出了一个替代正规化项，该项最大化了注意图的香农熵，从而减少了所提出模型的超参数量。关于脑病变细分的两个公开数据集的全面实验表明，所提出的方法基本上优于相关文献，为无监督病变细分建立了新的最新结果，而无需访问异常图像。

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

\ textit {objection：}基于gadolinium的对比剂（GBCA）已被广泛用于更好地可视化脑磁共振成像中的疾病（MRI）。然而，大脑和身体内部的gadolin量引起了人们对使用GBCA的安全问题。因此，在提供类似的对比度信息的同时，可以减少甚至消除GBCA暴露的新方法的发展将在临床上具有重大用途。 \ textit {方法：}在这项工作中，我们提出了一种基于深度学习的方法，用于对脑肿瘤患者的对比增强T1合成。 3D高分辨率完全卷积网络（FCN）通过处理和聚合并行的多尺度信息保持高分辨率信息，旨在将前对比度MRI序列映射到对比度增强的MRI序列。具体而言，将三个前对比的MRI序列T1，T2和表观扩散系数图（ADC）用作输入，而对比后T1序列则被用作目标输出。为了减轻正常组织与肿瘤区域之间的数据不平衡问题，我们引入了局部损失，以改善肿瘤区域的贡献，从而可以更好地增强对肿瘤的增强结果。 \ textIt {结果：}进行了广泛的定量和视觉评估，我们提出的模型在大脑中达到28.24db的PSNR，在肿瘤区域达到21.2db。 \ textit {结论和意义：}我们的结果表明，用深度学习产生的合成对比图像代替GBCA的潜力。代码可在\ url {https://github.com/chenchao666/contrast-enhanced-mri-synthesis中获得

最近，诸如Interovae和S-Introvae之类的内省模型在图像生成和重建任务方面表现出色。内省模型的主要特征是对VAE的对抗性学习，编码器试图区分真实和假（即合成）图像。但是，由于有效度量标准无法评估真实图像和假图像之间的差异，因此后塌陷和消失的梯度问题仍然存在，从而降低了合成图像的保真度。在本文中，我们提出了一种称为对抗性相似性距离内省变化自动编码器（AS-Introvae）的新变体。我们理论上分析了消失的梯度问题，并使用2-Wasserstein距离和内核技巧构建了新的对抗相似性距离（AS-cantance）。随着重量退火，AS-Introvae能够产生稳定和高质量的图像。通过每批次尝试转换图像，以使其更好地适合潜在空间中的先前分布，从而解决了后塌陷问题。与每个图像方法相比，该策略促进了潜在空间中更多样化的分布，从而使我们的模型能够产生巨大的多样性图像。基准数据集的全面实验证明了AS-Introvae对图像生成和重建任务的有效性。

在本文中，我们认为由于专家的昂贵的像素级注释以及大量未经发布的正常和异常图像扫描，近年来近年来引起了近年来越来越多的注意力的问题。我们介绍了一个分割网络，该分割网络利用对抗学习将图像分成两种切割，其中一个落入用户提供的参考分布。这种基于对抗的选择性切割网络（ASC-Net）桥接基于簇的深度分割和基于对抗基于对抗的异常/新奇检测算法的两个域。我们的ASC网络从正常和异常的医疗扫描中学到医疗扫描中的分段异常，没有任何掩盖的监督。我们在三个公共数据集中评估这一无监督的异常分段模型，即脑肿瘤细分的Brats 2019，肝脏病变分割和脑病变细分的MS-SEG 2015，以及脑肿瘤细分的私人数据集。与现有方法相比，我们的模型展示了无监督异常分段任务中的巨大性能增益。虽然与监督学习算法相比，仍有进一步提高性能的空间，但有希望的实验结果和有趣的观察揭示了使用用户定义的知识构建无监督学习算法的医疗异常识别。