使用磁共振成像（MRI）的平移大脑研究变得越来越受欢迎，因为动物模型是科学研究的重要组成部分，超高场扫描仪变得更加可用。 MRI的一些缺点是MRI扫描仪可用性，并且执行完整扫描会话所需的时间（通常需要30分钟）。数据保护法和3R道德规则也使得难以为培训深度学习模型创建大型数据集。已经显示了生成的对抗网络（GaN）能够以比其他技术更高的质量执行数据增强。在这项工作中，Alpha-GaN架构用于测试其生成RAT大脑的现实3D MRI扫描的能力。就作者来说，这是第一次基于GAN的方法首次用于临床前数据的数据增强。使用各种定性和定量度量来评估生成的扫描。由4名专家执行的图灵测试表明，生成的扫描可能几乎可以欺骗任何专家。产生的扫描也用于评估它们对对白种物质，灰质和脑脊髓液的大鼠脑分割开发的现有深度学习模型的性能的影响。使用骰子分数进行比较模型。当使用174种实际扫描和348种合成物时，实现了全脑和白质分割的最佳结果，提高了0.0172和0.0129。使用174个真实扫描和87个合成物导致了0.0038和0.0764的灰质和脑脊液细分的改善。因此，通过使用所提出的新归一化层和损耗功能，可以改善生成的RAT MRI扫描的现实主义，并且证明使用数据产生的改进的分割模型比使用传统数据增强改进。

数据已成为当今世界上最有价值的资源。随着数据驱动算法的大量扩散，例如基于深度学习的方法，数据的可用性引起了极大的兴趣。在这种情况下，特别需要高质量的培训，验证和测试数据集。体积数据是医学中非常重要的资源，因为它范围从疾病诊断到治疗监测。如果数据集足够，则可以培训模型来帮助医生完成这些任务。不幸的是，在某些情况和应用程序中，大量数据不可用。例如，在医疗领域，罕见疾病和隐私问题可能导致数据可用性受到限制。在非医学领域，获得足够数量的高质量数据的高成本也可能引起人们的关注。解决这些问题的方法可能是生成合成数据，以结合其他更传统的数据增强方法来执行数据增强。因此，关于3D生成对抗网络（GAN）的大多数出版物都在医疗领域内。生成现实合成数据的机制的存在是克服这一挑战的好资产，尤其是在医疗保健中，因为数据必须具有良好的质量并且接近现实，即现实，并且没有隐私问题。在这篇综述中，我们提供了使用GAN生成现实的3D合成数据的作品的摘要。因此，我们概述了具有共同体系结构，优势和缺点的这些领域中基于GAN的方法。我们提出了一种新颖的分类学，评估，挑战和研究机会，以提供医学和其他领域甘恩当前状态的整体概述。

基于深度学习的计算机辅助诊断（CAD）已成为医疗行业的重要诊断技术，有效提高诊断精度。然而，脑肿瘤磁共振（MR）图像数据集的稀缺性导致深度学习算法的低性能。传统数据增强（DA）生成的转换图像的分布本质上类似于原始的图像，从而在泛化能力方面产生有限的性能。这项工作提高了具有结构相似性损失功能（PGGAN-SSIM）的GAN的逐步生长，以解决图像模糊问题和模型崩溃。我们还探讨了其他基于GAN的数据增强，以证明所提出的模型的有效性。我们的结果表明，PGGAN-SSIM成功地生成了256x256的现实脑肿瘤MR图像，填充了原始数据集未发现的真实图像分布。此外，PGGAN-SSSIM超过了其他基于GAN的方法，实现了FRECHET成立距离（FID）和多尺度结构相似性（MS-SSIM）的有希望的性能提升。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

激光间质热疗法（LITT）是一种新型的微创治疗方法，用于烧蚀颅内结构，以治疗肠内颞叶癫痫（MTLE）。 LITT之前和之后的感兴趣区域（ROI）分割将使自动化病变定量能够客观地评估治疗疗效。深度学习技术，例如卷积神经网络（CNN）是ROI分割的最新解决方案，但在培训过程中需要大量注释的数据。但是，从LITT等新兴治疗中收集大型数据集是不切实际的。在本文中，我们提出了一个进行性脑部病变合成框架（PAVAE），以扩大训练数据集的数量和多样性。具体而言，我们的框架由两个顺序网络组成：掩模合成网络和掩模引导的病变合成网络。为了更好地利用外部信息来在网络培训期间提供额外的监督，我们设计了条件嵌入块（CEB）和掩模嵌入块（MEB），以将掩模的固有条件编码到功能空间中。最后，使用原始和合成病变图像对分割网络进行训练，以评估所提出的框架的有效性。实验结果表明，我们的方法可以实现逼真的合成结果，并在传统数据增强技术之上提高下游分割任务的性能。

Recent advances in computer vision have shown promising results in image generation. Diffusion probabilistic models in particular have generated realistic images from textual input, as demonstrated by DALL-E 2, Imagen and Stable Diffusion. However, their use in medicine, where image data typically comprises three-dimensional volumes, has not been systematically evaluated. Synthetic images may play a crucial role in privacy preserving artificial intelligence and can also be used to augment small datasets. Here we show that diffusion probabilistic models can synthesize high quality medical imaging data, which we show for Magnetic Resonance Images (MRI) and Computed Tomography (CT) images. We provide quantitative measurements of their performance through a reader study with two medical experts who rated the quality of the synthesized images in three categories: Realistic image appearance, anatomical correctness and consistency between slices. Furthermore, we demonstrate that synthetic images can be used in a self-supervised pre-training and improve the performance of breast segmentation models when data is scarce (dice score 0.91 vs. 0.95 without vs. with synthetic data).

Many clinical and research studies of the human brain require an accurate structural MRI segmentation. While traditional atlas-based methods can be applied to volumes from any acquisition site, recent deep learning algorithms ensure very high accuracy only when tested on data from the same sites exploited in training (i.e., internal data). The performance degradation experienced on external data (i.e., unseen volumes from unseen sites) is due to the inter-site variabilities in intensity distributions induced by different MR scanner models, acquisition parameters, and unique artefacts. To mitigate this site-dependency, often referred to as the scanner effect, we propose LOD-Brain, a 3D convolutional neural network with progressive levels-of-detail (LOD) able to segment brain data from any site. Coarser network levels are responsible to learn a robust anatomical prior useful for identifying brain structures and their locations, while finer levels refine the model to handle site-specific intensity distributions and anatomical variations. We ensure robustness across sites by training the model on an unprecedented rich dataset aggregating data from open repositories: almost 27,000 T1w volumes from around 160 acquisition sites, at 1.5 - 3T, from a population spanning from 8 to 90 years old. Extensive tests demonstrate that LOD-Brain produces state-of-the-art results, with no significant difference in performance between internal and external sites, and robust to challenging anatomical variations. Its portability opens the way for large scale application across different healthcare institutions, patient populations, and imaging technology manufacturers. Code, model, and demo are available at the project website.

创伤性脑损伤（TBI）患者的脑网络分析对于其意识水平评估和预后评估至关重要，这需要分割某些意识相关的大脑区域。但是，由于很难收集TBI患者的手动注释的MR扫描，因此很难构建TBI分割模型。数据增强技术可用于缓解数据稀缺问题。但是，常规数据增强策略（例如空间和强度转化）无法模仿创伤性大脑中的变形和病变，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种名为TBIGA的新型医学图像授课模型，以通过配对的脑标签图合成TBI MR扫描。我们的TBIGAN方法的主要优势在于，它可以同时生成TBI图像和相应的标签映射，这在以前的医学图像的先前涂上方法中尚未实现。我们首先按照粗到细节的方式在边缘信息的指导下生成成分的图像，然后将合成强度图像用作标签上填充的先验。此外，我们引入了基于注册的模板增强管道，以增加合成图像对的多样性并增强数据增强能力。实验结果表明，提出的TBIGAN方法可以产生具有高质量和有效标签图的足够合成的TBI图像，这可以大大改善与替代方案相比的2D和3D创伤性脑部分割性能。

可以使用超分辨率方法改善医学图像的空间分辨率。实际增强的超级分辨率生成对抗网络（Real-Esrgan）是最近用于产生较高分辨率图像的最新有效方法之一，给定较低分辨率的输入图像。在本文中，我们应用这种方法来增强2D MR图像的空间分辨率。在我们提出的方法中，我们稍微修改了从脑肿瘤分割挑战（BRATS）2018数据集中训练2D磁共振图像（MRI）的结构。通过计算SSIM（结构相似性指数量度），NRMSE（归一化根平方误），MAE（平均绝对误差）和VIF（视觉信息保真度）值，通过计算SSIM（结构相似性指数量度）进行定性和定量验证。

大型医学成像数据集变得越来越多。这些数据集中的一个普遍挑战是确保每个样本满足没有重要人工制品的最低质量要求。尽管已经开发出广泛的现有自动方法来识别医学成像中的缺陷和人工制品，但它们主要依赖于渴望数据的方法。特别是，缺乏可用于培训的手工艺品的足够扫描，在临床研究中设计和部署机器学习方面造成了障碍。为了解决这个问题，我们提出了一个具有四个主要组成部分的新颖框架：（1）一组受磁共振物理启发的手工艺发电机，以损坏大脑MRI扫描和增强培训数据集，（2）一组抽象和工程的功能，紧凑地表示图像，（3）一个特征选择过程，取决于人工制品的类别以提高分类性能，以及（4）一组受过训练以识别人工制品的支持向量机（SVM）分类器。我们的新颖贡献是三重的：首先，我们使用新型的基于物理的人工制品发生器来生成以受控的人工制品作为数据增强技术的合成脑MRI扫描。这将避免使用稀有人工制品的劳动密集型收集和标记过程。其次，我们提出了开发的大量抽象和工程图像特征，以识别9种不同的结构MRI伪像。最后，我们使用一个基于人工制品的功能选择块，该块，对于每类的人工制品，可以找到提供最佳分类性能的功能集。我们对具有人工生成的人工制品的大量数据扫描进行了验证实验，并且在一项多发性硬化症临床试验中，专家确定了真实的人工制品，这表明拟议管道表现优于传统方法。

为了实现良好的性能和概括性，医疗图像分割模型应在具有足够可变性的大量数据集上进行培训。由于道德和治理限制以及与标签数据相关的成本，经常对科学发展进行扼杀，并经过对有限数据的培训和测试。数据增强通常用于人为地增加数据分布的可变性并提高模型的通用性。最近的作品探索了图像合成的深层生成模型，因为这种方法将使有效的无限数据生成多种多样的数据，从而解决了通用性和数据访问问题。但是，许多提出的解决方案限制了用户对生成内容的控制。在这项工作中，我们提出了Brainspade，该模型将基于合成扩散的标签发生器与语义图像发生器结合在一起。我们的模型可以在有或没有感兴趣的病理的情况下产生完全合成的大脑标签，然后产生任意引导样式的相应MRI图像。实验表明，Brainspade合成数据可用于训练分割模型，其性能与在真实数据中训练的模型相当。

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

基于深度学习的疾病检测和分割算法承诺提高许多临床过程。然而，由于数据隐私，法律障碍和非统一数据采集协议，此类算法需要大量的注释训练数据，通常在医学环境中不可用。具有注释病理学的合成数据库可以提供所需的培训数据量。我们展示了缺血性卒中的例子，即利用基于深度学习的增强的病变分割的改善是可行的。为此，我们训练不同的图像到图像转换模型，以合成大脑体积的磁共振图像，并且没有来自语义分割图的中风病变。此外，我们培养一种生成的对抗性网络来产生合成病变面具。随后，我们组合这两个组件来构建大型合成描边图像数据库。使用U-NET评估各种模型的性能，该U-NET在临床测试集上培训以进行段中风病变。我们向最佳性能报告$ \ mathbf {72.8} $％[$ \ mathbf {70.8 \ pm1.0} $％]的骰子分数，这胜过了单独临床图像培训的模型培训$ \ mathbf { 67.3} $％[$ \ mathbf {63.2 \ pm1.9} $％]，并且接近人类互相互联网骰子评分$ \ mathbf {76.9} $％。此外，我们表明，对于仅为10或50个临床案例的小型数据库，与使用不使用合成数据的设置相比，合成数据增强产生了显着的改进。据我们所知，这提出了基于图像到图像翻译的合成数据增强的第一个比较分析，并将第一应用于缺血性卒中。

在医学成像中，获得大量标记数据通常是一个障碍，因为注释和病理很少。异常检测是一种能够检测到看不见的异常数据的方法，而仅对正常（未经注释）数据进行培训。存在基于生成对抗网络（GAN）的几种算法来执行此任务，但是由于gan的不稳定，存在某些局限性。本文提出了一种新方法，通过将现有方法Ganomaly与逐渐增长的甘纳斯相结合。考虑到其产生高分辨率图像的能力，后者更稳定。该方法是使用时尚MNIST，医学分布分析挑战（情绪）和内部脑部MRI测试的；使用尺寸16x16和32x32的斑块。渐进式甘诺利（Ganomaly）的表现优于一级SVM或时尚MNIST的常规甘诺利。人工异常是在具有不同强度和直径的情绪图像中创建的。渐进式甘加诺利检测到强度和大小不同的最大异常。此外，从渐进的甘诺利中证明，间歇性重建也更好。在内部脑部MRI数据集上，常规甘诺利优于其他方法。

多发性硬化症（MS）是一种慢性进行性神经系统疾病，其特征是大脑白质病变的发展。相对于其他MRI模态，T2流体体面的反转恢复（FLAIR）脑磁共振成像（MRI）提供了MS病变的卓越可视化和表征。 MS中的纵向脑感状MRI，涉及随着时间的推移重复对患者进行成像，为临床医生提供了有用的信息，以监测疾病进展。仅在有限的应用中尝试预测未来的整个大脑MRI检查，例如在有限的应用中，例如在阿尔茨海默氏病中的健康衰老和结构性变性。在本文中，我们为MS Flair图像合成的深度学习体系结构提供了新的修改，以支持以灵活的连续方式支持纵向图像的预测。这是通过学习的转移卷积来实现的，该卷积将建模时间作为空间分布的阵列，在不同的空间位置具有可变的时间特性。因此，这种方法理论上可以对空间特定的时间依赖性大脑发育进行建模，从而支持在适当的物理位置（例如MS脑损伤部位）建模更快的生长。这种方法还支持临床医生用户定义预测考试应针对的未来。对未来成像的准确预测可以为临床医生提供潜在的患者预后，这可能有助于早期治疗和更好的预后。已经开发了四个不同的深度学习体系结构。 ISBI2015纵向MS数据集用于验证和比较我们提出的方法。结果表明，修改后的ACGAN可实现最佳性能并降低模型准确性的可变性。

检测新的多发性硬化症（MS）病变是该疾病进化的重要标志。基于学习的方法的适用性可以有效地自动化此任务。然而，缺乏带有新型病变的注释纵向数据是训练健壮和概括模型的限制因素。在这项工作中，我们描述了一条基于学习的管道，该管道解决了检测和细分新MS病变的挑战性任务。首先，我们建议使用单个时间点对在分割任务进行训练的模型中使用转移学习。因此，我们从更轻松的任务中利用知识，并为此提供更多注释的数据集。其次，我们提出了一种数据综合策略，以使用单个时间点扫描生成新的纵向时间点。通过这种方式，我们将检测模型预算到大型合成注释数据集上。最后，我们使用旨在模拟MRI中数据多样性的数据实践技术。通过这样做，我们增加了可用的小注释纵向数据集的大小。我们的消融研究表明，每个贡献都会提高分割精度。使用拟议的管道，我们获得了MSSEG2 MICCAI挑战中新的MS病变的分割和检测的最佳分数。

了解脑损伤的强度特征是定义神经系统研究和预测疾病负担和结局的基于图像的生物标志物的关键。在这项工作中，我们提出了一种基于前景的新型生成方法，用于对局部病变特征进行建模，该方法既可以在健康图像上产生合成病变，又可以从病理图像中综合受试者特异性的伪健康图像。此外，该方法可以用作数据增强模块，以生成用于训练大脑图像分割网络的合成图像。在磁共振成像（MRI）上获得的多发性硬化症（MS）脑图像的实验表明，所提出的方法可以生成高度逼真的伪健康和伪病理学脑图像。与传统的数据增强方法以及最近的病变感知数据增强技术Carvemix相比，使用合成图像进行数据扩展可改善大脑图像分割的性能。该代码将在https://github.com/dogabasaran/lesion-synthesis中发布。

多发性硬化症（MS）是一种慢性神经系统疾病，其特征是大脑白质病变的发展。相对于其他MRI模态，T2流体减弱的反转恢复（FLAIR）脑磁共振成像（MRI）提供了MS病变的卓越可视化和表征。 MS中的后续大脑FLAIR MRI为临床医生提供了有用的信息，以监测疾病进展。在这项研究中，我们提出了对生成对抗网络（GAN）的新颖修饰，以预测MS以固定时间间隔的MS预测未来病变特异性MRI。我们在鉴别器中使用受监督的引导注意力和扩张卷积，该歧视者支持对生成图像是否实现的明智预测，这是基于对病变区域的关注，这反过来又有可能帮助改善生成器以预测病变区域将来的考试更准确。我们将我们的方法与几个基线和一种最先进的CF-Sagan模型进行了比较[1]。总之，我们的结果表明，与其他总体性能相似的模型相比，所提出的方法可实现更高的准确性，并减少病变区域预测误差的标准偏差。

人脑解剖图像的专家解释是神经放射学的中心部分。已经提出了几种基于机器学习的技术来协助分析过程。但是，通常需要对ML模型进行培训以执行特定的任务，例如脑肿瘤分割或分类。相应的培训数据不仅需要费力的手动注释，而且人脑MRI中可以存在多种异常 - 甚至同时发生，这使得所有可能的异常情况都非常具有挑战性。因此，可能的解决方案是一种无监督的异常检测（UAD）系统，可以从健康受试者的未标记数据集中学习数据分布，然后应用以检测​​分布样本。然后，这种技术可用于检测异常 - 病变或异常，例如脑肿瘤，而无需明确训练该特定病理的模型。过去已经为此任务提出了几种基于变异的自动编码器（VAE）技术。即使它们在人为模拟的异常情况下表现良好，但其中许多在检测临床数据中的异常情况下表现较差。这项研究提出了“上下文编码” VAE（CEVAE）模型的紧凑版本，并结合了预处理和后处理步骤，创建了UAD管道（Strega）（Strega），该步骤对临床数据更强大，并显示其在检测到其检测方面的适用性脑MRI中的肿瘤等异常。 The proposed pipeline achieved a Dice score of 0.642$\pm$0.101 while detecting tumours in T2w images of the BraTS dataset and 0.859$\pm$0.112 while detecting artificially induced anomalies, while the best performing baseline achieved 0.522$\pm$0.135 and 0.783$\ PM分别为0.111美元。

对疾病的诊断或图像分割医学图像训练计算机视觉相关算法是缺乏训练数据，标记的样品，和隐私问题的困难所致。出于这个原因，一个强大的生成方法来创建合成数据后高度寻求。然而，大多数三维图像生成器需要额外的图像输入或者是非常占用大量内存。为了解决这些问题，我们建议调整视频生成技术3-d图像生成。使用时间GAN（TGAN）架构，我们将展示我们能够产生逼真的头部和颈部PET图像。我们还表明，通过调节肿瘤口罩发电机，我们能够控制肿瘤的几何形状和位置，在生成的图像。为了测试合成影像的用途，我们使用合成的图像训练分割模型。空调真实肿瘤掩模合成图像被自动分割，和对应的真实图像也分割。我们评估使用的骰子得分的分割，并找到两个数据集（0.65合成数据，0.70的真实数据）同样的分割算法执行。然后，各种radionomic特征在分割的肿瘤体积为每个数据集来计算。真实的和合成的特征分布的比较显示，8七个特征分布有统计学不显着差异（p> 0.05）。还计算所有radionomic特征之间的相关系数，它是示出了所有在真实数据组中的强统计相关的在合成数据集被保留。