Recent advances in computer vision have shown promising results in image generation. Diffusion probabilistic models in particular have generated realistic images from textual input, as demonstrated by DALL-E 2, Imagen and Stable Diffusion. However, their use in medicine, where image data typically comprises three-dimensional volumes, has not been systematically evaluated. Synthetic images may play a crucial role in privacy preserving artificial intelligence and can also be used to augment small datasets. Here we show that diffusion probabilistic models can synthesize high quality medical imaging data, which we show for Magnetic Resonance Images (MRI) and Computed Tomography (CT) images. We provide quantitative measurements of their performance through a reader study with two medical experts who rated the quality of the synthesized images in three categories: Realistic image appearance, anatomical correctness and consistency between slices. Furthermore, we demonstrate that synthetic images can be used in a self-supervised pre-training and improve the performance of breast segmentation models when data is scarce (dice score 0.91 vs. 0.95 without vs. with synthetic data).

深度神经网络在医学图像分析中带来了显着突破。但是，由于其渴望数据的性质，医学成像项目中适度的数据集大小可能会阻碍其全部潜力。生成合成数据提供了一种有希望的替代方案，可以补充培训数据集并进行更大范围的医学图像研究。最近，扩散模型通过产生逼真的合成图像引起了计算机视觉社区的注意。在这项研究中，我们使用潜在扩散模型探索从高分辨率3D脑图像中生成合成图像。我们使用来自英国生物银行数据集的T1W MRI图像（n = 31,740）来训练我们的模型，以了解脑图像的概率分布，该脑图像以协变量为基础，例如年龄，性别和大脑结构量。我们发现我们的模型创建了现实的数据，并且可以使用条件变量有效地控制数据生成。除此之外，我们创建了一个带有100,000次脑图像的合成数据集，并使科学界公开使用。

The success of Deep Learning applications critically depends on the quality and scale of the underlying training data. Generative adversarial networks (GANs) can generate arbitrary large datasets, but diversity and fidelity are limited, which has recently been addressed by denoising diffusion probabilistic models (DDPMs) whose superiority has been demonstrated on natural images. In this study, we propose Medfusion, a conditional latent DDPM for medical images. We compare our DDPM-based model against GAN-based models, which constitute the current state-of-the-art in the medical domain. Medfusion was trained and compared with (i) StyleGan-3 on n=101,442 images from the AIROGS challenge dataset to generate fundoscopies with and without glaucoma, (ii) ProGAN on n=191,027 from the CheXpert dataset to generate radiographs with and without cardiomegaly and (iii) wGAN on n=19,557 images from the CRCMS dataset to generate histopathological images with and without microsatellite stability. In the AIROGS, CRMCS, and CheXpert datasets, Medfusion achieved lower (=better) FID than the GANs (11.63 versus 20.43, 30.03 versus 49.26, and 17.28 versus 84.31). Also, fidelity (precision) and diversity (recall) were higher (=better) for Medfusion in all three datasets. Our study shows that DDPM are a superior alternative to GANs for image synthesis in the medical domain.

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

基于深度学习的疾病检测和分割算法承诺提高许多临床过程。然而，由于数据隐私，法律障碍和非统一数据采集协议，此类算法需要大量的注释训练数据，通常在医学环境中不可用。具有注释病理学的合成数据库可以提供所需的培训数据量。我们展示了缺血性卒中的例子，即利用基于深度学习的增强的病变分割的改善是可行的。为此，我们训练不同的图像到图像转换模型，以合成大脑体积的磁共振图像，并且没有来自语义分割图的中风病变。此外，我们培养一种生成的对抗性网络来产生合成病变面具。随后，我们组合这两个组件来构建大型合成描边图像数据库。使用U-NET评估各种模型的性能，该U-NET在临床测试集上培训以进行段中风病变。我们向最佳性能报告$ \ mathbf {72.8} $％[$ \ mathbf {70.8 \ pm1.0} $％]的骰子分数，这胜过了单独临床图像培训的模型培训$ \ mathbf { 67.3} $％[$ \ mathbf {63.2 \ pm1.9} $％]，并且接近人类互相互联网骰子评分$ \ mathbf {76.9} $％。此外，我们表明，对于仅为10或50个临床案例的小型数据库，与使用不使用合成数据的设置相比，合成数据增强产生了显着的改进。据我们所知，这提出了基于图像到图像翻译的合成数据增强的第一个比较分析，并将第一应用于缺血性卒中。

生成对抗网络（GAN）具有许多潜在的医学成像应用，包括数据扩展，域适应和模型解释。由于图形处理单元（GPU）的记忆力有限，因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练，因此这些模型要么无法扩展到高分辨率，要么容易出现斑驳的人工制品。在这项工作中，我们提出了一种新颖的端到端GAN体系结构，可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中，我们采用了层次结构，该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点：首先，对高分辨率图像训练的记忆需求在子量之间摊销。此外，将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间，我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中，以从图像中提取特征。 3D胸CT和脑MRI的实验表明，我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

数据已成为当今世界上最有价值的资源。随着数据驱动算法的大量扩散，例如基于深度学习的方法，数据的可用性引起了极大的兴趣。在这种情况下，特别需要高质量的培训，验证和测试数据集。体积数据是医学中非常重要的资源，因为它范围从疾病诊断到治疗监测。如果数据集足够，则可以培训模型来帮助医生完成这些任务。不幸的是，在某些情况和应用程序中，大量数据不可用。例如，在医疗领域，罕见疾病和隐私问题可能导致数据可用性受到限制。在非医学领域，获得足够数量的高质量数据的高成本也可能引起人们的关注。解决这些问题的方法可能是生成合成数据，以结合其他更传统的数据增强方法来执行数据增强。因此，关于3D生成对抗网络（GAN）的大多数出版物都在医疗领域内。生成现实合成数据的机制的存在是克服这一挑战的好资产，尤其是在医疗保健中，因为数据必须具有良好的质量并且接近现实，即现实，并且没有隐私问题。在这篇综述中，我们提供了使用GAN生成现实的3D合成数据的作品的摘要。因此，我们概述了具有共同体系结构，优势和缺点的这些领域中基于GAN的方法。我们提出了一种新颖的分类学，评估，挑战和研究机会，以提供医学和其他领域甘恩当前状态的整体概述。

为了实现良好的性能和概括性，医疗图像分割模型应在具有足够可变性的大量数据集上进行培训。由于道德和治理限制以及与标签数据相关的成本，经常对科学发展进行扼杀，并经过对有限数据的培训和测试。数据增强通常用于人为地增加数据分布的可变性并提高模型的通用性。最近的作品探索了图像合成的深层生成模型，因为这种方法将使有效的无限数据生成多种多样的数据，从而解决了通用性和数据访问问题。但是，许多提出的解决方案限制了用户对生成内容的控制。在这项工作中，我们提出了Brainspade，该模型将基于合成扩散的标签发生器与语义图像发生器结合在一起。我们的模型可以在有或没有感兴趣的病理的情况下产生完全合成的大脑标签，然后产生任意引导样式的相应MRI图像。实验表明，Brainspade合成数据可用于训练分割模型，其性能与在真实数据中训练的模型相当。

虽然扩散概率模型可以产生高质量的图像内容，但仍然存在高分辨率图像的关键限制及其相关的高计算要求。最近的矢量量化图像模型已经克服了图像分辨率的这种限制，而是通过从之前的元素 - 明智的自回归采样生成令牌时，这是对图像分辨率的速度和单向的。相比之下，在本文中，我们提出了一种新的离散扩散概率模型，其通过使用无约束的变压器架构作为骨干来支持矢量量化令牌的并行预测。在培训期间，令牌以订单不可知的方式随机掩盖，变压器学会预测原始令牌。这种矢量量化令牌预测的并行性反过来促进了在计算费用的一小部分下的全球一致的高分辨率和多样性图像的无条件生成。以这种方式，我们可以产生超过原始训练集样本的图像分辨率，而另外提供每个图像似然估计（从生成的对抗方法的差点）。我们的方法在密度方面实现了最先进的结果（Lsun卧室：1.51; Lsun Churches：1.12; FFHQ：1.20）和覆盖范围（Lsun卧室：0.83; Lsun Churches：0.73; FFHQ：0.80），并执行竞争对手（LSUN卧室：3.64; LSUN教堂：4.07; FFHQ：6.11）在计算和减少训练套件要求方面提供优势。

使用磁共振成像（MRI）的平移大脑研究变得越来越受欢迎，因为动物模型是科学研究的重要组成部分，超高场扫描仪变得更加可用。 MRI的一些缺点是MRI扫描仪可用性，并且执行完整扫描会话所需的时间（通常需要30分钟）。数据保护法和3R道德规则也使得难以为培训深度学习模型创建大型数据集。已经显示了生成的对抗网络（GaN）能够以比其他技术更高的质量执行数据增强。在这项工作中，Alpha-GaN架构用于测试其生成RAT大脑的现实3D MRI扫描的能力。就作者来说，这是第一次基于GAN的方法首次用于临床前数据的数据增强。使用各种定性和定量度量来评估生成的扫描。由4名专家执行的图灵测试表明，生成的扫描可能几乎可以欺骗任何专家。产生的扫描也用于评估它们对对白种物质，灰质和脑脊髓液的大鼠脑分割开发的现有深度学习模型的性能的影响。使用骰子分数进行比较模型。当使用174种实际扫描和348种合成物时，实现了全脑和白质分割的最佳结果，提高了0.0172和0.0129。使用174个真实扫描和87个合成物导致了0.0038和0.0764的灰质和脑脊液细分的改善。因此，通过使用所提出的新归一化层和损耗功能，可以改善生成的RAT MRI扫描的现实主义，并且证明使用数据产生的改进的分割模型比使用传统数据增强改进。

Tumor segmentation in histopathology images is often complicated by its composition of different histological subtypes and class imbalance. Oversampling subtypes with low prevalence features is not a satisfactory solution since it eventually leads to overfitting. We propose to create synthetic images with semantically-conditioned deep generative networks and to combine subtype-balanced synthetic images with the original dataset to achieve better segmentation performance. We show the suitability of Generative Adversarial Networks (GANs) and especially diffusion models to create realistic images based on subtype-conditioning for the use case of HER2-stained histopathology. Additionally, we show the capability of diffusion models to conditionally inpaint HER2 tumor areas with modified subtypes. Combining the original dataset with the same amount of diffusion-generated images increased the tumor Dice score from 0.833 to 0.854 and almost halved the variance between the HER2 subtype recalls. These results create the basis for more reliable automatic HER2 analysis with lower performance variance between individual HER2 subtypes.

通过源至目标模态丢失图像的插图可以促进医学成像中的下游任务。合成目标图像的普遍方法涉及通过生成对抗网络（GAN）的单发映射。然而，隐式表征图像分布的GAN模型可能会受到样本保真度和多样性的有限。在这里，我们提出了一种基于对抗扩散建模Syndiff的新方法，以提高医学图像合成的可靠性。为了捕获图像分布的直接相关性，Syndiff利用条件扩散过程逐步将噪声和源图像映射到目标图像上。对于推断期间的快速准确图像采样，大扩散步骤与反向扩散方向的对抗投影结合在一起。为了对未配对的数据集进行培训，设计了一个循环一致的体系结构，并使用两个耦合的扩散过程，以合成给定源的目标和给定的目标。报告了有关联合竞争性GAN和扩散模型在多对比度MRI和MRI-CT翻译中的效用的广泛评估。我们的示威表明，Syndiff在定性和定量上都可以针对竞争基线提供出色的性能。

基于深度学习的计算机辅助诊断（CAD）已成为医疗行业的重要诊断技术，有效提高诊断精度。然而，脑肿瘤磁共振（MR）图像数据集的稀缺性导致深度学习算法的低性能。传统数据增强（DA）生成的转换图像的分布本质上类似于原始的图像，从而在泛化能力方面产生有限的性能。这项工作提高了具有结构相似性损失功能（PGGAN-SSIM）的GAN的逐步生长，以解决图像模糊问题和模型崩溃。我们还探讨了其他基于GAN的数据增强，以证明所提出的模型的有效性。我们的结果表明，PGGAN-SSIM成功地生成了256x256的现实脑肿瘤MR图像，填充了原始数据集未发现的真实图像分布。此外，PGGAN-SSSIM超过了其他基于GAN的方法，实现了FRECHET成立距离（FID）和多尺度结构相似性（MS-SSIM）的有希望的性能提升。

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

对疾病的诊断或图像分割医学图像训练计算机视觉相关算法是缺乏训练数据，标记的样品，和隐私问题的困难所致。出于这个原因，一个强大的生成方法来创建合成数据后高度寻求。然而，大多数三维图像生成器需要额外的图像输入或者是非常占用大量内存。为了解决这些问题，我们建议调整视频生成技术3-d图像生成。使用时间GAN（TGAN）架构，我们将展示我们能够产生逼真的头部和颈部PET图像。我们还表明，通过调节肿瘤口罩发电机，我们能够控制肿瘤的几何形状和位置，在生成的图像。为了测试合成影像的用途，我们使用合成的图像训练分割模型。空调真实肿瘤掩模合成图像被自动分割，和对应的真实图像也分割。我们评估使用的骰子得分的分割，并找到两个数据集（0.65合成数据，0.70的真实数据）同样的分割算法执行。然后，各种radionomic特征在分割的肿瘤体积为每个数据集来计算。真实的和合成的特征分布的比较显示，8七个特征分布有统计学不显着差异（p> 0.05）。还计算所有radionomic特征之间的相关系数，它是示出了所有在真实数据组中的强统计相关的在合成数据集被保留。

病理学家对患病组织的视觉微观研究一直是一个多世纪以来癌症诊断和预后的基石。最近，深度学习方法在组织图像的分析和分类方面取得了重大进步。但是，关于此类模型在生成组织病理学图像的实用性方面的工作有限。这些合成图像在病理学中有多种应用，包括教育，熟练程度测试，隐私和数据共享的公用事业。最近，引入了扩散概率模型以生成高质量的图像。在这里，我们首次研究了此类模型的潜在用途以及优先的形态加权和颜色归一化，以合成脑癌的高质量组织病理学图像。我们的详细结果表明，与生成对抗网络相比，扩散概率模型能够合成各种组织病理学图像，并且具有较高的性能。

可以使用医学成像数据研究人类解剖学，形态和相关疾病。但是，访问医学成像数据受到治理和隐私问题，数据所有权和获取成本的限制，从而限制了我们理解人体的能力。解决此问题的一个可能解决方案是创建能够学习的模型，然后生成以相关性的特定特征（例如，年龄，性别和疾病状态）来生成人体的合成图像。最近，以神经网络形式的深层生成模型已被用于创建自然场景的合成2D图像。尽管如此，数据稀缺性，算法和计算局限性仍阻碍了具有正确解剖形态的高分辨率3D体积成像数据的能力。这项工作提出了一个生成模型，可以缩放以产生人类大脑的解剖学正确，高分辨率和现实的图像，并具有必要的质量，以允许进一步的下游分析。产生潜在无限数据的能力不仅能够对人体解剖学和病理学进行大规模研究，而不会危及患者的隐私，而且还可以在异常检测，模态综合，有限的数据和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平的学习领域进行显着提高。道德AI。代码和训练有素的模型可在以下网址提供：https：//github.com/amigolab/synthanatomy。

数据的多样性对于对深度学习模型的成功培训至关重要。通过经常发生的生成对抗网络杠杆，我们提出了在胸部CT扫描的小型数据集上培训时产生大规模3D合成CT-SCAN卷（$ \ GEQ224 \ Times224 $）的CT-SGAG。CT-SGAN为医学成像机器学习面临的两个主要挑战提供有吸引力的解决方案：少数给定的I.I.D。培训数据，以及对患者数据共享的限制，防止迅速获得更大和更多样化的数据集。我们使用包括FR \'电位距离和成立分数的各种度量来评估生成的图像的保真度和定量。我们进一步表明，通过在大量合成数据上预先训练分类器，CT-SGAN可以显着提高肺结核检测精度。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。