对疾病的诊断或图像分割医学图像训练计算机视觉相关算法是缺乏训练数据，标记的样品，和隐私问题的困难所致。出于这个原因，一个强大的生成方法来创建合成数据后高度寻求。然而，大多数三维图像生成器需要额外的图像输入或者是非常占用大量内存。为了解决这些问题，我们建议调整视频生成技术3-d图像生成。使用时间GAN（TGAN）架构，我们将展示我们能够产生逼真的头部和颈部PET图像。我们还表明，通过调节肿瘤口罩发电机，我们能够控制肿瘤的几何形状和位置，在生成的图像。为了测试合成影像的用途，我们使用合成的图像训练分割模型。空调真实肿瘤掩模合成图像被自动分割，和对应的真实图像也分割。我们评估使用的骰子得分的分割，并找到两个数据集（0.65合成数据，0.70的真实数据）同样的分割算法执行。然后，各种radionomic特征在分割的肿瘤体积为每个数据集来计算。真实的和合成的特征分布的比较显示，8七个特征分布有统计学不显着差异（p> 0.05）。还计算所有radionomic特征之间的相关系数，它是示出了所有在真实数据组中的强统计相关的在合成数据集被保留。

在很大程度上，由于隐私问题，很难培训有关疾病诊断或图像分割的医学图像的计算机视觉相关算法。因此，高度寻求生成图像模型以促进数据共享。但是，需要研究3-D生成模型，需要研究其隐私泄漏。我们使用在肿瘤面膜上进行条件研究的头和颈宠物图像介绍了3D生成模型横向gan（TRGAN）。我们为模型定义了图像保真度，实用性和隐私的定量度量。在培训过程中评估了这些指标，以确定理想的保真度，公用事业和隐私权权衡，并建立这些参数之间的关系。我们表明，Trgan的歧视者很容易受到攻击，并且攻击者可以识别哪些样品在训练中几乎完全准确（AUC = 0.99）。我们还表明，仅访问发电机的攻击者无法可靠地分类样品是否已用于训练（AUC = 0.51）。这表明Trgan发电机（而不是歧视者）可以用于共享具有最小隐私风险的合成3-D PET数据，同时保持良好的效用和保真度。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

基于深度学习的疾病检测和分割算法承诺提高许多临床过程。然而，由于数据隐私，法律障碍和非统一数据采集协议，此类算法需要大量的注释训练数据，通常在医学环境中不可用。具有注释病理学的合成数据库可以提供所需的培训数据量。我们展示了缺血性卒中的例子，即利用基于深度学习的增强的病变分割的改善是可行的。为此，我们训练不同的图像到图像转换模型，以合成大脑体积的磁共振图像，并且没有来自语义分割图的中风病变。此外，我们培养一种生成的对抗性网络来产生合成病变面具。随后，我们组合这两个组件来构建大型合成描边图像数据库。使用U-NET评估各种模型的性能，该U-NET在临床测试集上培训以进行段中风病变。我们向最佳性能报告$ \ mathbf {72.8} $％[$ \ mathbf {70.8 \ pm1.0} $％]的骰子分数，这胜过了单独临床图像培训的模型培训$ \ mathbf { 67.3} $％[$ \ mathbf {63.2 \ pm1.9} $％]，并且接近人类互相互联网骰子评分$ \ mathbf {76.9} $％。此外，我们表明，对于仅为10或50个临床案例的小型数据库，与使用不使用合成数据的设置相比，合成数据增强产生了显着的改进。据我们所知，这提出了基于图像到图像翻译的合成数据增强的第一个比较分析，并将第一应用于缺血性卒中。

了解脑损伤的强度特征是定义神经系统研究和预测疾病负担和结局的基于图像的生物标志物的关键。在这项工作中，我们提出了一种基于前景的新型生成方法，用于对局部病变特征进行建模，该方法既可以在健康图像上产生合成病变，又可以从病理图像中综合受试者特异性的伪健康图像。此外，该方法可以用作数据增强模块，以生成用于训练大脑图像分割网络的合成图像。在磁共振成像（MRI）上获得的多发性硬化症（MS）脑图像的实验表明，所提出的方法可以生成高度逼真的伪健康和伪病理学脑图像。与传统的数据增强方法以及最近的病变感知数据增强技术Carvemix相比，使用合成图像进行数据扩展可改善大脑图像分割的性能。该代码将在https://github.com/dogabasaran/lesion-synthesis中发布。

数据已成为当今世界上最有价值的资源。随着数据驱动算法的大量扩散，例如基于深度学习的方法，数据的可用性引起了极大的兴趣。在这种情况下，特别需要高质量的培训，验证和测试数据集。体积数据是医学中非常重要的资源，因为它范围从疾病诊断到治疗监测。如果数据集足够，则可以培训模型来帮助医生完成这些任务。不幸的是，在某些情况和应用程序中，大量数据不可用。例如，在医疗领域，罕见疾病和隐私问题可能导致数据可用性受到限制。在非医学领域，获得足够数量的高质量数据的高成本也可能引起人们的关注。解决这些问题的方法可能是生成合成数据，以结合其他更传统的数据增强方法来执行数据增强。因此，关于3D生成对抗网络（GAN）的大多数出版物都在医疗领域内。生成现实合成数据的机制的存在是克服这一挑战的好资产，尤其是在医疗保健中，因为数据必须具有良好的质量并且接近现实，即现实，并且没有隐私问题。在这篇综述中，我们提供了使用GAN生成现实的3D合成数据的作品的摘要。因此，我们概述了具有共同体系结构，优势和缺点的这些领域中基于GAN的方法。我们提出了一种新颖的分类学，评估，挑战和研究机会，以提供医学和其他领域甘恩当前状态的整体概述。

已显示自动深度学习分割模型可提高分割效率和准确性。但是，训练强大的分割模型需要大量标记的训练样本，这可能是不切实际的。这项研究旨在开发一个深度学习框架，用于生成可用于增强网络培训的合成病变。病变合成网络是一种修改的生成对抗网络（GAN）。具体而言，我们创新了部分卷积策略来构建一个类似于Unet的发电机。该鉴别器是使用具有梯度惩罚和光谱归一化的Wasserstein GAN设计的。开发了基于主成分分析的掩模生成方法，以模拟各种病变形状。然后通过病变合成网络将生成的面膜转换为肝病。评估了病变的合成框架的病变纹理，并使用合成病变来训练病变分割网络，以进一步验证该框架的有效性。所有网络均经过LIT的公共数据集训练和测试。与所采用的两个纹理参数（GLCM-能量和GLCM相关）相比，该方法产生的合成病变具有非常相似的直方图分布。 GLCM-能量和GlCM相关的Kullback-Lebler差异分别为0.01和0.10。包括肿瘤分割网络中的合成病变包括U-NET的分割骰子性能从67.3％显着提高到71.4％（p <0.05）。同时，体积的精度和灵敏度从74.6％提高到76.0％（p = 0.23）和66.1％至70.9％（p <0.01）。合成数据可显着提高分割性能。

Recent advances in computer vision have shown promising results in image generation. Diffusion probabilistic models in particular have generated realistic images from textual input, as demonstrated by DALL-E 2, Imagen and Stable Diffusion. However, their use in medicine, where image data typically comprises three-dimensional volumes, has not been systematically evaluated. Synthetic images may play a crucial role in privacy preserving artificial intelligence and can also be used to augment small datasets. Here we show that diffusion probabilistic models can synthesize high quality medical imaging data, which we show for Magnetic Resonance Images (MRI) and Computed Tomography (CT) images. We provide quantitative measurements of their performance through a reader study with two medical experts who rated the quality of the synthesized images in three categories: Realistic image appearance, anatomical correctness and consistency between slices. Furthermore, we demonstrate that synthetic images can be used in a self-supervised pre-training and improve the performance of breast segmentation models when data is scarce (dice score 0.91 vs. 0.95 without vs. with synthetic data).

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

对从FFPE组织块制备的载玻片上切割的染色组织的光学显微镜检查是组织诊断的金标准。此外，任何病理学家的诊断能力和专业知识都取决于他们在常见和稀有变体形态上的直接经验。最近，深度学习方法已被用来成功显示此类任务的高度准确性。但是，获得专家级注释的图像是一项昂贵且耗时的任务，人为合成的组织学图像可能会非常有益。在这里，我们提出了一种方法，不仅可以生成组织学图像，从而重现普通疾病的诊断形态特征，而且还提供了产生新的和罕见形态的用户能力。我们的方法涉及开发一种生成的对抗网络模型，该模型综合了由类标签约束的病理图像。我们研究了该框架合成现实的前列腺和结肠组织图像的能力，并评估了这些图像在增强机器学习方法的诊断能力以及通过一组经验丰富的解剖病理学家的可用性方面的实用性。我们的框架生成的合成数据在训练深度学习模型中进行了类似于实际数据进行诊断。病理学家无法区分真实图像和合成图像，并显示出相似的前列腺癌分级的观察者间一致性。我们扩展了从结肠活检中显着复杂图像的方法，并表明也可以再现了此类组织中的复杂微环境。最后，我们介绍了用户通过简单的语义标签标记来生成深层组织学图像的能力。

为了实现良好的性能和概括性，医疗图像分割模型应在具有足够可变性的大量数据集上进行培训。由于道德和治理限制以及与标签数据相关的成本，经常对科学发展进行扼杀，并经过对有限数据的培训和测试。数据增强通常用于人为地增加数据分布的可变性并提高模型的通用性。最近的作品探索了图像合成的深层生成模型，因为这种方法将使有效的无限数据生成多种多样的数据，从而解决了通用性和数据访问问题。但是，许多提出的解决方案限制了用户对生成内容的控制。在这项工作中，我们提出了Brainspade，该模型将基于合成扩散的标签发生器与语义图像发生器结合在一起。我们的模型可以在有或没有感兴趣的病理的情况下产生完全合成的大脑标签，然后产生任意引导样式的相应MRI图像。实验表明，Brainspade合成数据可用于训练分割模型，其性能与在真实数据中训练的模型相当。

生成模型生成的合成数据可以增强医学成像中渴望数据深度学习模型的性能和能力。但是，（1）（合成）数据集的可用性有限，并且（2）生成模型训练很复杂，这阻碍了它们在研究和临床应用中的采用。为了减少此入口障碍，我们提出了Medigan，Medigan是一站式商店，用于验证的生成型号，该型号是开源框架 - 不合骨python图书馆。 Medigan允许研究人员和开发人员仅在几行代码中创建，增加和域名。在基于收集的最终用户需求的设计决策的指导下，我们基于生成模型的模块化组件（i）执行，（ii）可视化，（iii）搜索和排名以及（iv）贡献。图书馆的可伸缩性和设计是通过其越来越多的综合且易于使用的验证生成模型来证明的，该模型由21种模型组成，利用9种不同的生成对抗网络体系结构在4个域中在11个数据集中训练，即乳腺摄影，内窥镜检查，X射线和X射线和X射线镜头，X射线和X型。 MRI。此外，在这项工作中分析了Medigan的3个应用，其中包括（a）启用社区范围内的限制数据共享，（b）研究生成模型评估指标以及（c）改进临床下游任务。在（b）中，扩展了公共医学图像综合评估和报告标准，我们根据图像归一化和特定于放射学特征提取了Fr \'Echet Inception距离变异性。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

生成对抗网络（GAN）具有许多潜在的医学成像应用，包括数据扩展，域适应和模型解释。由于图形处理单元（GPU）的记忆力有限，因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练，因此这些模型要么无法扩展到高分辨率，要么容易出现斑驳的人工制品。在这项工作中，我们提出了一种新颖的端到端GAN体系结构，可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中，我们采用了层次结构，该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点：首先，对高分辨率图像训练的记忆需求在子量之间摊销。此外，将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间，我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中，以从图像中提取特征。 3D胸CT和脑MRI的实验表明，我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。

医疗图像分类是图像识别领域中最关键的问题之一。该领域的主要挑战之一是缺乏标记的培训数据。此外，数据集通常会出现类不平衡，因为某些情况很少发生。结果，分类任务的准确性通常很低。特别是深度学习模型，在图像细分和分类问题上显示出令人鼓舞的结果，但它们需要很大的数据集进行培训。因此，需要从相同分布中生成更多的合成样品。先前的工作表明，特征生成更有效，并且比相应的图像生成更高。我们将此想法应用于医学成像领域。我们使用转移学习来训练针对金标准班级注释的小数据集的细分模型。我们提取了学习的功能，并使用它们使用辅助分类器GAN（ACGAN）来生成在类标签上进行调节的合成特征。我们根据其严重程度测试了下游分类任务中生成特征的质量。实验结果表明，这些生成特征的有效性及其对平衡数据和提高分类类别的准确性的总体贡献的结果有希望的结果。

创伤性脑损伤（TBI）患者的脑网络分析对于其意识水平评估和预后评估至关重要，这需要分割某些意识相关的大脑区域。但是，由于很难收集TBI患者的手动注释的MR扫描，因此很难构建TBI分割模型。数据增强技术可用于缓解数据稀缺问题。但是，常规数据增强策略（例如空间和强度转化）无法模仿创伤性大脑中的变形和病变，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种名为TBIGA的新型医学图像授课模型，以通过配对的脑标签图合成TBI MR扫描。我们的TBIGAN方法的主要优势在于，它可以同时生成TBI图像和相应的标签映射，这在以前的医学图像的先前涂上方法中尚未实现。我们首先按照粗到细节的方式在边缘信息的指导下生成成分的图像，然后将合成强度图像用作标签上填充的先验。此外，我们引入了基于注册的模板增强管道，以增加合成图像对的多样性并增强数据增强能力。实验结果表明，提出的TBIGAN方法可以产生具有高质量和有效标签图的足够合成的TBI图像，这可以大大改善与替代方案相比的2D和3D创伤性脑部分割性能。

Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.

缺乏足够大的开放医疗数据库是AI驱动的医疗保健中最大的挑战之一。使用生成对抗网络（GAN）创建的合成数据似乎是减轻隐私政策问题的好解决方案。另一种类型的治疗是在多个医疗机构之间进行分散方案，而无需交换本地数据样本。在本文中，我们探讨了集中式和分散的设置中的无条件和有条件的gan。集中式设置模仿了对大型但高度不平衡的皮肤病变数据集的研究，而分散的人则通过三个机构模拟了更现实的医院情况。我们评估了模型的性能，从忠诚度，多样性，训练速度和对生成合成数据进行培训的分类器的预测能力。此外，我们通过探索潜在空间和嵌入投影的解释性。计算出的真实图像及其在潜在空间中的投影之间的距离证明了训练有素的gan的真实性和概括，这是此类应用程序中的主要关注点之一。用于进行研究的开源代码可在\ url {https://github.com/aidse/stylegan2-ada-pytorch}上公开获得。

从历史上看，患者数据集已用于开发和验证PET/MRI和PET/CT的各种重建算法。为了使这种算法开发，无需获得数百个患者检查，在本文中，我们展示了一种深度学习技术，可以从丰富的全身MRI中产生合成但逼真的全身宠物纹状体。具体来说，我们使用56 $^{18} $ F-FDG-PET/MRI考试的数据集训练3D残差UNET来预测全身T1加权MRI的生理PET摄取。在训练中，我们实施了平衡的损失函数，以在较大的动态范围内产生逼真的吸收，并沿着层析成像线的响应线对模仿宠物的获取产生计算的损失。预测的PET图像预计会产生合成宠物飞行时间（TOF）正式图，可与供应商提供的PET重建算法一起使用，包括使用基于CT的衰减校正（CTAC）和基于MR的衰减校正（MRAC（MRAC） ）。由此产生的合成数据概括了生理学$^{18} $ f-fdg摄取，例如高摄取量位于大脑和膀胱，以及肝脏，肾脏，心脏和肌肉的吸收。为了模拟高摄取的异常，我们还插入合成病变。我们证明，该合成PET数据可以与实际PET数据互换使用，用于比较CT和基于MR的衰减校正方法的PET量化任务，与使用真实数据相比，在平均值中实现了$ \ leq 7.6 \％$误差。这些结果共同表明，所提出的合成PET数据管道可以合理地用于开发，评估和验证PET/MRI重建方法。