在这项工作中，我们介绍了DCGAN的实证研究，包括超参数启发式方法和图像质量评估，以解决研究数据集的稀缺性，以研究胎儿头超声。我们提出了实验，以显示不同图像分辨率，时期，数据集大小输入和对四个指标质量图像评估的学习速率的影响：互信息（MI），fr \'Echet Inception Inteption距离（FID），峰值信号到峰值信号-noise比率（PSNR）和局部二进制模式矢量（LBPV）。结果表明，FID和LBPV与临床图像质量评分具有更强的关系。复制此工作的资源可在\ url {https://github.com/budai4medtech/miua2022}中获得。

宫颈癌是女性最常见的癌症类型之一。它占女性所有癌症的6-29％。它是由人类乳头状瘤病毒（HPV）引起的。宫颈癌的5年生存机会范围从17％-92％的范围内，具体取决于检测到的阶段。早期发现该疾病有助于更好地治疗患者。如今，许多深度学习算法被用于检测宫颈癌。一种被称为生成对抗网络（GAN）的深度学习技术的特殊类别正在赶上宫颈癌的筛查，检测和分类中的速度。在这项工作中，我们介绍了有关使用各种GAN模型，其应用以及用于其在宫颈癌成像领域的性能评估的评估指标的最新趋势的详细分析。

气候变化正在增加有害藻华（HAB）的频率和严重程度，这些藻类在水产养殖场中造成大量鱼类死亡。这有助于海洋污染和温室气体（GHG）的排放，因为死鱼要么被倾倒到海洋中，要么被带到垃圾填埋场，进而对气候产生负面影响。当前，列举有害藻类和其他浮游植物的标准方法是在显微镜下手动观察并对其进行计数。这是一个耗时，乏味且容易出错的过程，导致农民的管理决定妥协。因此，自动化此过程以进行快速准确的HAB监控非常有帮助。但是，这需要大量且多样化的浮游植物图像数据集，并且这些数据集很难快速生产。在这项工作中，我们探讨了产生新型高分辨率的光真逼真的合成浮游植物图像的可行性，这些图像包含相同图像中的多个物种，并且给定了一小部分真实图像。为此，我们采用生成的对抗网络（GAN）来生成合成图像。我们使用标准图像质量指标评估了三种不同的GAN架构：ProjectedGan，Fastgan和styleganv2。我们从经验上显示了仅使用961个真实图像的训练数据集的高保真合成浮游植物图像的产生。因此，这项工作证明了甘斯从小型培训数据集中创建大型浮游植物的大型合成数据集的能力，从而朝着可持续的系统监测有害藻类绽放迈出了关键的一步。

用于培训糖尿病性视网膜病变分类器的公共可用数据是不平衡的。生成的对抗网络可以成功合成视网膜底面图像。为了使合成图像有益，图像必须具有高质量和多样化。目前，使用了几种评估指标来评估生成对抗网络合成的图像的质量和多样性。这项工作是对文献中用于评估生成对抗网络的评估指标的适用性的第一个此类经验评估，用于在糖尿病性视网膜病变的背景下生成视网膜底面图像。 Frechet成立距离，峰值信噪比和余弦距离评估合成增殖性糖尿病夺回图像的质量和多样性的能力。进行定量分析以启用改进的方法，以选择用于增强分类器培训数据集的合成图像。结果表明，Frechet的启动距离适合评估合成图像的多样性，并用于识别该图像是否具有与其类标签相对应的特征。峰值信噪比适合指示合成图像是否具有有效的糖尿病性视网膜病变，并且其特征是否与其类标记相对应。这些结果证明了执行这种经验评估的重要性，尤其是在旨在应用于应用环境中利用的生物医学领域的背景下。

The success of Deep Learning applications critically depends on the quality and scale of the underlying training data. Generative adversarial networks (GANs) can generate arbitrary large datasets, but diversity and fidelity are limited, which has recently been addressed by denoising diffusion probabilistic models (DDPMs) whose superiority has been demonstrated on natural images. In this study, we propose Medfusion, a conditional latent DDPM for medical images. We compare our DDPM-based model against GAN-based models, which constitute the current state-of-the-art in the medical domain. Medfusion was trained and compared with (i) StyleGan-3 on n=101,442 images from the AIROGS challenge dataset to generate fundoscopies with and without glaucoma, (ii) ProGAN on n=191,027 from the CheXpert dataset to generate radiographs with and without cardiomegaly and (iii) wGAN on n=19,557 images from the CRCMS dataset to generate histopathological images with and without microsatellite stability. In the AIROGS, CRMCS, and CheXpert datasets, Medfusion achieved lower (=better) FID than the GANs (11.63 versus 20.43, 30.03 versus 49.26, and 17.28 versus 84.31). Also, fidelity (precision) and diversity (recall) were higher (=better) for Medfusion in all three datasets. Our study shows that DDPM are a superior alternative to GANs for image synthesis in the medical domain.

深度神经网络在医学图像分析中带来了显着突破。但是，由于其渴望数据的性质，医学成像项目中适度的数据集大小可能会阻碍其全部潜力。生成合成数据提供了一种有希望的替代方案，可以补充培训数据集并进行更大范围的医学图像研究。最近，扩散模型通过产生逼真的合成图像引起了计算机视觉社区的注意。在这项研究中，我们使用潜在扩散模型探索从高分辨率3D脑图像中生成合成图像。我们使用来自英国生物银行数据集的T1W MRI图像（n = 31,740）来训练我们的模型，以了解脑图像的概率分布，该脑图像以协变量为基础，例如年龄，性别和大脑结构量。我们发现我们的模型创建了现实的数据，并且可以使用条件变量有效地控制数据生成。除此之外，我们创建了一个带有100,000次脑图像的合成数据集，并使科学界公开使用。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

基于深度学习的计算机辅助诊断（CAD）已成为医疗行业的重要诊断技术，有效提高诊断精度。然而，脑肿瘤磁共振（MR）图像数据集的稀缺性导致深度学习算法的低性能。传统数据增强（DA）生成的转换图像的分布本质上类似于原始的图像，从而在泛化能力方面产生有限的性能。这项工作提高了具有结构相似性损失功能（PGGAN-SSIM）的GAN的逐步生长，以解决图像模糊问题和模型崩溃。我们还探讨了其他基于GAN的数据增强，以证明所提出的模型的有效性。我们的结果表明，PGGAN-SSIM成功地生成了256x256的现实脑肿瘤MR图像，填充了原始数据集未发现的真实图像分布。此外，PGGAN-SSSIM超过了其他基于GAN的方法，实现了FRECHET成立距离（FID）和多尺度结构相似性（MS-SSIM）的有希望的性能提升。

数据已成为当今世界上最有价值的资源。随着数据驱动算法的大量扩散，例如基于深度学习的方法，数据的可用性引起了极大的兴趣。在这种情况下，特别需要高质量的培训，验证和测试数据集。体积数据是医学中非常重要的资源，因为它范围从疾病诊断到治疗监测。如果数据集足够，则可以培训模型来帮助医生完成这些任务。不幸的是，在某些情况和应用程序中，大量数据不可用。例如，在医疗领域，罕见疾病和隐私问题可能导致数据可用性受到限制。在非医学领域，获得足够数量的高质量数据的高成本也可能引起人们的关注。解决这些问题的方法可能是生成合成数据，以结合其他更传统的数据增强方法来执行数据增强。因此，关于3D生成对抗网络（GAN）的大多数出版物都在医疗领域内。生成现实合成数据的机制的存在是克服这一挑战的好资产，尤其是在医疗保健中，因为数据必须具有良好的质量并且接近现实，即现实，并且没有隐私问题。在这篇综述中，我们提供了使用GAN生成现实的3D合成数据的作品的摘要。因此，我们概述了具有共同体系结构，优势和缺点的这些领域中基于GAN的方法。我们提出了一种新颖的分类学，评估，挑战和研究机会，以提供医学和其他领域甘恩当前状态的整体概述。

生成对抗网络（GAN）具有许多潜在的医学成像应用，包括数据扩展，域适应和模型解释。由于图形处理单元（GPU）的记忆力有限，因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练，因此这些模型要么无法扩展到高分辨率，要么容易出现斑驳的人工制品。在这项工作中，我们提出了一种新颖的端到端GAN体系结构，可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中，我们采用了层次结构，该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点：首先，对高分辨率图像训练的记忆需求在子量之间摊销。此外，将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间，我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中，以从图像中提取特征。 3D胸CT和脑MRI的实验表明，我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

评估生成的对抗网络（GANS）的表现是由于其实际意义的重要课题。虽然已经提出了几种评估指标，但它们通常会评估整个产生的图像分布的质量。对于参考标制图像合成（RIS）任务，即呈现另一参考图像的样式的源图像，其中，在评估单个生成图像的质量至关重要时，这些度量不适用于这些度量。在本文中，我们提出了一般学习的框架，参考引导图像合成评估（RISA）来定量地评估单个生成图像的质量。值得注意的是，RISA的培训不需要人类注释。具体而言，RISA的训练数据由RIS中的培训过程中的中间模型获取，并且基于图像质量与迭代之间的正相关性，通过模型迭代的数量弱写。由于该注释作为监督信号太粗糙，我们介绍了两种技术：1）一种像素 - 明智的插值方案，以改进粗标签，以及2）多个二进制分类器来替换NA \“IVE回归。此外，无人监督引入对比损失以有效地捕获所生成的图像及其参考图像之间的风格相似性。各种数据集的经验结果表明，RISA与人偏好和跨越模型的井中转移良好。

Generative models have been very successful over the years and have received significant attention for synthetic data generation. As deep learning models are getting more and more complex, they require large amounts of data to perform accurately. In medical image analysis, such generative models play a crucial role as the available data is limited due to challenges related to data privacy, lack of data diversity, or uneven data distributions. In this paper, we present a method to generate brain tumor MRI images using generative adversarial networks. We have utilized StyleGAN2 with ADA methodology to generate high-quality brain MRI with tumors while using a significantly smaller amount of training data when compared to the existing approaches. We use three pre-trained models for transfer learning. Results demonstrate that the proposed method can learn the distributions of brain tumors. Furthermore, the model can generate high-quality synthetic brain MRI with a tumor that can limit the small sample size issues. The approach can addresses the limited data availability by generating realistic-looking brain MRI with tumors. The code is available at: ~\url{https://github.com/rizwanqureshi123/Brain-Tumor-Synthetic-Data}.

生成模型生成的合成数据可以增强医学成像中渴望数据深度学习模型的性能和能力。但是，（1）（合成）数据集的可用性有限，并且（2）生成模型训练很复杂，这阻碍了它们在研究和临床应用中的采用。为了减少此入口障碍，我们提出了Medigan，Medigan是一站式商店，用于验证的生成型号，该型号是开源框架 - 不合骨python图书馆。 Medigan允许研究人员和开发人员仅在几行代码中创建，增加和域名。在基于收集的最终用户需求的设计决策的指导下，我们基于生成模型的模块化组件（i）执行，（ii）可视化，（iii）搜索和排名以及（iv）贡献。图书馆的可伸缩性和设计是通过其越来越多的综合且易于使用的验证生成模型来证明的，该模型由21种模型组成，利用9种不同的生成对抗网络体系结构在4个域中在11个数据集中训练，即乳腺摄影，内窥镜检查，X射线和X射线和X射线镜头，X射线和X型。 MRI。此外，在这项工作中分析了Medigan的3个应用，其中包括（a）启用社区范围内的限制数据共享，（b）研究生成模型评估指标以及（c）改进临床下游任务。在（b）中，扩展了公共医学图像综合评估和报告标准，我们根据图像归一化和特定于放射学特征提取了Fr \'Echet Inception距离变异性。

病理学家对患病组织的视觉微观研究一直是一个多世纪以来癌症诊断和预后的基石。最近，深度学习方法在组织图像的分析和分类方面取得了重大进步。但是，关于此类模型在生成组织病理学图像的实用性方面的工作有限。这些合成图像在病理学中有多种应用，包括教育，熟练程度测试，隐私和数据共享的公用事业。最近，引入了扩散概率模型以生成高质量的图像。在这里，我们首次研究了此类模型的潜在用途以及优先的形态加权和颜色归一化，以合成脑癌的高质量组织病理学图像。我们的详细结果表明，与生成对抗网络相比，扩散概率模型能够合成各种组织病理学图像，并且具有较高的性能。

深尾学习旨在培训有用的深层网络，以实用现实世界中的不平衡分布，其中大多数尾巴类别的标签都与一些样本相关联。有大量的工作来训练判别模型，以进行长尾分布的视觉识别。相比之下，我们旨在训练有条件的生成对抗网络，这是一类长尾分布的图像生成模型。我们发现，类似于识别图像产生的最新方法类似，也遭受了尾部类别的性能降解。性能降解主要是由于尾部类别的类别模式塌陷，我们观察到与调节参数矩阵的光谱爆炸相关。我们提出了一种新型的组光谱正规剂（GSR），以防止光谱爆炸减轻模式崩溃，从而导致尾巴类别的形象产生多样化和合理的图像产生。我们发现GSR有效地与现有的增强和正则化技术结合在一起，从而导致长尾数据上的最新图像生成性能。广泛的实验证明了我们的常规器在不同程度不平衡的长尾数据集上的功效。

现实的高光谱图像（HSI）超分辨率（SR）技术旨在从其低分辨率（LR）对应物中产生具有更高光谱和空间忠诚的高分辨率（HR）HSI。生成的对抗网络（GAN）已被证明是图像超分辨率的有效深入学习框架。然而，现有GaN的模型的优化过程经常存在模式崩溃问题，导致光谱间不变重建容量有限。这可能导致所生成的HSI上的光谱空间失真，尤其是具有大的升级因子。为了缓解模式崩溃的问题，这项工作提出了一种与潜在编码器（Le-GaN）耦合的新型GaN模型，其可以将产生的光谱空间特征从图像空间映射到潜在空间并产生耦合组件正规化生成的样本。基本上，我们将HSI视为嵌入在潜在空间中的高维歧管。因此，GaN模型的优化被转换为学习潜在空间中的高分辨率HSI样本的分布的问题，使得产生的超分辨率HSI的分布更接近其原始高分辨率对应物的那些。我们对超级分辨率的模型性能进行了实验评估及其在缓解模式崩溃中的能力。基于具有不同传感器（即Aviris和UHD-185）的两种实际HSI数据集进行了测试和验证，用于各种升高因素并增加噪声水平，并与最先进的超分辨率模型相比（即Hyconet，LTTR，Bagan，SR-GaN，Wgan）。

使用深层神经网络的临床决策支持已成为稳步增长的兴趣的话题。尽管最近的工作反复证明，深度学习比传统方法具有主要优势，但临床医生通常不愿采用这项技术，因为其基本决策过程被认为是内在的，难以理解的。近年来，各种方法已经成功地提供了更深入的见解来解决这一问题。最值得注意的是，加性功能归因方法能够通过创建一个显着映射来将决策传播回输入空间，从而使从业者可以“查看网络看到的内容”。但是，生成的地图的质量可能会变得很差，并且只要有限的数据就可以 - 在临床环境中的典型情况。我们提出了一种基于CycleGAN激活最大化的新决策解释方案，该方案即使在较小的数据集中也会生成分类器决策的高质量可视化。我们进行了一项用户研究，其中我们在LIDC数据集上评估了用于肺部病变恶性分类的方法，用于超声图像乳腺癌检测的母乳数据集以及CIFAR-10数据集的两个子集用于RBG图像对象对象识别。在这项用户研究中，我们的方法清楚地表现出了医学成像数据集上的现有方法，并在自然图像设置中排名第二。通过我们的方法，我们为更好地理解基于深神网络的临床决策支持系统做出了重大贡献，因此旨在促进总体临床接受。

类别不平衡发生在许多实际应用程序中，包括图像分类，其中每个类中的图像数量显着不同。通过不平衡数据，生成的对抗网络（GANS）倾向于多数类样本。最近的两个方法，平衡GaN（Bagan）和改进的Bagan（Bagan-GP）被提出为增强工具来处理此问题并将余额恢复到数据。前者以无人监督的方式预先训练自动化器权重。但是，当来自不同类别的图像具有类似的特征时，它是不稳定的。后者通过促进监督的自动化培训培训，基于蒲甘进行改善，但预先培训偏向于多数阶级。在这项工作中，我们提出了一种新颖的条件变形式自动化器，具有用于生成的对抗性网络（CAPAN）的平衡训练，作为生成现实合成图像的增强工具。特别是，我们利用条件卷积改变自动化器，为GaN初始化和梯度惩罚培训提供了监督和平衡的预培训。我们所提出的方法在高度不平衡版本的MNIST，时尚 - MNIST，CIFAR-10和两个医学成像数据集中呈现出卓越的性能。我们的方法可以在FR \'回路截止距离，结构相似性指数测量和感知质量方面综合高质量的少数民族样本。