从出生到死亡，由于老化，我们都经历了令人惊讶的无处不在的变化。如果我们可以预测数字领域的衰老，即人体的数字双胞胎，我们将能够在很早的阶段检测病变，从而提高生活质量并延长寿命。我们观察到，没有一个先前开发的成年人体数字双胞胎在具有深层生成模型的体积医学图像之间明确训练的纵向转换规则，可能导致例如心室体积的预测性能不佳。在这里，我们建立了一个新的成人人体的数字双胞胎，该数字双胞胎采用纵向获得的头部计算机断层扫描（CT）图像进行训练，从而从一个当前的体积头CT图像中预测了未来的体积头CT图像。我们首次采用了三维基于流动的深层生成模型之一，以实现这种顺序的三维数字双胞胎。我们表明，我们的数字双胞胎在相对较短的程度上优于预测心室体积的最新方法。

基于模型的经颅超声疗法的治疗计划通常涉及从头部的X射线计算机断层扫描（CT）图像中映射头骨的声学特性。在这里，将三种用于从磁共振（MR）图像中生成伪CT图像的方法作为CT的替代方法。在配对的MR-CT图像上训练了卷积神经网络（U-NET），以从T1加权或零回波时间（ZTE）MR图像（分别表示TCT和ZCT）生成伪CT图像。还实施了从中兴通讯到伪CT的直接映射（表示为CCT）。在比较测试集的伪CT和地面真相CT图像时，整个头部的平均绝对误差为133、83和145 Hounsfield单位（HU），以及398、222和336 HU的头骨内的颅骨内部的平均误差为133、83和145个。 TCT，ZCT和CCT图像。还使用生成的伪CT图像进行了超声模拟，并将其与基于CT的模拟进行了比较。使用环形阵列传感器针对视觉或运动皮层。基于TCT图像的模拟，模拟局灶性局灶性，焦点位置和焦距的平均差异为9.9％，1.5 mm和15.1％，ZCT的平均差异为5.7％，0.6 mm和5.7％，为6.7％，和5.7％ CCT为0.9毫米，为12.1％。映射的图像的改进结果突出了使用成像序列的优势，从而改善了颅骨的对比度。总体而言，这些结果表明，基于MR图像的声学仿真可以与基于CT的声学相比精度。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

生成对抗网络（GAN）具有许多潜在的医学成像应用，包括数据扩展，域适应和模型解释。由于图形处理单元（GPU）的记忆力有限，因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练，因此这些模型要么无法扩展到高分辨率，要么容易出现斑驳的人工制品。在这项工作中，我们提出了一种新颖的端到端GAN体系结构，可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中，我们采用了层次结构，该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点：首先，对高分辨率图像训练的记忆需求在子量之间摊销。此外，将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间，我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中，以从图像中提取特征。 3D胸CT和脑MRI的实验表明，我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。

深度神经网络在医学图像分析中带来了显着突破。但是，由于其渴望数据的性质，医学成像项目中适度的数据集大小可能会阻碍其全部潜力。生成合成数据提供了一种有希望的替代方案，可以补充培训数据集并进行更大范围的医学图像研究。最近，扩散模型通过产生逼真的合成图像引起了计算机视觉社区的注意。在这项研究中，我们使用潜在扩散模型探索从高分辨率3D脑图像中生成合成图像。我们使用来自英国生物银行数据集的T1W MRI图像（n = 31,740）来训练我们的模型，以了解脑图像的概率分布，该脑图像以协变量为基础，例如年龄，性别和大脑结构量。我们发现我们的模型创建了现实的数据，并且可以使用条件变量有效地控制数据生成。除此之外，我们创建了一个带有100,000次脑图像的合成数据集，并使科学界公开使用。

MRI和CT是最广泛使用的医学成像方式。通常有必要获取用于诊断和治疗的多模式图像，例如放射疗法计划。但是，多模式成像不仅昂贵，而且还引入了MRI和CT图像之间的错位。为了应对这一挑战，计算转换是MRI和CT图像之间的可行方法，尤其是从MRI到CT图像。在本文中，我们建议在这种情况下使用一个名为“扩散和得分匹配模型”的新兴深度学习框架。具体而言，我们适应了deno的扩散概率和得分匹配模型，使用四种不同的抽样策略，并将其性能指标与使用卷积神经网络和生成的对抗网络模型进行比较。我们的结果表明，扩散和得分匹配模型比CNN和GAN模型产生更好的合成CT图像。此外，我们使用蒙特卡洛方法研究了与扩散和得分匹配网络相关的不确定性，并通过平均其蒙特卡洛输出来改善结果。我们的研究表明，扩散和得分匹配模型具有强大的功能，可以生成以使用互补成像方式获得的图像来调节的高质量图像，在分析上进行了严格的解释性，并具有清晰的解释性，并且具有CNNS和GAN的高度竞争，以进行图像合成。

从历史上看，患者数据集已用于开发和验证PET/MRI和PET/CT的各种重建算法。为了使这种算法开发，无需获得数百个患者检查，在本文中，我们展示了一种深度学习技术，可以从丰富的全身MRI中产生合成但逼真的全身宠物纹状体。具体来说，我们使用56 $^{18} $ F-FDG-PET/MRI考试的数据集训练3D残差UNET来预测全身T1加权MRI的生理PET摄取。在训练中，我们实施了平衡的损失函数，以在较大的动态范围内产生逼真的吸收，并沿着层析成像线的响应线对模仿宠物的获取产生计算的损失。预测的PET图像预计会产生合成宠物飞行时间（TOF）正式图，可与供应商提供的PET重建算法一起使用，包括使用基于CT的衰减校正（CTAC）和基于MR的衰减校正（MRAC（MRAC） ）。由此产生的合成数据概括了生理学$^{18} $ f-fdg摄取，例如高摄取量位于大脑和膀胱，以及肝脏，肾脏，心脏和肌肉的吸收。为了模拟高摄取的异常，我们还插入合成病变。我们证明，该合成PET数据可以与实际PET数据互换使用，用于比较CT和基于MR的衰减校正方法的PET量化任务，与使用真实数据相比，在平均值中实现了$ \ leq 7.6 \％$误差。这些结果共同表明，所提出的合成PET数据管道可以合理地用于开发，评估和验证PET/MRI重建方法。

Recent advances in computer vision have shown promising results in image generation. Diffusion probabilistic models in particular have generated realistic images from textual input, as demonstrated by DALL-E 2, Imagen and Stable Diffusion. However, their use in medicine, where image data typically comprises three-dimensional volumes, has not been systematically evaluated. Synthetic images may play a crucial role in privacy preserving artificial intelligence and can also be used to augment small datasets. Here we show that diffusion probabilistic models can synthesize high quality medical imaging data, which we show for Magnetic Resonance Images (MRI) and Computed Tomography (CT) images. We provide quantitative measurements of their performance through a reader study with two medical experts who rated the quality of the synthesized images in three categories: Realistic image appearance, anatomical correctness and consistency between slices. Furthermore, we demonstrate that synthetic images can be used in a self-supervised pre-training and improve the performance of breast segmentation models when data is scarce (dice score 0.91 vs. 0.95 without vs. with synthetic data).

数据已成为当今世界上最有价值的资源。随着数据驱动算法的大量扩散，例如基于深度学习的方法，数据的可用性引起了极大的兴趣。在这种情况下，特别需要高质量的培训，验证和测试数据集。体积数据是医学中非常重要的资源，因为它范围从疾病诊断到治疗监测。如果数据集足够，则可以培训模型来帮助医生完成这些任务。不幸的是，在某些情况和应用程序中，大量数据不可用。例如，在医疗领域，罕见疾病和隐私问题可能导致数据可用性受到限制。在非医学领域，获得足够数量的高质量数据的高成本也可能引起人们的关注。解决这些问题的方法可能是生成合成数据，以结合其他更传统的数据增强方法来执行数据增强。因此，关于3D生成对抗网络（GAN）的大多数出版物都在医疗领域内。生成现实合成数据的机制的存在是克服这一挑战的好资产，尤其是在医疗保健中，因为数据必须具有良好的质量并且接近现实，即现实，并且没有隐私问题。在这篇综述中，我们提供了使用GAN生成现实的3D合成数据的作品的摘要。因此，我们概述了具有共同体系结构，优势和缺点的这些领域中基于GAN的方法。我们提出了一种新颖的分类学，评估，挑战和研究机会，以提供医学和其他领域甘恩当前状态的整体概述。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

Diagnostic radiologists need artificial intelligence (AI) for medical imaging, but access to medical images required for training in AI has become increasingly restrictive. To release and use medical images, we need an algorithm that can simultaneously protect privacy and preserve pathologies in medical images. To develop such an algorithm, here, we propose DP-GLOW, a hybrid of a local differential privacy (LDP) algorithm and one of the flow-based deep generative models (GLOW). By applying a GLOW model, we disentangle the pixelwise correlation of images, which makes it difficult to protect privacy with straightforward LDP algorithms for images. Specifically, we map images onto the latent vector of the GLOW model, each element of which follows an independent normal distribution, and we apply the Laplace mechanism to the latent vector. Moreover, we applied DP-GLOW to chest X-ray images to generate LDP images while preserving pathologies.

每年都会在医院中获得数百万个大脑MRI扫描，这比任何研究数据集的规模都要大得多。因此，分析此类扫描的能力可以改变神经成像研究。然而，由于没有自动化算法可以应对临床采集的高度可变性（MR对比度，分辨率，方向等），因此它们的潜力仍未开发。在这里，我们提出了Synthseg+，这是一个AI分割套件，首次可以对异质临床数据集进行强有力的分析。具体而言，除了全脑分割外，SynthSeg+还执行皮质细胞，颅内体积估计和自动检测故障分割（主要是由质量非常低的扫描引起的）。我们在七个实验中证明了合成++，包括对14,000张扫描的老化研究，在该研究中，它准确地复制了在质量更高的数据上观察到的萎缩模式。 Synthseg+公开发布是一种现成的工具，可在广泛设置中解锁定量形态计量学的潜力。

综合正电子发射断层扫描/磁共振成像（PET/MRI）扫描仪通过PET和形态信息促进了同时获得代谢信息，并使用MRI进行了高软组织对比度。尽管PET/MRI促进了捕获高精度融合图像，但其主要缺点可以归因于进行衰减校正时遇到的困难，这对于定量PET评估是必不可少的。合并后的宠物/MRI扫描需要从MRI中产生衰减 - 校正图，这是由于伽马射线衰减信息与MRI之间没有直接关系。尽管可以轻松地为头部和骨盆区域执行基于MRI的骨组织分割，但通过胸部CT生成来实现准确的骨骼分割仍然是一项艰巨的任务。这可以归因于胸部发生的呼吸和心脏运动，以及其解剖学上复杂的结构和相对较薄的骨皮质。本文提出了一种方法，可以通过使用独立于模态的邻域描述符（思维）添加结构性约束，从而最大程度地减少解剖结构变化，而无需人类注释，从而将结构性变化（MID）添加到可以转换不配对图像的生成对抗网络（GAN）中。在这项研究中获得的结果揭示了拟议的U-Gat-It +思维方法，以优于所有其他竞争方法。这项研究的发现暗示了可能在没有人类注释的情况下从胸部MRI中合成临床上可接受的CT图像的可能性，从而最大程度地减少了解剖结构的变化。

心血管疾病是全球死亡的主要原因，是一种与年龄有关的疾病。了解衰老期间心脏的形态和功能变化是一个关键的科学问题，其答案将有助于我们定义心血管疾病的重要危险因素并监测疾病进展。在这项工作中，我们提出了一种新型的条件生成模型，以描述衰老过程中心脏3D解剖学的变化。提出的模型是灵活的，可以将多个临床因素（例如年龄，性别）整合到生成过程中。我们在心脏解剖学的大规模横截面数据集上训练该模型，并在横截面和纵向数据集上进行评估。该模型在预测衰老心脏的纵向演化和对其数据分布进行建模方面表现出了出色的表现。

基于深度学习的疾病检测和分割算法承诺提高许多临床过程。然而，由于数据隐私，法律障碍和非统一数据采集协议，此类算法需要大量的注释训练数据，通常在医学环境中不可用。具有注释病理学的合成数据库可以提供所需的培训数据量。我们展示了缺血性卒中的例子，即利用基于深度学习的增强的病变分割的改善是可行的。为此，我们训练不同的图像到图像转换模型，以合成大脑体积的磁共振图像，并且没有来自语义分割图的中风病变。此外，我们培养一种生成的对抗性网络来产生合成病变面具。随后，我们组合这两个组件来构建大型合成描边图像数据库。使用U-NET评估各种模型的性能，该U-NET在临床测试集上培训以进行段中风病变。我们向最佳性能报告$ \ mathbf {72.8} $％[$ \ mathbf {70.8 \ pm1.0} $％]的骰子分数，这胜过了单独临床图像培训的模型培训$ \ mathbf { 67.3} $％[$ \ mathbf {63.2 \ pm1.9} $％]，并且接近人类互相互联网骰子评分$ \ mathbf {76.9} $％。此外，我们表明，对于仅为10或50个临床案例的小型数据库，与使用不使用合成数据的设置相比，合成数据增强产生了显着的改进。据我们所知，这提出了基于图像到图像翻译的合成数据增强的第一个比较分析，并将第一应用于缺血性卒中。

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

我们提出了一种使用合理的心形和现实外观合成心脏MR图像的方法，目的是生成标记的数据进行深度学习（DL）训练。它将图像合成分解为标签变形和标签到图像翻译任务。前者是通过VAE模型中的潜在空间插值来实现的，而后者是通过条件GAN模型完成的。我们设计了一种在受过训练的VAE模型的潜在空间中的标记操纵方法，即病理合成，旨在合成一系列具有所需心脏病特征的伪病理合成受试者。此外，我们建议通过估计潜在矢量之间的相关系数矩阵来对2D切片之间的关系进行建模，并利用它在解码到图像空间之前将样品随机绘制的元素关联。这种简单而有效的方法导致从2D片段产生3D一致的受试者。这种方法可以提供一种解决方案，以多样化和丰富心脏MR图像的可用数据库，并为开发基于DL的图像分析算法的开发铺平道路。该代码将在https://github.com/sinaamirrajab/cardiacpathologysynthesis中找到。

Accurate diagnosis of Alzheimer's disease (AD) is both challenging and time consuming. With a systematic approach for early detection and diagnosis of AD, steps can be taken towards the treatment and prevention of the disease. This study explores the practical application of deep learning models for diagnosis of AD. Due to computational complexity, large training times and limited availability of labelled dataset, a 3D full brain CNN (convolutional neural network) is not commonly used, and researchers often prefer 2D CNN variants. In this study, full brain 3D version of well-known 2D CNNs were designed, trained and tested for diagnosis of various stages of AD. Deep learning approach shows good performance in differentiating various stages of AD for more than 1500 full brain volumes. Along with classification, the deep learning model is capable of extracting features which are key in differentiating the various categories. The extracted features align with meaningful anatomical landmarks, that are currently considered important in identification of AD by experts. An ensemble of all the algorithm was also tested and the performance of the ensemble algorithm was superior to any individual algorithm, further improving diagnosis ability. The 3D versions of the trained CNNs and their ensemble have the potential to be incorporated in software packages that can be used by physicians/radiologists to assist them in better diagnosis of AD.

已经提出了几十年来捕获胶质瘤的生长，最常见的原发性脑肿瘤的反应扩散模型。然而，关于估计这些模型的初始条件和参数值的严重局限性将其临床用作作为个性化工具。在这项工作中，我们调查了深度卷积神经网络（DCNN）来解决现场遇到的缺陷的能力。基于从磁共振（MR）数据的磁共振（MR）数据产生的1,200种合成肿瘤，我们证明了DCNN在单个时间点仅从两个成像轮廓重建整个肿瘤细胞密度分布的能力。通过在先前时间点提取额外的成像轮廓，我们还证明了DCNN准确估计模型的各个扩散性和增殖参数的能力。从这些知识来看，最终可以使用该模型精确地捕获稍后时间点处的肿瘤细胞密度分布的时空演变。我们终于展示了我们对真正的胶质母细胞瘤患者的先生数据的适用性。这种方法可以打开反应扩散生长模型的临床应用的视角，用于肿瘤预后和治疗计划。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。