MRI和CT是最广泛使用的医学成像方式。通常有必要获取用于诊断和治疗的多模式图像，例如放射疗法计划。但是，多模式成像不仅昂贵，而且还引入了MRI和CT图像之间的错位。为了应对这一挑战，计算转换是MRI和CT图像之间的可行方法，尤其是从MRI到CT图像。在本文中，我们建议在这种情况下使用一个名为“扩散和得分匹配模型”的新兴深度学习框架。具体而言，我们适应了deno的扩散概率和得分匹配模型，使用四种不同的抽样策略，并将其性能指标与使用卷积神经网络和生成的对抗网络模型进行比较。我们的结果表明，扩散和得分匹配模型比CNN和GAN模型产生更好的合成CT图像。此外，我们使用蒙特卡洛方法研究了与扩散和得分匹配网络相关的不确定性，并通过平均其蒙特卡洛输出来改善结果。我们的研究表明，扩散和得分匹配模型具有强大的功能，可以生成以使用互补成像方式获得的图像来调节的高质量图像，在分析上进行了严格的解释性，并具有清晰的解释性，并且具有CNNS和GAN的高度竞争，以进行图像合成。

通过源至目标模态丢失图像的插图可以促进医学成像中的下游任务。合成目标图像的普遍方法涉及通过生成对抗网络（GAN）的单发映射。然而，隐式表征图像分布的GAN模型可能会受到样本保真度和多样性的有限。在这里，我们提出了一种基于对抗扩散建模Syndiff的新方法，以提高医学图像合成的可靠性。为了捕获图像分布的直接相关性，Syndiff利用条件扩散过程逐步将噪声和源图像映射到目标图像上。对于推断期间的快速准确图像采样，大扩散步骤与反向扩散方向的对抗投影结合在一起。为了对未配对的数据集进行培训，设计了一个循环一致的体系结构，并使用两个耦合的扩散过程，以合成给定源的目标和给定的目标。报告了有关联合竞争性GAN和扩散模型在多对比度MRI和MRI-CT翻译中的效用的广泛评估。我们的示威表明，Syndiff在定性和定量上都可以针对竞争基线提供出色的性能。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

基于分数的扩散模型为使用数据分布的梯度建模图像提供了一种强大的方法。利用学到的分数函数为先验，在这里，我们引入了一种从条件分布中进行测量的方法，以便可以轻松地用于求解成像中的反问题，尤其是用于加速MRI。简而言之，我们通过denoising得分匹配来训练连续的时间依赖分数函数。然后，在推论阶段，我们在数值SDE求解器和数据一致性投影步骤之间进行迭代以实现重建。我们的模型仅需要用于训练的幅度图像，但能够重建复杂值数据，甚至扩展到并行成像。所提出的方法是不可知论到子采样模式，可以与任何采样方案一起使用。同样，由于其生成性质，我们的方法可以量化不确定性，这是标准回归设置不可能的。最重要的是，我们的方法还具有非常强大的性能，甚至击败了经过全面监督训练的模型。通过广泛的实验，我们在质量和实用性方面验证了我们方法的优势。

由于各种物理降解因素和收到有限的计数，宠物图像质量需要进一步改进。去核扩散概率模型（DDPM）是基于分布学习的模型，它们试图根据迭代改进将正态分布转换为特定的数据分布。在这项工作中，我们提出并评估了基于DDPM的不同基于DDPM的方法，以进行PET图像Denoisising。在DDPM框架下，执行PET图像Denoising的一种方法是提供PET图像和/或先前的图像作为网络输入。另一种方法是将先前的图像作为输入提供，其中包含在改进步骤中的PET图像，这可以适合不同噪声水平的方案。 120 18F-FDG数据集和140个18F-MK-6240数据集用于评估所提出的基于DDPM的方法。量化表明，基于DDPM的框架包含PET信息可以比非本地平均值和基于UNET的DeNoising方法产生更好的结果。在模型中添加额外的先验可以帮助实现更好的性能，并进一步降低图像deNosing过程中的不确定性。在忽略宠物信息的同时，仅依靠先验先验会导致巨大的偏见。区域和表面量化表明，在推断过程中嵌入PET图像作为数据一致性约束的同时，使用MR作为网络输入可以达到最佳性能。总而言之，基于DDPM的PET图像Denoisising是一个灵活的框架，它可以有效地利用先前的信息并获得比非本地平均值和基于UNET的DeNoising方法更好的性能。

深度MRI重建通常是使用有条件的模型进行的，该模型将其映射到完全采样的数据作为输出中。有条件的模型在加速成像运算符的知识下执行了脱氧，因此在操作员的域转移下，它们概括了很差。无条件模型是一种强大的替代方法，相反，它可以学习生成图像先验，以提高针对领域转移的可靠性。鉴于它们的高度代表性多样性和样本质量，最近的扩散模型特别有希望。然而，事先通过静态图像进行预测会导致次优性能。在这里，我们提出了一种基于适应性扩散的新型MRI重建Adadiff。为了启用有效的图像采样，引入了一个可以使用大扩散步骤的对抗映射器。使用受过训练的先验进行两阶段的重建：一个快速扩散阶段，产生初始重建阶段，以及一个适应阶段，其中更新扩散先验以最大程度地减少获得的K空间数据的重建损失。关于多对比的大脑MRI的演示清楚地表明，Adadiff在跨域任务中的竞争模型以及域内任务中的卓越或PAR性能方面取得了出色的性能。

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

传播模型已被证明对各种应用程序有效，例如图像，音频和图形生成。其他重要的应用是图像超分辨率和逆问题的解决方案。最近，一些作品使用了随机微分方程（SDE）将扩散模型推广到连续时间。在这项工作中，我们介绍SDE来生成超分辨率的面部图像。据我们所知，这是SDE首次用于此类应用程序。所提出的方法比基于扩散模型的现有超级分辨率方法提供了改进的峰值信噪比（PSNR），结构相似性指数（SSIM）和一致性。特别是，我们还评估了该方法在面部识别任务中的潜在应用。通用面部特征提取器用于比较超分辨率图像与地面真相，并获得了与其他方法相比，获得了卓越的结果。我们的代码可在https://github.com/marcelowds/sr-sde上公开获取

近年来，基于深度学习的平行成像（PI）取得了巨大进展，以加速磁共振成像（MRI）。然而，现有方法的性能和鲁棒性仍然可以是不受欢迎的。在这项工作中，我们建议通过柔性PI重建，创建的重量K-Space Genera-Tive模型（WKGM）来探索K空间域学习。具体而言，WKGM是一种通用的K空间域模型，在其中有效地纳入了K空间加权技术和高维空间增强设计，用于基于得分的Genererative模型训练，从而实现良好和强大的重建。此外，WKGM具有灵活性，因此可以与各种传统的K空间PI模型协同结合，从而产生基于学习的先验以产生高保真重建。在具有不同采样模式和交流电因子的数据集上进行实验性重新构建表明，WKGM可以通过先验良好的K-Space生成剂获得最新的重建结果。

由于其作为生成模型的强大表现，最近达到了社区内部的显着兴趣。此外，其对逆问题的应用已经证明了最先进的性能。不幸的是，扩散模型具有临界缺点 - 它们本质上是速度的速度，从而需要几千台迭代来产生来自纯高斯噪声的图像。在这项工作中，我们表明从高斯噪音开始是不必要的。相反，从具有更好初始化的单个向前扩散开始显着降低了反向条件扩散中的采样步骤的数量。这种现象是通过我们的条件扩散策略的随机差分方程的收缩理论正式解释 - 反向扩散的交替应用，然后是非膨胀性数据一致性步骤。新的采样策略被称为较近的漫射 - 更快（CCDF），还揭示了新的洞察，就如何对逆问题的方法如何协同组合扩散模型。具有超分辨率，图像染色和压缩传感MRI的实验结果表明，我们的方法可以在显着降低的采样步骤中实现最先进的重建性能。

基于分数的生成模型（SGMS）已经证明了显着的合成质量。 SGMS依赖于扩散过程，逐渐将数据逐渐渗透到贸易分布，而生成式模型则学会去噪。除了数据分布本身，这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散，导致不必要的复杂的去噪流程，限制了生成的建模性能。根据与统计力学的联系，我们提出了一种新型危及阻尼Langevin扩散（CLD），并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散，其中辅助变量可以被视为耦合到数据变量的“速度”，如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标，并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数，而不是直接学习数据的分数。我们还导出了一种新的采样方案，用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解，并且可以随时用于高分辨率图像合成。项目页面和代码：https：//nv-tlabs.github.io/cld-sgm。

从部分测量重建医学图像是计算机断层扫描（CT）和磁共振成像（MRI）中的重要逆问题。基于机器学习的现有解决方案通常训练模型，直接将测量线映射到医学图像，利用配对图像和测量的训练数据集。这些测量通常使用测量过程的固定物理模型从图像中合成，其阻碍了模型的泛化能力到未知的测量过程。为解决这个问题，我们提出了一种完全无监督的技术来解决逆问题，利用最近引入的基于分数的生成模型。具体而言，我们首先在医学图像上培训基于分数的生成模型，以捕获他们的先前分配。在测试时间上给定测量和测量过程的物理模型，我们介绍了一种采样方法来重建与先前和观察测量一致的图像。我们的方法在训练期间不假设固定的测量过程，因此可以灵活地适应于测试时间的不同测量过程。经验上，我们观察到CT和MRI中的几种医学成像任务中的可比性或更好的性能，同时对未知测量过程的概率显着展示了更好的概括。

我们引入了一个框架，该框架可以从学习概率分布中进行有效的MRI重建。与传统的基于深度学习的MRI重建技术不同，鉴于使用Markov链蒙特卡洛（MCMC）方法测得的K空间，样品是从后部分布中得出的。除了可以通过常规方法获得的图像的最大后验（MAP）估计值外，还可以计算最小平方误差（MMSE）估计值和不确定性图。数据驱动的马尔可夫链是根据从给定的图像数据库中学到的生成模型构建的，并且独立于用于建模K空间测量的前向操作员。这提供了灵活性，因为该方法可以应用于使用不同的采样方案获得的K空间或使用相同的预训练模型接收线圈。此外，我们使用基于反向扩散过程的框架来利用高级生成模型。该方法的性能使用K空间中的10倍下采样在开放数据集上进行评估。

Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.

降解扩散概率模型（DDPM）已显示在MRI重建中具有出色的性能。从连续的随机微分方程（SDE）的角度来看，DDPM的反向过程可被视为最大化重建的MR图像的能量，从而导致SDE序列发散。因此，提出了用于MRI重建的修改高频DDPM模型。从其连续的SDE观点（称为高频空间SDE）（HFS-SDE），MR图像的能量浓缩低频部分不再得到放大，并且扩散过程更多地集中在获取高频的先验信息上。它不仅提高了扩散模型的稳定性，而且还提供了更好地恢复高频细节的可能性。公开FastMRI数据集的实验表明，我们提出的HFS-SDE优于DDPM驱动的VP-SDE，有监督的深度学习方法和传统的平行成像方法，就稳定性和重建精度而言。

\ textit {objection：}基于gadolinium的对比剂（GBCA）已被广泛用于更好地可视化脑磁共振成像中的疾病（MRI）。然而，大脑和身体内部的gadolin量引起了人们对使用GBCA的安全问题。因此，在提供类似的对比度信息的同时，可以减少甚至消除GBCA暴露的新方法的发展将在临床上具有重大用途。 \ textit {方法：}在这项工作中，我们提出了一种基于深度学习的方法，用于对脑肿瘤患者的对比增强T1合成。 3D高分辨率完全卷积网络（FCN）通过处理和聚合并行的多尺度信息保持高分辨率信息，旨在将前对比度MRI序列映射到对比度增强的MRI序列。具体而言，将三个前对比的MRI序列T1，T2和表观扩散系数图（ADC）用作输入，而对比后T1序列则被用作目标输出。为了减轻正常组织与肿瘤区域之间的数据不平衡问题，我们引入了局部损失，以改善肿瘤区域的贡献，从而可以更好地增强对肿瘤的增强结果。 \ textIt {结果：}进行了广泛的定量和视觉评估，我们提出的模型在大脑中达到28.24db的PSNR，在肿瘤区域达到21.2db。 \ textit {结论和意义：}我们的结果表明，用深度学习产生的合成对比图像代替GBCA的潜力。代码可在\ url {https://github.com/chenchao666/contrast-enhanced-mri-synthesis中获得

扩散模型已显示出令人印象深刻的图像产生性能，并已用于各种计算机视觉任务。不幸的是，使用扩散模型的图像生成非常耗时，因为它需要数千个采样步骤。为了解决这个问题，我们在这里提出了一种新型的金字塔扩散模型，以使用训练有位置嵌入的单个分数函数从更粗的分辨率图像开始生成高分辨率图像。这使图像生成的时间效率抽样可以解决，并在资源有限的训练时也可以解决低批量的大小问题。此外，我们表明，使用单个分数函数可以有效地用于多尺度的超分辨率问题。

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse