在骨科手术期间，通常在移动C臂系统下进行金属植入物或螺钉的插入。由于金属的衰减很大，因此在3D重建中发生了严重的金属伪像，从而极大地降低了图像质量。为了减少工件，已经开发了许多金属伪像还原算法，并且在投影域中涂上金属是必不可少的步骤。在这项工作中，基于分数的生成模型在模拟的膝关节投影上进行了训练，并通过在条件重采样过程中删除噪声来获得成分图像。结果暗示，与基于分数的生成模型对图像具有更详细的信息，并获得了与基于插值和基于CNN的方法相比，达到最低的平均绝对误差和最高峰值信号到噪声。此外，基于分数的模型还可以用大圆形和矩形掩模恢复预测，从而显示其在介入任务中的概括。

从部分测量重建医学图像是计算机断层扫描（CT）和磁共振成像（MRI）中的重要逆问题。基于机器学习的现有解决方案通常训练模型，直接将测量线映射到医学图像，利用配对图像和测量的训练数据集。这些测量通常使用测量过程的固定物理模型从图像中合成，其阻碍了模型的泛化能力到未知的测量过程。为解决这个问题，我们提出了一种完全无监督的技术来解决逆问题，利用最近引入的基于分数的生成模型。具体而言，我们首先在医学图像上培训基于分数的生成模型，以捕获他们的先前分配。在测试时间上给定测量和测量过程的物理模型，我们介绍了一种采样方法来重建与先前和观察测量一致的图像。我们的方法在训练期间不假设固定的测量过程，因此可以灵活地适应于测试时间的不同测量过程。经验上，我们观察到CT和MRI中的几种医学成像任务中的可比性或更好的性能，同时对未知测量过程的概率显着展示了更好的概括。

The existence of metallic implants in projection images for cone-beam computed tomography (CBCT) introduces undesired artifacts which degrade the quality of reconstructed images. In order to reduce metal artifacts, projection inpainting is an essential step in many metal artifact reduction algorithms. In this work, a hybrid network combining the shift window (Swin) vision transformer (ViT) and a convolutional neural network is proposed as a baseline network for the inpainting task. To incorporate metal information for the Swin ViT-based encoder, metal-conscious self-embedding and neighborhood-embedding methods are investigated. Both methods have improved the performance of the baseline network. Furthermore, by choosing appropriate window size, the model with neighborhood-embedding could achieve the lowest mean absolute error of 0.079 in metal regions and the highest peak signal-to-noise ratio of 42.346 in CBCT projections. At the end, the efficiency of metal-conscious embedding on both simulated and real cadaver CBCT data has been demonstrated, where the inpainting capability of the baseline network has been enhanced.

MRI和CT是最广泛使用的医学成像方式。通常有必要获取用于诊断和治疗的多模式图像，例如放射疗法计划。但是，多模式成像不仅昂贵，而且还引入了MRI和CT图像之间的错位。为了应对这一挑战，计算转换是MRI和CT图像之间的可行方法，尤其是从MRI到CT图像。在本文中，我们建议在这种情况下使用一个名为“扩散和得分匹配模型”的新兴深度学习框架。具体而言，我们适应了deno的扩散概率和得分匹配模型，使用四种不同的抽样策略，并将其性能指标与使用卷积神经网络和生成的对抗网络模型进行比较。我们的结果表明，扩散和得分匹配模型比CNN和GAN模型产生更好的合成CT图像。此外，我们使用蒙特卡洛方法研究了与扩散和得分匹配网络相关的不确定性，并通过平均其蒙特卡洛输出来改善结果。我们的研究表明，扩散和得分匹配模型具有强大的功能，可以生成以使用互补成像方式获得的图像来调节的高质量图像，在分析上进行了严格的解释性，并具有清晰的解释性，并且具有CNNS和GAN的高度竞争，以进行图像合成。

近年来，基于深度学习的平行成像（PI）取得了巨大进展，以加速磁共振成像（MRI）。然而，现有方法的性能和鲁棒性仍然可以是不受欢迎的。在这项工作中，我们建议通过柔性PI重建，创建的重量K-Space Genera-Tive模型（WKGM）来探索K空间域学习。具体而言，WKGM是一种通用的K空间域模型，在其中有效地纳入了K空间加权技术和高维空间增强设计，用于基于得分的Genererative模型训练，从而实现良好和强大的重建。此外，WKGM具有灵活性，因此可以与各种传统的K空间PI模型协同结合，从而产生基于学习的先验以产生高保真重建。在具有不同采样模式和交流电因子的数据集上进行实验性重新构建表明，WKGM可以通过先验良好的K-Space生成剂获得最新的重建结果。

降解扩散概率模型（DDPM）已显示在MRI重建中具有出色的性能。从连续的随机微分方程（SDE）的角度来看，DDPM的反向过程可被视为最大化重建的MR图像的能量，从而导致SDE序列发散。因此，提出了用于MRI重建的修改高频DDPM模型。从其连续的SDE观点（称为高频空间SDE）（HFS-SDE），MR图像的能量浓缩低频部分不再得到放大，并且扩散过程更多地集中在获取高频的先验信息上。它不仅提高了扩散模型的稳定性，而且还提供了更好地恢复高频细节的可能性。公开FastMRI数据集的实验表明，我们提出的HFS-SDE优于DDPM驱动的VP-SDE，有监督的深度学习方法和传统的平行成像方法，就稳定性和重建精度而言。

基于分数的扩散模型为使用数据分布的梯度建模图像提供了一种强大的方法。利用学到的分数函数为先验，在这里，我们引入了一种从条件分布中进行测量的方法，以便可以轻松地用于求解成像中的反问题，尤其是用于加速MRI。简而言之，我们通过denoising得分匹配来训练连续的时间依赖分数函数。然后，在推论阶段，我们在数值SDE求解器和数据一致性投影步骤之间进行迭代以实现重建。我们的模型仅需要用于训练的幅度图像，但能够重建复杂值数据，甚至扩展到并行成像。所提出的方法是不可知论到子采样模式，可以与任何采样方案一起使用。同样，由于其生成性质，我们的方法可以量化不确定性，这是标准回归设置不可能的。最重要的是，我们的方法还具有非常强大的性能，甚至击败了经过全面监督训练的模型。通过广泛的实验，我们在质量和实用性方面验证了我们方法的优势。

创伤干预的阳性结果取决于插入的金属植入物的术中评价。由于金属伪影，该评估的质量大大取决于所谓的金属伪影减少方法（MAR）的性能。这些MAR方法中的大多数需要先前的插入金属物体分割。因此，尽管存在一些主要缺点，但是，施加在重建的3D体积中的基于基于阈值的分割方法的通常。利用本出版物，研究了将分割任务转移到基于学习的基于学习的视图 - 一致的2D投影的方法的可能性。为了分割本金属，研究了使用在CADaVer研究期间获得的真实数据进行培训的基于基于学习的2D投影明智的分割网络。为了克服与2D投影明智分割的缺点，提出了一种一致性滤波器。通过使用新的分段掩码将标准FSMAR的结果与修改后的FSMAR版本进行比较，研究了移位分割域的影响。对真实尸体数据进行定量和定性评估，调查方法显示了MAR性能增加和对金属伪影的不敏感性。对于重建外部的金属外部的金属或消失金属外壳的情况，可以显示伪影的显着降低。因此，增加到大约3 dB w.r.t.实现了所有切片的平均PSNR度量，单切片最多9 dB。所示结果揭示了转变对基于2D的分段方法的有益影响，以便使用MAS方法的下游使用的真实数据。

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

Although recent deep learning methods, especially generative models, have shown good performance in fast magnetic resonance imaging, there is still much room for improvement in high-dimensional generation. Considering that internal dimensions in score-based generative models have a critical impact on estimating the gradient of the data distribution, we present a new idea, low-rank tensor assisted k-space generative model (LR-KGM), for parallel imaging reconstruction. This means that we transform original prior information into high-dimensional prior information for learning. More specifically, the multi-channel data is constructed into a large Hankel matrix and the matrix is subsequently folded into tensor for prior learning. In the testing phase, the low-rank rotation strategy is utilized to impose low-rank constraints on tensor output of the generative network. Furthermore, we alternately use traditional generative iterations and low-rank high-dimensional tensor iterations for reconstruction. Experimental comparisons with the state-of-the-arts demonstrated that the proposed LR-KGM method achieved better performance.

Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.

Low-dose computed tomography (CT) plays a significant role in reducing the radiation risk in clinical applications. However, lowering the radiation dose will significantly degrade the image quality. With the rapid development and wide application of deep learning, it has brought new directions for the development of low-dose CT imaging algorithms. Therefore, we propose a fully unsupervised one sample diffusion model (OSDM)in projection domain for low-dose CT reconstruction. To extract sufficient prior information from single sample, the Hankel matrix formulation is employed. Besides, the penalized weighted least-squares and total variation are introduced to achieve superior image quality. Specifically, we first train a score-based generative model on one sinogram by extracting a great number of tensors from the structural-Hankel matrix as the network input to capture prior distribution. Then, at the inference stage, the stochastic differential equation solver and data consistency step are performed iteratively to obtain the sinogram data. Finally, the final image is obtained through the filtered back-projection algorithm. The reconstructed results are approaching to the normal-dose counterparts. The results prove that OSDM is practical and effective model for reducing the artifacts and preserving the image quality.

基于分数的生成模型是一类新的生成算法，即使在高维空间中也可以产生逼真的图像，目前超过其他基准类别和应用程序的其他最新模型。在这项工作中，我们介绍了Caloscore，这是一种基于分数的生成模型，用于对量热计淋浴的应用。使用快速热量量表模拟挑战2022数据集研究了三个不同的扩散模型。Caloscore是基于分数的生成模型在对撞机物理学中的第一个应用，并且能够为所有数据集生成高保真量热计图像，为热量计淋浴模拟提供了替代范式。

基准标记通常用于导航辅助微创脊柱手术（Miss），他们帮助将图像坐标转移到现实世界坐标中。在实践中，这些标记可能位于视野（FOV）之外，由于术中手术中使用的C形臂锥形束计算机断层扫描（CBCT）系统的有限检测器尺寸。因此，CBCT体积中的重建标记遭受伪影并且具有扭曲的形状，其设定了导航的障碍。在这项工作中，我们提出了两个基准标记检测方法：直接检测从失真标记（直接方法）和标记恢复后检测（恢复方法）。为了直接检测重构体积中的失真标记，提出了一种使用两个神经网络和传统圆检测算法的有效的自动标记检测方法。对于标记恢复，提出了一种特定于任务的学习策略，以从严重截断的数据中恢复标记。之后，施加传统的标记检测算法用于位置检测。在模拟数据和实际数据上评估这两种方法，两者都可以实现小于0.2mm的标记配准误差。我们的实验表明，直接方法能够准确地检测扭曲的标记，并且具有任务特定学习的恢复方法对各种数据集具有高的鲁棒性和概括性。此外，特定于任务的学习能够准确地重建其他感兴趣的结构结构，例如，用于图像引导针活检的肋骨，来自严重截断的数据，从而使CBCT系统具有新的潜在应用。

金属伪影校正是锥形束计算机断层扫描（CBCT）扫描中的一个具有挑战性的问题。插入解剖结构的金属植入物在重建图像中导致严重的伪影。广泛使用的基于介入的金属伪像减少（MAR）方法需要对投影中的金属痕迹进行分割，这是一项艰巨的任务。一种方法是使用深度学习方法来细分投影中的金属。但是，深度学习方法的成功受到现实培训数据的可用性的限制。由于植入物边界和大量预测，获得可靠的地面真相注释是充满挑战和耗时的。我们建议使用X射线模拟从临床CBCT扫描中生成合成金属分割训练数据集。我们比较具有不同数量的光子的仿真效果，还比较了几种培训策略以增加可用数据。我们将模型在真实临床扫描中的性能与常规阈值MAR和最近的深度学习方法进行比较。我们表明，具有相对较少光子的模拟适用于金属分割任务，并且用全尺寸和裁剪的投影训练深度学习模型共同提高了模型的鲁棒性。我们显示出受严重运动，体素尺寸下采样和落水量金属影响的图像质量的显着改善。我们的方法可以轻松地在现有的基于投影的MAR管道中实现，以提高图像质量。该方法可以为准确分割CBCT投影中的金属提供新的范式。

多模式的医学图像完成已广泛应用，以减轻许多多模式诊断任务中缺失的模式问题。但是，对于大多数现有的合成方法，它们缺失模式的推断可能会崩溃为确定性映射，从而忽略了跨模式关系中固有的不确定性。在这里，我们提出了统一的多模式条件分数的生成模型（UMM-CSGM），以利用基于得分的生成模型（SGM）在建模和随机采样目标概率分布中，并进一步将SGM扩展到交叉模式统一框架中各种缺失模式配置的条件合成。具体而言，UMM-CSGM采用一种新型的多中心条件分数网络（MM-CSN），通过在完整的模态空间中的条件扩散和反向产生来学习一组综合的跨模式条件分布。通过这种方式，可以通过所有可用信息来准确地制定生成过程，并可以符合单个网络中缺少模式的所有可能配置。 BRATS19数据集的实验表明，UMM-CSGM可以更可靠地合成肿瘤诱导的任何缺失方式的肿瘤诱导病变中的异质增强和不规则面积。

由于其高质量的重建以及将现有迭代求解器结合起来的易于性，因此最近将扩散模型作为强大的生成反问题解决器研究。但是，大多数工作都专注于在无噪声设置中解决简单的线性逆问题，这显着不足以使实际问题的复杂性不足。在这项工作中，我们将扩散求解器扩展求解器，以通过后采样的拉普拉斯近似有效地处理一般噪声（非）线性反问题。有趣的是，所得的后验采样方案是扩散采样的混合版本，具有歧管约束梯度，而没有严格的测量一致性投影步骤，与先前的研究相比，在嘈杂的设置中产生了更可取的生成路径。我们的方法表明，扩散模型可以结合各种测量噪声统计量，例如高斯和泊松，并且还有效处理嘈杂的非线性反问题，例如傅立叶相检索和不均匀的脱毛。

自由格式介绍是在任意二进制掩码指定的区域中向图像中添加新内容的任务。大多数现有方法训练了一定的面具分布，这将其概括能力限制为看不见的掩模类型。此外，通过像素和知觉损失的训练通常会导致对缺失区域的简单质地扩展，而不是语义上有意义的一代。在这项工作中，我们提出重新启动：基于deno的扩散概率模型（DDPM）的内部介入方法，甚至适用于极端掩模。我们采用预定的无条件DDPM作为生成先验。为了调节生成过程，我们仅通过使用给定的图像信息对未掩盖的区域进行采样来改变反向扩散迭代。由于该技术不会修改或调节原始DDPM网络本身，因此该模型可为任何填充形式产生高质量和不同的输出图像。我们使用标准面具和极端口罩验证面部和通用图像的方法。重新粉刷优于最先进的自动回归，而GAN的方法至少在六个面具分布中进行了五个。 github存储库：git.io/repaint

Learning 3D human pose prior is essential to human-centered AI. Here, we present GFPose, a versatile framework to model plausible 3D human poses for various applications. At the core of GFPose is a time-dependent score network, which estimates the gradient on each body joint and progressively denoises the perturbed 3D human pose to match a given task specification. During the denoising process, GFPose implicitly incorporates pose priors in gradients and unifies various discriminative and generative tasks in an elegant framework. Despite the simplicity, GFPose demonstrates great potential in several downstream tasks. Our experiments empirically show that 1) as a multi-hypothesis pose estimator, GFPose outperforms existing SOTAs by 20% on Human3.6M dataset. 2) as a single-hypothesis pose estimator, GFPose achieves comparable results to deterministic SOTAs, even with a vanilla backbone. 3) GFPose is able to produce diverse and realistic samples in pose denoising, completion and generation tasks. Project page https://sites.google.com/view/gfpose/