Deep image prior (DIP) has recently attracted attention owing to its unsupervised positron emission tomography (PET) image reconstruction, which does not require any prior training dataset. In this paper, we present the first attempt to implement an end-to-end DIP-based fully 3D PET image reconstruction method that incorporates a forward-projection model into a loss function. To implement a practical fully 3D PET image reconstruction, which could not be performed due to a graphics processing unit memory limitation, we modify the DIP optimization to block-iteration and sequentially learn an ordered sequence of block sinograms. Furthermore, the relative difference penalty (RDP) term was added to the loss function to enhance the quantitative PET image accuracy. We evaluated our proposed method using Monte Carlo simulation with [$^{18}$F]FDG PET data of a human brain and a preclinical study on monkey brain [$^{18}$F]FDG PET data. The proposed method was compared with the maximum-likelihood expectation maximization (EM), maximum-a-posterior EM with RDP, and hybrid DIP-based PET reconstruction methods. The simulation results showed that the proposed method improved the PET image quality by reducing statistical noise and preserved a contrast of brain structures and inserted tumor compared with other algorithms. In the preclinical experiment, finer structures and better contrast recovery were obtained by the proposed method. This indicated that the proposed method can produce high-quality images without a prior training dataset. Thus, the proposed method is a key enabling technology for the straightforward and practical implementation of end-to-end DIP-based fully 3D PET image reconstruction.

List-mode positron emission tomography (PET) image reconstruction is an important tool for PET scanners with many lines-of-response and additional information such as time-of-flight and depth-of-interaction. Deep learning is one possible solution to enhance the quality of PET image reconstruction. However, the application of deep learning techniques to list-mode PET image reconstruction has not been progressed because list data is a sequence of bit codes and unsuitable for processing by convolutional neural networks (CNN). In this study, we propose a novel list-mode PET image reconstruction method using an unsupervised CNN called deep image prior (DIP) which is the first trial to integrate list-mode PET image reconstruction and CNN. The proposed list-mode DIP reconstruction (LM-DIPRecon) method alternatively iterates the regularized list-mode dynamic row action maximum likelihood algorithm (LM-DRAMA) and magnetic resonance imaging conditioned DIP (MR-DIP) using an alternating direction method of multipliers. We evaluated LM-DIPRecon using both simulation and clinical data, and it achieved sharper images and better tradeoff curves between contrast and noise than the LM-DRAMA, MR-DIP and sinogram-based DIPRecon methods. These results indicated that the LM-DIPRecon is useful for quantitative PET imaging with limited events while keeping accurate raw data information. In addition, as list data has finer temporal information than dynamic sinograms, list-mode deep image prior reconstruction is expected to be useful for 4D PET imaging and motion correction.

低计数正电子发射断层扫描（PET）数据的图像重建是具有挑战性的。内核方法通过在迭代宠物图像重建的前向模型中结合图像先前信息来解决挑战。已经开发出并证明了内核预期的最大化（KEM）算法是有效且易于实施的。进一步改进内核方法的常见方法是添加明确的正则化，但是导致复杂的优化问题。在本文中，我们通过使用深度系数来提出内核方法的隐含正则化，其使用卷积神经网络表示宠物前进模型中的内核系数图像。为解决基于最大似然性的神经网络的重建问题，我们应用优化转移原理来推导神经KEM算法。算法的每次迭代包括两个单独的步骤：从投影数据的图像更新的KEM步骤和图像域中的深度学习步骤，用于使用神经网络更新内核系数图像。这种优化算法保证单调地增加数据可能性。计算机模拟和实际患者数据的结果表明神经KEM可以优于现有的KEM和深度图像的先前方法。

由于身份化的断层切换问题和低计数统计数据，正电子发射断层扫描（PET）的图像重建是具有挑战性的。内核方法通过使用内核表示来解决迭代PET图像重建前向模型中的图像先前信息来解决这一挑战。现有的内核方法通常使用经验过程构建核，这可能导致次优的性能。在本文中，我们描述了内核表示与培训神经网络模型之间的等价。利用深神经网络提出了一种深入的内核方法，以实现优化的内核模型的自动学习。所提出的方法直接适用于单个受试者。培训过程利用可用的图像先验数据来寻求最佳地形成一组强大的内核而不是经验的最佳方式。计算机仿真和真实患者数据集的结果表明，所提出的深核方法可以优于现有的现有核方法和用于动态PET图像重建的神经网络方法。

在本文中，我们回顾了同时正电子发射断层扫描（PET） /磁共振成像（MRI）系统的物理和数据驱动的重建技术，这些技术在癌症，神经系统疾病和心脏病方面具有显着优势。这些重建方法利用结构或统计的先验，以及基于物理学的宠物系统响应的描述。但是，由于正向问题的嵌套表示，直接的PET/MRI重建是一个非线性问题。我们阐明了多方面的方法如何适应3D PET/MRI重建的混合数据和物理驱动的机器学习，总结了过去5年中重要的深度学习发展，以解决衰减校正，散射，低光子数和数据一致性。我们还描述了这些多模式方法的应用如何扩展到PET/MRI以提高放射治疗计划的准确性。最后，我们讨论了遵循物理和深度学习的计算成像和下一代探测器硬件的最新趋势，以扩展当前最新趋势的机会。

从历史上看，患者数据集已用于开发和验证PET/MRI和PET/CT的各种重建算法。为了使这种算法开发，无需获得数百个患者检查，在本文中，我们展示了一种深度学习技术，可以从丰富的全身MRI中产生合成但逼真的全身宠物纹状体。具体来说，我们使用56 $^{18} $ F-FDG-PET/MRI考试的数据集训练3D残差UNET来预测全身T1加权MRI的生理PET摄取。在训练中，我们实施了平衡的损失函数，以在较大的动态范围内产生逼真的吸收，并沿着层析成像线的响应线对模仿宠物的获取产生计算的损失。预测的PET图像预计会产生合成宠物飞行时间（TOF）正式图，可与供应商提供的PET重建算法一起使用，包括使用基于CT的衰减校正（CTAC）和基于MR的衰减校正（MRAC（MRAC） ）。由此产生的合成数据概括了生理学$^{18} $ f-fdg摄取，例如高摄取量位于大脑和膀胱，以及肝脏，肾脏，心脏和肌肉的吸收。为了模拟高摄取的异常，我们还插入合成病变。我们证明，该合成PET数据可以与实际PET数据互换使用，用于比较CT和基于MR的衰减校正方法的PET量化任务，与使用真实数据相比，在平均值中实现了$ \ leq 7.6 \％$误差。这些结果共同表明，所提出的合成PET数据管道可以合理地用于开发，评估和验证PET/MRI重建方法。

由于各种物理降解因素和收到有限的计数，宠物图像质量需要进一步改进。去核扩散概率模型（DDPM）是基于分布学习的模型，它们试图根据迭代改进将正态分布转换为特定的数据分布。在这项工作中，我们提出并评估了基于DDPM的不同基于DDPM的方法，以进行PET图像Denoisising。在DDPM框架下，执行PET图像Denoising的一种方法是提供PET图像和/或先前的图像作为网络输入。另一种方法是将先前的图像作为输入提供，其中包含在改进步骤中的PET图像，这可以适合不同噪声水平的方案。 120 18F-FDG数据集和140个18F-MK-6240数据集用于评估所提出的基于DDPM的方法。量化表明，基于DDPM的框架包含PET信息可以比非本地平均值和基于UNET的DeNoising方法产生更好的结果。在模型中添加额外的先验可以帮助实现更好的性能，并进一步降低图像deNosing过程中的不确定性。在忽略宠物信息的同时，仅依靠先验先验会导致巨大的偏见。区域和表面量化表明，在推断过程中嵌入PET图像作为数据一致性约束的同时，使用MR作为网络输入可以达到最佳性能。总而言之，基于DDPM的PET图像Denoisising是一个灵活的框架，它可以有效地利用先前的信息并获得比非本地平均值和基于UNET的DeNoising方法更好的性能。

深度学习方法已成功用于各种计算机视觉任务。受到成功的启发，已经在磁共振成像（MRI）重建中探索了深度学习。特别是，整合深度学习和基于模型的优化方法已显示出很大的优势。但是，对于高重建质量，通常需要大量标记的培训数据，这对于某些MRI应用来说是具有挑战性的。在本文中，我们提出了一种名为DUREN-NET的新型重建方法，该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言，使用denoising（红色）正规化实现了MRI重建网络的杠杆作用。实验结果表明，所提出的方法需要减少训练数据的数量才能达到高重建质量。

敏感性张量成像（STI）是一种新兴的磁共振成像技术，它以二阶张量模型来表征各向异性组织磁敏感性。 STI有可能为白质纤维途径的重建以及在MM分辨率下的大脑中的髓磷脂变化的检测提供信息，这对于理解健康和患病大脑的大脑结构和功能具有很大的价值。但是，STI在体内的应用受到了繁琐且耗时的采集要求，以测量易感性引起的MR相变为多个（通常超过六个）的头部方向。由于头圈的物理限制，头部旋转角的限制增强了这种复杂性。结果，STI尚未广泛应用于体内研究。在这项工作中，我们通过为STI的图像重建算法提出利用数据驱动的先验来解决这些问题。我们的方法称为DEEPSTI，通过深层神经网络隐式地了解了数据，该网络近似于STI的正常器函数的近端操作员。然后，使用学习的近端网络对偶极反转问题进行迭代解决。使用模拟和体内人类数据的实验结果表明，根据重建张量图，主要特征向量图和拖拉术结果，对最先进的算法的改进很大六个不同的方向。值得注意的是，我们的方法仅在人体内的一个方向上实现了有希望的重建结果，我们证明了该技术在估计多发性硬化症患者中估计病变易感性各向异性的潜在应用。

肾脏DCE-MRI旨在通过估计示踪动力学（TK）模型参数来定义评估肾脏解剖学和对肾功能的定量评估。 TK模型参数的准确估计需要具有高时间分辨率的动脉输入功能（AIF）的精确测量。加速成像用于实现高时间分辨率，其在重建图像中产生欠采样伪像。压缩传感（CS）方法提供各种重建选项。最常见的是，鼓励正规化的时间差异的稀疏性以减少伪影。在CS方法中越来越多的正则化除去环境伪像，但也会过度平滑时间，这减少了参数估计精度。在这项工作中，我们提出了一种训练有素的深神经网络，以减少MRI欠采样伪像而不降低功能成像标记的准确性。通过从较低的维度表示，我们通过从较低维度表示来促进正常化而不是在惩罚术语中进行规范化。在此手稿中，我们激励并解释了较低的维度输入设计。我们将我们的方法与多个正则化权重进行CS重建的方法。所提出的方法导致肾生物标志物与使用CS重建估计的地面真理标记高度相关，这是针对功能分析进行了优化的。同时，所提出的方法减少了重建图像中的伪像。

目的：并行成像通过用一系列接收器线圈获取其他灵敏度信息，从而加速了磁共振成像（MRI）数据，从而降低了相位编码步骤。压缩传感磁共振成像（CS-MRI）在医学成像领域中获得了普及，因为其数据要求较少，而不是平行成像。并行成像和压缩传感（CS）均通过最大程度地减少K空间中捕获的数据量来加快传统MRI获取。由于采集时间与样品的数量成反比，因此从缩短的K空间样品中的图像的反向形成会导致收购更快，但具有混乱的伪像。本文提出了一种新型的生成对抗网络（GAN），即雷德格尔（Recgan-gr）受到多模式损失的监督，以消除重建的图像。方法：与现有的GAN网络相反，我们提出的方法引入了一种新型的发电机网络，即与双域损耗函数集成的弹药网络，包括加权幅度和相位损耗函数以及基于平行成像的损失，即Grappa一致性损失。提出了K空间校正块，以使GAN网络自动化生成不必要的数据，从而使重建过程的收敛性更快。结果：全面的结果表明，拟议的Recgan-GR在基于GAN的方法中的PSNR有4 dB的改善，并且在文献中可用的传统最先进的CNN方法中有2 dB的改进。结论和意义：拟议的工作有助于显着改善低保留数据的图像质量，从而更快地获取了5倍或10倍。

减少磁共振（MR）图像采集时间可能会使MR检查更容易获得。包括深度学习模型在内的先前艺术已致力于解决长期MRI成像时间的问题。最近，深层生成模型在算法鲁棒性和使用灵活性方面具有巨大的潜力。然而，无法直接学习或使用任何现有方案。此外，还值得研究的是，深层生成模型如何在混合域上很好地工作。在这项工作中，通过利用基于深度能量的模型，我们提出了一个K空间和图像域协作生成模型，以全面估算从采样量未采样的测量中的MR数据。与最先进的实验比较表明，所提出的混合方法的重建精度较小，在不同的加速因子下更稳定。

由于其定量优点和高灵敏度，位置排放断层扫描（PET）被广泛用于诊所和研究中，但遭受了低信噪比（SNR）的侵害。最近，卷积神经网络（CNN）已被广泛用于提高宠物图像质量。尽管在局部特征提取方面取得了成功和有效的效率，但由于其接受场有限，CNN无法很好地捕获远距离依赖性。全球多头自我注意力（MSA）是捕获远程信息的流行方法。但是，3D图像的全局MSA计算具有较高的计算成本。在这项工作中，我们提出了一个有效的空间和渠道编码器变压器Spach Transformer，可以基于本地和全局MSA来利用空间和渠道信息。基于不同宠物示踪剂数据集的实验，即$^{18} $ f-fdg，$^{18} $ f-acbc，$^{18} $ f-dcfpyl，$ f-dcfpyl和$^{68} $ ga--进行了Dotatate，以评估提出的框架。定量结果表明，所提出的SPACH变压器可以比其他参考方法获得更好的性能。

在核成像中，有限的分辨率会导致影响图像清晰度和定量准确性的部分体积效应（PVE）。已证明来自CT或MRI的高分辨率解剖信息的部分体积校正（PVC）已被证明是有效的。但是，这种解剖学引导的方法通常需要乏味的图像注册和分割步骤。由于缺乏具有高端CT和相关运动伪像的混合体SPECT/CT扫描仪，因此很难获得准确的分段器官模板，尤其是在心脏SPECT成像中。轻微的错误注册/错误分段将导致PVC后的图像质量严重降解。在这项工作中，我们开发了一种基于深度学习的方法，用于快速心脏SPECT PVC，而无需解剖信息和相关的器官分割。所提出的网络涉及密集连接的多维动态机制，即使网络经过充分训练，也可以根据输入图像对卷积内核进行调整。引入了心脏内血容量（IMBV）作为网络优化的附加临床损失函数。提出的网络表明，使用Technetium-99M标记的红细胞在GE发现NM/CT 570C专用心脏SPECT扫描仪上获得的28个犬类研究表现有希望的表现。这项工作表明，与没有这种机制的同一网络相比，具有密集连接的动态机制的提议网络产生了较高的结果。结果还表明，没有解剖信息的提出的网络可以与解剖学引导的PVC方法产生的图像产生具有统计上可比的IMBV测量的图像，这可能有助于临床翻译。

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.

全身动态PET中的受试者运动引入了框架间的不匹配，并严重影响参数成像。传统的非刚性注册方法通常在计算上是强度且耗时的。深度学习方法在快速速度方面实现高精度方面是有希望的，但尚未考虑示踪剂分布变化或整体范围。在这项工作中，我们开发了一个无监督的自动深度学习框架，以纠正框架间的身体运动。运动估计网络是一个卷积神经网络，具有联合卷积长的短期记忆层，充分利用动态的时间特征和空间信息。我们的数据集在90分钟的FDG全身动态PET扫描中包含27个受试者。与传统和深度学习基线相比，具有9倍的交叉验证，我们证明了拟议的网络在增强的定性和定量空间对齐方面获得了卓越的性能在显着降低参数拟合误差中。我们还展示了拟议的运动校正方法的潜力来影响对估计参数图像的下游分析，从而提高了将恶性与良性多代谢区域区分开的能力。一旦受过培训，我们提出的网络的运动估计推理时间比常规注册基线快460倍，表明其潜力很容易应用于临床环境中。

最近关于其他方式的核化图像T1辅助MRI重建的研究表明，进一步加速MRI收购其他方式的潜力。大多数最先进的方法通过开发用于固定的欠采样模式的网络架构来实现改进，而不完全利用方式之间的互补信息。尽管可以简单地修改现有的下采样模式学习算法以允许完全采样的T1加权MR图像来辅助模式学习，但是可以实现重建任务的显着改进。为此，我们提出了一个迭代框架，优化了MRI获取的另一种方式的采样下采样模式，可以在不同的下抽样因子中补充完全采样的T1加权MR图像，同时共同优化T1辅助MRI重建模型。具体地，我们所提出的方法利用两种模式之间的潜在信息的差异来确定可以最大化T1加权MR图像的辅助功率在改善MRI重建时最大化的采样模式。与常用的下采样模式和最先进的方法相比，我们在公共数据集中展示了我们在公共数据集上的学习的下采样模式的卓越表现，可以联合优化重建网络和欠采样模式以8倍的取样因子。

为了纠正PET成像中的呼吸运动，构建了一种可解释和无监督的深度学习技术。对网络进行了训练，以预测不同呼吸幅度范围的两个宠物框架之间的光流。训练有素的模型将不同的回顾性宠物图像对齐，提供了最终图像，其计数统计量与非门控图像相似，但没有模糊的效果。 Flownet-PET应用于拟人化数字幻影数据，该数据提供了设计强大指标以量化校正的可能性。当比较预测的光流与地面真相时，发现中值绝对误差小于像素和切片宽度。通过与没有运动的图像进行比较，并计算肿瘤的联合（IOU）以及在应用校正之前和之后NO-MOTION肿瘤体积内的封闭活性和变异系数（COV）进行比较。网络提供的平均相对改进分别为IOU，总活动和COV的64％，89％和75％。 Fownet-Pet获得了与常规回顾相结合方法相似的结果，但仅需要扫描持续时间的六分之一。代码和数据已公开可用（https://github.com/teaghan/flownet_pet）。

目的：提出一种新的基于深度学习的方法，称为RG-NET（重建和生成网络），用于通过向下采样k空间高度加速的MR参数映射，并同时减少所获取的对比度。方法：所提出的框架包括重建模块和生成模块。在先前的帮助下，重建模块从所获取的少数下采样的k空间数据重建MR图像。然后，生成模块从重建的图像中综合剩余的多对比度图像，其中通过对完全采样标签的监督隐式模型被隐式地结合到图像生成中。在不同的加速率下对膝关节和大脑的映射数据进行评估RG-Net。 Cartilage和大脑的区域T1 \ R {HO}进行了分析，以获得RG-Net的性能。结果：RG-Net以高速加速度为17的高质量T1 \ R {Ho}地图。与仅借出k空间的竞争方法相比，我们的框架在T1 \ R {Ho}值中实现了更好的性能分析。我们的方法还提高了胶质瘤患者T1 \ R {Ho}的质量。结论：提出的RG-NET通过欠采样k空间采用新策略并同时减少快速先生参数映射的对比度，可以实现高加速率，同时保持良好的重建质量。我们的框架的生成模块也可以用作其他快速MR参数映射方法的插入模块。关键词：深度学习，卷积神经网络，快速先生参数映射

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。