为了纠正PET成像中的呼吸运动，构建了一种可解释和无监督的深度学习技术。对网络进行了训练，以预测不同呼吸幅度范围的两个宠物框架之间的光流。训练有素的模型将不同的回顾性宠物图像对齐，提供了最终图像，其计数统计量与非门控图像相似，但没有模糊的效果。 Flownet-PET应用于拟人化数字幻影数据，该数据提供了设计强大指标以量化校正的可能性。当比较预测的光流与地面真相时，发现中值绝对误差小于像素和切片宽度。通过与没有运动的图像进行比较，并计算肿瘤的联合（IOU）以及在应用校正之前和之后NO-MOTION肿瘤体积内的封闭活性和变异系数（COV）进行比较。网络提供的平均相对改进分别为IOU，总活动和COV的64％，89％和75％。 Fownet-Pet获得了与常规回顾相结合方法相似的结果，但仅需要扫描持续时间的六分之一。代码和数据已公开可用（https://github.com/teaghan/flownet_pet）。

从历史上看，患者数据集已用于开发和验证PET/MRI和PET/CT的各种重建算法。为了使这种算法开发，无需获得数百个患者检查，在本文中，我们展示了一种深度学习技术，可以从丰富的全身MRI中产生合成但逼真的全身宠物纹状体。具体来说，我们使用56 $^{18} $ F-FDG-PET/MRI考试的数据集训练3D残差UNET来预测全身T1加权MRI的生理PET摄取。在训练中，我们实施了平衡的损失函数，以在较大的动态范围内产生逼真的吸收，并沿着层析成像线的响应线对模仿宠物的获取产生计算的损失。预测的PET图像预计会产生合成宠物飞行时间（TOF）正式图，可与供应商提供的PET重建算法一起使用，包括使用基于CT的衰减校正（CTAC）和基于MR的衰减校正（MRAC（MRAC） ）。由此产生的合成数据概括了生理学$^{18} $ f-fdg摄取，例如高摄取量位于大脑和膀胱，以及肝脏，肾脏，心脏和肌肉的吸收。为了模拟高摄取的异常，我们还插入合成病变。我们证明，该合成PET数据可以与实际PET数据互换使用，用于比较CT和基于MR的衰减校正方法的PET量化任务，与使用真实数据相比，在平均值中实现了$ \ leq 7.6 \％$误差。这些结果共同表明，所提出的合成PET数据管道可以合理地用于开发，评估和验证PET/MRI重建方法。

全身动态PET中的受试者运动引入了框架间的不匹配，并严重影响参数成像。传统的非刚性注册方法通常在计算上是强度且耗时的。深度学习方法在快速速度方面实现高精度方面是有希望的，但尚未考虑示踪剂分布变化或整体范围。在这项工作中，我们开发了一个无监督的自动深度学习框架，以纠正框架间的身体运动。运动估计网络是一个卷积神经网络，具有联合卷积长的短期记忆层，充分利用动态的时间特征和空间信息。我们的数据集在90分钟的FDG全身动态PET扫描中包含27个受试者。与传统和深度学习基线相比，具有9倍的交叉验证，我们证明了拟议的网络在增强的定性和定量空间对齐方面获得了卓越的性能在显着降低参数拟合误差中。我们还展示了拟议的运动校正方法的潜力来影响对估计参数图像的下游分析，从而提高了将恶性与良性多代谢区域区分开的能力。一旦受过培训，我们提出的网络的运动估计推理时间比常规注册基线快460倍，表明其潜力很容易应用于临床环境中。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者（OPC）原发性肿瘤（GTVP）的准确分割，需要同时评估不同图像模态，并从不同方向探索每个图像体积。此外，分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习（DL）模型，以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过（化学）辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证，进行了3​​次，对从113例患者的轴向（a），矢状（s）和冠状（c）平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片，因此每个切片产生了平均的三个结果预测。在A，S和C平面中，输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数（DSC）评估了25名患者的模型性能。预测是最接近地面真理的概率阈值（在A中为0.70，s为0.70，在s中为0.77，在C平面中为0.80）。提出的DL模型的有希望的结果表明，注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。

Dose verification based on proton-induced positron emitters is a promising quality assurance tool and may leverage the strength of artificial intelligence. To move a step closer towards practical application, the sensitivity analysis of two factors needs to be performed: biological washout and depth selection. selection. A bi-directional recurrent neural network (RNN) model was developed. The training dataset was generated based upon a CT image-based phantom (abdomen region) and multiple beam energies/pathways, using Monte-Carlo simulation (1 mm spatial resolution, no biological washout). For the modeling of biological washout, a simplified analytical model was applied to change raw activity profiles over a period of 5 minutes, incorporating both physical decay and biological washout. For the study of depth selection (a challenge linked to multi field/angle irradiation), truncations were applied at different window lengths (100, 125, 150 mm) to raw activity profiles. Finally, the performance of a worst-case scenario was examined by combining both factors (depth selection: 125 mm, biological washout: 5 mins). The accuracy was quantitatively evaluated in terms of range uncertainty, mean absolute error (MAE) and mean relative errors (MRE). Our proposed AI framework shows good immunity to the perturbation associated with two factors. The detection of proton-induced positron emitters, combined with machine learning, has great potential to implement online patient-specific verification in proton therapy.

在本文中，我们回顾了同时正电子发射断层扫描（PET） /磁共振成像（MRI）系统的物理和数据驱动的重建技术，这些技术在癌症，神经系统疾病和心脏病方面具有显着优势。这些重建方法利用结构或统计的先验，以及基于物理学的宠物系统响应的描述。但是，由于正向问题的嵌套表示，直接的PET/MRI重建是一个非线性问题。我们阐明了多方面的方法如何适应3D PET/MRI重建的混合数据和物理驱动的机器学习，总结了过去5年中重要的深度学习发展，以解决衰减校正，散射，低光子数和数据一致性。我们还描述了这些多模式方法的应用如何扩展到PET/MRI以提高放射治疗计划的准确性。最后，我们讨论了遵循物理和深度学习的计算成像和下一代探测器硬件的最新趋势，以扩展当前最新趋势的机会。

在对肺癌患者的放疗治疗期间，需要最小化肿瘤周围健康组织的辐射，这由于呼吸运动和线性加速器系统的潜伏期很难。在拟议的研究中，我们首先使用Lucas-Kanade锥体光流算法来对四个肺癌患者的胸部计算机断层扫描图像进行可变形的图像登记。然后，我们根据先前计算的变形场跟踪靠近肺部肿瘤的三个内部点，并通过使用实时重复学习（RTRL）和梯度剪辑训练的复发神经网络（RNN）预测其位置。呼吸数据非常规规律，在约2.5Hz时采样，并在脊柱方向上包括人工漂移。轨道点的运动幅度范围为12.0mm至22.7mm。最后，我们提出了一种基于线性对应模型和Nadaraya-Watson非线性回归的最初肿瘤图像的恢复和预测3D肿瘤图像的简单方法。与测试集上RNN预测相对应的根平方误差，最大误差和抖动小于使用线性预测和最小平方（LMS）获得的相同性能度量。特别是，与RNN相关的最大预测误差等于1.51mm，比与线性预测和LMS相关的最大误差低16.1％和5.0％。 RTRL的平均预测时间等于119ms，小于400ms标记位置采样时间。预测图像中的肿瘤位置在视觉上似乎是正确的，这通过等于0.955的原始图像和预测图像之间的高平均互相关证实。

Purpose: The purpose of this paper is to present a method for real-time 2D-3D non-rigid registration using a single fluoroscopic image. Such a method can find applications in surgery, interventional radiology and radiotherapy. By estimating a three-dimensional displacement field from a 2D X-ray image, anatomical structures segmented in the preoperative scan can be projected onto the 2D image, thus providing a mixed reality view. Methods: A dataset composed of displacement fields and 2D projections of the anatomy is generated from the preoperative scan. From this dataset, a neural network is trained to recover the unknown 3D displacement field from a single projection image. Results: Our method is validated on lung 4D CT data at different stages of the lung deformation. The training is performed on a 3D CT using random (non domain-specific) diffeomorphic deformations, to which perturbations mimicking the pose uncertainty are added. The model achieves a mean TRE over a series of landmarks ranging from 2.3 to 5.5 mm depending on the amplitude of deformation. Conclusion: In this paper, a CNN-based method for real-time 2D-3D non-rigid registration is presented. This method is able to cope with pose estimation uncertainties, making it applicable to actual clinical scenarios, such as lung surgery, where the C-arm pose is planned before the intervention.

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。

肾细胞癌（RCC）是一种常见的癌症，随着临床行为的变化。懒惰的RCC通常是低级的，没有坏死，可以在没有治疗的情况下监测。激进的RCC通常是高级的，如果未及时检测和治疗，可能会导致转移和死亡。虽然大多数肾脏癌在CT扫描中都检测到，但分级是基于侵入性活检或手术的组织学。确定对CT图像的侵略性在临床上很重要，因为它促进了风险分层和治疗计划。这项研究旨在使用机器学习方法来识别与病理学特征相关的放射学特征，以促进评估CT图像而不是组织学上的癌症侵略性。本文提出了一种新型的自动化方法，即按区域（Corrfabr）相关的特征聚集，用于通过利用放射学和相应的不对齐病理学图像之间的相关性来对透明细胞RCC进行分类。 CORRFABR由三个主要步骤组成：（1）特征聚集，其中从放射学和病理图像中提取区域级特征，（2）融合，放射学特征与病理特征相关的放射学特征在区域级别上学习，并且（3）在其中预测的地方学到的相关特征用于仅使用CT作为输入来区分侵略性和顽固的透明细胞RCC。因此，在训练过程中，Corrfabr从放射学和病理学图像中学习，但是在没有病理图像的情况下，Corrfabr将使用CORFABR将侵略性与顽固的透明细胞RCC区分开。 Corrfabr仅比放射学特征改善了分类性能，二进制分类F1分数从0.68（0.04）增加到0.73（0.03）。这证明了将病理疾病特征纳入CT图像上透明细胞RCC侵袭性的分类的潜力。

Deep image prior (DIP) has recently attracted attention owing to its unsupervised positron emission tomography (PET) image reconstruction, which does not require any prior training dataset. In this paper, we present the first attempt to implement an end-to-end DIP-based fully 3D PET image reconstruction method that incorporates a forward-projection model into a loss function. To implement a practical fully 3D PET image reconstruction, which could not be performed due to a graphics processing unit memory limitation, we modify the DIP optimization to block-iteration and sequentially learn an ordered sequence of block sinograms. Furthermore, the relative difference penalty (RDP) term was added to the loss function to enhance the quantitative PET image accuracy. We evaluated our proposed method using Monte Carlo simulation with [$^{18}$F]FDG PET data of a human brain and a preclinical study on monkey brain [$^{18}$F]FDG PET data. The proposed method was compared with the maximum-likelihood expectation maximization (EM), maximum-a-posterior EM with RDP, and hybrid DIP-based PET reconstruction methods. The simulation results showed that the proposed method improved the PET image quality by reducing statistical noise and preserved a contrast of brain structures and inserted tumor compared with other algorithms. In the preclinical experiment, finer structures and better contrast recovery were obtained by the proposed method. This indicated that the proposed method can produce high-quality images without a prior training dataset. Thus, the proposed method is a key enabling technology for the straightforward and practical implementation of end-to-end DIP-based fully 3D PET image reconstruction.

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.

最近关于Covid-19的研究表明，CT成像提供了评估疾病进展和协助诊断的有用信息，以及帮助理解疾病。有越来越多的研究，建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割，确认或疑似Covid-19患者。在这项研究中，我们使用多中心数据集比较12个深度学习算法，包括开源和内部开发的算法。结果表明，合并不同的方法可以提高肺部分割，二元病变分割和多种子病变分割的总体测试集性能，从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常，区分不同病变类型的任务更加困难，分别具有152mL的平均绝对体积差，分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割，该分段优于人类评估者的视觉评估，表明这些方法足以用于临床实践中使用的大规模评估。

Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.

肺部以外的视野（FOV）组织截断在常规的肺筛查计算机断层扫描（CT）中很常见。这对机会性CT的身体组成（BC）评估构成了局限性，因为缺少关键的解剖结构。传统上，扩展CT的FOV被认为是使用有限数据的CT重建问题。但是，这种方法依赖于应用程序中可能无法使用的投影域数据。在这项工作中，我们从语义图像扩展角度提出问题，该角度仅需要图像数据作为输入。提出的两阶段方法根据完整体的估计范围识别新的FOV边框，并在截短区域中渗出了缺失的组织。使用在FOV中具有完整主体的CT切片对训练样品进行模拟，从而使模型开发自制。我们使用有限FOV的肺筛选CT评估了所提出的方法在自动BC评估中的有效性。提出的方法有效地恢复了缺失的组织并减少了FOV组织截断引入的BC评估误差。在大规模肺部筛查CT数据集的BC评估中，这种校正既可以提高受试者内的一致性和与人体测量近似值的相关性。已开发的方法可在https://github.com/masilab/s-efov上获得。

现在，人工智能（AI）可以自动解释医学图像以供临床使用。但是，AI在介入图像中的潜在用途（相对于参与分类或诊断的图像），例如在手术期间的指导，在很大程度上尚未开发。这是因为目前，使用现场分析对现场手术收集的数据进行了事后分析，这是因为手术AI系统具有基本和实际限制，包括道德考虑，费用，可扩展性，数据完整性以及缺乏地面真相。在这里，我们证明从人类模型中创建逼真的模拟图像是可行的替代方法，并与大规模的原位数据收集进行了补充。我们表明，对现实合成数据的训练AI图像分析模型，结合当代域的概括或适应技术，导致在实际数据上的模型与在精确匹配的真实数据训练集中训练的模型相当地执行的模型。由于从基于人类的模型尺度的合成生成培训数据，因此我们发现我们称为X射线图像分析的模型传输范式（我们称为Syntheex）甚至可以超越实际数据训练的模型，因为训练的有效性较大的数据集。我们证明了合成在三个临床任务上的潜力：髋关节图像分析，手术机器人工具检测和COVID-19肺病变分割。 Synthex提供了一个机会，可以极大地加速基于X射线药物的智能系统的概念，设计和评估。此外，模拟图像环境还提供了测试新颖仪器，设计互补手术方法的机会，并设想了改善结果，节省时间或减轻人为错误的新技术，从实时人类数据收集的道德和实际考虑方面摆脱了人为错误。