单光子发射计算机断层扫描（SPECT）是一种广泛应用的成像方法，用于诊断冠状动脉疾病。从计算机断层扫描（CT）得出的衰减图（U-MAP）用于衰减校正（AC），以提高心脏SPECT的诊断准确性。但是，SPECT和CT是在临床实践中依次获得的，这可能会导致两项扫描之间的误会。卷积神经网络（CNN）是医疗图像注册的强大工具。先前基于CNN的跨模式注册方法直接串联了两个输入模态作为早期特征融合或使用两个单独的CNN模块提取的图像特征，以进行晚期融合。这些方法不能完全提取或融合交叉模式信息。此外，以前尚未对心脏SPECT和CT衍生的U-MAP的深度学习刚性注册进行研究。在本文中，我们提出了一个双分支挤压融合 - 兴奋（DUSFE）模块，用于对心脏SPECT和CT衍生的U-MAP的注册。 Dusfe融合了从多种模态的知识，以重新校准每种模式的通道和空间特征。 Dusfe可以嵌入多个卷积层，以在不同的空间尺寸下实现特征融合。我们使用临床数据的研究表明，嵌入DUSFE的网络比以前的方法产生了较低的注册误差，因此更准确的AC SPECT图像。

在核成像中，有限的分辨率会导致影响图像清晰度和定量准确性的部分体积效应（PVE）。已证明来自CT或MRI的高分辨率解剖信息的部分体积校正（PVC）已被证明是有效的。但是，这种解剖学引导的方法通常需要乏味的图像注册和分割步骤。由于缺乏具有高端CT和相关运动伪像的混合体SPECT/CT扫描仪，因此很难获得准确的分段器官模板，尤其是在心脏SPECT成像中。轻微的错误注册/错误分段将导致PVC后的图像质量严重降解。在这项工作中，我们开发了一种基于深度学习的方法，用于快速心脏SPECT PVC，而无需解剖信息和相关的器官分割。所提出的网络涉及密集连接的多维动态机制，即使网络经过充分训练，也可以根据输入图像对卷积内核进行调整。引入了心脏内血容量（IMBV）作为网络优化的附加临床损失函数。提出的网络表明，使用Technetium-99M标记的红细胞在GE发现NM/CT 570C专用心脏SPECT扫描仪上获得的28个犬类研究表现有希望的表现。这项工作表明，与没有这种机制的同一网络相比，具有密集连接的动态机制的提议网络产生了较高的结果。结果还表明，没有解剖信息的提出的网络可以与解剖学引导的PVC方法产生的图像产生具有统计上可比的IMBV测量的图像，这可能有助于临床翻译。

Deformable registration of two-dimensional/three-dimensional (2D/3D) images of abdominal organs is a complicated task because the abdominal organs deform significantly and their contours are not detected in two-dimensional X-ray images. We propose a supervised deep learning framework that achieves 2D/3D deformable image registration between 3D volumes and single-viewpoint 2D projected images. The proposed method learns the translation from the target 2D projection images and the initial 3D volume to 3D displacement fields. In experiments, we registered 3D-computed tomography (CT) volumes to digitally reconstructed radiographs generated from abdominal 4D-CT volumes. For validation, we used 4D-CT volumes of 35 cases and confirmed that the 3D-CT volumes reflecting the nonlinear and local respiratory organ displacement were reconstructed. The proposed method demonstrate the compatible performance to the conventional methods with a dice similarity coefficient of 91.6 \% for the liver region and 85.9 \% for the stomach region, while estimating a significantly more accurate CT values.

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.

脑MRI图像的登记需要解决变形领域，这对于对准复杂的脑组织，例如皮质核等，这是极其困难的现有努力，该努力在具有微小运动的中间子场中分解目标变形领域，即逐步登记阶段或较低的分辨率，即全尺寸变形场的粗析估计。在本文中，我们认为这些努力不是相互排斥的，并为普通和粗良好的方式同时提出统一的脑MRI登记统一框架。具体地，在双编码器U-Net上构建，定制移动的MRI对被编码和解码成从粗略到精细的多尺度变形子字段。每个解码块包含两个提出的新颖模块：i）在变形场积分（DFI）中，计算单个集成子字段，翘曲，其等同于来自所有先前解码块的子字段逐渐翘曲，并且II）非刚性特征融合（NFF），固定移动对的特征由DFI集成子场对齐，然后融合以预测更精细的子场。利用DFI和NFF，目标变形字段被修改为多尺度子场，其中较粗糙的字段缓解了更精细的一个和更精细的字段的估计，以便构成以前粗糙的较粗糙的那些错位。私人和公共数据集的广泛和全面的实验结果展示了脑MRI图像的优越的登记性能，仅限于逐步登记和粗略估计，平均骰子的粗略估计数量在最多8％上升。

脑转移性疾病的治疗决策依赖于主要器官位点的知识，目前用活组织检查和组织学进行。在这里，我们开发了一种具有全脑MRI数据的准确非侵入性数字组织学的新型深度学习方法。我们的IRB批准的单网回顾性研究由患者（n = 1,399）组成，提及MRI治疗规划和伽马刀放射牢房超过19年。对比增强的T1加权和T2加权流体减毒的反转恢复脑MRI考试（n = 1,582）被预处理，并输入肿瘤细分，模态转移和主要部位分类的建议深度学习工作流程为五个课程之一（肺，乳腺，黑色素瘤，肾等）。十倍的交叉验证产生的总体AUC为0.947（95％CI：0.938,0.955），肺类AUC，0.899（95％CI：0.884,0.915），乳房类AUC为0.990（95％CI：0.983,0.997） ，黑色素瘤ACAC为0.882（95％CI：0.858,0.906），肾类AUC为0.870（95％CI：0.823,0.918），以及0.885的其他AUC（95％CI：0.843,0.949）。这些数据确定全脑成像特征是判别的，以便准确诊断恶性肿瘤的主要器官位点。我们的端到端深度射出方法具有巨大的分类来自全脑MRI图像的转移性肿瘤类型。进一步的细化可以提供一种无价的临床工具，以加快对精密治疗和改进的结果的原发性癌症现场鉴定。

全身动态PET中的受试者运动引入了框架间的不匹配，并严重影响参数成像。传统的非刚性注册方法通常在计算上是强度且耗时的。深度学习方法在快速速度方面实现高精度方面是有希望的，但尚未考虑示踪剂分布变化或整体范围。在这项工作中，我们开发了一个无监督的自动深度学习框架，以纠正框架间的身体运动。运动估计网络是一个卷积神经网络，具有联合卷积长的短期记忆层，充分利用动态的时间特征和空间信息。我们的数据集在90分钟的FDG全身动态PET扫描中包含27个受试者。与传统和深度学习基线相比，具有9倍的交叉验证，我们证明了拟议的网络在增强的定性和定量空间对齐方面获得了卓越的性能在显着降低参数拟合误差中。我们还展示了拟议的运动校正方法的潜力来影响对估计参数图像的下游分析，从而提高了将恶性与良性多代谢区域区分开的能力。一旦受过培训，我们提出的网络的运动估计推理时间比常规注册基线快460倍，表明其潜力很容易应用于临床环境中。

Purpose: This study aims to explore training strategies to improve convolutional neural network-based image-to-image registration for abdominal imaging. Methods: Different training strategies, loss functions, and transfer learning schemes were considered. Furthermore, an augmentation layer which generates artificial training image pairs on-the-fly was proposed, in addition to a loss layer that enables dynamic loss weighting. Results: Guiding registration using segmentations in the training step proved beneficial for deep-learning-based image registration. Finetuning the pretrained model from the brain MRI dataset to the abdominal CT dataset further improved performance on the latter application, removing the need for a large dataset to yield satisfactory performance. Dynamic loss weighting also marginally improved performance, all without impacting inference runtime. Conclusion: Using simple concepts, we improved the performance of a commonly used deep image registration architecture, VoxelMorph. In future work, our framework, DDMR, should be validated on different datasets to further assess its value.

最近，已广泛研究了基于深度学习的方法，以进行可变形的图像注册任务。但是，大多数努力将复合图像表示形式直接映射到通过卷积神经网络的空间转换，而忽略了其捕获空间对应关系的有限能力。另一方面，变压器可以更好地表征与注意机制的空间关系，其远程依赖性可能对注册任务有害，在这种情况下，距离太大的体素不太可能是相应的对。在这项研究中，我们提出了一个新型的变形器模块，以及用于可变形图像配准任务的多尺度框架。变形器模块旨在通过将位移矢量预测作为几个碱基的加权总和来促进从图像表示到空间转换的映射。借助多尺度框架以粗略的方式预测位移字段，与传统和基于学习的方法相比，可以实现卓越的性能。进行了两个公共数据集的全面实验，以证明所提出的变形器模块以及多规模框架的有效性。

医生经常基于患者的图像扫描，例如磁共振成像（MRI），以及患者的电子健康记录（EHR），如年龄，性别，血压等。尽管在计算机视觉或自然语言研究领域的图像或文本分析中提出了大量的自动方法，但已经为医学图像的融合和医疗问题的EHR数据进行了更少的研究。在现有的早期或中间融合方法中，两种方式的特征串联仍然是一个主流。为了更好地利用图像和EHR数据，我们提出了一种多模态注意力模块，该模块使用EHR数据来帮助选择传统CNN的图像特征提取过程期间的重要区域。此外，我们建议将多头Machnib纳入门控多媒体单元（GMU），使其能够在不同子空间中平行熔断图像和EHR特征。在两个模块的帮助下，可以使用两个模态增强现有的CNN架构。预测脑内出血患者的Glasgow结果规模（GOS）和分类Alzheimer病的实验表明，该方法可以自动关注任务相关领域，并通过更好地利用图像和EHR功能来实现更好的结果。

总生存时间（OS）时间是神经胶质瘤情况最重要的评估指数之一。多模式磁共振成像（MRI）扫描在神经胶质瘤预后OS时间的研究中起重要作用。为多模式MRI问题的OS时间预测提出了几种基于学习的方法。但是，这些方法通常在深度学习网络开始或结束时融合多模式信息，并且缺乏来自不同尺度的特征。此外，网络末尾的融合始终适应全球（例如，在全球平均池输出串联后完全连接）或与局部（例如，双线性池）的融合，这会失去与全球局部的局部信息。在本文中，我们提出了一种用于对脑肿瘤患者的多模式OS时间预测的新方法，该方法包含在不同尺度上引入的改进的非局部特征融合模块。我们的方法比当前最新方法获得了相对8.76％的改善（0.6989 vs. 0.6426的精度）。广泛的测试表明，我们的方法可以适应缺失方式的情况。该代码可在https://github.com/tangwen920812/mmmna-net上找到。

基于模型的经颅超声疗法的治疗计划通常涉及从头部的X射线计算机断层扫描（CT）图像中映射头骨的声学特性。在这里，将三种用于从磁共振（MR）图像中生成伪CT图像的方法作为CT的替代方法。在配对的MR-CT图像上训练了卷积神经网络（U-NET），以从T1加权或零回波时间（ZTE）MR图像（分别表示TCT和ZCT）生成伪CT图像。还实施了从中兴通讯到伪CT的直接映射（表示为CCT）。在比较测试集的伪CT和地面真相CT图像时，整个头部的平均绝对误差为133、83和145 Hounsfield单位（HU），以及398、222和336 HU的头骨内的颅骨内部的平均误差为133、83和145个。 TCT，ZCT和CCT图像。还使用生成的伪CT图像进行了超声模拟，并将其与基于CT的模拟进行了比较。使用环形阵列传感器针对视觉或运动皮层。基于TCT图像的模拟，模拟局灶性局灶性，焦点位置和焦距的平均差异为9.9％，1.5 mm和15.1％，ZCT的平均差异为5.7％，0.6 mm和5.7％，为6.7％，和5.7％ CCT为0.9毫米，为12.1％。映射的图像的改进结果突出了使用成像序列的优势，从而改善了颅骨的对比度。总体而言，这些结果表明，基于MR图像的声学仿真可以与基于CT的声学相比精度。

由于介导的介入X射线和未定义的预介入计算机断层扫描（CT）之间的映射关系是不确定的，辅助定位装置或身体标记，例如医疗植入物，通常用于确定这种关系。然而，由于复杂的现实，这种方法不能广泛用于临床上。为了确定映射关系，并实现没有辅助设备或标记的人体的初始化估计，所提出的方法应用图像分割和深度匹配，以直接匹配X射线和CT图像。结果，训练有素的网络可以直接预测任意X射线和CT之间的空间对应。实验结果表明，当与传统方法相结合的方法时，实现的准确性和速度可以满足基本的临床干预需求，并为介入内注册提供了新的方向。

可变形图像注册是医学图像分析中的关键步骤，用于在一对固定图像和移动图像之间找到非线性空间转换。基于卷积神经网络（CNN）的深度注册方法已被广泛使用，因为它们可以快速和端到端的方式执行图像注册。但是，这些方法通常对具有较大变形的图像对的性能有限。最近，迭代深度注册方法已被用来减轻这种限制，在这种限制中，转换以粗到精细的方式迭代学习。但是，迭代方法不可避免地会延长注册运行时，并倾向于学习每次迭代的单独图像特征，从而阻碍了功能的利用，以便在以后的迭代时促进注册。在这项研究中，我们提出了一个非详细的粗到十五个注册网络（NICE-NET），用于可变形图像注册。在Nice-Net中，我们提出：（i）单个深度累积学习（SDCL）解码器，可以在网络的单个通过（迭代）中累积地学习粗到5的转换，以及（ii）选择性地 - 传播功能学习（SFL）编码器，可以为整个粗到精细的注册过程学习通用图像功能，并根据需要选择性地传播功能。在3D脑磁共振成像（MRI）的六个公共数据集上进行了广泛的实验表明，我们提出的Nice-NET可以超越最新的迭代深度注册方法，而仅需要与非辅助方法类似的运行时间。

目的：多发性硬化症（MS）是一种自身免疫和脱髓鞘疾病，导致中枢神经系统的病变。可以使用磁共振成像（MRI）跟踪和诊断该疾病。到目前为止，多数多层自动生物医学方法用于在成本，时间和可用性方面对患者没有有益的病变。本文的作者提出了一种使用只有一个模态（Flair Image）的方法，准确地将MS病变分段。方法：由3D-Reset和空间通道注意模块进行设计，灵活的基于补丁的卷积神经网络（CNN），以段MS病变。该方法由三个阶段组成：（1）对比度限制自适应直方图均衡（CLAHE）被施加到原始图像并连接到提取的边缘以形成4D图像; （2）尺寸80 * 80 * 80 * 2的贴片从4D图像中随机选择; （3）将提取的贴片传递到用于分割病变的关注的CNN中。最后，将所提出的方法与先前的相同数据集进行比较。结果：目前的研究评估了模型，具有测试集的ISIB挑战数据。实验结果表明，该方法在骰子相似性和绝对体积差方面显着超越了现有方法，而该方法仅使用一种模态（Flair）来分割病变。结论：作者推出了一种自动化的方法来分割基于最多两种方式作为输入的损伤。所提出的架构由卷积，解卷积和SCA-VOXRES模块作为注意模块组成。结果表明，所提出的方法优于与其他方法相比良好。

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。

注册在医学图像分析中起着重要作用。已经研究了用于医学图像注册的深度学习方法，该方法利用卷积神经网络（CNN）有效地从一对图像中回归了密集的变形场。但是，CNN的限制是其提取语义上有意义的内部和图像间空间对应关系的能力，这对于准确的图像注册至关重要。这项研究提出了一个新型的端到端深度学习框架，用于无监督的仿射和差异可变形的注册，称为acsgregnet，该框架集成了一个交叉意识模块，用于建立图像间的特征对应关系和一个自我主张模块，以进行内部内部的模块图像解剖结构意识到。两个注意模块都建立在变压器编码器上。每个注意模块的输出分别被馈送到解码器以生成速度场。我们进一步引入了一个封闭式的融合模块，以融合两个速度场。然后将融合速度场集成到密集的变形场。广泛的实验是在腰椎CT图像上进行的。一旦训练了模型，就可以一枪注册一对看不见的腰椎。通过450对椎CT数据进行了评估，我们的方法的平均骰子为0.963，平均距离误差为0.321mm，比最先进的（SOTA）更好。

在相应的辅助对比的指导下，目标对比度的超级分辨磁共振（MR）图像（提供了其他解剖信息）是快速MR成像的新解决方案。但是，当前的多对比超分辨率（SR）方法倾向于直接连接不同的对比度，从而忽略了它们在不同的线索中的关系，例如在高强度和低强度区域中。在这项研究中，我们提出了一个可分离的注意网络（包括高强度的优先注意力和低强度分离注意力），名为SANET。我们的卫生网可以借助辅助对比度探索“正向”和“反向”方向中高强度和低强度区域的区域，同时学习目标对比MR的SR的更清晰的解剖结构和边缘信息图片。 SANET提供了三个吸引人的好处：（1）这是第一个探索可分离的注意机制的模型，该机制使用辅助对比来预测高强度和低强度区域，将更多的注意力转移到精炼这些区域和这些区域之间的任何不确定细节和纠正重建结果中的细小区域。 （2）提出了一个多阶段集成模块，以学习多个阶段的多对比度融合的响应，获得融合表示之间的依赖性，并提高其表示能力。 （3）在FastMRI和Clinical \ textit {in Vivo}数据集上进行了各种最先进的多对比度SR方法的广泛实验，证明了我们模型的优势。

Medical images play an important role in clinical applications. Multimodal medical images could provide rich information about patients for physicians to diagnose. The image fusion technique is able to synthesize complementary information from multimodal images into a single image. This technique will prevent radiologists switch back and forth between different images and save lots of time in the diagnostic process. In this paper, we introduce a novel Dilated Residual Attention Network for the medical image fusion task. Our network is capable to extract multi-scale deep semantic features. Furthermore, we propose a novel fixed fusion strategy termed Softmax-based weighted strategy based on the Softmax weights and matrix nuclear norm. Extensive experiments show our proposed network and fusion strategy exceed the state-of-the-art performance compared with reference image fusion methods on four commonly used fusion metrics.

可变形的图像注册，估计不同图像之间的空间转换，是医学成像中的重要任务。许多先前的研究都使用基于学习的方法进行多阶段注册来执行3D图像注册以提高性能。但是，多阶段方法的性能受到不受单个空间尺度上复杂运动的接收场的大小的限制。我们提出了一个新的注册网络，结合了递归网络体系结构和相互注意机制，以克服这些局限性。与最先进的深度学习方法相比，基于递归结构的我们的网络达到了肺计算机断层扫描（CT）数据集的最高精度（肺部的骰子分数为92 \％，肺平均表面距离为3.8mm ），这是腹部CT数据集中最准确的结果之一，具有9个大小的器官（骰子得分为55 \％，平均表面距离为7.8mm）。我们还表明，添加3个递归网络足以达到最新结果，而没有明显增加推理时间。