基于深度学习（DL）磁共振（MR）图像重建的方法已被证明近年来产生卓越的性能。但是，这些方法只利用被采样的数据，或者需要配对的全采样辅助模型来执行多模态重建。因此，现有的方法忽略了探索可以将纹理从引用完全采样数据转移到单个模态内的欠采样数据的注意力机制，这限制了这些方法在具有挑战性的情况下。在本文中，我们提出了一种新颖的纹理变压器模块（TTM），用于加速MRI重建，其中我们将欠采样的数据和参考数据作为验证和键在变压器中装订。 TTM促进了跨越采样和参考数据的联合特征学习，因此可以通过注意，在重建期间可以利用精确的纹理特征来发现特征对应关系。值得注意的是，所提出的TTM可以依赖于先前的MRI重建方法，以进一步提高其性能。广泛的实验表明，TTM可以显着提高几个流行的基于DL的MRI重建方法的性能。

We study on image super-resolution (SR), which aims to recover realistic textures from a low-resolution (LR) image. Recent progress has been made by taking high-resolution images as references (Ref), so that relevant textures can be transferred to LR images. However, existing SR approaches neglect to use attention mechanisms to transfer high-resolution (HR) textures from Ref images, which limits these approaches in challenging cases. In this paper, we propose a novel Texture Transformer Network for Image Super-Resolution (TTSR), in which the LR and Ref images are formulated as queries and keys in a transformer, respectively. TTSR consists of four closely-related modules optimized for image generation tasks, including a learnable texture extractor by DNN, a relevance embedding module, a hard-attention module for texture transfer, and a softattention module for texture synthesis. Such a design encourages joint feature learning across LR and Ref images, in which deep feature correspondences can be discovered by attention, and thus accurate texture features can be transferred. The proposed texture transformer can be further stacked in a cross-scale way, which enables texture recovery from different levels (e.g., from 1× to 4× magnification). Extensive experiments show that TTSR achieves significant improvements over state-of-the-art approaches on both quantitative and qualitative evaluations. The source code can be downloaded at https://github.com/ researchmm/TTSR.

最近关于其他方式的核化图像T1辅助MRI重建的研究表明，进一步加速MRI收购其他方式的潜力。大多数最先进的方法通过开发用于固定的欠采样模式的网络架构来实现改进，而不完全利用方式之间的互补信息。尽管可以简单地修改现有的下采样模式学习算法以允许完全采样的T1加权MR图像来辅助模式学习，但是可以实现重建任务的显着改进。为此，我们提出了一个迭代框架，优化了MRI获取的另一种方式的采样下采样模式，可以在不同的下抽样因子中补充完全采样的T1加权MR图像，同时共同优化T1辅助MRI重建模型。具体地，我们所提出的方法利用两种模式之间的潜在信息的差异来确定可以最大化T1加权MR图像的辅助功率在改善MRI重建时最大化的采样模式。与常用的下采样模式和最先进的方法相比，我们在公共数据集中展示了我们在公共数据集上的学习的下采样模式的卓越表现，可以联合优化重建网络和欠采样模式以8倍的取样因子。

Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.

磁共振成像（MRI）的核心问题是加速度和图像质量之间的折衷。图像重建和超分辨率是磁共振成像（MRI）中的两个重要技术。目前的方法旨在单独执行这些任务，忽略它们之间的相关性。在这项工作中，我们为联合MRI重建和超分辨率提出了一个端到端的任务变压器网络（T $ ^ 2 $ net），它允许在多项任务之间共享表示和特征传输以实现更高质量的，来自高度遮盖率和退化的MRI数据的无序和运动伪影的图像。我们的框架与重建和超分辨率相结合，分为两个子分支，其功能表示为查询和键。具体地，我们鼓励两个任务之间的联合特征学习，从而传输准确的任务信息。我们首先使用两个单独的CNN分支来提取特定于任务的功能。然后，任务变压器模块旨在嵌入和综合两个任务之间的相关性。实验结果表明，我们的多任务模型显着优于高级顺序方法，包括定量和定性。

具有高分辨率（HR）的磁共振成像（MRI）提供了更详细的信息，以进行准确的诊断和定量图像分析。尽管取得了重大进展，但大多数现有的医学图像重建网络都有两个缺陷：1）所有这些缺陷都是在黑盒原理中设计的，因此缺乏足够的解释性并进一步限制其实际应用。可解释的神经网络模型引起了重大兴趣，因为它们在处理医学图像时增强了临床实践所需的可信赖性。 2）大多数现有的SR重建方法仅使用单个对比度或使用简单的多对比度融合机制，从而忽略了对SR改进至关重要的不同对比度之间的复杂关系。为了解决这些问题，在本文中，提出了一种新颖的模型引导的可解释的深层展开网络（MGDUN），用于医学图像SR重建。模型引导的图像SR重建方法求解手动设计的目标函数以重建HR MRI。我们通过将MRI观察矩阵和显式多对比度关系矩阵考虑到末端到端优化期间，将迭代的MGDUN算法展示为新型模型引导的深层展开网络。多对比度IXI数据集和Brats 2019数据集进行了广泛的实验，证明了我们提出的模型的优势。

由于组织和骨骼之间的相似性，在人解剖结构中广泛看到了全球相关性。由于近距离质子密度和T1/T2参数，这些相关性反映在磁共振成像（MRI）扫描中。此外，为了实现加速的MRI，k空间数据的采样不足，从而导致全球混叠伪像。卷积神经网络（CNN）模型被广泛用于加速MRI重建，但是由于卷积操作的固有位置，这些模型在捕获全球相关性方面受到限制。基于自发的变压器模型能够捕获图像特征之间的全局相关性，但是，变压器模型对MRI重建的当前贡献是微小的。现有的贡献主要提供CNN转换器混合解决方案，并且很少利用MRI的物理学。在本文中，我们提出了一种基于物理的独立（无卷积）变压器模型，标题为“多头级联SWIN变压器（MCSTRA），用于加速MRI重建。 MCSTRA将几种相互关联的MRI物理相关概念与变压器网络相结合：它通过移动的窗口自我发场机制利用了全局MR特征；它使用多头设置分别提取属于不同光谱组件的MR特征；它通过级联的网络在中间脱氧和K空间校正之间进行迭代，该网络具有K空间和中间损耗计算中的数据一致性；此外，我们提出了一种新型的位置嵌入生成机制，以使用对应于底面采样掩码的点扩散函数来指导自我发作。我们的模型在视觉上和定量上都大大优于最先进的MRI重建方法，同时描述了改善的分辨率和去除词法。

Cross-modality magnetic resonance (MR) image synthesis aims to produce missing modalities from existing ones. Currently, several methods based on deep neural networks have been developed using both source- and target-modalities in a supervised learning manner. However, it remains challenging to obtain a large amount of completely paired multi-modal training data, which inhibits the effectiveness of existing methods. In this paper, we propose a novel Self-supervised Learning-based Multi-scale Transformer Network (SLMT-Net) for cross-modality MR image synthesis, consisting of two stages, \ie, a pre-training stage and a fine-tuning stage. During the pre-training stage, we propose an Edge-preserving Masked AutoEncoder (Edge-MAE), which preserves the contextual and edge information by simultaneously conducting the image reconstruction and the edge generation. Besides, a patch-wise loss is proposed to treat the input patches differently regarding their reconstruction difficulty, by measuring the difference between the reconstructed image and the ground-truth. In this case, our Edge-MAE can fully leverage a large amount of unpaired multi-modal data to learn effective feature representations. During the fine-tuning stage, we present a Multi-scale Transformer U-Net (MT-UNet) to synthesize the target-modality images, in which a Dual-scale Selective Fusion (DSF) module is proposed to fully integrate multi-scale features extracted from the encoder of the pre-trained Edge-MAE. Moreover, we use the pre-trained encoder as a feature consistency module to measure the difference between high-level features of the synthesized image and the ground truth one. Experimental results show the effectiveness of the proposed SLMT-Net, and our model can reliably synthesize high-quality images when the training set is partially unpaired. Our code will be publicly available at https://github.com/lyhkevin/SLMT-Net.

磁共振成像（MRI）是一种重要的非侵入性临床工具，可以产生高分辨率和可重复的图像。然而，高质量的MR图像需要长时间的扫描时间，这导致患者的疲惫和不适，由于患者的自愿运动和非自愿的生理运动，诱导更多人工制品。为了加速扫描过程，通过K空间欠采样和基于深度学习的重建的方法已经推广。这项工作引进了SwinMR，这是一种基于新型的Swin变压器的快速MRI重建方法。整个网络由输入模块（IM）组成，特征提取模块（FEM）和输出模块（OM）。 IM和OM是2D卷积层，并且FEM由级联的残留的Swin变压器块（RSTBS）和2D卷积层组成。 RSTB由一系列SWIN变压器层（STL）组成。 STL的Shifted Windows多头自我关注（W-MSA / SW-MSA）在移位的窗口中执行，而不是整个图像空间中原始变压器的多头自我关注（MSA）。通过使用灵敏度图提出了一种新的多通道损耗，这被证明是为了保留更多纹理和细节。我们在Calgary-Campinas公共大脑MR DataSet中进行了一系列比较研究和消融研究，并在多模态脑肿瘤细分挑战2017年数据集中进行了下游分段实验。结果表明，与其他基准方法相比，我们的SwinMR实现了高质量的重建，并且它在噪音中断和不同的数据集中显示了不同的遮光罩掩模的稳健性。该代码在https://github.com/ayanglab/swinmr公开使用。

磁共振成像（MRI）是重要的医学成像模型，而需要长时间的采集时间。为了减少采集​​时间，已经提出了各种方法。然而，这些方法未能以明确的结构重建图像，以两种主要原因。首先，在MR图像中广泛存在的类似补丁，而最先前的基于深度学习的方法忽略此属性，并且仅采用CNN学习本地信息。其次，现有方法仅使用清晰的图像来限制解决方案空间的上限，而下限不会受约束，从而无法获得网络的更好参数。为了解决这些问题，我们向本地和全球学习MRI重建网络（CLGNET）提出了对比的学习。具体地，根据傅立叶理论，傅里叶域中的每个值由空间域中的所有值计算。因此，我们提出了一种空间和傅里叶层（SFL），以同时学习空间和傅立叶域中的本地和全局信息。此外，与自我关注和变压器相比，SFL具有更强的学习能力，可以在更短的时间内实现更好的性能。基于SFL，我们设计了一个空间和傅里叶的剩余块作为模型的主要组成部分。同时，要限制解决方案空间的下限和上限，我们引入了对比度学习，这可以将结果拉到清晰图像上，并将结果推到远离下采样的图像。不同数据集和加速率的广泛实验结果表明，所提出的CLGNET实现了新的最先进的结果。

基于参考的图像超分辨率（REFSR）旨在利用辅助参考（REF）图像为超溶解的低分辨率（LR）图像。最近，RefSR引起了极大的关注，因为它提供了超越单图SR的替代方法。但是，解决REFSR问题有两个关键的挑战：（i）当它们显着不同时，很难匹配LR和Ref图像之间的对应关系； （ii）如何将相关纹理从参考图像转移以补偿LR图像的细节非常具有挑战性。为了解决RefSR的这些问题，本文提出了一个可变形的注意变压器，即DATSR，具有多个尺度，每个尺度由纹理特征编码器（TFE）模块组成，基于参考的可变形注意（RDA）模块和残差功能聚合（RFA）模块。具体而言，TFE首先提取图像转换（例如，亮度）不敏感的LR和REF图像，RDA可以利用多个相关纹理来补偿更多的LR功能信息，而RFA最终汇总了LR功能和相关纹理，以获得更愉快的宜人的质地结果。广泛的实验表明，我们的DATSR在定量和质量上实现了基准数据集上的最新性能。

在相应的辅助对比的指导下，目标对比度的超级分辨磁共振（MR）图像（提供了其他解剖信息）是快速MR成像的新解决方案。但是，当前的多对比超分辨率（SR）方法倾向于直接连接不同的对比度，从而忽略了它们在不同的线索中的关系，例如在高强度和低强度区域中。在这项研究中，我们提出了一个可分离的注意网络（包括高强度的优先注意力和低强度分离注意力），名为SANET。我们的卫生网可以借助辅助对比度探索“正向”和“反向”方向中高强度和低强度区域的区域，同时学习目标对比MR的SR的更清晰的解剖结构和边缘信息图片。 SANET提供了三个吸引人的好处：（1）这是第一个探索可分离的注意机制的模型，该机制使用辅助对比来预测高强度和低强度区域，将更多的注意力转移到精炼这些区域和这些区域之间的任何不确定细节和纠正重建结果中的细小区域。 （2）提出了一个多阶段集成模块，以学习多个阶段的多对比度融合的响应，获得融合表示之间的依赖性，并提高其表示能力。 （3）在FastMRI和Clinical \ textit {in Vivo}数据集上进行了各种最先进的多对比度SR方法的广泛实验，证明了我们模型的优势。

深度学习网络在快速磁共振成像（MRI）重建中显示出令人鼓舞的结果。在我们的工作中，我们开发了深层网络，以进一步提高重建的定量和感知质量。首先，我们提出了Reconsynergynet（RSN），该网络结合了在图像和傅立叶域上独立运行的互补益处。对于单线采集，我们引入了深层级联RSN（DC-RSN），这是一个与数据保真度（DF）单位交织在一起的RSN块的级联。其次，我们通过协助T1加权成像（T1WI）的帮助，这是T2加权成像（T2WI）的DC-RSN的结构恢复，这是一个短时间采集时间的序列。通过日志功能（高尔夫）融合的梯度为DC-RSN提供T1援助。此外，我们建议感知改进网络（PRN）来完善重建以获得更好的视觉信息保真度（VIF），这是一种与放射科医生对图像质量高度相关的指标。最后，对于多线圈采集，我们提出了可变拆分RSN（VS-RSN），深层块，每个块，包含RSN，多圈DF单元和加权平均模块。我们广泛验证了单线和多线圈采集的模型DC-RSN和VS-RSN，并报告最先进的性能。我们在FastMRI中获得了0.768、0.923、0.878的SSIM，单线圈-4X，多螺旋-4X和多型圈-8X的SSIM为0.878。我们还进行了实验，以证明基于高尔夫的T1援助和PRN的功效。

产生相同解剖结构的多对比度/模态MRI丰富了诊断信息，但由于数据获取时间过多而在实践中受到限制。在本文中，我们提出了一种新的深入学习模型，用于使用几种源模态的不完整的k空间数据作为输入，用于联合重建和合成多模式MRI。我们模型的输出包括源模式的重建图像和目标模式中合成的高质量图像。我们提出的模型被公式化为一个变异问题，该问题利用了几个可学习的特定特征提取器和多模式合成模块。我们提出了一种可学习的优化算法来求解该模型，该算法可以使用多模式MRI数据训练其参数的多相网络。此外，采用了一个二线优化框架进行鲁棒参数训练。我们使用广泛的数值实验证明了方法的有效性。

多对比度MRI（MC-MRI）捕获了多种互补成像方式，以帮助放射决策。鉴于需要降低多次收购的时间成本，当前的深度加速MRI重建网络集中于利用多个对比度之间的冗余。但是，现有的作品在很大程度上受到了配对数据和/或过度昂贵的完全采样的MRI序列的监督。此外，重建网络通常依赖于卷积体系结构，这些卷积体系结构在建模远程相互作用的能力上受到限制，并可能导致良好的解剖学细节的次优恢复。对于这些目的，我们提出了一个双域自我监督的变压器（DSFORMER），用于加速MC-MRI重建。 DSFormer开发了一个深层条件级联变压器（DCCT），该变压器由几个级联的Swin Transformer重建网络（SWINRN）组成，该网络（SWINRN）在两种深层调理策略下训练，以实现MC-MRI信息共享。我们进一步提出了DCCT的双域（图像和K空间）自我监督的学习策略，以减轻获取完全采样的培训数据的成本。 DSFormer会生成高保真重建，从而超过电流完全监督的基线。此外，我们发现，通过全面监督或我们提出的双域自学训练，DSFORMER可以实现几乎相同的性能。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

压缩传感（CS）一直在加速磁共振成像（MRI）采集过程中的关键作用。随着人工智能的复苏，深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性，多样性和表现的大量增长，这些技术致力于快速MRI。在该荟萃分析中，我们系统地审查了快速MRI的深度学习的CS技术，描述了关键模型设计，突出突破，并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统，以评估深度学习在基于CS的加速度的MRI的关键作用。

磁共振成像可以产生人体解剖和生理学的详细图像，可以帮助医生诊断和治疗肿瘤等病理。然而，MRI遭受了非常长的收购时间，使其易于患者运动伪影并限制其潜力以提供动态治疗。诸如并行成像和压缩感测的常规方法允许通过使用多个接收器线圈获取更少的MRI数据来改变MR图像来增加MRI采集速度。深度学习的最新进步与平行成像和压缩传感技术相结合，具有从高度加速的MRI数据产生高保真重建。在这项工作中，我们通过利用卷积复发网络的特性和展开算法来解决复发变分网络（RevurrentVarnet）的加速改变网络（RevurrentVarnet）的任务，提出了一种基于深入的深度学习的反问题解决者。 RevurrentVarnet由多个块组成，每个块都负责梯度下降优化算法的一个展开迭代，以解决逆问题。与传统方法相反，优化步骤在观察域（$ k $ -space）而不是图像域中进行。每次反复出的Varnet块都会通过观察到的$ k $ -space，并由数据一致性术语和复制单元组成，它将作为输入的隐藏状态和前一个块的预测。我们所提出的方法实现了新的最新状态，定性和定量重建导致来自公共多通道脑数据集的5倍和10倍加速数据，优于以前的传统和基于深度学习的方法。我们将在公共存储库上释放所有型号代码和基线。

Medical images play an important role in clinical applications. Multimodal medical images could provide rich information about patients for physicians to diagnose. The image fusion technique is able to synthesize complementary information from multimodal images into a single image. This technique will prevent radiologists switch back and forth between different images and save lots of time in the diagnostic process. In this paper, we introduce a novel Dilated Residual Attention Network for the medical image fusion task. Our network is capable to extract multi-scale deep semantic features. Furthermore, we propose a novel fixed fusion strategy termed Softmax-based weighted strategy based on the Softmax weights and matrix nuclear norm. Extensive experiments show our proposed network and fusion strategy exceed the state-of-the-art performance compared with reference image fusion methods on four commonly used fusion metrics.

磁共振成像是临床诊断的重要工具。但是，它遭受了漫长的收购时间。深度学习的利用，尤其是深层生成模型，在磁共振成像中提供了积极的加速和更好的重建。然而，学习数据分布作为先验知识并从有限数据中重建图像仍然具有挑战性。在这项工作中，我们提出了一种新颖的Hankel-K空间生成模型（HKGM），该模型可以从一个k-空间数据的训练集中生成样品。在先前的学习阶段，我们首先从k空间数据构建一个大的Hankel矩阵，然后从大型Hankel矩阵中提取多个结构化的K空间贴片，以捕获不同斑块之间的内部分布。从Hankel矩阵中提取斑块使生成模型可以从冗余和低级别的数据空间中学习。在迭代重建阶段，可以观察到所需的解决方案遵守学识渊博的先验知识。通过将其作为生成模型的输入来更新中间重建解决方案。然后，通过对测量数据对其Hankel矩阵和数据一致性组合施加低排名的惩罚来替代地进行操作。实验结果证实，单个K空间数据中斑块的内部统计数据具有足够的信息来学习强大的生成模型并提供最新的重建。