本文考虑了快速MRI重建的问题。我们提出了一个基于变压器的新型框架，用于直接处理K空间中稀疏采样的信号，超出了像Convnets一样的常规网格的限制。我们采用频谱图的隐式表示，将空间坐标视为输入，并动态查询部分观察到的测量值以完成频谱图，即学习K空间中的电感偏置。为了在计算成本和重建质量之间保持平衡，我们分别建立了一个具有低分辨率和高分辨率解码器的层次结构。为了验证我们提出的模块的必要性，我们在两个公共数据集上进行了广泛的实验，并表现出优于最先进方法的卓越或可比性。

由于组织和骨骼之间的相似性，在人解剖结构中广泛看到了全球相关性。由于近距离质子密度和T1/T2参数，这些相关性反映在磁共振成像（MRI）扫描中。此外，为了实现加速的MRI，k空间数据的采样不足，从而导致全球混叠伪像。卷积神经网络（CNN）模型被广泛用于加速MRI重建，但是由于卷积操作的固有位置，这些模型在捕获全球相关性方面受到限制。基于自发的变压器模型能够捕获图像特征之间的全局相关性，但是，变压器模型对MRI重建的当前贡献是微小的。现有的贡献主要提供CNN转换器混合解决方案，并且很少利用MRI的物理学。在本文中，我们提出了一种基于物理的独立（无卷积）变压器模型，标题为“多头级联SWIN变压器（MCSTRA），用于加速MRI重建。 MCSTRA将几种相互关联的MRI物理相关概念与变压器网络相结合：它通过移动的窗口自我发场机制利用了全局MR特征；它使用多头设置分别提取属于不同光谱组件的MR特征；它通过级联的网络在中间脱氧和K空间校正之间进行迭代，该网络具有K空间和中间损耗计算中的数据一致性；此外，我们提出了一种新型的位置嵌入生成机制，以使用对应于底面采样掩码的点扩散函数来指导自我发作。我们的模型在视觉上和定量上都大大优于最先进的MRI重建方法，同时描述了改善的分辨率和去除词法。

卷积神经网络（CNN）和变压器在多媒体应用中取得了巨大成功。但是，几乎没有努力有效，有效地协调这两个架构以满足图像的范围。本文旨在统一这两种架构，以利用其学习优点来降低图像。特别是，CNN的局部连通性和翻译等效性以及变压器中自我注意力（SA）的全球聚合能力被完全利用用于特定的局部环境和全球结构表示。基于雨水分布揭示降解位置和程度的观察，我们在帮助背景恢复之前引入退化，并因此呈现关联细化方案。提出了一种新型的多输入注意模块（MAM），以将降雨的去除和背景恢复关联。此外，我们为模型配备了有效的深度可分离卷积，以学习特定的特征表示并权衡计算复杂性。广泛的实验表明，我们提出的方法（称为ELF）的表现平均比最先进的方法（MPRNET）优于0.25 dB，但仅占其计算成本和参数的11.7 \％和42.1 \％。源代码可从https://github.com/kuijiang94/magic-elf获得。

具有高分辨率（HR）的磁共振成像（MRI）提供了更详细的信息，以进行准确的诊断和定量图像分析。尽管取得了重大进展，但大多数现有的医学图像重建网络都有两个缺陷：1）所有这些缺陷都是在黑盒原理中设计的，因此缺乏足够的解释性并进一步限制其实际应用。可解释的神经网络模型引起了重大兴趣，因为它们在处理医学图像时增强了临床实践所需的可信赖性。 2）大多数现有的SR重建方法仅使用单个对比度或使用简单的多对比度融合机制，从而忽略了对SR改进至关重要的不同对比度之间的复杂关系。为了解决这些问题，在本文中，提出了一种新颖的模型引导的可解释的深层展开网络（MGDUN），用于医学图像SR重建。模型引导的图像SR重建方法求解手动设计的目标函数以重建HR MRI。我们通过将MRI观察矩阵和显式多对比度关系矩阵考虑到末端到端优化期间，将迭代的MGDUN算法展示为新型模型引导的深层展开网络。多对比度IXI数据集和Brats 2019数据集进行了广泛的实验，证明了我们提出的模型的优势。

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-ofthe-art single image super-resolution approaches.

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

在本文中，我们呈现了UFFORER，一种用于图像恢复的有效和高效的变换器架构，其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中，有两个核心设计。首先，我们介绍了一个新颖的本地增强型窗口（Lewin）变压器块，其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性，同时捕获本地上下文。其次，我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器，以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力，用于恢复各种图像恢复任务的详细信息，同时引入边缘额外参数和计算成本。通过这两个设计提供支持，UFFORER享有高能力，可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法，在几种图像恢复任务中进行了广泛的实验，包括图像去噪，运动脱棕，散焦和污染物。没有钟声和口哨，与最先进的算法相比，我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。

High Resolution (HR) medical images provide rich anatomical structure details to facilitate early and accurate diagnosis. In MRI, restricted by hardware capacity, scan time, and patient cooperation ability, isotropic 3D HR image acquisition typically requests long scan time and, results in small spatial coverage and low SNR. Recent studies showed that, with deep convolutional neural networks, isotropic HR MR images could be recovered from low-resolution (LR) input via single image super-resolution (SISR) algorithms. However, most existing SISR methods tend to approach a scale-specific projection between LR and HR images, thus these methods can only deal with a fixed up-sampling rate. For achieving different up-sampling rates, multiple SR networks have to be built up respectively, which is very time-consuming and resource-intensive. In this paper, we propose ArSSR, an Arbitrary Scale Super-Resolution approach for recovering 3D HR MR images. In the ArSSR model, the reconstruction of HR images with different up-scaling rates is defined as learning a continuous implicit voxel function from the observed LR images. Then the SR task is converted to represent the implicit voxel function via deep neural networks from a set of paired HR-LR training examples. The ArSSR model consists of an encoder network and a decoder network. Specifically, the convolutional encoder network is to extract feature maps from the LR input images and the fully-connected decoder network is to approximate the implicit voxel function. Due to the continuity of the learned function, a single ArSSR model can achieve arbitrary up-sampling rate reconstruction of HR images from any input LR image after training. Experimental results on three datasets show that the ArSSR model can achieve state-of-the-art SR performance for 3D HR MR image reconstruction while using a single trained model to achieve arbitrary up-sampling scales.

缩短采集时间和减少动作伪影是磁共振成像中最重要的两个问题。作为一个有前途的解决方案，已经研究了基于深度学习的高质量MR图像恢复，以产生从缩短采集时间获取的较低分辨率图像的更高分辨率和自由运动伪影图像，而不降低额外的获取时间或修改脉冲序列。然而，仍有许多问题仍然存在，以防止深度学习方法在临床环境中变得实用。具体而言，大多数先前的作品专注于网络模型，但忽略了各种下采样策略对采集时间的影响。此外，长推理时间和高GPU消耗也是瓶颈，以便在诊所部署大部分产品。此外，先验研究采用回顾性运动伪像产生随机运动，导致运动伪影的无法控制的严重程度。更重要的是，医生不确定生成的MR图像是否值得信赖，使诊断困难。为了克服所有这些问题，我们雇用了一个统一的2D深度学习神经网络，用于3D MRI超级分辨率和运动伪影，展示这种框架可以在3D MRI恢复任务中实现更好的性能与最艺术方法的其他状态，并且仍然存在GPU消耗和推理时间明显低，从而更易于部署。我们还基于加速度分析了几种下式采样策略，包括在平面内和穿过平面下采样的多种组合，并开发了一种可控和可量化的运动伪影生成方法。最后，计算并用于估计生成图像的准确性的像素 - 明智的不确定性，提供可靠诊断的附加信息。

磁共振成像（MRI）是一种重要的非侵入性临床工具，可以产生高分辨率和可重复的图像。然而，高质量的MR图像需要长时间的扫描时间，这导致患者的疲惫和不适，由于患者的自愿运动和非自愿的生理运动，诱导更多人工制品。为了加速扫描过程，通过K空间欠采样和基于深度学习的重建的方法已经推广。这项工作引进了SwinMR，这是一种基于新型的Swin变压器的快速MRI重建方法。整个网络由输入模块（IM）组成，特征提取模块（FEM）和输出模块（OM）。 IM和OM是2D卷积层，并且FEM由级联的残留的Swin变压器块（RSTBS）和2D卷积层组成。 RSTB由一系列SWIN变压器层（STL）组成。 STL的Shifted Windows多头自我关注（W-MSA / SW-MSA）在移位的窗口中执行，而不是整个图像空间中原始变压器的多头自我关注（MSA）。通过使用灵敏度图提出了一种新的多通道损耗，这被证明是为了保留更多纹理和细节。我们在Calgary-Campinas公共大脑MR DataSet中进行了一系列比较研究和消融研究，并在多模态脑肿瘤细分挑战2017年数据集中进行了下游分段实验。结果表明，与其他基准方法相比，我们的SwinMR实现了高质量的重建，并且它在噪音中断和不同的数据集中显示了不同的遮光罩掩模的稳健性。该代码在https://github.com/ayanglab/swinmr公开使用。

Image super-resolution (SR) serves as a fundamental tool for the processing and transmission of multimedia data. Recently, Transformer-based models have achieved competitive performances in image SR. They divide images into fixed-size patches and apply self-attention on these patches to model long-range dependencies among pixels. However, this architecture design is originated for high-level vision tasks, which lacks design guideline from SR knowledge. In this paper, we aim to design a new attention block whose insights are from the interpretation of Local Attribution Map (LAM) for SR networks. Specifically, LAM presents a hierarchical importance map where the most important pixels are located in a fine area of a patch and some less important pixels are spread in a coarse area of the whole image. To access pixels in the coarse area, instead of using a very large patch size, we propose a lightweight Global Pixel Access (GPA) module that applies cross-attention with the most similar patch in an image. In the fine area, we use an Intra-Patch Self-Attention (IPSA) module to model long-range pixel dependencies in a local patch, and then a $3\times3$ convolution is applied to process the finest details. In addition, a Cascaded Patch Division (CPD) strategy is proposed to enhance perceptual quality of recovered images. Extensive experiments suggest that our method outperforms state-of-the-art lightweight SR methods by a large margin. Code is available at https://github.com/passerer/HPINet.

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。

作为新一代神经体系结构的变形金刚在自然语言处理和计算机视觉方面表现出色。但是，现有的视觉变形金刚努力使用有限的医学数据学习，并且无法概括各种医学图像任务。为了应对这些挑战，我们将Medformer作为数据量表变压器呈现为可推广的医学图像分割。关键设计结合了理想的电感偏差，线性复杂性的层次建模以及以空间和语义全局方式以线性复杂性的关注以及多尺度特征融合。 Medformer可以在不预训练的情况下学习微小至大规模的数据。广泛的实验表明，Medformer作为一般分割主链的潜力，在三个具有多种模式（例如CT和MRI）和多样化的医学靶标（例如，健康器官，疾病，疾病组织和肿瘤）的三个公共数据集上优于CNN和视觉变压器。我们将模型和评估管道公开可用，为促进广泛的下游临床应用提供固体基线和无偏比较。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

使用卷积神经网络（CNN）的最先进的磁共振（MR）图像超分辨率方法（ISR）由于CNN的空间覆盖率有限，因此在有限的上下文信息中利用有限的上下文信息。Vision Transformers（VIT）学习更好的全球环境，这有助于产生优质的HR图像。我们将CNN的本地信息和来自VIT的全局信息结合在一起，以获得图像超级分辨率和输出超级分辨率的图像，这些图像的质量比最先进的方法所产生的质量更高。我们通过多个新颖的损失函数包括额外的约束，这些损失功能将结构和纹理信息从低分辨率到高分辨率图像。

在相应的辅助对比的指导下，目标对比度的超级分辨磁共振（MR）图像（提供了其他解剖信息）是快速MR成像的新解决方案。但是，当前的多对比超分辨率（SR）方法倾向于直接连接不同的对比度，从而忽略了它们在不同的线索中的关系，例如在高强度和低强度区域中。在这项研究中，我们提出了一个可分离的注意网络（包括高强度的优先注意力和低强度分离注意力），名为SANET。我们的卫生网可以借助辅助对比度探索“正向”和“反向”方向中高强度和低强度区域的区域，同时学习目标对比MR的SR的更清晰的解剖结构和边缘信息图片。 SANET提供了三个吸引人的好处：（1）这是第一个探索可分离的注意机制的模型，该机制使用辅助对比来预测高强度和低强度区域，将更多的注意力转移到精炼这些区域和这些区域之间的任何不确定细节和纠正重建结果中的细小区域。 （2）提出了一个多阶段集成模块，以学习多个阶段的多对比度融合的响应，获得融合表示之间的依赖性，并提高其表示能力。 （3）在FastMRI和Clinical \ textit {in Vivo}数据集上进行了各种最先进的多对比度SR方法的广泛实验，证明了我们模型的优势。

深度学习网络在快速磁共振成像（MRI）重建中显示出令人鼓舞的结果。在我们的工作中，我们开发了深层网络，以进一步提高重建的定量和感知质量。首先，我们提出了Reconsynergynet（RSN），该网络结合了在图像和傅立叶域上独立运行的互补益处。对于单线采集，我们引入了深层级联RSN（DC-RSN），这是一个与数据保真度（DF）单位交织在一起的RSN块的级联。其次，我们通过协助T1加权成像（T1WI）的帮助，这是T2加权成像（T2WI）的DC-RSN的结构恢复，这是一个短时间采集时间的序列。通过日志功能（高尔夫）融合的梯度为DC-RSN提供T1援助。此外，我们建议感知改进网络（PRN）来完善重建以获得更好的视觉信息保真度（VIF），这是一种与放射科医生对图像质量高度相关的指标。最后，对于多线圈采集，我们提出了可变拆分RSN（VS-RSN），深层块，每个块，包含RSN，多圈DF单元和加权平均模块。我们广泛验证了单线和多线圈采集的模型DC-RSN和VS-RSN，并报告最先进的性能。我们在FastMRI中获得了0.768、0.923、0.878的SSIM，单线圈-4X，多螺旋-4X和多型圈-8X的SSIM为0.878。我们还进行了实验，以证明基于高尔夫的T1援助和PRN的功效。

在临床医学中，磁共振成像（MRI）是诊断，分类，预后和治疗计划中最重要的工具之一。然而，MRI遭受了固有的慢数据采集过程，因为数据在k空间中顺序收集。近年来，大多数MRI重建方法在文献中侧重于整体图像重建而不是增强边缘信息。这项工作通过详细说明了对边缘信息的提高来阐述了这一趋势。具体地，我们通过结合多视图信息介绍一种用于快速多通道MRI重建的新型并行成像耦合双鉴别器生成的对抗网络（PIDD-GaN）。双判别设计旨在改善MRI重建中的边缘信息。一个鉴别器用于整体图像重建，而另一个鉴别器是负责增强边缘信息的负责。为发电机提出了一种具有本地和全局剩余学习的改进的U-Net。频率通道注意块（FCA块）嵌入在发电机中以结合注意力机制。引入内容损耗以培训发电机以获得更好的重建质量。我们对Calgary-Campinas公共大脑MR DataSet进行了全面的实验，并将我们的方法与最先进的MRI重建方法进行了比较。在MICCAI13数据集上进行了对剩余学习的消融研究，以验证所提出的模块。结果表明，我们的PIDD-GaN提供高质量的重建MR图像，具有良好的边缘信息。单图像重建的时间低于5ms，符合加快处理的需求。

随着深度学习的发展，单图像超分辨率（SISR）取得了重大突破。最近，已经提出了基于全局特征交互的SISR网络性能的方法。但是，需要动态地忽略对上下文的响应的神经元的功能。为了解决这个问题，我们提出了一个轻巧的交叉障碍性推理网络（CFIN），这是一个由卷积神经网络（CNN）和变压器组成的混合网络。具体而言，一种新型的交叉磁场导向变压器（CFGT）旨在通过使用调制卷积内核与局部代表性语义信息结合来自适应修改网络权重。此外，提出了基于CNN的跨尺度信息聚合模块（CIAM），以使模型更好地专注于潜在的实用信息并提高变压器阶段的效率。广泛的实验表明，我们提出的CFIN是一种轻巧有效的SISR模型，可以在计算成本和模型性能之间达到良好的平衡。