由于组织和骨骼之间的相似性，在人解剖结构中广泛看到了全球相关性。由于近距离质子密度和T1/T2参数，这些相关性反映在磁共振成像（MRI）扫描中。此外，为了实现加速的MRI，k空间数据的采样不足，从而导致全球混叠伪像。卷积神经网络（CNN）模型被广泛用于加速MRI重建，但是由于卷积操作的固有位置，这些模型在捕获全球相关性方面受到限制。基于自发的变压器模型能够捕获图像特征之间的全局相关性，但是，变压器模型对MRI重建的当前贡献是微小的。现有的贡献主要提供CNN转换器混合解决方案，并且很少利用MRI的物理学。在本文中，我们提出了一种基于物理的独立（无卷积）变压器模型，标题为“多头级联SWIN变压器（MCSTRA），用于加速MRI重建。 MCSTRA将几种相互关联的MRI物理相关概念与变压器网络相结合：它通过移动的窗口自我发场机制利用了全局MR特征；它使用多头设置分别提取属于不同光谱组件的MR特征；它通过级联的网络在中间脱氧和K空间校正之间进行迭代，该网络具有K空间和中间损耗计算中的数据一致性；此外，我们提出了一种新型的位置嵌入生成机制，以使用对应于底面采样掩码的点扩散函数来指导自我发作。我们的模型在视觉上和定量上都大大优于最先进的MRI重建方法，同时描述了改善的分辨率和去除词法。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

磁共振成像（MRI）是一种重要的非侵入性临床工具，可以产生高分辨率和可重复的图像。然而，高质量的MR图像需要长时间的扫描时间，这导致患者的疲惫和不适，由于患者的自愿运动和非自愿的生理运动，诱导更多人工制品。为了加速扫描过程，通过K空间欠采样和基于深度学习的重建的方法已经推广。这项工作引进了SwinMR，这是一种基于新型的Swin变压器的快速MRI重建方法。整个网络由输入模块（IM）组成，特征提取模块（FEM）和输出模块（OM）。 IM和OM是2D卷积层，并且FEM由级联的残留的Swin变压器块（RSTBS）和2D卷积层组成。 RSTB由一系列SWIN变压器层（STL）组成。 STL的Shifted Windows多头自我关注（W-MSA / SW-MSA）在移位的窗口中执行，而不是整个图像空间中原始变压器的多头自我关注（MSA）。通过使用灵敏度图提出了一种新的多通道损耗，这被证明是为了保留更多纹理和细节。我们在Calgary-Campinas公共大脑MR DataSet中进行了一系列比较研究和消融研究，并在多模态脑肿瘤细分挑战2017年数据集中进行了下游分段实验。结果表明，与其他基准方法相比，我们的SwinMR实现了高质量的重建，并且它在噪音中断和不同的数据集中显示了不同的遮光罩掩模的稳健性。该代码在https://github.com/ayanglab/swinmr公开使用。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

多对比度MRI（MC-MRI）捕获了多种互补成像方式，以帮助放射决策。鉴于需要降低多次收购的时间成本，当前的深度加速MRI重建网络集中于利用多个对比度之间的冗余。但是，现有的作品在很大程度上受到了配对数据和/或过度昂贵的完全采样的MRI序列的监督。此外，重建网络通常依赖于卷积体系结构，这些卷积体系结构在建模远程相互作用的能力上受到限制，并可能导致良好的解剖学细节的次优恢复。对于这些目的，我们提出了一个双域自我监督的变压器（DSFORMER），用于加速MC-MRI重建。 DSFormer开发了一个深层条件级联变压器（DCCT），该变压器由几个级联的Swin Transformer重建网络（SWINRN）组成，该网络（SWINRN）在两种深层调理策略下训练，以实现MC-MRI信息共享。我们进一步提出了DCCT的双域（图像和K空间）自我监督的学习策略，以减轻获取完全采样的培训数据的成本。 DSFormer会生成高保真重建，从而超过电流完全监督的基线。此外，我们发现，通过全面监督或我们提出的双域自学训练，DSFORMER可以实现几乎相同的性能。

目的：并行成像通过用一系列接收器线圈获取其他灵敏度信息，从而加速了磁共振成像（MRI）数据，从而降低了相位编码步骤。压缩传感磁共振成像（CS-MRI）在医学成像领域中获得了普及，因为其数据要求较少，而不是平行成像。并行成像和压缩传感（CS）均通过最大程度地减少K空间中捕获的数据量来加快传统MRI获取。由于采集时间与样品的数量成反比，因此从缩短的K空间样品中的图像的反向形成会导致收购更快，但具有混乱的伪像。本文提出了一种新型的生成对抗网络（GAN），即雷德格尔（Recgan-gr）受到多模式损失的监督，以消除重建的图像。方法：与现有的GAN网络相反，我们提出的方法引入了一种新型的发电机网络，即与双域损耗函数集成的弹药网络，包括加权幅度和相位损耗函数以及基于平行成像的损失，即Grappa一致性损失。提出了K空间校正块，以使GAN网络自动化生成不必要的数据，从而使重建过程的收敛性更快。结果：全面的结果表明，拟议的Recgan-GR在基于GAN的方法中的PSNR有4 dB的改善，并且在文献中可用的传统最先进的CNN方法中有2 dB的改进。结论和意义：拟议的工作有助于显着改善低保留数据的图像质量，从而更快地获取了5倍或10倍。

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

减少磁共振（MR）图像采集时间可能会使MR检查更容易获得。包括深度学习模型在内的先前艺术已致力于解决长期MRI成像时间的问题。最近，深层生成模型在算法鲁棒性和使用灵活性方面具有巨大的潜力。然而，无法直接学习或使用任何现有方案。此外，还值得研究的是，深层生成模型如何在混合域上很好地工作。在这项工作中，通过利用基于深度能量的模型，我们提出了一个K空间和图像域协作生成模型，以全面估算从采样量未采样的测量中的MR数据。与最先进的实验比较表明，所提出的混合方法的重建精度较小，在不同的加速因子下更稳定。

可解释性和鲁棒性必须在临床应用中整合加速磁共振成像（MRI）重建的机器学习方法。这样做会允许快速高质量的解剖和病理学成像。数据一致性（DC）对于多模态数据的泛化至关重要，以及检测病理学的鲁棒性。这项工作提出了独立复发推理机（CIRIM）的级联，通过展开优化来评估DC，通过梯度下降，并通过设计的术语明确地明确。我们对CIRIM与其他展开的优化方法进行广泛的比较，是端到端变分网络（E2EVN）和轮辋，以及UNET和压缩感测（CS）。评估是分两个阶段完成的。首先，评估关于多次训练的MRI模型的学习，即用{t_1} $ - 加权和平凡对比，以及$ {t_2} $ - 加权膝盖数据。其次，在通过3D Flair MRI数据中重建依赖多发性硬化（MS）患者的3D Flair MRI数据来测试鲁棒性。结果表明，CIRIM在隐式强制执行DC时表现最佳，而E2EVN需要明确制定的DC。 CIRIM在重建临床MS数据时显示出最高病变对比度分辨率。与CS相比，性能提高了大约11％，而重建时间是二十次减少。

深度学习网络在快速磁共振成像（MRI）重建中显示出令人鼓舞的结果。在我们的工作中，我们开发了深层网络，以进一步提高重建的定量和感知质量。首先，我们提出了Reconsynergynet（RSN），该网络结合了在图像和傅立叶域上独立运行的互补益处。对于单线采集，我们引入了深层级联RSN（DC-RSN），这是一个与数据保真度（DF）单位交织在一起的RSN块的级联。其次，我们通过协助T1加权成像（T1WI）的帮助，这是T2加权成像（T2WI）的DC-RSN的结构恢复，这是一个短时间采集时间的序列。通过日志功能（高尔夫）融合的梯度为DC-RSN提供T1援助。此外，我们建议感知改进网络（PRN）来完善重建以获得更好的视觉信息保真度（VIF），这是一种与放射科医生对图像质量高度相关的指标。最后，对于多线圈采集，我们提出了可变拆分RSN（VS-RSN），深层块，每个块，包含RSN，多圈DF单元和加权平均模块。我们广泛验证了单线和多线圈采集的模型DC-RSN和VS-RSN，并报告最先进的性能。我们在FastMRI中获得了0.768、0.923、0.878的SSIM，单线圈-4X，多螺旋-4X和多型圈-8X的SSIM为0.878。我们还进行了实验，以证明基于高尔夫的T1援助和PRN的功效。

本文考虑了快速MRI重建的问题。我们提出了一个基于变压器的新型框架，用于直接处理K空间中稀疏采样的信号，超出了像Convnets一样的常规网格的限制。我们采用频谱图的隐式表示，将空间坐标视为输入，并动态查询部分观察到的测量值以完成频谱图，即学习K空间中的电感偏置。为了在计算成本和重建质量之间保持平衡，我们分别建立了一个具有低分辨率和高分辨率解码器的层次结构。为了验证我们提出的模块的必要性，我们在两个公共数据集上进行了广泛的实验，并表现出优于最先进方法的卓越或可比性。

随着深度学习方法的进步，如深度卷积神经网络，残余神经网络，对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法在不同应用中显示了最先进的性能，以便在脑肿瘤，肺癌，阿尔茨海默，乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等，使用各种方式。本文通过描述U-Net框架来提出这些方法的成功，然后通过执行1）型号的U-Net变体进行综合分析，2）模特内分类，建立更好的见解相关的挑战和解决方案。此外，本文还强调了基于U-Net框架在持续的大流行病，严重急性呼吸综合征冠状病毒2（SARS-COV-2）中的贡献也称为Covid-19。最后，分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战，以发现该领域的未来未来的研究方向。

Cross-modality magnetic resonance (MR) image synthesis aims to produce missing modalities from existing ones. Currently, several methods based on deep neural networks have been developed using both source- and target-modalities in a supervised learning manner. However, it remains challenging to obtain a large amount of completely paired multi-modal training data, which inhibits the effectiveness of existing methods. In this paper, we propose a novel Self-supervised Learning-based Multi-scale Transformer Network (SLMT-Net) for cross-modality MR image synthesis, consisting of two stages, \ie, a pre-training stage and a fine-tuning stage. During the pre-training stage, we propose an Edge-preserving Masked AutoEncoder (Edge-MAE), which preserves the contextual and edge information by simultaneously conducting the image reconstruction and the edge generation. Besides, a patch-wise loss is proposed to treat the input patches differently regarding their reconstruction difficulty, by measuring the difference between the reconstructed image and the ground-truth. In this case, our Edge-MAE can fully leverage a large amount of unpaired multi-modal data to learn effective feature representations. During the fine-tuning stage, we present a Multi-scale Transformer U-Net (MT-UNet) to synthesize the target-modality images, in which a Dual-scale Selective Fusion (DSF) module is proposed to fully integrate multi-scale features extracted from the encoder of the pre-trained Edge-MAE. Moreover, we use the pre-trained encoder as a feature consistency module to measure the difference between high-level features of the synthesized image and the ground truth one. Experimental results show the effectiveness of the proposed SLMT-Net, and our model can reliably synthesize high-quality images when the training set is partially unpaired. Our code will be publicly available at https://github.com/lyhkevin/SLMT-Net.

压缩传感（CS）一直在加速磁共振成像（MRI）采集过程中的关键作用。随着人工智能的复苏，深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性，多样性和表现的大量增长，这些技术致力于快速MRI。在该荟萃分析中，我们系统地审查了快速MRI的深度学习的CS技术，描述了关键模型设计，突出突破，并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统，以评估深度学习在基于CS的加速度的MRI的关键作用。

Convolutional Neural Networks (CNNs) with U-shaped architectures have dominated medical image segmentation, which is crucial for various clinical purposes. However, the inherent locality of convolution makes CNNs fail to fully exploit global context, essential for better recognition of some structures, e.g., brain lesions. Transformers have recently proven promising performance on vision tasks, including semantic segmentation, mainly due to their capability of modeling long-range dependencies. Nevertheless, the quadratic complexity of attention makes existing Transformer-based models use self-attention layers only after somehow reducing the image resolution, which limits the ability to capture global contexts present at higher resolutions. Therefore, this work introduces a family of models, dubbed Factorizer, which leverages the power of low-rank matrix factorization for constructing an end-to-end segmentation model. Specifically, we propose a linearly scalable approach to context modeling, formulating Nonnegative Matrix Factorization (NMF) as a differentiable layer integrated into a U-shaped architecture. The shifted window technique is also utilized in combination with NMF to effectively aggregate local information. Factorizers compete favorably with CNNs and Transformers in terms of accuracy, scalability, and interpretability, achieving state-of-the-art results on the BraTS dataset for brain tumor segmentation and ISLES'22 dataset for stroke lesion segmentation. Highly meaningful NMF components give an additional interpretability advantage to Factorizers over CNNs and Transformers. Moreover, our ablation studies reveal a distinctive feature of Factorizers that enables a significant speed-up in inference for a trained Factorizer without any extra steps and without sacrificing much accuracy. The code and models are publicly available at https://github.com/pashtari/factorizer.

基于深入的学习的断层摄影图像重建一直在这些年来引起了很多关注。稀疏视图数据重建是典型的未确定逆问题之一，如何从数十个投影重建高质量CT图像仍然是实践中的挑战。为了解决这一挑战，在本文中，我们提出了一个多域一体化的Swin变压器网络（MIST-NET）。首先，使用灵活的网络架构，所提出的雾网掺入了来自数据，残差数据，图像和剩余图像的豪华域特征。这里，残差数据和残差 - 图像域网组件可以被认为是数据一致性模块，以消除残差数据和图像域中的插值误差，然后进一步保持图像细节。其次，为了检测图像特征和进一步保护图像边缘，将培训的Sobel滤波器结合到网络中以提高编码解码能力。第三，随着经典的Swin变压器，我们进一步设计了高质量的重建变压器（即，REFFORMER）来提高重建性能。 REFFORMER继承了SWIN变压器的功率以捕获重建图像的全局和本地特征。具有48种视图的数值数据集的实验证明了我们所提出的雾网提供更高的重建图像质量，具有小的特征恢复和边缘保护，而不是其他竞争对手，包括高级展开网络。定量结果表明，我们的雾网也获得了最佳性能。训练有素的网络被转移到真实的心脏CT数据集，48次视图，重建结果进一步验证了我们的雾网的优势，进一步证明了临床应用中雾的良好稳健性。

Transformer-based models, capable of learning better global dependencies, have recently demonstrated exceptional representation learning capabilities in computer vision and medical image analysis. Transformer reformats the image into separate patches and realize global communication via the self-attention mechanism. However, positional information between patches is hard to preserve in such 1D sequences, and loss of it can lead to sub-optimal performance when dealing with large amounts of heterogeneous tissues of various sizes in 3D medical image segmentation. Additionally, current methods are not robust and efficient for heavy-duty medical segmentation tasks such as predicting a large number of tissue classes or modeling globally inter-connected tissues structures. Inspired by the nested hierarchical structures in vision transformer, we proposed a novel 3D medical image segmentation method (UNesT), employing a simplified and faster-converging transformer encoder design that achieves local communication among spatially adjacent patch sequences by aggregating them hierarchically. We extensively validate our method on multiple challenging datasets, consisting anatomies of 133 structures in brain, 14 organs in abdomen, 4 hierarchical components in kidney, and inter-connected kidney tumors). We show that UNesT consistently achieves state-of-the-art performance and evaluate its generalizability and data efficiency. Particularly, the model achieves whole brain segmentation task complete ROI with 133 tissue classes in single network, outperforms prior state-of-the-art method SLANT27 ensembled with 27 network tiles, our model performance increases the mean DSC score of the publicly available Colin and CANDI dataset from 0.7264 to 0.7444 and from 0.6968 to 0.7025, respectively.

目的：在手术规划之前，CT图像中肝血管的分割是必不可少的，并引起了医学图像分析界的广泛兴趣。由于结构复杂，对比度背景下，自动肝脏血管分割仍然特别具有挑战性。大多数相关的研究采用FCN，U-Net和V-Net变体作为骨干。然而，这些方法主要集中在捕获多尺度局部特征，这可能导致由于卷积运营商有限的地区接收领域而产生错误分类的体素。方法：我们提出了一种强大的端到端血管分割网络，通过将SWIN变压器扩展到3D并采用卷积和自我关注的有效组合，提出了一种被称为电感偏置的多头注意船网（IBIMHAV-NET）的稳健端到端血管分割网络。在实践中，我们介绍了Voxel-Wise嵌入而不是修补程序嵌入，以定位精确的肝脏血管素，并采用多尺度卷积运营商来获得局部空间信息。另一方面，我们提出了感应偏置的多头自我关注，其学习从初始化的绝对位置嵌入的归纳偏置相对位置嵌入嵌入。基于此，我们可以获得更可靠的查询和键矩阵。为了验证我们模型的泛化，我们测试具有不同结构复杂性的样本。结果：我们对3Dircadb数据集进行了实验。四种测试病例的平均骰子和敏感性为74.8％和77.5％，超过现有深度学习方法的结果和改进的图形切割方法。结论：拟议模型IBIMHAV-Net提供一种具有交错架构的自动，精确的3D肝血管分割，可更好地利用CT卷中的全局和局部空间特征。它可以进一步扩展到其他临床数据。

近年来，基于深度学习的平行成像（PI）取得了巨大进展，以加速磁共振成像（MRI）。然而，现有方法的性能和鲁棒性仍然可以是不受欢迎的。在这项工作中，我们建议通过柔性PI重建，创建的重量K-Space Genera-Tive模型（WKGM）来探索K空间域学习。具体而言，WKGM是一种通用的K空间域模型，在其中有效地纳入了K空间加权技术和高维空间增强设计，用于基于得分的Genererative模型训练，从而实现良好和强大的重建。此外，WKGM具有灵活性，因此可以与各种传统的K空间PI模型协同结合，从而产生基于学习的先验以产生高保真重建。在具有不同采样模式和交流电因子的数据集上进行实验性重新构建表明，WKGM可以通过先验良好的K-Space生成剂获得最新的重建结果。