磁共振成像(MRI)是一种重要的非侵入性临床工具,可以产生高分辨率和可重复的图像。然而,高质量的MR图像需要长时间的扫描时间,这导致患者的疲惫和不适,由于患者的自愿运动和非自愿的生理运动,诱导更多人工制品。为了加速扫描过程,通过K空间欠采样和基于深度学习的重建的方法已经推广。这项工作引进了SwinMR,这是一种基于新型的Swin变压器的快速MRI重建方法。整个网络由输入模块(IM)组成,特征提取模块(FEM)和输出模块(OM)。 IM和OM是2D卷积层,并且FEM由级联的残留的Swin变压器块(RSTBS)和2D卷积层组成。 RSTB由一系列SWIN变压器层(STL)组成。 STL的Shifted Windows多头自我关注(W-MSA / SW-MSA)在移位的窗口中执行,而不是整个图像空间中原始变压器的多头自我关注(MSA)。通过使用灵敏度图提出了一种新的多通道损耗,这被证明是为了保留更多纹理和细节。我们在Calgary-Campinas公共大脑MR DataSet中进行了一系列比较研究和消融研究,并在多模态脑肿瘤细分挑战2017年数据集中进行了下游分段实验。结果表明,与其他基准方法相比,我们的SwinMR实现了高质量的重建,并且它在噪音中断和不同的数据集中显示了不同的遮光罩掩模的稳健性。该代码在https://github.com/ayanglab/swinmr公开使用。
translated by 谷歌翻译
快速MRI旨在通过部分观察到的测量结果重建高保真图像。最近已经看到了使用深度学习的快速MRI的旺盛发展。同时,新颖的深度学习范式,例如基于变压器的模型,在自然语言处理中快速增长,并由于其出色的性能而迅速开发用于计算机视觉和医学图像分析。然而,由于变压器的复杂性,快速MRI的应用可能并不直接。主要障碍是自我发项层的计算成本(这是变压器的核心部分)对于高分辨率MRI输入而言可能是昂贵的。在这项研究中,我们提出了一种新的变压器体系结构,用于求解快速MRI,该架构将转移的Windows变压器与U-NET耦合,以降低网络的复杂性。我们将注意力集中在解释我们的重建模型的解释性上。我们从经验上证明,我们的方法在快速MRI任务上始终如一地达到卓越的性能。此外,与最先进的变压器模型相比,我们的方法在揭示解释性的同时具有更少的网络参数。该代码可在https://github.com/ayanglab/sdaut上公开获取。
translated by 谷歌翻译
在临床医学中,磁共振成像(MRI)是诊断,分类,预后和治疗计划中最重要的工具之一。然而,MRI遭受了固有的慢数据采集过程,因为数据在k空间中顺序收集。近年来,大多数MRI重建方法在文献中侧重于整体图像重建而不是增强边缘信息。这项工作通过详细说明了对边缘信息的提高来阐述了这一趋势。具体地,我们通过结合多视图信息介绍一种用于快速多通道MRI重建的新型并行成像耦合双鉴别器生成的对抗网络(PIDD-GaN)。双判别设计旨在改善MRI重建中的边缘信息。一个鉴别器用于整体图像重建,而另一个鉴别器是负责增强边缘信息的负责。为发电机提出了一种具有本地和全局剩余学习的改进的U-Net。频率通道注意块(FCA块)嵌入在发电机中以结合注意力机制。引入内容损耗以培训发电机以获得更好的重建质量。我们对Calgary-Campinas公共大脑MR DataSet进行了全面的实验,并将我们的方法与最先进的MRI重建方法进行了比较。在MICCAI13数据集上进行了对剩余学习的消融研究,以验证所提出的模块。结果表明,我们的PIDD-GaN提供高质量的重建MR图像,具有良好的边缘信息。单图像重建的时间低于5ms,符合加快处理的需求。
translated by 谷歌翻译
由于组织和骨骼之间的相似性,在人解剖结构中广泛看到了全球相关性。由于近距离质子密度和T1/T2参数,这些相关性反映在磁共振成像(MRI)扫描中。此外,为了实现加速的MRI,k空间数据的采样不足,从而导致全球混叠伪像。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但是由于卷积操作的固有位置,这些模型在捕获全球相关性方面受到限制。基于自发的变压器模型能够捕获图像特征之间的全局相关性,但是,变压器模型对MRI重建的当前贡献是微小的。现有的贡献主要提供CNN转换器混合解决方案,并且很少利用MRI的物理学。在本文中,我们提出了一种基于物理的独立(无卷积)变压器模型,标题为“多头级联SWIN变压器(MCSTRA),用于加速MRI重建。 MCSTRA将几种相互关联的MRI物理相关概念与变压器网络相结合:它通过移动的窗口自我发场机制利用了全局MR特征;它使用多头设置分别提取属于不同光谱组件的MR特征;它通过级联的网络在中间脱氧和K空间校正之间进行迭代,该网络具有K空间和中间损耗计算中的数据一致性;此外,我们提出了一种新型的位置嵌入生成机制,以使用对应于底面采样掩码的点扩散函数来指导自我发作。我们的模型在视觉上和定量上都大大优于最先进的MRI重建方法,同时描述了改善的分辨率和去除词法。
translated by 谷歌翻译
现实世界图像Denoising是一个实用的图像恢复问题,旨在从野外嘈杂的输入中获取干净的图像。最近,Vision Transformer(VIT)表现出强大的捕获远程依赖性的能力,许多研究人员试图将VIT应用于图像DeNosing任务。但是,现实世界的图像是一个孤立的框架,它使VIT构建了内部贴片的远程依赖性,该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中,我们建议通过使用连续的小波滑动转换器来解决此问题,该小波滑动转换器在现实世界中构建频率对应关系,称为dnswin。具体而言,我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此,我们提出了小波滑动窗口变压器,该变压器利用离散的小波变换,自我注意力和逆离散小波变换来提取深度特征。最后,我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明,拟议的DNSWIN对最新方法的表现良好。
translated by 谷歌翻译
压缩传感(CS)一直在加速磁共振成像(MRI)采集过程中的关键作用。随着人工智能的复苏,深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性,多样性和表现的大量增长,这些技术致力于快速MRI。在该荟萃分析中,我们系统地审查了快速MRI的深度学习的CS技术,描述了关键模型设计,突出突破,并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统,以评估深度学习在基于CS的加速度的MRI的关键作用。
translated by 谷歌翻译
目的:并行成像通过用一系列接收器线圈获取其他灵敏度信息,从而加速了磁共振成像(MRI)数据,从而降低了相位编码步骤。压缩传感磁共振成像(CS-MRI)在医学成像领域中获得了普及,因为其数据要求较少,而不是平行成像。并行成像和压缩传感(CS)均通过最大程度地减少K空间中捕获的数据量来加快传统MRI获取。由于采集时间与样品的数量成反比,因此从缩短的K空间样品中的图像的反向形成会导致收购更快,但具有混乱的伪像。本文提出了一种新型的生成对抗网络(GAN),即雷德格尔(Recgan-gr)受到多模式损失的监督,以消除重建的图像。方法:与现有的GAN网络相反,我们提出的方法引入了一种新型的发电机网络,即与双域损耗函数集成的弹药网络,包括加权幅度和相位损耗函数以及基于平行成像的损失,即Grappa一致性损失。提出了K空间校正块,以使GAN网络自动化生成不必要的数据,从而使重建过程的收敛性更快。结果:全面的结果表明,拟议的Recgan-GR在基于GAN的方法中的PSNR有4 dB的改善,并且在文献中可用的传统最先进的CNN方法中有2 dB的改进。结论和意义:拟议的工作有助于显着改善低保留数据的图像质量,从而更快地获取了5倍或10倍。
translated by 谷歌翻译
基于深入的学习的断层摄影图像重建一直在这些年来引起了很多关注。稀疏视图数据重建是典型的未确定逆问题之一,如何从数十个投影重建高质量CT图像仍然是实践中的挑战。为了解决这一挑战,在本文中,我们提出了一个多域一体化的Swin变压器网络(MIST-NET)。首先,使用灵活的网络架构,所提出的雾网掺入了来自数据,残差数据,图像和剩余图像的豪华域特征。这里,残差数据和残差 - 图像域网组件可以被认为是数据一致性模块,以消除残差数据和图像域中的插值误差,然后进一步保持图像细节。其次,为了检测图像特征和进一步保护图像边缘,将培训的Sobel滤波器结合到网络中以提高编码解码能力。第三,随着经典的Swin变压器,我们进一步设计了高质量的重建变压器(即,REFFORMER)来提高重建性能。 REFFORMER继承了SWIN变压器的功率以捕获重建图像的全局和本地特征。具有48种视图的数值数据集的实验证明了我们所提出的雾网提供更高的重建图像质量,具有小的特征恢复和边缘保护,而不是其他竞争对手,包括高级展开网络。定量结果表明,我们的雾网也获得了最佳性能。训练有素的网络被转移到真实的心脏CT数据集,48次视图,重建结果进一步验证了我们的雾网的优势,进一步证明了临床应用中雾的良好稳健性。
translated by 谷歌翻译
卷积神经网络(CNNS)成功地进行了压缩图像感测。然而,由于局部性和重量共享的归纳偏差,卷积操作证明了建模远程依赖性的内在限制。变压器,最初作为序列到序列模型设计,在捕获由于基于自我关注的架构而捕获的全局背景中,即使它可以配备有限的本地化能力。本文提出了一种混合框架,一个混合框架,其集成了从CNN提供的借用的优点以及变压器提供的全局上下文,以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中,通过学习的采样矩阵测量图像逐块。在重建阶段,将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆,另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发,并且本地特征和全局表示在不同的分辨率下融合,以最大化功能的互补性。此外,我们探索一个渐进的战略和基于窗口的变压器块,以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性,与不同数据集的最先进方法相比,实现了卓越的性能。
translated by 谷歌翻译
Image restoration is a long-standing low-level vision problem that aims to restore high-quality images from lowquality images (e.g., downscaled, noisy and compressed images). While state-of-the-art image restoration methods are based on convolutional neural networks, few attempts have been made with Transformers which show impressive performance on high-level vision tasks. In this paper, we propose a strong baseline model SwinIR for image restoration based on the Swin Transformer. SwinIR consists of three parts: shallow feature extraction, deep feature extraction and high-quality image reconstruction. In particular, the deep feature extraction module is composed of several residual Swin Transformer blocks (RSTB), each of which has several Swin Transformer layers together with a residual connection. We conduct experiments on three representative tasks: image super-resolution (including classical, lightweight and real-world image super-resolution), image denoising (including grayscale and color image denoising) and JPEG compression artifact reduction. Experimental results demonstrate that SwinIR outperforms state-of-the-art methods on different tasks by up to 0.14∼0.45dB, while the total number of parameters can be reduced by up to 67%.
translated by 谷歌翻译
虽然大多数当前的图像支出都进行了水平外推,但我们研究了广义图像支出问题,这些问题将视觉上下文推断出给定图像周围的全面。为此,我们开发了一个新型的基于变压器的生成对抗网络,称为U-Transformer,能够扩展具有合理结构和细节的图像边界,即使是复杂的风景图像。具体而言,我们将生成器设计为嵌入流行的Swin Transformer块的编码器到二次结构。因此,我们的新型框架可以更好地应对图像远程依赖性,这对于广义图像支出至关重要。我们另外提出了U形结构和多视图时间空间预测网络,以增强图像自我重建以及未知的零件预测。我们在实验上证明,我们提出的方法可以为针对最新图像支出方法提供广义图像支出产生可吸引人的结果。
translated by 谷歌翻译
眼科医生已经使用眼底图像筛选和诊断眼病。然而,不同的设备和眼科医生对眼底图像的质量产生了大的变化。低质量(LQ)降级的眼底图像在临床筛查中容易导致不确定性,并且通常会增加误诊的风险。因此,真实的眼底图像恢复值得研究。不幸的是,到目前为止,这项任务尚未探索真正的临床基准。在本文中,我们研究了真正的临床眼底图像恢复问题。首先,我们建立一个临床数据集,真实的眼底(RF),包括120个低质量和高质量(HQ)图像对。然后,我们提出了一种新型的变压器的生成对抗网络(RFRMANER)来恢复临床眼底图像的实际降级。我们网络中的关键组件是基于窗口的自我关注块(WSAB),其捕获非本地自我相似性和远程依赖性。为了产生更明显的令人愉悦的结果,介绍了一种基于变压器的鉴别器。在我们的临床基准测试中的广泛实验表明,所提出的rformer显着优于最先进的(SOTA)方法。此外,诸如船舶分割和光盘/杯子检测之类的下游任务的实验表明我们所提出的rformer益处临床眼底图像分析和应用。将发布数据集,代码和模型。
translated by 谷歌翻译
在过去的十年中,卷积神经网络(Convnets)主导了医学图像分析领域。然而,发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点,在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者,因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中,我们呈现透射帧,一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形,具有两个散晶变体,确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型:患者间脑MRI注册和幻影到CT注册。定性和定量结果表明,传输和其变体导致基线方法的实质性改进,展示了用于医学图像配准的变压器的有效性。
translated by 谷歌翻译
由于其定量优点和高灵敏度,位置排放断层扫描(PET)被广泛用于诊所和研究中,但遭受了低信噪比(SNR)的侵害。最近,卷积神经网络(CNN)已被广泛用于提高宠物图像质量。尽管在局部特征提取方面取得了成功和有效的效率,但由于其接受场有限,CNN无法很好地捕获远距离依赖性。全球多头自我注意力(MSA)是捕获远程信息的流行方法。但是,3D图像的全局MSA计算具有较高的计算成本。在这项工作中,我们提出了一个有效的空间和渠道编码器变压器Spach Transformer,可以基于本地和全局MSA来利用空间和渠道信息。基于不同宠物示踪剂数据集的实验,即$^{18} $ f-fdg,$^{18} $ f-acbc,$^{18} $ f-dcfpyl,$ f-dcfpyl和$^{68} $ ga--进行了Dotatate,以评估提出的框架。定量结果表明,所提出的SPACH变压器可以比其他参考方法获得更好的性能。
translated by 谷歌翻译
目的:在手术规划之前,CT图像中肝血管的分割是必不可少的,并引起了医学图像分析界的广泛兴趣。由于结构复杂,对比度背景下,自动肝脏血管分割仍然特别具有挑战性。大多数相关的研究采用FCN,U-Net和V-Net变体作为骨干。然而,这些方法主要集中在捕获多尺度局部特征,这可能导致由于卷积运营商有限的地区接收领域而产生错误分类的体素。方法:我们提出了一种强大的端到端血管分割网络,通过将SWIN变压器扩展到3D并采用卷积和自我关注的有效组合,提出了一种被称为电感偏置的多头注意船网(IBIMHAV-NET)的稳健端到端血管分割网络。在实践中,我们介绍了Voxel-Wise嵌入而不是修补程序嵌入,以定位精确的肝脏血管素,并采用多尺度卷积运营商来获得局部空间信息。另一方面,我们提出了感应偏置的多头自我关注,其学习从初始化的绝对位置嵌入的归纳偏置相对位置嵌入嵌入。基于此,我们可以获得更可靠的查询和键矩阵。为了验证我们模型的泛化,我们测试具有不同结构复杂性的样本。结果:我们对3Dircadb数据集进行了实验。四种测试病例的平均骰子和敏感性为74.8%和77.5%,超过现有深度学习方法的结果和改进的图形切割方法。结论:拟议模型IBIMHAV-Net提供一种具有交错架构的自动,精确的3D肝血管分割,可更好地利用CT卷中的全局和局部空间特征。它可以进一步扩展到其他临床数据。
translated by 谷歌翻译
使用卷积神经网络(CNN)的最先进的磁共振(MR)图像超分辨率方法(ISR)由于CNN的空间覆盖率有限,因此在有限的上下文信息中利用有限的上下文信息。Vision Transformers(VIT)学习更好的全球环境,这有助于产生优质的HR图像。我们将CNN的本地信息和来自VIT的全局信息结合在一起,以获得图像超级分辨率和输出超级分辨率的图像,这些图像的质量比最先进的方法所产生的质量更高。我们通过多个新颖的损失函数包括额外的约束,这些损失功能将结构和纹理信息从低分辨率到高分辨率图像。
translated by 谷歌翻译
The data consistency for the physical forward model is crucial in inverse problems, especially in MR imaging reconstruction. The standard way is to unroll an iterative algorithm into a neural network with a forward model embedded. The forward model always changes in clinical practice, so the learning component's entanglement with the forward model makes the reconstruction hard to generalize. The proposed method is more generalizable for different MR acquisition settings by separating the forward model from the deep learning component. The deep learning-based proximal gradient descent was proposed to create a learned regularization term independent of the forward model. We applied the one-time trained regularization term to different MR acquisition settings to validate the proposed method and compared the reconstruction with the commonly used $\ell_1$ regularization. We showed ~3 dB improvement in the peak signal to noise ratio, compared with conventional $\ell_1$ regularized reconstruction. We demonstrated the flexibility of the proposed method in choosing different undersampling patterns. We also evaluated the effect of parameter tuning for the deep learning regularization.
translated by 谷歌翻译
计算机辅助医学图像分割已广泛应用于诊断和治疗,以获得靶器官和组织的形状和体积的临床有用信息。在过去的几年中,基于卷积神经网络(CNN)的方法(例如,U-Net)占主导地位,但仍遭受了不足的远程信息捕获。因此,最近的工作提出了用于医学图像分割任务的计算机视觉变压器变体,并获得了有希望的表现。这种变压器通过计算配对贴片关系来模拟远程依赖性。然而,它们促进了禁止的计算成本,尤其是在3D医学图像(例如,CT和MRI)上。在本文中,我们提出了一种称为扩张变压器的新方法,该方法在本地和全球范围内交替捕获的配对贴片关系进行自我关注。灵感来自扩张卷积核,我们以扩张的方式进行全球自我关注,扩大接收领域而不增加所涉及的斑块,从而降低计算成本。基于这种扩展变压器的设计,我们构造了一个用于3D医学图像分割的U形编码器解码器分层体系结构。 Synapse和ACDC数据集的实验表明,我们的D-Ager Model从头开始培训,以低计算成本从划痕训练,优于各种竞争力的CNN或基于变压器的分段模型,而不耗时的每训练过程。
translated by 谷歌翻译
已经开发了许多算法来解决编码光圈快照光谱成像(CASSI)的反问题,即从2D压缩测量中恢复3D高光谱图像(HSIS)。近年来,基于学习的方法证明了有希望的表现,并主导了主流研究方向。但是,现有的基于CNN的方法显示了捕获长期依赖性和非本地自相似性的局限性。以前的基于变压器的方法密集样本令牌,其中一些是不明显的,并计算了某些在内容中无关的令牌之间的多头自我注意力(MSA)。这不符合HSI信号的空间稀疏性质,并限制了模型可伸缩性。在本文中,我们提出了一种新型的基于变压器的方法,即粗到细稀疏变压器(CST),首先将HSI的稀疏嵌入到HSI重建的深度学习中。特别是,CST使用我们提出的光谱感知筛选机制(SASM)进行粗贴片选择。然后,选定的贴片被馈入我们的定制光谱 - 聚集多头自我注意力(SAH-MSA),以进行精细的像素聚类和自相似性捕获。全面的实验表明,我们的CST在需要廉价的计算成本的同时,明显优于最先进的方法。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
Magnetic Resonance Fingerprinting (MRF) is an efficient quantitative MRI technique that can extract important tissue and system parameters such as T1, T2, B0, and B1 from a single scan. This property also makes it attractive for retrospectively synthesizing contrast-weighted images. In general, contrast-weighted images like T1-weighted, T2-weighted, etc., can be synthesized directly from parameter maps through spin-dynamics simulation (i.e., Bloch or Extended Phase Graph models). However, these approaches often exhibit artifacts due to imperfections in the mapping, the sequence modeling, and the data acquisition. Here we propose a supervised learning-based method that directly synthesizes contrast-weighted images from the MRF data without going through the quantitative mapping and spin-dynamics simulation. To implement our direct contrast synthesis (DCS) method, we deploy a conditional Generative Adversarial Network (GAN) framework and propose a multi-branch U-Net as the generator. The input MRF data are used to directly synthesize T1-weighted, T2-weighted, and fluid-attenuated inversion recovery (FLAIR) images through supervised training on paired MRF and target spin echo-based contrast-weighted scans. In-vivo experiments demonstrate excellent image quality compared to simulation-based contrast synthesis and previous DCS methods, both visually as well as by quantitative metrics. We also demonstrate cases where our trained model is able to mitigate in-flow and spiral off-resonance artifacts that are typically seen in MRF reconstructions and thus more faithfully represent conventional spin echo-based contrast-weighted images.
translated by 谷歌翻译