与传统CS方法相比,基于深度学习(DL)的压缩传感(CS)已被应用于图像重建的更好性能。但是,大多数现有的DL方法都利用逐个块测量,每个测量块分别恢复,这引入了重建的有害阻塞效应。此外,这些方法的神经元接受场被设计为每一层的大小相同,这只能收集单尺度的空间信息,并对重建过程产生负面影响。本文提出了一个新的框架,称为CS测量和重建的多尺度扩张卷积神经网络(MSDCNN)。在测量期间,我们直接从训练有素的测量网络中获得所有测量,该测量网络采用了完全卷积结构,并通过输入图像与重建网络共同训练。它不必将其切成块,从而有效地避免了块效应。在重建期间,我们提出了多尺度特征提取(MFE)体系结构,以模仿人类视觉系统以捕获同一功能映射的多尺度特征,从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中,有多个并行卷积通道以获取多尺度特征信息。然后,将多尺度功能信息融合在一起,并以高质量重建原始图像。我们的实验结果表明,根据PSNR和SSIM,该提出的方法对最新方法的性能有利。
translated by 谷歌翻译
Most Deep Learning (DL) based Compressed Sensing (DCS) algorithms adopt a single neural network for signal reconstruction, and fail to jointly consider the influences of the sampling operation for reconstruction. In this paper, we propose unified framework, which jointly considers the sampling and reconstruction process for image compressive sensing based on well-designed cascade neural networks. Two sub-networks, which are the sampling sub-network and the reconstruction sub-network, are included in the proposed framework. In the sampling sub-network, an adaptive full connected layer instead of the traditional random matrix is used to mimic the sampling operator. In the reconstruction sub-network, a cascade network combining stacked denoising autoencoder (SDA) and convolutional neural network (CNN) is designed to reconstruct signals. The SDA is used to solve the signal mapping problem and the signals are initially reconstructed. Furthermore, CNN is used to fully recover the structure and texture features of the image to obtain better reconstruction performance. Extensive experiments show that this framework outperforms many other state-of-the-art methods, especially at low sampling rates.
translated by 谷歌翻译
最近,与传统方法相比,基于网络的图像压缩传感方法可实现高重建质量和降低的计算开销。但是,现有方法仅从网络中的部分特征中获得测量结果,并仅将它们用于图像重建。他们忽略了网络\ cite {zeiler2014Visalization}中的低,中和高级特征,所有这些特征对于高质量重建至关重要。此外,仅使用一次测量可能不足以从测量中提取更丰富的信息。为了解决这些问题,我们提出了一个新颖的测量值重复使用卷积压缩感应网络(MR-CCSNET),该网络(MR-CCSNET)采用全球传感模块(GSM)收集所有级别的功能,以实现有效的感应和测量重复使用块(MRB)多次重复使用测量值在多尺度上。最后,三个基准数据集的实验结果表明,我们的模型可以显着胜过最先进的方法。
translated by 谷歌翻译
卷积神经网络(CNNS)成功地进行了压缩图像感测。然而,由于局部性和重量共享的归纳偏差,卷积操作证明了建模远程依赖性的内在限制。变压器,最初作为序列到序列模型设计,在捕获由于基于自我关注的架构而捕获的全局背景中,即使它可以配备有限的本地化能力。本文提出了一种混合框架,一个混合框架,其集成了从CNN提供的借用的优点以及变压器提供的全局上下文,以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中,通过学习的采样矩阵测量图像逐块。在重建阶段,将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆,另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发,并且本地特征和全局表示在不同的分辨率下融合,以最大化功能的互补性。此外,我们探索一个渐进的战略和基于窗口的变压器块,以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性,与不同数据集的最先进方法相比,实现了卓越的性能。
translated by 谷歌翻译
在图像压缩传感(CS)中将深层神经网络纳入了最近在多媒体技术和应用中的密集关注。随着深网接近,直接从CS测量中了解了反映射,重建速度的速度明显快于常规CS算法。但是,对于现有的基于网络的方法,CS采样过程必须映射单独的网络模型。由于封锁伪像,这可能会降低图像CS的性能,尤其是当将多个采样率分配给图像中的不同块时。在本文中,我们通过利用与性能显着超过当前最新方法的间隔相关性来开发一个用于基于块的图像CS的多通道深网。显着的性能改善归因于块近似,但完全去除了封闭伪像的图像。具体而言,使用我们的多通道结构,可以在单个模型中重建具有多种采样率的图像块。然后,最初重建的块能够将其重新组装成完整的图像中,以通过展开基于手动设计的基于手动设计的CS恢复算法来改善恢复的图像。实验结果表明,所提出的方法在客观指标和主观视觉图像质量方面优于最先进的CS方法。我们的源代码可从https://github.com/siwangzhou/deepbcs获得。
translated by 谷歌翻译
基于深度网络的图像压缩感(CS)近年来引起了很多关注。然而,现有的基于深网络的CS方案以逐个块的方式重建目标图像,其导致严重的块伪像或将深网络训练为黑盒,其带来了对图像先验知识的有限识别。本文提出了一种使用非局部神经网络(NL-CSNet)的新型图像CS框架,其利用具有深度网络的非本地自相似子,提高重建质量。在所提出的NL-CSNET中,构造了两个非本地子网,用于分别利用测量域中的非本地自相似子系统和多尺度特征域。具体地,在测量域的子网中,建立用于更好的初始重建的不同图像块的测量之间的长距离依赖性。类似地,在多尺度特征域的子网中,在深度重建的多尺度空间中探讨了密集特征表示之间的亲和力。此外,开发了一种新的损失函数以增强非本地表示之间的耦合,这也能够实现NL-CSNet的端到端训练。广泛的实验表明,NL-CSNet优于现有的最先进的CS方法,同时保持快速的计算速度。
translated by 谷歌翻译
最近,一些研究在图像压缩感测(CS)任务中应用了深层卷积神经网络(CNN),以提高重建质量。但是,卷积层通常具有一个小的接受场。因此,使用CNN捕获远程像素相关性是具有挑战性的,这限制了其在Image CS任务中的重建性能。考虑到这一限制,我们为图像CS任务(称为uformer-ics)提出了一个U形变压器。我们通过将CS的先验投影知识集成到原始变压器块中,然后使用基于投影基于投影的变压器块和残留卷积块构建对称重建模型来开发一个基于投影的变压器块。与以前的基于CNN的CS方法相比,只能利用本地图像特征,建议的重建模型可以同时利用图像的局部特征和远程依赖性,以及CS理论的先前投影知识。此外,我们设计了一个自适应采样模型,该模型可以基于块稀疏性自适应采样图像块,这可以确保压缩结果保留在固定采样比下原始图像的最大可能信息。提出的UFORFORFOR-ICS是一个端到端框架,同时学习采样和重建过程。实验结果表明,与现有的基于深度学习的CS方法相比,它的重建性能明显优于重建性能。
translated by 谷歌翻译
使用注意机制的深度卷积神经网络(CNN)在动态场景中取得了巨大的成功。在大多数这些网络中,只能通过注意图精炼的功能传递到下一层,并且不同层的注意力图彼此分开,这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题,我们引入了一种新的连续跨层注意传播(CCLAT)机制,该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制,我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块(RDAFB)。在RDAFB中,从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射,从而导致CRLAT机制。以RDAFB为基础,我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明,所提出的模型的表现优于最先进的脱毛方法,并证明了CCLAT机制的有效性。源代码可在以下网址提供:https://github.com/xjmz6/rdafnet。
translated by 谷歌翻译
通过将某些优化求解器与深神经网络相结合,深层展开网络(DUN)近年来引起了图像压缩感(CS)的广泛关注。但是,现有DUN中仍然存在几个问题:1)对于每次迭代,通常采用一个简单的堆叠卷积网络,这显然限制了这些模型的表现力。 2)培训完成后,对于任何输入内容,大多数现有DUNS的超参数均已固定,这大大削弱了其适应性。在本文中,通过展开快速迭代的收缩阈值算法(FISTA),提出了一种新颖的快速分层dun,被称为Fhdun,用于图像压缩传感,开发出了精心设计的层次结构,以合作探索富人的上下文,以探索富人的上下文。多尺度空间中的信息。为了进一步增强适应性,在我们的框架中开发了一系列的超参数生成网络,以根据输入内容动态生产相应的最佳超参数。此外,由于Fista的加速政策,新嵌入的加速模块使拟议的Fhdun节省了超过50%的迭代循环,以抵抗最近的Duns。广泛的CS实验表明,所提出的FHDUN优于现有的最新CS方法,同时保持较少的迭代。
translated by 谷歌翻译
在现实世界中,在雾度下拍摄的图像的降解可以是非常复杂的,其中雾度的空间分布从图像变化到图像。最近的方法采用深神经网络直接从朦胧图像中恢复清洁场景。然而,由于悖论由真正捕获的雾霾的变化和当前网络的固定退化参数引起的悖论,最近在真实朦胧的图像上的脱水方法的泛化能力不是理想的。解决现实世界建模问题阴霾退化,我们建议通过对不均匀雾度分布的鉴定和建模密度来解决这个问题。我们提出了一种新颖的可分离混合注意力(SHA)模块来编码雾霾密度,通过捕获正交方向上的特征来实现这一目标。此外,提出了密度图以明确地模拟雾度的不均匀分布。密度图以半监督方式生成位置编码。这种雾度密度感知和建模有效地捕获特征水平的不均匀分布性变性。通过SHA和密度图的合适组合,我们设计了一种新型的脱水网络架构,实现了良好的复杂性性能权衡。两个大规模数据集的广泛实验表明,我们的方法通过量化和定性地通过大幅度超越所有最先进的方法,将最佳发布的PSNR度量从28.53 DB升高到Haze4K测试数据集和在SOTS室内测试数据集中的37.17 dB至38.41 dB。
translated by 谷歌翻译
将优化算法映射到神经网络中,深度展开的网络(DUNS)在压缩传感(CS)方面取得了令人印象深刻的成功。从优化的角度来看,Duns从迭代步骤中继承了一个明确且可解释的结构。但是,从神经网络设计的角度来看,大多数现有的Dun是基于传统图像域展开而固有地建立的,该图像域的展开将一通道图像作为相邻阶段之间的输入和输出,从而导致信息传输能力不足,并且不可避免地会损失图像。细节。在本文中,为了打破上述瓶颈,我们首先提出了一个广义的双域优化框架,该框架是逆成像的一般性,并将(1)图像域和(2)卷积编码域先验的优点整合到限制解决方案空间中的可行区域。通过将所提出的框架展开到深神经网络中,我们进一步设计了一种新型的双域深卷积编码网络(D3C2-NET),用于CS成像,具有通过所有展开的阶段传输高通量特征级图像表示的能力。关于自然图像和MR图像的实验表明,与其他最先进的艺术相比,我们的D3C2-NET实现更高的性能和更好的准确性权衡权衡。
translated by 谷歌翻译
在过去几年中,深度卷积神经网络在低光图像增强中取得了令人印象深刻的成功。深度学习方法大多通过堆叠网络结构并加深网络深度来提高特征提取的能力。在单个时导致更多的运行时间成本为了减少推理时间,在完全提取本地特征和全局特征的同时,我们通过SGN定期,我们提出了基于广泛的自我引导网络(Absgn)的现实世界低灯图像增强。策略是一种广泛的策略处理不同曝光的噪音。所提出的网络被许多主流基准验证.Aditional实验结果表明,所提出的网络优于最先进的低光图像增强解决方案。
translated by 谷歌翻译
光谱压缩成像(SCI)能够将高维高光谱图像编码为2D测量,然后使用算法来重建时空光谱数据处。目前,SCI的主要瓶颈是重建算法,最新的(SOTA)重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中,我们提出了一个新型的混合网络模块,即CCOT(卷积和上下文变压器)块,该模块可以同时获得卷积的感应偏见和强大的变压器建模能力,并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中,并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验,我们提出的模型可实现更高的重建质量($> $> $> $> $ 2db的PSNR在模拟基准数据集中)和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。
translated by 谷歌翻译
从深度学习的迅速发展中受益,许多基于CNN的图像超分辨率方法已经出现并取得了更好的结果。但是,大多数算法很难同时适应空间区域和通道特征,更不用说它们之间的信息交换了。此外,注意力模块之间的信息交换对于研究人员而言甚至不太明显。为了解决这些问题,我们提出了一个轻量级的空间通道自适应协调,对多级改进增强网络(MREN)。具体而言,我们构建了一个空间通道自适应协调块,该块使网络能够在不同的接受场下学习空间区域和渠道特征感兴趣的信息。此外,在空间部分和通道部分之间的相应特征处理级别的信息在跳跃连接的帮助下交换,以实现两者之间的协调。我们通过简单的线性组合操作在注意模块之间建立了通信桥梁,以便更准确,连续地指导网络注意感兴趣的信息。在几个标准测试集上进行的广泛实验表明,我们的MREN在具有很少数量的参数和非常低的计算复杂性的其他高级算法上实现了优越的性能。
translated by 谷歌翻译
已经证明了深度卷积神经网络近年来对SISR有效。一方面,已经广泛使用了残余连接和密集连接,以便于前向信息和向后梯度流动以提高性能。然而,当前方法以次优的方式在大多数网络层中单独使用残留连接和密集连接。另一方面,虽然各种网络和方法旨在改善计算效率,节省参数或利用彼此的多种比例因子的训练数据来提升性能,但它可以在人力资源空间中进行超级分辨率来具有高计算成本或不能在不同尺度因子的模型之间共享参数以节省参数和推理时间。为了解决这些挑战,我们提出了一种使用双路径连接的高效单图像超分辨率网络,其多种规模学习命名为EMSRDPN。通过将双路径的双路径连接引入EMSRDPN,它在大多数网络层中以综合方式使用残差连接和密集连接。双路径连接具有重用残余连接的共同特征和探索密集连接的新功能,以了解SISR的良好代表。要利用多种比例因子的特征相关性,EMSRDPN在不同缩放因子之间共享LR空间中的所有网络单元,以学习共享功能,并且仅使用单独的重建单元进行每个比例因子,这可以利用多种规模因子的培训数据来帮助各个规模因素另外提高性能,同时可以节省参数并支持共享推理,以提高效率的多种规模因素。实验显示EMSRDPN通过SOTA方法实现更好的性能和比较或更好的参数和推理效率。
translated by 谷歌翻译
高光谱成像是各种应用的基本成像模型,尤其是遥感,农业和医学。灵感来自现有的高光谱相机,可以慢,昂贵或笨重,从低预算快照测量中重建高光谱图像(HSIS)已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中,近期深度展开网络(DUNS)用于光谱快照压缩感应(SCI)已经取得了显着的成功。然而,DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中,我们提出了一种新的高光谱可分解的重建和最佳采样深度网络,用于SCI,被称为HeroSnet,其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵,并在梯度下降步骤中进行上下文调整步骤,以及分层熔断器,并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时,终端实现硬件友好的最佳二进制掩模,以进一步提高重建性能。最后,我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。
translated by 谷歌翻译
Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-ofthe-art single image super-resolution approaches.
translated by 谷歌翻译
A very deep convolutional neural network (CNN) has recently achieved great success for image super-resolution (SR) and offered hierarchical features as well. However, most deep CNN based SR models do not make full use of the hierarchical features from the original low-resolution (LR) images, thereby achieving relatively-low performance. In this paper, we propose a novel residual dense network (RDN) to address this problem in image SR. We fully exploit the hierarchical features from all the convolutional layers. Specifically, we propose residual dense block (RDB) to extract abundant local features via dense connected convolutional layers. RDB further allows direct connections from the state of preceding RDB to all the layers of current RDB, leading to a contiguous memory (CM) mechanism. Local feature fusion in RDB is then used to adaptively learn more effective features from preceding and current local features and stabilizes the training of wider network. After fully obtaining dense local features, we use global feature fusion to jointly and adaptively learn global hierarchical features in a holistic way. Experiments on benchmark datasets with different degradation models show that our RDN achieves favorable performance against state-of-the-art methods.
translated by 谷歌翻译
基于变压器的方法与基于CNN的方法相比,由于其对远程依赖性的模型,因此获得了令人印象深刻的图像恢复性能。但是,像Swinir这样的进步采用了基于窗口的和本地注意力的策略来平衡性能和计算开销,这限制了采用大型接收领域来捕获全球信息并在早期层中建立长期依赖性。为了进一步提高捕获全球信息的效率,在这项工作中,我们建议Swinfir通过更换具有整个图像范围的接收场的快速傅立叶卷积(FFC)组件来扩展Swinir。我们还重新访问其他先进技术,即数据增强,预训练和功能集合,以改善图像重建的效果。并且我们的功能合奏方法使模型的性能得以大大增强,而无需增加训练和测试时间。与现有方法相比,我们将算法应用于多个流行的大规模基准,并实现了最先进的性能。例如,我们的Swinfir在漫画109数据集上达到了32.83 dB的PSNR,该PSNR比最先进的Swinir方法高0.8 dB。
translated by 谷歌翻译
Recently, great progress has been made in single-image super-resolution (SISR) based on deep learning technology. However, the existing methods usually require a large computational cost. Meanwhile, the activation function will cause some features of the intermediate layer to be lost. Therefore, it is a challenge to make the model lightweight while reducing the impact of intermediate feature loss on the reconstruction quality. In this paper, we propose a Feature Interaction Weighted Hybrid Network (FIWHN) to alleviate the above problem. Specifically, FIWHN consists of a series of novel Wide-residual Distillation Interaction Blocks (WDIB) as the backbone, where every third WDIBs form a Feature shuffle Weighted Group (FSWG) by mutual information mixing and fusion. In addition, to mitigate the adverse effects of intermediate feature loss on the reconstruction results, we introduced a well-designed Wide Convolutional Residual Weighting (WCRW) and Wide Identical Residual Weighting (WIRW) units in WDIB, and effectively cross-fused features of different finenesses through a Wide-residual Distillation Connection (WRDC) framework and a Self-Calibrating Fusion (SCF) unit. Finally, to complement the global features lacking in the CNN model, we introduced the Transformer into our model and explored a new way of combining the CNN and Transformer. Extensive quantitative and qualitative experiments on low-level and high-level tasks show that our proposed FIWHN can achieve a good balance between performance and efficiency, and is more conducive to downstream tasks to solve problems in low-pixel scenarios.
translated by 谷歌翻译