近年来，热图像超分辨率（TISR）问题已成为一个有吸引力的研究主题。 TISR将用于各种领域，包括军事，医疗，农业和动物生态学。由于PBVS-2020和PBVS-2021研讨会挑战的成功，TISR的结果不断改善，并吸引了更多的研究人员注册PBVS-2022挑战。在本文中，我们将向PBVS-2022挑战介绍我们提交的技术细节，该挑战设计具有频道拆分网络和变压器（BN-CSNT）的双边网络以解决TISR问题。首先，我们设计了一个基于带有变压器的频道拆分网络的上下文分支，以获取足够的上下文信息。其次，我们设计了一个带有浅变压器的空间分支，以提取可以保留空间信息的低水平特征。最后，对于上下文分支，为了融合通道拆分网络和变压器的功能，我们提出了一个注意力改进模块，然后通过建议的特征融合模块融合了上下文分支和空间分支的特征。所提出的方法可以实现X4的PSNR = 33.64，SSIM = 0.9263，PSNR = 21.08，SSIM = 0.7803在PBVS-2022挑战测试数据集中X2的SSIM = 0.7803。

近年来，压缩图像超分辨率已引起了极大的关注，其中图像被压缩伪像和低分辨率伪影降解。由于复杂的杂化扭曲变形，因此很难通过简单的超分辨率和压缩伪像消除掉的简单合作来恢复扭曲的图像。在本文中，我们向前迈出了一步，提出了层次的SWIN变压器（HST）网络，以恢复低分辨率压缩图像，该图像共同捕获分层特征表示并分别用SWIN Transformer增强每个尺度表示。此外，我们发现具有超分辨率（SR）任务的预处理对于压缩图像超分辨率至关重要。为了探索不同的SR预审查的影响，我们将常用的SR任务（例如，比科比奇和不同的实际超分辨率仿真）作为我们的预处理任务，并揭示了SR在压缩的图像超分辨率中起不可替代的作用。随着HST和预训练的合作，我们的HST在AIM 2022挑战中获得了低质量压缩图像超分辨率轨道的第五名，PSNR为23.51db。广泛的实验和消融研究已经验证了我们提出的方法的有效性。

基于变压器的方法与基于CNN的方法相比，由于其对远程依赖性的模型，因此获得了令人印象深刻的图像恢复性能。但是，像Swinir这样的进步采用了基于窗口的和本地注意力的策略来平衡性能和计算开销，这限制了采用大型接收领域来捕获全球信息并在早期层中建立长期依赖性。为了进一步提高捕获全球信息的效率，在这项工作中，我们建议Swinfir通过更换具有整个图像范围的接收场的快速傅立叶卷积（FFC）组件来扩展Swinir。我们还重新访问其他先进技术，即数据增强，预训练和功能集合，以改善图像重建的效果。并且我们的功能合奏方法使模型的性能得以大大增强，而无需增加训练和测试时间。与现有方法相比，我们将算法应用于多个流行的大规模基准，并实现了最先进的性能。例如，我们的Swinfir在漫画109数据集上达到了32.83 dB的PSNR，该PSNR比最先进的Swinir方法高0.8 dB。

从同一场景的单个或多个低分辨率图像中获取高分辨率图像的过程对于现实世界图像和信号处理应用非常感兴趣。这项研究是关于探索基于深度学习的图像超分辨率算法的潜在用法，用于为驾驶汽车内车辆驾驶员监测系统产生高质量的热成像结果。在这项工作中，我们提出并开发了一种新型的多图像超分辨率复发性神经网络，以增强分辨率并提高从未冷却的热摄像机捕获的低分辨率热成像数据的质量。端到端完全卷积神经网络在室内环境条件下从刮擦上训练了30个不同受试者的新获得的热数据。热调谐超分辨率网络的有效性已定量验证，以及在6个不同受试者的测试数据上进行定性验证。该网络能够在验证数据集上达到4倍超分辨率的平均峰信号与噪声比为39.24，在定量和质量上都超过了双色插值。

压缩在通过限制系统（例如流媒体服务，虚拟现实或视频游戏）等系统的有效传输和存储图像和视频中起着重要作用。但是，不可避免地会导致伪影和原始信息的丢失，这可能会严重降低视觉质量。由于这些原因，压缩图像的质量增强已成为流行的研究主题。尽管大多数最先进的图像恢复方法基于卷积神经网络，但基于Swinir等其他基于变压器的方法在这些任务上表现出令人印象深刻的性能。在本文中，我们探索了新型的Swin Transformer V2，以改善图像超分辨率的Swinir，尤其是压缩输入方案。使用这种方法，我们可以解决训练变压器视觉模型中的主要问题，例如训练不稳定性，预训练和微调之间的分辨率差距以及数据饥饿。我们对三个代表性任务进行实验：JPEG压缩伪像去除，图像超分辨率（经典和轻巧）以及压缩的图像超分辨率。实验结果表明，我们的方法SWIN2SR可以改善SWINIR的训练收敛性和性能，并且是“ AIM 2022挑战压缩图像和视频的超分辨率”的前5个解决方案。

本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-ofthe-art single image super-resolution approaches.

视频场景在野外与不同方案进行了解析，是一个具有挑战性和重要的任务，特别是随着自动驾驶技术的快速发展。野外（VSPW）中的数据集视频场景分析包含良好的修整长时间，密度注释和高分辨率剪辑。基于VSPW，我们设计具有视觉变压器的时间双边网络。我们首先使用卷积设计空间路径以产生能够保留空间信息的低级功能。同时，采用具有视觉变压器的上下文路径来获得足够的上下文信息。此外，时间上下文模块被设计为利用帧间内容信息。最后，该方法可以实现VSPW2021挑战测试数据集的49.85 \％的Union（Miou）的平均交叉点。

随着卷积神经网络最近的大规模发展，已经提出了用于边缘设备上实用部署的大量基于CNN的显着图像超分辨率方法。但是，大多数现有方法都集中在一个特定方面：网络或损失设计，这导致难以最大程度地减少模型大小。为了解决这个问题，我们得出结论，设计，架构搜索和损失设计，以获得更有效的SR结构。在本文中，我们提出了一个名为EFDN的边缘增强功能蒸馏网络，以保留在约束资源下的高频信息。详细说明，我们基于现有的重新处理方法构建了一个边缘增强卷积块。同时，我们提出了边缘增强的梯度损失，以校准重新分配的路径训练。实验结果表明，我们的边缘增强策略可以保持边缘并显着提高最终恢复质量。代码可在https://github.com/icandle/efdn上找到。

改善磁共振（MR）图像数据的分辨率对于计算机辅助诊断和大脑功能分析至关重要。更高的分辨率有助于捕获更详细的内容，但通常会导致较低的信噪比和更长的扫描时间。为此，MR Image超级分辨率已成为近期广泛利益的主题。现有作品建立了广泛的深层模型，该模型具有基于卷积神经网络（CNN）的常规体系结构。在这项工作中，为了进一步推进该研究领域，我们尽早努力建立一个基于变压器的MR图像超分辨率框架，并仔细设计了探索有价值的领域的先验知识。具体而言，我们考虑了包括高频结构的两倍领域先验和模式间环境，并建立了一种新颖的变压器体系结构，称为跨模式高频变压器（COHF-T），以将此类先验引入超分辨率（LR）MR图像的超级分辨。两个数据集的实验表明COHF-T可以实现新的最新性能。

卷积神经网络在过去十年中允许在单个图像超分辨率（SISR）中的显着进展。在SISR最近的进展中，关注机制对于高性能SR模型至关重要。但是，注意机制仍然不清楚为什么它在SISR中的工作原理。在这项工作中，我们试图量化和可视化SISR中的注意力机制，并表明并非所有关注模块都同样有益。然后，我们提出了关注网络（A $ ^ 2 $ n）的注意力，以获得更高效和准确的SISR。具体来说，$ ^ 2 $ n包括非关注分支和耦合注意力分支。提出了一种动态注意力模块，为这两个分支产生权重，以动态地抑制不需要的注意力调整，其中权重根据输入特征自适应地改变。这允许注意模块专门从事惩罚的有益实例，从而大大提高了注意力网络的能力，即几个参数开销。实验结果表明，我们的最终模型A $ ^ 2 $ n可以实现与类似尺寸的最先进网络相比的卓越的权衡性能。代码可以在https://github.com/haoyuc/a2n获得。

Recently, great progress has been made in single-image super-resolution (SISR) based on deep learning technology. However, the existing methods usually require a large computational cost. Meanwhile, the activation function will cause some features of the intermediate layer to be lost. Therefore, it is a challenge to make the model lightweight while reducing the impact of intermediate feature loss on the reconstruction quality. In this paper, we propose a Feature Interaction Weighted Hybrid Network (FIWHN) to alleviate the above problem. Specifically, FIWHN consists of a series of novel Wide-residual Distillation Interaction Blocks (WDIB) as the backbone, where every third WDIBs form a Feature shuffle Weighted Group (FSWG) by mutual information mixing and fusion. In addition, to mitigate the adverse effects of intermediate feature loss on the reconstruction results, we introduced a well-designed Wide Convolutional Residual Weighting (WCRW) and Wide Identical Residual Weighting (WIRW) units in WDIB, and effectively cross-fused features of different finenesses through a Wide-residual Distillation Connection (WRDC) framework and a Self-Calibrating Fusion (SCF) unit. Finally, to complement the global features lacking in the CNN model, we introduced the Transformer into our model and explored a new way of combining the CNN and Transformer. Extensive quantitative and qualitative experiments on low-level and high-level tasks show that our proposed FIWHN can achieve a good balance between performance and efficiency, and is more conducive to downstream tasks to solve problems in low-pixel scenarios.

近年来，使用基于深入学习的架构的状态，在图像超分辨率的任务中有几个进步。先前发布的许多基于超分辨率的技术，需要高端和顶部的图形处理单元（GPU）来执行图像超分辨率。随着深度学习方法的进步越来越大，神经网络已经变得越来越多地计算饥饿。我们返回了一步，并专注于创建实时有效的解决方案。我们提出了一种在其内存足迹方面更快更小的架构。所提出的架构使用深度明智的可分离卷积来提取特征，并且它与其他超分辨率的GAN（生成对抗网络）进行接受，同时保持实时推断和低存储器占用。即使在带宽条件不佳，实时超分辨率也能够流式传输高分辨率介质内容。在维持准确性和延迟之间的有效权衡之间，我们能够生产可比较的性能模型，该性能模型是超分辨率GAN的大小的一个 - 八（1/8），并且计算的速度比超分辨率的GAN快74倍。

随着商业光场（LF）摄像机的可用性，LF成像已成为计算摄影中的启动技术。然而，由于空间和角度信息的固有多路复用，在基于商业微杆的LF相机中，空间分辨率受到了显着限制。因此，它成为光场摄像头其他应用的主要瓶颈。本文提出了一个预处理的单图像超级分辨率（SISR）网络中的适应模块，以利用强大的SISR模型，而不是使用高度工程的光场成像域特异性超级分辨率模型。自适应模块由子光圈移位块和融合块组成。它是SISR网络中的一种适应性，可以进一步利用LF图像中的空间和角度信息以提高超级分辨率性能。实验验证表明，所提出的方法的表现优于现有的光场超级分辨率算法。与量表因子2的相同审计的SISR模型相比，所有数据集中的PSNR增益也超过1 dB，而PSNR对于量表因子4的增长率为0.6至1 dB。

盲面修复（BFR）旨在从相应的低质量（LQ）输入中构建高质量（HQ）面部图像。最近，已经提出了许多BFR方法，并取得了杰出的成功。但是，这些方法经过私人合成的数据集进行了培训或评估，这使得与后续方法相比的方法是不可行的。为了解决这个问题，我们首先合成两个称为EDFEACE-CELEB-1M（BFR128）和EDFACE-CELEB-150K（BFR512）的盲面恢复基准数据集。在五个设置下，将最先进的方法在它们的五个设置下进行了基准测试，包括模糊，噪声，低分辨率，JPEG压缩伪像及其组合（完全退化）。为了使比较更全面，应用了五个广泛使用的定量指标和两个任务驱动的指标，包括平均面部标志距离（AFLD）和平均面部ID余弦相似性（AFICS）。此外，我们开发了一个有效的基线模型，称为Swin Transformer U-NET（昏迷）。带有U-NET体系结构的昏迷器应用了注意机制和移动的窗口方案，以捕获远程像素相互作用，并更多地关注重要功能，同时仍受到有效训练。实验结果表明，所提出的基线方法对各种BFR任务的SOTA方法表现出色。

This paper reviews the first challenge on single image super-resolution (restoration of rich details in an low resolution image) with focus on proposed solutions and results.A new DIVerse 2K resolution image dataset (DIV2K) was employed. The challenge had 6 competitions divided into 2 tracks with 3 magnification factors each. Track 1 employed the standard bicubic downscaling setup, while Track 2 had unknown downscaling operators (blur kernel and decimation) but learnable through low and high res train images. Each competition had ∼ 100 registered participants and 20 teams competed in the final testing phase. They gauge the state-of-the-art in single image super-resolution.

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

本文报告了NTIRE 2022关于感知图像质量评估（IQA）的挑战，并与CVPR 2022的图像恢复和增强研讨会（NTIRE）研讨会（NTIRE）讲习班的新趋势举行。感知图像处理算法。这些算法的输出图像与传统扭曲具有完全不同的特征，并包含在此挑战中使用的PIP数据集中。这个挑战分为两条曲目，一个类似于以前的NTIRE IQA挑战的全参考IQA轨道，以及一条侧重于No-Reference IQA方法的新曲目。挑战有192和179名注册参与者的两条曲目。在最后的测试阶段，有7和8个参与的团队提交了模型和事实表。几乎所有这些都比现有的IQA方法取得了更好的结果，并且获胜方法可以证明最先进的性能。

The deep learning technique was used to increase the performance of single image super-resolution (SISR). However, most existing CNN-based SISR approaches primarily focus on establishing deeper or larger networks to extract more significant high-level features. Usually, the pixel-level loss between the target high-resolution image and the estimated image is used, but the neighbor relations between pixels in the image are seldom used. On the other hand, according to observations, a pixel's neighbor relationship contains rich information about the spatial structure, local context, and structural knowledge. Based on this fact, in this paper, we utilize pixel's neighbor relationships in a different perspective, and we propose the differences of neighboring pixels to regularize the CNN by constructing a graph from the estimated image and the ground-truth image. The proposed method outperforms the state-of-the-art methods in terms of quantitative and qualitative evaluation of the benchmark datasets. Keywords: Super-resolution, Convolutional Neural Networks, Deep Learning

Recent research on super-resolution has progressed with the development of deep convolutional neural networks (DCNN). In particular, residual learning techniques exhibit improved performance. In this paper, we develop an enhanced deep super-resolution network (EDSR) with performance exceeding those of current state-of-the-art SR methods. The significant performance improvement of our model is due to optimization by removing unnecessary modules in conventional residual networks. The performance is further improved by expanding the model size while we stabilize the training procedure. We also propose a new multi-scale deep super-resolution system (MDSR) and training method, which can reconstruct high-resolution images of different upscaling factors in a single model. The proposed methods show superior performance over the state-of-the-art methods on benchmark datasets and prove its excellence by winning the NTIRE2017 Super-Resolution Challenge [26].