较轻，更快的型号对于在资源有限设备（例如智能手机和可穿戴设备）上部署视频超分辨率（VSR）至关重要。在本文中，我们开发了残留的稀疏连接学习（RSCL），这是一种结构化的修剪方案，以减少卷积内核的冗余，并获得较小的性能下降的紧凑型VSR网络。但是，残留的块要求将跳过的修剪过滤器索引和残留连接相同，这对于修剪很棘手。因此，为了减轻剩余块的修剪限制，我们通过保留特征通道并仅在重要的通道上运行来设计残留的稀疏连接（RSC）方案。此外，对于Pixel-Shuffle操作，我们通过将几个过滤器分组为修剪单元来设计一种特殊的修剪方案，以确保修剪后功能通道空间转换的准确性。此外，我们引入了时间登录（TF），以减少具有时间传播的隐藏状态的修剪误差放大。广泛的实验表明，提出的RSCL在定量和质量上明显优于最新方法。代码和模型将发布。

基于常规卷积网络的视频超分辨率（VSR）方法具有很强的视频序列的时间建模能力。然而，在单向反复卷积网络中的不同反复单元接收的输入信息不平衡。早期重建帧接收较少的时间信息，导致模糊或工件效果。虽然双向反复卷积网络可以缓解这个问题，但它大大提高了重建时间和计算复杂性。它也不适用于许多应用方案，例如在线超分辨率。为了解决上述问题，我们提出了一种端到端信息预构建的经常性重建网络（IPRRN），由信息预构建网络（IPNet）和经常性重建网络（RRNET）组成。通过将足够的信息从视频的前面集成来构建初始复发单元所需的隐藏状态，以帮助恢复较早的帧，信息预构建的网络在不向后传播之前和之后的输入信息差异。此外，我们展示了一种紧凑的复发性重建网络，可显着改善恢复质量和时间效率。许多实验已经验证了我们所提出的网络的有效性，并与现有的最先进方法相比，我们的方法可以有效地实现更高的定量和定性评估性能。

随着移动设备的普及，例如智能手机和可穿戴设备，更轻，更快的型号对于应用视频超级分辨率至关重要。但是，大多数以前的轻型模型倾向于集中于减少台式GPU模型推断的范围，这在当前的移动设备中可能不会节能。在本文中，我们提出了极端低功率超级分辨率（ELSR）网络，该网络仅在移动设备中消耗少量的能量。采用预训练和填充方法来提高极小模型的性能。广泛的实验表明，我们的方法在恢复质量和功耗之间取得了良好的平衡。最后，我们在目标总经理Dimenty 9000 PlantForm上，PSNR 27.34 dB和功率为0.09 w/30fps的竞争分数为90.9，在移动AI＆AIM 2022实时视频超级分辨率挑战中排名第一。

时空视频超分辨率（ST-VSR）技术生成具有更高分辨率和较高帧速率的高质量视频。现有的高级方法通过空间和时间视频超分辨率（S-VSR和T-VSR）的关联来完成ST-VSR任务。这些方法需要在S-VSR和T-VSR中进行两个比对和融合，这显然是冗余的，并且无法充分探索连续的空间LR帧的信息流。尽管引入了双向学习（未来到档案和过去到现场）以涵盖所有输入框架，但最终预测的直接融合无法充分利用双向运动学习和空间信息的固有相关性，并从所有框架中进行空间信息。我们提出了一个有效但有效的经常性网络，该网络具有ST-VSR的双向相互作用，其中仅需要一个对齐和融合。具体而言，它首先从未来到过去执行向后推断，然后遵循向前推理到超溶解中间帧。向后和向前的推论被分配给学习结构和详细信息，以通过联合优化简化学习任务。此外，混合融合模块（HFM）旨在汇总和提炼信息以完善空间信息并重建高质量的视频帧。在两个公共数据集上进行的广泛实验表明，我们的方法在效率方面优于最先进的方法，并将计算成本降低约22％。

现有视频超分辨率（VSR）算法的成功主要是从相邻框架中利用时间信息。但是，这些方法都没有讨论带有固定物体和背景的贴片中时间冗余的影响，并且通常使用相邻框架中的所有信息而没有任何歧视。在本文中，我们观察到时间冗余将对信息传播产生不利影响，这限制了最现有的VSR方法的性能。在这一观察结果的推动下，我们旨在通过以优化的方式处理时间冗余贴片来改善现有的VSR算法。我们开发了两种简单但有效的插件方法，以提高广泛使用的公共视频中现有的本地和非本地传播算法的性能。为了更全面地评估现有VSR算法的鲁棒性和性能，我们还收集了一个新数据集，其中包含各种公共视频作为测试集。广泛的评估表明，所提出的方法可以显着提高野生场景中收集的视频的现有VSR方法的性能，同时保持其在现有常用数据集上的性能。该代码可在https://github.com/hyhsimon/boosted-vsr上找到。

基于卷积神经网络（CNN）的现代单图像超分辨率（SISR）系统实现了花哨的性能，而需要巨大的计算成本。在视觉识别任务中对特征冗余的问题进行了很好的研究，但很少在SISR中进行讨论。基于这样的观察，SISR模型中的许多功能也彼此相似，我们建议使用Shift操作来生成冗余功能（即幽灵功能）。与在类似GPU的设备上耗时的深度卷积相比，Shift操作可以为CNN带来实用的推理加速度。我们分析了SISR操作对SISR任务的好处，并根据Gumbel-SoftMax技巧使Shift取向可学习。此外，基于预训练的模型探索了聚类过程，以识别用于生成内在特征的内在过滤器。幽灵功能将通过沿特定方向移动这些内在功能来得出。最后，完整的输出功能是通过将固有和幽灵特征串联在一起来构建的。在几个基准模型和数据集上进行的广泛实验表明，嵌入了所提出方法的非压缩和轻质SISR模型都可以实现与基准的可比性能，并大大降低了参数，拖台和GPU推荐延迟。例如，我们将参数降低46％，FLOPS掉落46％，而GPU推断潜伏期则减少了$ \ times2 $ EDSR网络的42％，基本上是无损的。

深度神经网络通过学习从低分辨率（LR）图像到高分辨率（HR）图像的映射，在图像超分辨率（SR）任务中表现出了显着的性能。但是，SR问题通常是一个不适的问题，现有方法将受到一些局限性。首先，由于可能存在许多不同的HR图像，因此SR的可能映射空间可能非常大，可以将其删除到相同的LR图像中。结果，很难直接从如此大的空间中学习有希望的SR映射。其次，通常不可避免地要开发具有极高计算成本的非常大型模型来产生有希望的SR性能。实际上，可以使用模型压缩技术通过降低模型冗余来获得紧凑的模型。然而，由于非常大的SR映射空间，现有模型压缩方法很难准确识别冗余组件。为了减轻第一个挑战，我们提出了一项双重回归学习计划，以减少可能的SR映射空间。具体而言，除了从LR到HR图像的映射外，我们还学习了一个附加的双回归映射，以估算下采样内核和重建LR图像。通过这种方式，双映射是减少可能映射空间的约束。为了应对第二项挑战，我们提出了一种轻巧的双回归压缩方法，以基于通道修剪来降低图层级别和通道级别的模型冗余。具体而言，我们首先开发了一种通道编号搜索方法，该方法将双重回归损耗最小化以确定每一层的冗余。鉴于搜索的通道编号，我们进一步利用双重回归方式来评估通道的重要性并修剪冗余。广泛的实验显示了我们方法在获得准确有效的SR模型方面的有效性。

Video restoration tasks, including super-resolution, deblurring, etc, are drawing increasing attention in the computer vision community. A challenging benchmark named REDS is released in the NTIRE19 Challenge. This new benchmark challenges existing methods from two aspects:(1) how to align multiple frames given large motions, and (2) how to effectively fuse different frames with diverse motion and blur. In this work, we propose a novel Video Restoration framework with Enhanced Deformable convolutions, termed EDVR, to address these challenges. First, to handle large motions, we devise a Pyramid, Cascading and Deformable (PCD) alignment module, in which frame alignment is done at the feature level using deformable convolutions in a coarse-to-fine manner. Second, we propose a Temporal and Spatial Attention (TSA) fusion module, in which attention is applied both temporally and spatially, so as to emphasize important features for subsequent restoration. Thanks to these modules, our EDVR wins the champions and outperforms the second place by a large margin in all four tracks in the NTIRE19 video restoration and enhancement challenges. EDVR also demonstrates superior performance to state-of-the-art published methods on video super-resolution and deblurring. The code is available at https://github.com/xinntao/EDVR.

时空视频超分辨率（STVSR）的目标是增加低分辨率（LR）和低帧速率（LFR）视频的空间分辨率。基于深度学习的最新方法已取得了重大改进，但是其中大多数仅使用两个相邻帧，即短期功能，可以合成缺失的框架嵌入，这无法完全探索连续输入LR帧的信息流。此外，现有的STVSR模型几乎无法明确利用时间上下文以帮助高分辨率（HR）框架重建。为了解决这些问题，在本文中，我们提出了一个称为STDAN的可变形注意网络。首先，我们设计了一个长短的术语特征插值（LSTFI）模块，该模块能够通过双向RNN结构从更相邻的输入帧中挖掘大量的内容，以进行插值。其次，我们提出了一个空间 - 周期性变形特征聚合（STDFA）模块，其中动态视频框架中的空间和时间上下文被自适应地捕获并汇总以增强SR重建。几个数据集的实验结果表明，我们的方法的表现优于最先进的STVSR方法。该代码可在https://github.com/littlewhitesea/stdan上找到。

视频超分辨率（VSR）是从一系列低分辨率输入序列恢复高分辨率帧的任务。与单图超分辨率不同，VSR可以利用框架的时间信息来重建结果，并提供更多详细信息。最近，随着卷积神经网络（CNN）的快速发展，VSR任务引起了人们的关注，许多基于CNN的方法取得了显着的结果。但是，由于计算资源和运行时限制，只能将一些VSR方法应用于现实世界移动设备。在本文中，我们提出了一个\ textIt {基于滑动窗口的重复网络}（SWRN），该网络可以实时推断，同时仍能达到卓越的性能。具体而言，我们注意到视频帧应该具有可以帮助恢复细节的空间和时间关系，而关键点是如何提取和汇总信息。解决它，我们输入了三个相邻的帧，并利用隐藏状态来重复存储和更新重要的时间信息。我们在REDS数据集上的实验表明，所提出的方法可以很好地适应移动设备并产生视觉上令人愉悦的结果。

在过去几年中，神经网络的性能在越来越多的浮点操作（拖鞋）的成本上显着提高。但是，当计算资源有限时，更多的拖鞋可能是一个问题。作为解决这个问题的尝试，修剪过滤器是一种常见的解决方案，但大多数现有的修剪方法不有效地保持模型精度，因此需要大量的芬降时期。在本文中，我们提出了一种自动修剪方法，该方法学习保存的神经元以保持模型精度，同时将絮凝到预定目标。为了完成这项任务，我们介绍了一种可训练的瓶颈，只需要一个单一的单一时期，只需要一个数据集的25.6％（Cifar-10）或7.49％（ILSVRC2012）来了解哪些过滤器。在各种架构和数据集上的实验表明，该方法不仅可以在修剪后保持精度，而且在FineTuning之后也优越现有方法。我们在Reset-50上达到了52.00％的拖鞋，在ILSVRC2012上的灌溉后的前1个精度为47.51％，最先进的（SOTA）精度为76.63％。代码可用（链接匿名审核）。

压缩视频超分辨率（VSR）旨在从压缩的低分辨率对应物中恢复高分辨率帧。最近的VSR方法通常通过借用相邻视频帧的相关纹理来增强输入框架。尽管已经取得了一些进展，但是从压缩视频中有效提取和转移高质量纹理的巨大挑战，这些视频通常会高度退化。在本文中，我们提出了一种用于压缩视频超分辨率（FTVSR）的新型频率转换器，该频率在联合时空频域中进行自我注意。首先，我们将视频框架分为斑块，然后将每个贴片转换为DCT光谱图，每个通道代表频带。这样的设计使每个频带都可以进行细粒度的自我注意力，因此可以将真实的视觉纹理与伪影区分开，并进一步用于视频框架修复。其次，我们研究了不同的自我发场方案，并发现在对每个频带上应用暂时关注之前，会引起关节空间的注意力，从而带来最佳的视频增强质量。两个广泛使用的视频超分辨率基准的实验结果表明，FTVSR在未压缩和压缩视频的最先进的方法中都具有清晰的视觉边距。代码可在https://github.com/researchmm/ftvsr上找到。

时空视频超分辨率（STVSR）旨在从相应的低帧速率，低分辨率视频序列构建高空时间分辨率视频序列。灵感来自最近的成功，考虑空间时间超级分辨率的空间信息，我们在这项工作中的主要目标是在快速动态事件的视频序列中充分考虑空间和时间相关性。为此，我们提出了一种新颖的单级内存增强图注意网络（Megan），用于时空视频超分辨率。具体地，我们构建新颖的远程存储图聚合（LMGA）模块，以沿着特征映射的信道尺寸动态捕获相关性，并自适应地聚合信道特征以增强特征表示。我们介绍了一个非本地剩余块，其使每个通道明智的功能能够参加全局空间分层特征。此外，我们采用渐进式融合模块通过广泛利用来自多个帧的空间 - 时间相关性来进一步提高表示能力。实验结果表明，我们的方法与定量和视觉上的最先进的方法相比，实现了更好的结果。

随着卷积神经网络最近的大规模发展，已经提出了用于边缘设备上实用部署的大量基于CNN的显着图像超分辨率方法。但是，大多数现有方法都集中在一个特定方面：网络或损失设计，这导致难以最大程度地减少模型大小。为了解决这个问题，我们得出结论，设计，架构搜索和损失设计，以获得更有效的SR结构。在本文中，我们提出了一个名为EFDN的边缘增强功能蒸馏网络，以保留在约束资源下的高频信息。详细说明，我们基于现有的重新处理方法构建了一个边缘增强卷积块。同时，我们提出了边缘增强的梯度损失，以校准重新分配的路径训练。实验结果表明，我们的边缘增强策略可以保持边缘并显着提高最终恢复质量。代码可在https://github.com/icandle/efdn上找到。

不同于单图像超分辨率（SISR）任务，视频超分辨率（VSR）任务的键是在帧中充分利用互补信息来重建高分辨率序列。由于来自不同帧的图像具有不同的运动和场景，因此精确地对准多个帧并有效地融合不同的帧，这始终是VSR任务的关键研究工作。为了利用邻近框架的丰富互补信息，在本文中，我们提出了一种多级VSR深度架构，称为PP-MSVSR，局部融合模块，辅助损耗和重新对准模块，以逐步改进增强率。具体地，为了加强特征传播中帧的特征的融合，在阶段-1中设计了局部融合模块，以在特征传播之前执行局部特征融合。此外，我们在阶段-2中引入辅助损耗，使得通过传播模块获得的特征储备更多相关的信息连接到HR空间，并在阶段-3中引入重新对准模块以充分利用该特征信息前一阶段。广泛的实验证实，PP-MSVSR实现了VID4数据集的有希望的性能，其实现了28.13dB的PSNR，仅具有1.45米的参数。并且PP-MSVSR-L具有相当大的参数的REDS4数据集上的所有状态。代码和模型将在Paddlegan \脚注{https://github.com/paddlepaddle/paddlegan。}。

Convolutional neural network (CNN) has achieved great success on image super-resolution (SR). However, most deep CNN-based SR models take massive computations to obtain high performance. Downsampling features for multi-resolution fusion is an efficient and effective way to improve the performance of visual recognition. Still, it is counter-intuitive in the SR task, which needs to project a low-resolution input to high-resolution. In this paper, we propose a novel Hybrid Pixel-Unshuffled Network (HPUN) by introducing an efficient and effective downsampling module into the SR task. The network contains pixel-unshuffled downsampling and Self-Residual Depthwise Separable Convolutions. Specifically, we utilize pixel-unshuffle operation to downsample the input features and use grouped convolution to reduce the channels. Besides, we enhance the depthwise convolution's performance by adding the input feature to its output. Experiments on benchmark datasets show that our HPUN achieves and surpasses the state-of-the-art reconstruction performance with fewer parameters and computation costs.

Video Super-Resolution (VSR) aims to restore high-resolution (HR) videos from low-resolution (LR) videos. Existing VSR techniques usually recover HR frames by extracting pertinent textures from nearby frames with known degradation processes. Despite significant progress, grand challenges are remained to effectively extract and transmit high-quality textures from high-degraded low-quality sequences, such as blur, additive noises, and compression artifacts. In this work, a novel Frequency-Transformer (FTVSR) is proposed for handling low-quality videos that carry out self-attention in a combined space-time-frequency domain. First, video frames are split into patches and each patch is transformed into spectral maps in which each channel represents a frequency band. It permits a fine-grained self-attention on each frequency band, so that real visual texture can be distinguished from artifacts. Second, a novel dual frequency attention (DFA) mechanism is proposed to capture the global frequency relations and local frequency relations, which can handle different complicated degradation processes in real-world scenarios. Third, we explore different self-attention schemes for video processing in the frequency domain and discover that a ``divided attention'' which conducts a joint space-frequency attention before applying temporal-frequency attention, leads to the best video enhancement quality. Extensive experiments on three widely-used VSR datasets show that FTVSR outperforms state-of-the-art methods on different low-quality videos with clear visual margins. Code and pre-trained models are available at https://github.com/researchmm/FTVSR.

Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (\eg, blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

远程时间对齐至关重要，但对视频恢复任务有挑战性。最近，一些作品试图将远程对齐分成几个子对齐并逐步处理它们。虽然该操作有助于建模遥控对应关系，但由于传播机制，误差累积是不可避免的。在这项工作中，我们提出了一种新颖的通用迭代对准模块，其采用逐渐改进方案进行子对准，产生更准确的运动补偿。为了进一步提高对准精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性以用于聚合的空间方式自适应地评估。凭借拟议的策略，我们的模型在一系列视频恢复任务中实现了多个基准测试的最先进的性能，包括视频超分辨率，去噪和去束性。我们的项目可用于\ url {https:/github.com/redrock303/revisiting-temporal-alignment-for-video-Restion.git}。

视频修复旨在从多个低质量框架中恢复多个高质量的帧。现有的视频修复方法通常属于两种极端情况，即它们并行恢复所有帧，或者以复发方式恢复视频框架，这将导致不同的优点和缺点。通常，前者具有时间信息融合的优势。但是，它遭受了较大的模型尺寸和密集的内存消耗；后者的模型大小相对较小，因为它在跨帧中共享参数。但是，它缺乏远程依赖建模能力和并行性。在本文中，我们试图通过提出经常性视频恢复变压器（即RVRT）来整合两种情况的优势。 RVRT在全球经常性的框架内并行处理本地相邻框架，该框架可以在模型大小，有效性和效率之间实现良好的权衡。具体而言，RVRT将视频分为多个剪辑，并使用先前推断的剪辑功能来估计后续剪辑功能。在每个剪辑中，通过隐式特征聚合共同更新不同的帧功能。在不同的剪辑中，引导的变形注意力是为剪辑对齐对齐的，该剪辑对齐可预测整个推断的夹子中的多个相关位置，并通过注意机制汇总其特征。关于视频超分辨率，DeBlurring和DeNoising的广泛实验表明，所提出的RVRT在具有平衡模型大小，测试内存和运行时的基准数据集上实现了最先进的性能。