基于常规卷积网络的视频超分辨率（VSR）方法具有很强的视频序列的时间建模能力。然而，在单向反复卷积网络中的不同反复单元接收的输入信息不平衡。早期重建帧接收较少的时间信息，导致模糊或工件效果。虽然双向反复卷积网络可以缓解这个问题，但它大大提高了重建时间和计算复杂性。它也不适用于许多应用方案，例如在线超分辨率。为了解决上述问题，我们提出了一种端到端信息预构建的经常性重建网络（IPRRN），由信息预构建网络（IPNet）和经常性重建网络（RRNET）组成。通过将足够的信息从视频的前面集成来构建初始复发单元所需的隐藏状态，以帮助恢复较早的帧，信息预构建的网络在不向后传播之前和之后的输入信息差异。此外，我们展示了一种紧凑的复发性重建网络，可显着改善恢复质量和时间效率。许多实验已经验证了我们所提出的网络的有效性，并与现有的最先进方法相比，我们的方法可以有效地实现更高的定量和定性评估性能。

时空视频超分辨率（STVSR）的目标是增加低分辨率（LR）和低帧速率（LFR）视频的空间分辨率。基于深度学习的最新方法已取得了重大改进，但是其中大多数仅使用两个相邻帧，即短期功能，可以合成缺失的框架嵌入，这无法完全探索连续输入LR帧的信息流。此外，现有的STVSR模型几乎无法明确利用时间上下文以帮助高分辨率（HR）框架重建。为了解决这些问题，在本文中，我们提出了一个称为STDAN的可变形注意网络。首先，我们设计了一个长短的术语特征插值（LSTFI）模块，该模块能够通过双向RNN结构从更相邻的输入帧中挖掘大量的内容，以进行插值。其次，我们提出了一个空间 - 周期性变形特征聚合（STDFA）模块，其中动态视频框架中的空间和时间上下文被自适应地捕获并汇总以增强SR重建。几个数据集的实验结果表明，我们的方法的表现优于最先进的STVSR方法。该代码可在https://github.com/littlewhitesea/stdan上找到。

时空视频超分辨率（ST-VSR）技术生成具有更高分辨率和较高帧速率的高质量视频。现有的高级方法通过空间和时间视频超分辨率（S-VSR和T-VSR）的关联来完成ST-VSR任务。这些方法需要在S-VSR和T-VSR中进行两个比对和融合，这显然是冗余的，并且无法充分探索连续的空间LR帧的信息流。尽管引入了双向学习（未来到档案和过去到现场）以涵盖所有输入框架，但最终预测的直接融合无法充分利用双向运动学习和空间信息的固有相关性，并从所有框架中进行空间信息。我们提出了一个有效但有效的经常性网络，该网络具有ST-VSR的双向相互作用，其中仅需要一个对齐和融合。具体而言，它首先从未来到过去执行向后推断，然后遵循向前推理到超溶解中间帧。向后和向前的推论被分配给学习结构和详细信息，以通过联合优化简化学习任务。此外，混合融合模块（HFM）旨在汇总和提炼信息以完善空间信息并重建高质量的视频帧。在两个公共数据集上进行的广泛实验表明，我们的方法在效率方面优于最先进的方法，并将计算成本降低约22％。

不同于单图像超分辨率（SISR）任务，视频超分辨率（VSR）任务的键是在帧中充分利用互补信息来重建高分辨率序列。由于来自不同帧的图像具有不同的运动和场景，因此精确地对准多个帧并有效地融合不同的帧，这始终是VSR任务的关键研究工作。为了利用邻近框架的丰富互补信息，在本文中，我们提出了一种多级VSR深度架构，称为PP-MSVSR，局部融合模块，辅助损耗和重新对准模块，以逐步改进增强率。具体地，为了加强特征传播中帧的特征的融合，在阶段-1中设计了局部融合模块，以在特征传播之前执行局部特征融合。此外，我们在阶段-2中引入辅助损耗，使得通过传播模块获得的特征储备更多相关的信息连接到HR空间，并在阶段-3中引入重新对准模块以充分利用该特征信息前一阶段。广泛的实验证实，PP-MSVSR实现了VID4数据集的有希望的性能，其实现了28.13dB的PSNR，仅具有1.45米的参数。并且PP-MSVSR-L具有相当大的参数的REDS4数据集上的所有状态。代码和模型将在Paddlegan \脚注{https://github.com/paddlepaddle/paddlegan。}。

视频修复（例如，视频超分辨率）旨在从低品质框架中恢复高质量的帧。与单图像恢复不同，视频修复通常需要从多个相邻但通常未对准视频帧的时间信息。现有的深度方法通常通过利用滑动窗口策略或经常性体系结构来解决此问题，该策略要么受逐帧恢复的限制，要么缺乏远程建模能力。在本文中，我们提出了一个带有平行框架预测和远程时间依赖性建模能力的视频恢复变压器（VRT）。更具体地说，VRT由多个量表组成，每个量表由两种模块组成：时间相互注意（TMSA）和平行翘曲。 TMSA将视频分为小剪辑，将相互关注用于关节运动估计，特征对齐和特征融合，而自我注意力则用于特征提取。为了启用交叉交互，视频序列对其他每一层都发生了变化。此外，通过并行功能翘曲，并行翘曲用于进一步从相邻帧中融合信息。有关五项任务的实验结果，包括视频超分辨率，视频脱张，视频denoising，视频框架插值和时空视频超级分辨率，证明VRT优于大幅度的最先进方法（$ \ textbf） {最高2.16db} $）在十四个基准数据集上。

压缩视频超分辨率（VSR）旨在从压缩的低分辨率对应物中恢复高分辨率帧。最近的VSR方法通常通过借用相邻视频帧的相关纹理来增强输入框架。尽管已经取得了一些进展，但是从压缩视频中有效提取和转移高质量纹理的巨大挑战，这些视频通常会高度退化。在本文中，我们提出了一种用于压缩视频超分辨率（FTVSR）的新型频率转换器，该频率在联合时空频域中进行自我注意。首先，我们将视频框架分为斑块，然后将每个贴片转换为DCT光谱图，每个通道代表频带。这样的设计使每个频带都可以进行细粒度的自我注意力，因此可以将真实的视觉纹理与伪影区分开，并进一步用于视频框架修复。其次，我们研究了不同的自我发场方案，并发现在对每个频带上应用暂时关注之前，会引起关节空间的注意力，从而带来最佳的视频增强质量。两个广泛使用的视频超分辨率基准的实验结果表明，FTVSR在未压缩和压缩视频的最先进的方法中都具有清晰的视觉边距。代码可在https://github.com/researchmm/ftvsr上找到。

红外小目标超分辨率（SR）旨在从其低分辨率对应物中恢复具有高度控制目标的可靠和详细的高分辨率图像。由于红外小目标缺乏颜色和精细结构信息，因此利用序列图像之间的补充信息来提高目标是很重要的。在本文中，我们提出了名为局部运动和对比的第一红外小目标SR方法，以前驱动的深网络（MoCopnet）将红外小目标的域知识集成到深网络中，这可以减轻红外小目标的内在特征稀缺性。具体而言，通过在时空维度之前的局部运动的动机，我们提出了局部时空注意力模块，以执行隐式帧对齐并结合本地时空信息以增强局部特征（特别是对于小目标）来增强局部特征。通过在空间尺寸之前的局部对比的动机，我们提出了一种中心差异残留物，将中心差卷积纳入特征提取骨架，这可以实现以中心为导向的梯度感知特征提取，以进一步提高目标对比度。广泛的实验表明，我们的方法可以恢复准确的空间依赖性并改善目标对比度。比较结果表明，MoCopnet在SR性能和目标增强方面可以优于最先进的视频SR和单图像SR方法。基于SR结果，我们进一步调查了SR对红外小型目标检测的影响，实验结果表明MoCopnet促进了检测性能。代码可在https://github.com/xinyiying/mocopnet上获得。

远程时间对齐至关重要，但对视频恢复任务有挑战性。最近，一些作品试图将远程对齐分成几个子对齐并逐步处理它们。虽然该操作有助于建模遥控对应关系，但由于传播机制，误差累积是不可避免的。在这项工作中，我们提出了一种新颖的通用迭代对准模块，其采用逐渐改进方案进行子对准，产生更准确的运动补偿。为了进一步提高对准精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性以用于聚合的空间方式自适应地评估。凭借拟议的策略，我们的模型在一系列视频恢复任务中实现了多个基准测试的最先进的性能，包括视频超分辨率，去噪和去束性。我们的项目可用于\ url {https:/github.com/redrock303/revisiting-temporal-alignment-for-video-Restion.git}。

相邻帧的比对被认为是视频超分辨率（VSR）中的重要操作。高级VSR模型，包括最新的VSR变形金刚，通常配备精心设计的对齐模块。但是，自我注意机制的进步可能违反了这种常识。在本文中，我们重新考虑了对齐在VSR变压器中的作用，并进行了几种违反直觉的观察。我们的实验表明：（i）VSR变形金刚可以直接利用来自非对齐视频的多帧信息，并且（ii）现有的对齐方法有时对VSR变形金刚有害。这些观察结果表明，我们可以仅通过删除对齐模块并采用更大的注意力窗口来进一步提高VSR变压器的性能。然而，这样的设计将大大增加计算负担，无法处理大型动议。因此，我们提出了一种称为斑块对齐的新的，有效的对准方法，该方法将图像贴片而不是像素对齐。配备贴片对齐的VSR变形金刚可以在多个基准测试上证明最先进的性能。我们的工作提供了有关如何在VSR中使用多帧信息以及如何为不同网络/数据集选择对齐方法的宝贵见解。代码和模型将在https://github.com/xpixelgroup/rethinkvsralignment上发布。

Video Super-Resolution (VSR) aims to restore high-resolution (HR) videos from low-resolution (LR) videos. Existing VSR techniques usually recover HR frames by extracting pertinent textures from nearby frames with known degradation processes. Despite significant progress, grand challenges are remained to effectively extract and transmit high-quality textures from high-degraded low-quality sequences, such as blur, additive noises, and compression artifacts. In this work, a novel Frequency-Transformer (FTVSR) is proposed for handling low-quality videos that carry out self-attention in a combined space-time-frequency domain. First, video frames are split into patches and each patch is transformed into spectral maps in which each channel represents a frequency band. It permits a fine-grained self-attention on each frequency band, so that real visual texture can be distinguished from artifacts. Second, a novel dual frequency attention (DFA) mechanism is proposed to capture the global frequency relations and local frequency relations, which can handle different complicated degradation processes in real-world scenarios. Third, we explore different self-attention schemes for video processing in the frequency domain and discover that a ``divided attention'' which conducts a joint space-frequency attention before applying temporal-frequency attention, leads to the best video enhancement quality. Extensive experiments on three widely-used VSR datasets show that FTVSR outperforms state-of-the-art methods on different low-quality videos with clear visual margins. Code and pre-trained models are available at https://github.com/researchmm/FTVSR.

视频修复旨在从多个低质量框架中恢复多个高质量的帧。现有的视频修复方法通常属于两种极端情况，即它们并行恢复所有帧，或者以复发方式恢复视频框架，这将导致不同的优点和缺点。通常，前者具有时间信息融合的优势。但是，它遭受了较大的模型尺寸和密集的内存消耗；后者的模型大小相对较小，因为它在跨帧中共享参数。但是，它缺乏远程依赖建模能力和并行性。在本文中，我们试图通过提出经常性视频恢复变压器（即RVRT）来整合两种情况的优势。 RVRT在全球经常性的框架内并行处理本地相邻框架，该框架可以在模型大小，有效性和效率之间实现良好的权衡。具体而言，RVRT将视频分为多个剪辑，并使用先前推断的剪辑功能来估计后续剪辑功能。在每个剪辑中，通过隐式特征聚合共同更新不同的帧功能。在不同的剪辑中，引导的变形注意力是为剪辑对齐对齐的，该剪辑对齐可预测整个推断的夹子中的多个相关位置，并通过注意机制汇总其特征。关于视频超分辨率，DeBlurring和DeNoising的广泛实验表明，所提出的RVRT在具有平衡模型大小，测试内存和运行时的基准数据集上实现了最先进的性能。

视频超分辨率（VSR）是从一系列低分辨率输入序列恢复高分辨率帧的任务。与单图超分辨率不同，VSR可以利用框架的时间信息来重建结果，并提供更多详细信息。最近，随着卷积神经网络（CNN）的快速发展，VSR任务引起了人们的关注，许多基于CNN的方法取得了显着的结果。但是，由于计算资源和运行时限制，只能将一些VSR方法应用于现实世界移动设备。在本文中，我们提出了一个\ textIt {基于滑动窗口的重复网络}（SWRN），该网络可以实时推断，同时仍能达到卓越的性能。具体而言，我们注意到视频帧应该具有可以帮助恢复细节的空间和时间关系，而关键点是如何提取和汇总信息。解决它，我们输入了三个相邻的帧，并利用隐藏状态来重复存储和更新重要的时间信息。我们在REDS数据集上的实验表明，所提出的方法可以很好地适应移动设备并产生视觉上令人愉悦的结果。

现有视频超分辨率（VSR）算法的成功主要是从相邻框架中利用时间信息。但是，这些方法都没有讨论带有固定物体和背景的贴片中时间冗余的影响，并且通常使用相邻框架中的所有信息而没有任何歧视。在本文中，我们观察到时间冗余将对信息传播产生不利影响，这限制了最现有的VSR方法的性能。在这一观察结果的推动下，我们旨在通过以优化的方式处理时间冗余贴片来改善现有的VSR算法。我们开发了两种简单但有效的插件方法，以提高广泛使用的公共视频中现有的本地和非本地传播算法的性能。为了更全面地评估现有VSR算法的鲁棒性和性能，我们还收集了一个新数据集，其中包含各种公共视频作为测试集。广泛的评估表明，所提出的方法可以显着提高野生场景中收集的视频的现有VSR方法的性能，同时保持其在现有常用数据集上的性能。该代码可在https://github.com/hyhsimon/boosted-vsr上找到。

时空视频超分辨率（STVSR）旨在从相应的低帧速率，低分辨率视频序列构建高空时间分辨率视频序列。灵感来自最近的成功，考虑空间时间超级分辨率的空间信息，我们在这项工作中的主要目标是在快速动态事件的视频序列中充分考虑空间和时间相关性。为此，我们提出了一种新颖的单级内存增强图注意网络（Megan），用于时空视频超分辨率。具体地，我们构建新颖的远程存储图聚合（LMGA）模块，以沿着特征映射的信道尺寸动态捕获相关性，并自适应地聚合信道特征以增强特征表示。我们介绍了一个非本地剩余块，其使每个通道明智的功能能够参加全局空间分层特征。此外，我们采用渐进式融合模块通过广泛利用来自多个帧的空间 - 时间相关性来进一步提高表示能力。实验结果表明，我们的方法与定量和视觉上的最先进的方法相比，实现了更好的结果。

视频流连续交付，以节省存储和设备内存的成本。用户设备上通常采用实时denoising算法，以消除视频流的拍摄和传输过程中所涉及的噪声。但是，基于滑动窗口的方法为单个输出和缺乏计算效率的多个输入帧提供了多个输入帧。最近的多输出推荐工作可以通过平行或经常性的框架传播双向时间功能，这要么在剪辑的时间边缘上的性能下降，要么无法在线推断。在本文中，我们提出了一个双向流视频Denoisising（BSVD）框架，以实现具有过去和将来的暂时接收领域的流式传输视频的高保真实时DENOSISing。在线推理的双向时间融合被认为不适用于Movinet。但是，我们引入了一个新型的双向缓冲块作为我们BSVD的核心模块，这使我们在管道风格的推理过程中成为可能。此外，我们的方法简洁明了，可以在非盲和盲视频降解中使用。我们将模型与各种最先进的视频denoising模型在定性和定量上在合成和真实噪声上进行了比较。我们的方法在恢复保真度和运行时优于先前的方法。我们的源代码可在https://github.com/chenyangqiqi/bsvd上公开获得。

Recently, great progress has been made in single-image super-resolution (SISR) based on deep learning technology. However, the existing methods usually require a large computational cost. Meanwhile, the activation function will cause some features of the intermediate layer to be lost. Therefore, it is a challenge to make the model lightweight while reducing the impact of intermediate feature loss on the reconstruction quality. In this paper, we propose a Feature Interaction Weighted Hybrid Network (FIWHN) to alleviate the above problem. Specifically, FIWHN consists of a series of novel Wide-residual Distillation Interaction Blocks (WDIB) as the backbone, where every third WDIBs form a Feature shuffle Weighted Group (FSWG) by mutual information mixing and fusion. In addition, to mitigate the adverse effects of intermediate feature loss on the reconstruction results, we introduced a well-designed Wide Convolutional Residual Weighting (WCRW) and Wide Identical Residual Weighting (WIRW) units in WDIB, and effectively cross-fused features of different finenesses through a Wide-residual Distillation Connection (WRDC) framework and a Self-Calibrating Fusion (SCF) unit. Finally, to complement the global features lacking in the CNN model, we introduced the Transformer into our model and explored a new way of combining the CNN and Transformer. Extensive quantitative and qualitative experiments on low-level and high-level tasks show that our proposed FIWHN can achieve a good balance between performance and efficiency, and is more conducive to downstream tasks to solve problems in low-pixel scenarios.

经常性模型在基于深度学习（DL）的视频超分辨率（VSR）中获得了普及，因为它们增加了与基于滑动窗口的模型相比的计算效率，时间接收场和时间一致性。然而，当推断出在呈现低运动的长视频序列（即场景的某些部分几乎移动）时，经常性模型通过复发处理发散，产生高频伪像。据我们所知，没有关于VSR的研究指出这个不稳定问题，这对于一些现实世界的应用来说可能是至关重要的。视频监控是一个典型的示例，在那里发生这种伪像，因为相机和场景长时间保持静止。在这项工作中，我们将现有的经常性VSR网络的稳定性暴露在具有低运动的长序列上。我们在新的长序列数据集准静态视频集上演示了它，我们创建了。最后，我们介绍了一种基于Lipschitz稳定性理论的稳定和竞争的重复的VSR网络的新框架。我们提出了一种新的经常性VSR网络，基于此框架，Coined中继视频超分辨率（MRVSR）。我们经验展示了具有低运动的长序列的竞争性能。

Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.

较轻，更快的型号对于在资源有限设备（例如智能手机和可穿戴设备）上部署视频超分辨率（VSR）至关重要。在本文中，我们开发了残留的稀疏连接学习（RSCL），这是一种结构化的修剪方案，以减少卷积内核的冗余，并获得较小的性能下降的紧凑型VSR网络。但是，残留的块要求将跳过的修剪过滤器索引和残留连接相同，这对于修剪很棘手。因此，为了减轻剩余块的修剪限制，我们通过保留特征通道并仅在重要的通道上运行来设计残留的稀疏连接（RSC）方案。此外，对于Pixel-Shuffle操作，我们通过将几个过滤器分组为修剪单元来设计一种特殊的修剪方案，以确保修剪后功能通道空间转换的准确性。此外，我们引入了时间登录（TF），以减少具有时间传播的隐藏状态的修剪误差放大。广泛的实验表明，提出的RSCL在定量和质量上明显优于最新方法。代码和模型将发布。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。