如何正确对视频序列中的框架间关系进行建模是视频恢复（VR）的重要挑战。在这项工作中，我们提出了一个无监督的流动对准​​序列模型（S2SVR）来解决此问题。一方面，在VR中首次探讨了在自然语言处理领域的序列到序列模型。优化的序列化建模显示了捕获帧之间远程依赖性的潜力。另一方面，我们为序列到序列模型配备了无监督的光流估计器，以最大程度地发挥其潜力。通过我们提出的无监督蒸馏损失对流量估计器进行了训练，这可以减轻数据差异和以前基于流动的方法的降解光流问题的不准确降解。通过可靠的光流，我们可以在多个帧之间建立准确的对应关系，从而缩小了1D语言和2D未对准框架之间的域差异，并提高了序列到序列模型的潜力。 S2SVR在多个VR任务中显示出卓越的性能，包括视频脱张，视频超分辨率和压缩视频质量增强。代码和模型可在https://github.com/linjing7/vr-baseline上公开获得

在时空邻域中利用类似和更清晰的场景补丁对于视频去纹理至关重要。然而，基于CNN的方法显示了捕获远程依赖性和建模非本地自相相似性的限制。在本文中，我们提出了一种新颖的框架，流引导稀疏变压器（FGST），用于视频去掩模。在FGST中，我们定制自我关注模块，流动引导的基于稀疏窗口的多头自我关注（FGSW-MSA）。对于模糊参考帧上的每个$查询$元素，FGSW-MSA享有估计的光流向全局样本的指导，其空间稀疏但与相邻帧中相同的场景补丁对应的高度相关$键$元素。此外，我们介绍了一种反复嵌入（RE）机制，以从过去的框架转移信息并加强远程时间依赖性。综合实验表明，我们提出的FGST优于DVD和GoPro数据集的最先进的（SOTA）方法，甚至在真实视频去纹理中产生更多视觉上令人愉悦的结果。代码和型号将发布给公众。

视频修复旨在从多个低质量框架中恢复多个高质量的帧。现有的视频修复方法通常属于两种极端情况，即它们并行恢复所有帧，或者以复发方式恢复视频框架，这将导致不同的优点和缺点。通常，前者具有时间信息融合的优势。但是，它遭受了较大的模型尺寸和密集的内存消耗；后者的模型大小相对较小，因为它在跨帧中共享参数。但是，它缺乏远程依赖建模能力和并行性。在本文中，我们试图通过提出经常性视频恢复变压器（即RVRT）来整合两种情况的优势。 RVRT在全球经常性的框架内并行处理本地相邻框架，该框架可以在模型大小，有效性和效率之间实现良好的权衡。具体而言，RVRT将视频分为多个剪辑，并使用先前推断的剪辑功能来估计后续剪辑功能。在每个剪辑中，通过隐式特征聚合共同更新不同的帧功能。在不同的剪辑中，引导的变形注意力是为剪辑对齐对齐的，该剪辑对齐可预测整个推断的夹子中的多个相关位置，并通过注意机制汇总其特征。关于视频超分辨率，DeBlurring和DeNoising的广泛实验表明，所提出的RVRT在具有平衡模型大小，测试内存和运行时的基准数据集上实现了最先进的性能。

远程时间对齐至关重要，但对视频恢复任务有挑战性。最近，一些作品试图将远程对齐分成几个子对齐并逐步处理它们。虽然该操作有助于建模遥控对应关系，但由于传播机制，误差累积是不可避免的。在这项工作中，我们提出了一种新颖的通用迭代对准模块，其采用逐渐改进方案进行子对准，产生更准确的运动补偿。为了进一步提高对准精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性以用于聚合的空间方式自适应地评估。凭借拟议的策略，我们的模型在一系列视频恢复任务中实现了多个基准测试的最先进的性能，包括视频超分辨率，去噪和去束性。我们的项目可用于\ url {https:/github.com/redrock303/revisiting-temporal-alignment-for-video-Restion.git}。

视频修复（例如，视频超分辨率）旨在从低品质框架中恢复高质量的帧。与单图像恢复不同，视频修复通常需要从多个相邻但通常未对准视频帧的时间信息。现有的深度方法通常通过利用滑动窗口策略或经常性体系结构来解决此问题，该策略要么受逐帧恢复的限制，要么缺乏远程建模能力。在本文中，我们提出了一个带有平行框架预测和远程时间依赖性建模能力的视频恢复变压器（VRT）。更具体地说，VRT由多个量表组成，每个量表由两种模块组成：时间相互注意（TMSA）和平行翘曲。 TMSA将视频分为小剪辑，将相互关注用于关节运动估计，特征对齐和特征融合，而自我注意力则用于特征提取。为了启用交叉交互，视频序列对其他每一层都发生了变化。此外，通过并行功能翘曲，并行翘曲用于进一步从相邻帧中融合信息。有关五项任务的实验结果，包括视频超分辨率，视频脱张，视频denoising，视频框架插值和时空视频超级分辨率，证明VRT优于大幅度的最先进方法（$ \ textbf） {最高2.16db} $）在十四个基准数据集上。

Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.

在大多数视频平台（如youtube和Tiktok）中，播放的视频通常经过多个视频编码，例如通过记录设备，视频编辑应用程序的软件编码，以及视频应用程序服务器的单个/多个视频转码。以前的压缩视频恢复工作通常假设压缩伪像是由一次性编码引起的。因此，衍生的解决方案通常在实践中通常不起作用。在本文中，我们提出了一种新的方法，时间空间辅助网络（TSAN），用于转码视频恢复。我们的方法考虑了视频编码和转码之间的独特特征，我们将初始浅编码视频视为中间标签，以帮助网络进行自我监督的注意培训。此外，我们采用相邻的多帧信息，并提出用于转码视频恢复的时间可变形对准和金字塔空间融合。实验结果表明，该方法的性能优于以前的技术。代码可在https://github.com/iceCherylxuli/tsan获得。

尽管在深层视频降级中取得了重大进展，但利用历史和未来框架仍然非常具有挑战性。双向反复网络（BIRNN）在几个视频恢复任务中表现出吸引力的表现。但是，Birnn本质上是离线的，因为它使用向后的复发模块从最后一个帧传播到当前帧，这会导致高潜伏期和大型内存消耗。为了解决Birnn的离线问题，我们提出了一个新颖的经常性网络，该网络由向单向视频DeNoising的前向和观察的经常性模块组成。特别是，look-aver-aph模块是一个精心设计的前向模块，用于利用近距离框架的信息。当降级当前框架时，将隐藏的特征组合出来，并相互反复的模块组合，从而使其可行，可以利用历史和近乎未来的框架。由于不邻近框架之间的现场运动，当从近距离框架到当前框架的扭曲外观功能时，可能会失踪边界像素，这可以通过合并前向翘曲和拟议边框扩大来大大减轻。实验表明，我们的方法通过持续的延迟和记忆消耗实现最先进的性能。代码可在https://github.com/nagejacob/flornn上提供可用。

现有视频超分辨率（VSR）算法的成功主要是从相邻框架中利用时间信息。但是，这些方法都没有讨论带有固定物体和背景的贴片中时间冗余的影响，并且通常使用相邻框架中的所有信息而没有任何歧视。在本文中，我们观察到时间冗余将对信息传播产生不利影响，这限制了最现有的VSR方法的性能。在这一观察结果的推动下，我们旨在通过以优化的方式处理时间冗余贴片来改善现有的VSR算法。我们开发了两种简单但有效的插件方法，以提高广泛使用的公共视频中现有的本地和非本地传播算法的性能。为了更全面地评估现有VSR算法的鲁棒性和性能，我们还收集了一个新数据集，其中包含各种公共视频作为测试集。广泛的评估表明，所提出的方法可以显着提高野生场景中收集的视频的现有VSR方法的性能，同时保持其在现有常用数据集上的性能。该代码可在https://github.com/hyhsimon/boosted-vsr上找到。

视频框架合成由插值和外推组成，是一种必不可少的视频处理技术，可应用于各种情况。但是，大多数现有方法无法处理小物体或大型运动，尤其是在高分辨率视频（例如4K视频）中。为了消除此类局限性，我们引入了基于流动帧合成的邻居对应匹配（NCM）算法。由于当前的帧在视频框架合成中不可用，因此NCM以当前框架的方式进行，以在每个像素的空间型社区中建立多尺度对应关系。基于NCM的强大运动表示能力，我们进一步建议在异质的粗到细节方案中估算框架合成的中间流。具体而言，粗尺度模块旨在利用邻居的对应关系来捕获大型运动，而细尺度模块在计算上更有效地加快了估计过程。两个模块都经过逐步训练，以消除培训数据集和现实世界视频之间的分辨率差距。实验结果表明，NCM在多个基准测试中实现了最先进的性能。此外，NCM可以应用于各种实践场景，例如视频压缩，以实现更好的性能。

的状态的最先进的视频去模糊方法的成功主要源于潜伏视频恢复相邻帧之间的对准隐式或显式的估计。然而，由于模糊效果的影响，估计从所述模糊的相邻帧的对准信息是不是一个简单的任务。不准确的估计将干扰随后的帧的恢复。相反，估计比对信息，我们提出了一个简单而有效的深层递归神经网络与多尺度双向传播（RNN-MBP），有效传播和收集未对齐的相邻帧的信息，更好的视频去模糊。具体来说，我们建立与这可以通过在不同的尺度整合他们直接利用从非对齐相邻隐藏状态帧间信息的两个U形网RNN细胞多尺度双向传播〜（MBP）模块。此外，为了更好地评估算法和国家的最先进的存在于现实世界的模糊场景的方法，我们也通过一个精心设计的数字视频采集系统创建一个真实世界的模糊视频数据集（RBVD）（的DVA）并把它作为训练和评估数据集。大量的实验结果表明，该RBVD数据集有效地提高了对现实世界的模糊的视频现有算法的性能，并且算法进行从优对三个典型基准的国家的最先进的方法。该代码可在https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP。

Video restoration tasks, including super-resolution, deblurring, etc, are drawing increasing attention in the computer vision community. A challenging benchmark named REDS is released in the NTIRE19 Challenge. This new benchmark challenges existing methods from two aspects:(1) how to align multiple frames given large motions, and (2) how to effectively fuse different frames with diverse motion and blur. In this work, we propose a novel Video Restoration framework with Enhanced Deformable convolutions, termed EDVR, to address these challenges. First, to handle large motions, we devise a Pyramid, Cascading and Deformable (PCD) alignment module, in which frame alignment is done at the feature level using deformable convolutions in a coarse-to-fine manner. Second, we propose a Temporal and Spatial Attention (TSA) fusion module, in which attention is applied both temporally and spatially, so as to emphasize important features for subsequent restoration. Thanks to these modules, our EDVR wins the champions and outperforms the second place by a large margin in all four tracks in the NTIRE19 video restoration and enhancement challenges. EDVR also demonstrates superior performance to state-of-the-art published methods on video super-resolution and deblurring. The code is available at https://github.com/xinntao/EDVR.

时空视频超分辨率（STVSR）的目标是增加低分辨率（LR）和低帧速率（LFR）视频的空间分辨率。基于深度学习的最新方法已取得了重大改进，但是其中大多数仅使用两个相邻帧，即短期功能，可以合成缺失的框架嵌入，这无法完全探索连续输入LR帧的信息流。此外，现有的STVSR模型几乎无法明确利用时间上下文以帮助高分辨率（HR）框架重建。为了解决这些问题，在本文中，我们提出了一个称为STDAN的可变形注意网络。首先，我们设计了一个长短的术语特征插值（LSTFI）模块，该模块能够通过双向RNN结构从更相邻的输入帧中挖掘大量的内容，以进行插值。其次，我们提出了一个空间 - 周期性变形特征聚合（STDFA）模块，其中动态视频框架中的空间和时间上下文被自适应地捕获并汇总以增强SR重建。几个数据集的实验结果表明，我们的方法的表现优于最先进的STVSR方法。该代码可在https://github.com/littlewhitesea/stdan上找到。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

基于常规卷积网络的视频超分辨率（VSR）方法具有很强的视频序列的时间建模能力。然而，在单向反复卷积网络中的不同反复单元接收的输入信息不平衡。早期重建帧接收较少的时间信息，导致模糊或工件效果。虽然双向反复卷积网络可以缓解这个问题，但它大大提高了重建时间和计算复杂性。它也不适用于许多应用方案，例如在线超分辨率。为了解决上述问题，我们提出了一种端到端信息预构建的经常性重建网络（IPRRN），由信息预构建网络（IPNet）和经常性重建网络（RRNET）组成。通过将足够的信息从视频的前面集成来构建初始复发单元所需的隐藏状态，以帮助恢复较早的帧，信息预构建的网络在不向后传播之前和之后的输入信息差异。此外，我们展示了一种紧凑的复发性重建网络，可显着改善恢复质量和时间效率。许多实验已经验证了我们所提出的网络的有效性，并与现有的最先进方法相比，我们的方法可以有效地实现更高的定量和定性评估性能。

我们提出了一种用于视频帧插值（VFI）的实时中流估计算法。许多最近的基于流的VFI方法首先估计双向光学流，然后缩放并将它们倒转到近似中间流动，导致运动边界上的伪像。RIFE使用名为IFNET的神经网络，可以直接估计中间流量从粗细流，速度更好。我们设计了一种用于训练中间流动模型的特权蒸馏方案，这导致了大的性能改善。Rife不依赖于预先训练的光流模型，可以支持任意时间的帧插值。实验表明，普里埃雷在若干公共基准上实现了最先进的表现。\ url {https://github.com/hzwer/arxiv2020-rife}。

旨在恢复降级视频清晰框架的视频修复一直在吸引越来越多的关注。需要进行视频修复来建立来自多个未对准帧的时间对应关系。为了实现这一目标，现有的深层方法通常采用复杂的网络体系结构，例如集成光流，可变形卷积，跨框或跨像素自我发项层，从而导致昂贵的计算成本。我们认为，通过适当的设计，视频修复中的时间信息利用可能会更加有效。在这项研究中，我们提出了一个简单，快速但有效的视频修复框架。我们框架的关键是分组的时空转移，它简单且轻巧，但可以隐式建立框架间的对应关系并实现多框架聚合。加上用于框架编码和解码的基本2D U-NET，这种有效的时空移位模块可以有效地应对视频修复中的挑战。广泛的实验表明，我们的框架超过了先前的最先进方法，其计算成本的43％在视频DeBlurring和Video Denoisising上。

相邻帧的比对被认为是视频超分辨率（VSR）中的重要操作。高级VSR模型，包括最新的VSR变形金刚，通常配备精心设计的对齐模块。但是，自我注意机制的进步可能违反了这种常识。在本文中，我们重新考虑了对齐在VSR变压器中的作用，并进行了几种违反直觉的观察。我们的实验表明：（i）VSR变形金刚可以直接利用来自非对齐视频的多帧信息，并且（ii）现有的对齐方法有时对VSR变形金刚有害。这些观察结果表明，我们可以仅通过删除对齐模块并采用更大的注意力窗口来进一步提高VSR变压器的性能。然而，这样的设计将大大增加计算负担，无法处理大型动议。因此，我们提出了一种称为斑块对齐的新的，有效的对准方法，该方法将图像贴片而不是像素对齐。配备贴片对齐的VSR变形金刚可以在多个基准测试上证明最先进的性能。我们的工作提供了有关如何在VSR中使用多帧信息以及如何为不同网络/数据集选择对齐方法的宝贵见解。代码和模型将在https://github.com/xpixelgroup/rethinkvsralignment上发布。

视频框架插值（VFI）旨在合成两个连续帧之间的中间框架。最先进的方法通常采用两步解决方案，其中包括1）通过基于流动的运动估计来生成本地光线的像素，2）将扭曲的像素混合以通过深神经合成网络形成全帧。但是，由于两个连续的帧不一致，新帧的扭曲功能通常不会对齐，这会导致扭曲和模糊的帧，尤其是在发生大型和复杂的运动时。为了解决这个问题，在本文中，我们提出了一种新颖的视频框架插值变压器（TTVFI）。特别是，我们以不一致的动作为查询令牌制定了扭曲的特征，并将运动轨迹中的相关区域从两个原始的连续帧中提出到键和值。在沿轨迹的相关令牌上学习了自我注意力，以通过端到端训练将原始特征融合到中间框架中。实验结果表明，我们的方法在四个广泛使用的VFI基准中优于其他最先进的方法。代码和预培训模型都将很快发布。

学习的视频压缩方法在赶上其速率 - 失真（R-D）性能时，追赶传统视频编解码器的许多承诺。然而，现有的学习视频压缩方案受预测模式和固定网络框架的绑定限制。它们无法支持各种帧间预测模式，从而不适用于各种场景。在本文中，为了打破这种限制，我们提出了一种多功能学习的视频压缩（VLVC）框架，它使用一个模型来支持所有可能的预测模式。具体而言，为了实现多功能压缩，我们首先构建一个运动补偿模块，该模块应用用于在空间空间中的加权三线性翘曲的多个3D运动矢量字段（即，Voxel流量）。 Voxel流量传达了时间参考位置的信息，有助于与框架设计中的帧间预测模式分离。其次，在多参考帧预测的情况下，我们应用流预测模块以预测具有统一多项式函数的准确运动轨迹。我们表明流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置中的多功能压缩，而且还通过MS-SSIM的最新VVC标准实现了可比的R-D性能。