The demand of high-resolution video contents has grown over the years. However, the delivery of high-resolution video is constrained by either computational resources required for rendering or network bandwidth for remote transmission. To remedy this limitation, we leverage the eye trackers found alongside existing augmented and virtual reality headsets. We propose the application of video super-resolution (VSR) technique to fuse low-resolution context with regional high-resolution context for resource-constrained consumption of high-resolution content without perceivable drop in quality. Eye trackers provide us the gaze direction of a user, aiding us in the extraction of the regional high-resolution context. As only pixels that falls within the gaze region can be resolved by the human eye, a large amount of the delivered content is redundant as we can't perceive the difference in quality of the region beyond the observed region. To generate a visually pleasing frame from the fusion of high-resolution region and low-resolution region, we study the capability of a deep neural network of transferring the context of the observed region to other regions (low-resolution) of the current and future frames. We label this task a Foveated Video Super-Resolution (FVSR), as we need to super-resolve the low-resolution regions of current and future frames through the fusion of pixels from the gaze region. We propose Cross-Resolution Flow Propagation (CRFP) for FVSR. We train and evaluate CRFP on REDS dataset on the task of 8x FVSR, i.e. a combination of 8x VSR and the fusion of foveated region. Departing from the conventional evaluation of per frame quality using SSIM or PSNR, we propose the evaluation of past foveated region, measuring the capability of a model to leverage the noise present in eye trackers during FVSR. Code is made available at https://github.com/eugenelet/CRFP.

基于常规卷积网络的视频超分辨率（VSR）方法具有很强的视频序列的时间建模能力。然而，在单向反复卷积网络中的不同反复单元接收的输入信息不平衡。早期重建帧接收较少的时间信息，导致模糊或工件效果。虽然双向反复卷积网络可以缓解这个问题，但它大大提高了重建时间和计算复杂性。它也不适用于许多应用方案，例如在线超分辨率。为了解决上述问题，我们提出了一种端到端信息预构建的经常性重建网络（IPRRN），由信息预构建网络（IPNet）和经常性重建网络（RRNET）组成。通过将足够的信息从视频的前面集成来构建初始复发单元所需的隐藏状态，以帮助恢复较早的帧，信息预构建的网络在不向后传播之前和之后的输入信息差异。此外，我们展示了一种紧凑的复发性重建网络，可显着改善恢复质量和时间效率。许多实验已经验证了我们所提出的网络的有效性，并与现有的最先进方法相比，我们的方法可以有效地实现更高的定量和定性评估性能。

时空视频超分辨率（STVSR）的目标是增加低分辨率（LR）和低帧速率（LFR）视频的空间分辨率。基于深度学习的最新方法已取得了重大改进，但是其中大多数仅使用两个相邻帧，即短期功能，可以合成缺失的框架嵌入，这无法完全探索连续输入LR帧的信息流。此外，现有的STVSR模型几乎无法明确利用时间上下文以帮助高分辨率（HR）框架重建。为了解决这些问题，在本文中，我们提出了一个称为STDAN的可变形注意网络。首先，我们设计了一个长短的术语特征插值（LSTFI）模块，该模块能够通过双向RNN结构从更相邻的输入帧中挖掘大量的内容，以进行插值。其次，我们提出了一个空间 - 周期性变形特征聚合（STDFA）模块，其中动态视频框架中的空间和时间上下文被自适应地捕获并汇总以增强SR重建。几个数据集的实验结果表明，我们的方法的表现优于最先进的STVSR方法。该代码可在https://github.com/littlewhitesea/stdan上找到。

当网络条件恶化时，视频会议系统的用户体验差，因为当前的视频编解码器根本无法在极低的比特率下运行。最近，已经提出了几种神经替代方案，可以使用每个框架的稀疏表示，例如面部地标信息，以非常低的比特率重建说话的头视频。但是，这些方法在通话过程中具有重大运动或遮挡的情况下会产生不良的重建，并且不会扩展到更高的分辨率。我们设计了Gemino，这是一种基于新型高频条件超分辨率管道的新型神经压缩系统，用于视频会议。 Gemino根据从单个高分辨率参考图像中提取的信息来增强高频细节（例如，皮肤纹理，头发等），为每个目标框架的一个非常低分辨率的版本（例如，皮肤纹理，头发等）。我们使用多尺度体系结构，该体系结构在不同的分辨率下运行模型的不同组件，从而使其扩展到可与720p相当的分辨率，并且我们个性化模型以学习每个人的特定细节，在低比特率上实现了更好的保真度。我们在AIORTC上实施了Gemino，这是WEBRTC的开源Python实现，并表明它在A100 GPU上实时在1024x1024视频上运行，比比特率的比特率低于传统的视频Codecs，以相同的感知质量。

时空视频超分辨率（STVSR）的目标是提高帧速率（也称为时间分辨率）和给定视频的空间分辨率。最近的方法通过端到端的深神经网络解决了STVSR。一个流行的解决方案是首先提高视频的帧速率；然后在不同的框架功能之间执行特征改进；最后增加了这些功能的空间分辨率。在此过程中，仔细利用了不同帧的特征之间的时间相关性。然而，尚未强调不同（空间）分辨率的特征之间的空间相关性。在本文中，我们提出了一个时空特征交互网络，以通过在不同框架和空间分辨率的特征之间利用空间和时间相关来增强STVSR。具体而言，引入了空间 - 周期框架插值模块，以同时和互动性地插值低分辨率和高分辨率的中间框架特征。后来分别部署了空间 - 周期性的本地和全局细化模块，以利用不同特征之间的空间 - 周期相关性进行细化。最后，采用了新的运动一致性损失来增强重建帧之间的运动连续性。我们对三个标准基准测试，即VID4，Vimeo-90K和Adobe240进行实验，结果表明，我们的方法可以通过相当大的余量提高了最先进的方法。我们的代码将在https://github.com/yuezijie/stinet-pace time-video-super-resolution上找到。

时空视频超分辨率（STVSR）旨在从相应的低帧速率，低分辨率视频序列构建高空时间分辨率视频序列。灵感来自最近的成功，考虑空间时间超级分辨率的空间信息，我们在这项工作中的主要目标是在快速动态事件的视频序列中充分考虑空间和时间相关性。为此，我们提出了一种新颖的单级内存增强图注意网络（Megan），用于时空视频超分辨率。具体地，我们构建新颖的远程存储图聚合（LMGA）模块，以沿着特征映射的信道尺寸动态捕获相关性，并自适应地聚合信道特征以增强特征表示。我们介绍了一个非本地剩余块，其使每个通道明智的功能能够参加全局空间分层特征。此外，我们采用渐进式融合模块通过广泛利用来自多个帧的空间 - 时间相关性来进一步提高表示能力。实验结果表明，我们的方法与定量和视觉上的最先进的方法相比，实现了更好的结果。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

现有视频超分辨率（VSR）算法的成功主要是从相邻框架中利用时间信息。但是，这些方法都没有讨论带有固定物体和背景的贴片中时间冗余的影响，并且通常使用相邻框架中的所有信息而没有任何歧视。在本文中，我们观察到时间冗余将对信息传播产生不利影响，这限制了最现有的VSR方法的性能。在这一观察结果的推动下，我们旨在通过以优化的方式处理时间冗余贴片来改善现有的VSR算法。我们开发了两种简单但有效的插件方法，以提高广泛使用的公共视频中现有的本地和非本地传播算法的性能。为了更全面地评估现有VSR算法的鲁棒性和性能，我们还收集了一个新数据集，其中包含各种公共视频作为测试集。广泛的评估表明，所提出的方法可以显着提高野生场景中收集的视频的现有VSR方法的性能，同时保持其在现有常用数据集上的性能。该代码可在https://github.com/hyhsimon/boosted-vsr上找到。

我们提出了Neuricam，这是一种基于钥匙帧的视频超分辨率和着色系统，可从双模式IoT摄像机获得低功耗视频捕获。我们的想法是设计一个双模式摄像机系统，其中第一个模式是低功率（1.1〜MW），但仅输出灰度，低分辨率和嘈杂的视频，第二种模式会消耗更高的功率（100〜MW），但输出会输出。颜色和更高分辨率的图像。为了减少总能源消耗，我们在高功率模式下高功率模式仅输出图像每秒一次。然后将来自该相机系统的数据无线流传输到附近的插入网关，在那里我们运行实时神经网络解码器，以重建更高的分辨率颜色视频。为了实现这一目标，我们基于每个空间位置的特征映射和输入框架的内容之间的相关性，引入了一种注意力特征滤波器机制，该机制将不同的权重分配给不同的特征。我们使用现成的摄像机设计无线硬件原型，并解决包括数据包丢失和透视不匹配在内的实用问题。我们的评估表明，我们的双摄像机硬件可减少相机的能耗，同时在先前的视频超级分辨率方法中获得平均的灰度PSNR增益为3.7〜db，而在现有的颜色传播方法上，我们的灰度尺度PSNR增益为3.7 〜db。开源代码：https：//github.com/vb000/neuricam。

本文提出了解码器 - 侧交叉分辨率合成（CRS）模块，以追求更好的压缩效率超出最新的通用视频编码（VVC），在那里我们在原始高分辨率（HR）处编码帧内帧，以较低的分辨率压缩帧帧间（ LR），然后通过在先前的HR帧内和相邻的LR帧间帧内解解码LR帧间帧间帧帧。对于LR帧间帧，设计运动对准和聚合网络（MAN）以产生时间汇总的运动表示，以最佳保证时间平滑度;使用另一个纹理补偿网络（TCN）来生成从解码的HR帧内帧的纹理表示，以便更好地增强空间细节;最后，相似性驱动的融合引擎将运动和纹理表示合成为Upscale LR帧帧，以便去除压缩和分辨率重新采样噪声。我们使用所提出的CRS增强VVC，显示平均为8.76％和11.93％BJ {\ O} NTEGAARD Delta率（BD速率）分别在随机接入（RA）和低延延迟P（LDP）设置中的最新VVC锚点。此外，对基于最先进的超分辨率（SR）的VVC增强方法和消融研究的实验比较，进一步报告了所提出的算法的卓越效率和泛化。所有材料都将在HTTPS://njuvision.github.io /crs上公开进行可重复的研究。

Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.

在许多重要的科学和工程应用中发现了卷数据。渲染此数据以高质量和交互速率为苛刻的应用程序（例如虚拟现实）的可视化化，即使使用专业级硬件也无法实现。我们介绍了Fovolnet - 一种可显着提高数量数据可视化的性能的方法。我们开发了一种具有成本效益的渲染管道，该管道稀疏地对焦点进行了量度，并使用深层神经网络重建了全帧。 FOVEATED渲染是一种优先考虑用户焦点渲染计算的技术。这种方法利用人类视觉系统的属性，从而在用户视野的外围呈现数据时节省了计算资源。我们的重建网络结合了直接和内核预测方法，以产生快速，稳定和感知令人信服的输出。凭借纤细的设计和量化的使用，我们的方法在端到端框架时间和视觉质量中都优于最先进的神经重建技术。我们对系统的渲染性能，推理速度和感知属性进行了广泛的评估，并提供了与竞争神经图像重建技术的比较。我们的测试结果表明，Fovolnet始终在保持感知质量的同时，在传统渲染上节省了大量时间。

视频通常将流和连续的视觉数据记录为离散的连续帧。由于存储成本对于高保真度的视频来说是昂贵的，因此大多数存储以相对较低的分辨率和帧速率存储。最新的时空视频超分辨率（STVSR）的工作是开发出来的，以将时间插值和空间超分辨率纳入统一框架。但是，其中大多数仅支持固定的上采样量表，这限制了其灵活性和应用。在这项工作中，我们没有遵循离散表示，我们提出了视频隐式神经表示（videoinr），并显示了其对STVSR的应用。学到的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，Videoinr在常见的上采样量表上使用最先进的STVSR方法实现了竞争性能，并且在连续和训练的分布量表上显着优于先前的作品。我们的项目页面位于http://zeyuan-chen.com/videoinr/。

不同于单图像超分辨率（SISR）任务，视频超分辨率（VSR）任务的键是在帧中充分利用互补信息来重建高分辨率序列。由于来自不同帧的图像具有不同的运动和场景，因此精确地对准多个帧并有效地融合不同的帧，这始终是VSR任务的关键研究工作。为了利用邻近框架的丰富互补信息，在本文中，我们提出了一种多级VSR深度架构，称为PP-MSVSR，局部融合模块，辅助损耗和重新对准模块，以逐步改进增强率。具体地，为了加强特征传播中帧的特征的融合，在阶段-1中设计了局部融合模块，以在特征传播之前执行局部特征融合。此外，我们在阶段-2中引入辅助损耗，使得通过传播模块获得的特征储备更多相关的信息连接到HR空间，并在阶段-3中引入重新对准模块以充分利用该特征信息前一阶段。广泛的实验证实，PP-MSVSR实现了VID4数据集的有希望的性能，其实现了28.13dB的PSNR，仅具有1.45米的参数。并且PP-MSVSR-L具有相当大的参数的REDS4数据集上的所有状态。代码和模型将在Paddlegan \脚注{https://github.com/paddlepaddle/paddlegan。}。

时空视频超分辨率（ST-VSR）技术生成具有更高分辨率和较高帧速率的高质量视频。现有的高级方法通过空间和时间视频超分辨率（S-VSR和T-VSR）的关联来完成ST-VSR任务。这些方法需要在S-VSR和T-VSR中进行两个比对和融合，这显然是冗余的，并且无法充分探索连续的空间LR帧的信息流。尽管引入了双向学习（未来到档案和过去到现场）以涵盖所有输入框架，但最终预测的直接融合无法充分利用双向运动学习和空间信息的固有相关性，并从所有框架中进行空间信息。我们提出了一个有效但有效的经常性网络，该网络具有ST-VSR的双向相互作用，其中仅需要一个对齐和融合。具体而言，它首先从未来到过去执行向后推断，然后遵循向前推理到超溶解中间帧。向后和向前的推论被分配给学习结构和详细信息，以通过联合优化简化学习任务。此外，混合融合模块（HFM）旨在汇总和提炼信息以完善空间信息并重建高质量的视频帧。在两个公共数据集上进行的广泛实验表明，我们的方法在效率方面优于最先进的方法，并将计算成本降低约22％。

Video Super-Resolution (VSR) aims to restore high-resolution (HR) videos from low-resolution (LR) videos. Existing VSR techniques usually recover HR frames by extracting pertinent textures from nearby frames with known degradation processes. Despite significant progress, grand challenges are remained to effectively extract and transmit high-quality textures from high-degraded low-quality sequences, such as blur, additive noises, and compression artifacts. In this work, a novel Frequency-Transformer (FTVSR) is proposed for handling low-quality videos that carry out self-attention in a combined space-time-frequency domain. First, video frames are split into patches and each patch is transformed into spectral maps in which each channel represents a frequency band. It permits a fine-grained self-attention on each frequency band, so that real visual texture can be distinguished from artifacts. Second, a novel dual frequency attention (DFA) mechanism is proposed to capture the global frequency relations and local frequency relations, which can handle different complicated degradation processes in real-world scenarios. Third, we explore different self-attention schemes for video processing in the frequency domain and discover that a ``divided attention'' which conducts a joint space-frequency attention before applying temporal-frequency attention, leads to the best video enhancement quality. Extensive experiments on three widely-used VSR datasets show that FTVSR outperforms state-of-the-art methods on different low-quality videos with clear visual margins. Code and pre-trained models are available at https://github.com/researchmm/FTVSR.

Many video enhancement algorithms rely on optical flow to register frames in a video sequence. Precise flow estimation is however intractable; and optical flow itself is often a sub-optimal representation for particular video processing tasks. In this paper, we propose task-oriented flow (TOFlow), a motion representation learned in a selfsupervised, task-specific manner. We design a neural network with a trainable motion estimation component and a video processing component, and train them jointly to learn the task-oriented flow. For evaluation, we build Vimeo-90K, a large-scale, high-quality video dataset for low-level video processing. TOFlow outperforms traditional optical flow on standard benchmarks as well as our Vimeo-90K dataset in three video processing tasks: frame interpolation, video denoising/deblocking, and video super-resolution. IntroductionMotion estimation is a key component in video processing tasks such as temporal frame interpolation, video denoising,

本文回顾了关于压缩视频质量增强质量的第一个NTIRE挑战，重点是拟议的方法和结果。在此挑战中，采用了新的大型不同视频（LDV）数据集。挑战有三个曲目。Track 1和2的目标是增强HEVC在固定QP上压缩的视频，而Track 3旨在增强X265压缩的视频，以固定的位速率压缩。此外，轨道1和3的质量提高了提高保真度（PSNR）的目标，以及提高感知质量的2个目标。这三个曲目完全吸引了482个注册。在测试阶段，分别提交了12个团队，8支球队和11支球队，分别提交了轨道1、2和3的最终结果。拟议的方法和解决方案衡量视频质量增强的最先进。挑战的首页：https：//github.com/renyang-home/ntire21_venh

红外小目标超分辨率（SR）旨在从其低分辨率对应物中恢复具有高度控制目标的可靠和详细的高分辨率图像。由于红外小目标缺乏颜色和精细结构信息，因此利用序列图像之间的补充信息来提高目标是很重要的。在本文中，我们提出了名为局部运动和对比的第一红外小目标SR方法，以前驱动的深网络（MoCopnet）将红外小目标的域知识集成到深网络中，这可以减轻红外小目标的内在特征稀缺性。具体而言，通过在时空维度之前的局部运动的动机，我们提出了局部时空注意力模块，以执行隐式帧对齐并结合本地时空信息以增强局部特征（特别是对于小目标）来增强局部特征。通过在空间尺寸之前的局部对比的动机，我们提出了一种中心差异残留物，将中心差卷积纳入特征提取骨架，这可以实现以中心为导向的梯度感知特征提取，以进一步提高目标对比度。广泛的实验表明，我们的方法可以恢复准确的空间依赖性并改善目标对比度。比较结果表明，MoCopnet在SR性能和目标增强方面可以优于最先进的视频SR和单图像SR方法。基于SR结果，我们进一步调查了SR对红外小型目标检测的影响，实验结果表明MoCopnet促进了检测性能。代码可在https://github.com/xinyiying/mocopnet上获得。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.