本文介绍了一个名为DTVNet的新型端到端动态时间流逝视频生成框架，以从归一化运动向量上的单个景观图像生成多样化的延期视频。所提出的DTVNET由两个子模块组成：\ EMPH {光学流编码器}（OFE）和\ EMPH {动态视频生成器}（DVG）。 OFE将一系列光学流程图映射到编码所生成视频的运动信息的\ Emph {归一化运动向量}。 DVG包含来自运动矢量和单个景观图像的运动和内容流。此外，它包含一个编码器，用于学习共享内容特征和解码器，以构造具有相应运动的视频帧。具体地，\ EMPH {运动流}介绍多个\ EMPH {自适应实例归一化}（Adain）层，以集成用于控制对象运动的多级运动信息。在测试阶段，基于仅一个输入图像，可以产生具有相同内容但具有相同运动信息但各种运动信息的视频。此外，我们提出了一个高分辨率的景区时间流逝视频数据集，命名为快速天空时间，以评估不同的方法，可以被视为高质量景观图像和视频生成任务的新基准。我们进一步对天空延时，海滩和快速天空数据集进行实验。结果证明了我们对最先进的方法产生高质量和各种动态视频的方法的优越性。

We are introducing a multi-scale predictive model for video prediction here, whose design is inspired by the "Predictive Coding" theories and "Coarse to Fine" approach. As a predictive coding model, it is updated by a combination of bottom-up and top-down information flows, which is different from traditional bottom-up training style. Its advantage is to reduce the dependence on input information and improve its ability to predict and generate images. Importantly, we achieve with a multi-scale approach -- higher level neurons generate coarser predictions (lower resolution), while the lower level generate finer predictions (higher resolution). This is different from the traditional predictive coding framework in which higher level predict the activity of neurons in lower level. To improve the predictive ability, we integrate an encoder-decoder network in the LSTM architecture and share the final encoded high-level semantic information between different levels. Additionally, since the output of each network level is an RGB image, a smaller LSTM hidden state can be used to retain and update the only necessary hidden information, avoiding being mapped to an overly discrete and complex space. In this way, we can reduce the difficulty of prediction and the computational overhead. Finally, we further explore the training strategies, to address the instability in adversarial training and mismatch between training and testing in long-term prediction. Code is available at https://github.com/Ling-CF/MSPN.

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

视频通常将流和连续的视觉数据记录为离散的连续帧。由于存储成本对于高保真度的视频来说是昂贵的，因此大多数存储以相对较低的分辨率和帧速率存储。最新的时空视频超分辨率（STVSR）的工作是开发出来的，以将时间插值和空间超分辨率纳入统一框架。但是，其中大多数仅支持固定的上采样量表，这限制了其灵活性和应用。在这项工作中，我们没有遵循离散表示，我们提出了视频隐式神经表示（videoinr），并显示了其对STVSR的应用。学到的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，Videoinr在常见的上采样量表上使用最先进的STVSR方法实现了竞争性能，并且在连续和训练的分布量表上显着优于先前的作品。我们的项目页面位于http://zeyuan-chen.com/videoinr/。

跳舞视频retargeting旨在综合传输从源视频到目标人物的舞蹈移动的视频。以前的工作需要收集有几分钟的目标人物，以训练个性化模型的数千帧。但是，训练有素的模型只能生成同一个人的视频。为了解决限制，最近的工作解决了几次跳舞的视频retargeting，这将通过利用其中几帧来综合看不见的人的视频。在实践中，给出了一个人的几个框架，这些工作只是将它们视为一批没有时间相关性的单个图像，从而产生了低视觉质量的时间上不连贯的跳舞视频。在这项工作中，我们将一个人的一些框架模拟了一系列跳舞的移动，其中每个移动包含两个连续帧，以提取这个人的外观模式和时间动态。我们提出了通过跳舞移动的合成优化模型的初始化，从而利用时间感知的元学习，使得元训练模型可以朝着增强的视觉质量和加强不良人员的时间稳定性地调整。很少的框架。广泛的评估显示了我们的方法的大量优势。

高动态范围（HDR）视频提供比标准低动态范围（LDR）视频更具视觉上的体验。尽管HDR成像具有重要进展，但仍有一个具有挑战性的任务，可以使用传统的现成摄像头捕获高质量的HDR视频。现有方法完全依赖于在相邻的LDR序列之间使用致密光流来重建HDR帧。然而，当用嘈杂的框架应用于交替的曝光时，它们会导致颜色和暴露的曝光不一致。在本文中，我们提出了一种从LDR序列与交替曝光的LDR序列的HDR视频重建的端到端GAN框架。我们首先从Noisy LDR视频中提取清洁LDR帧，并具有在自我监督设置中培训的去噪网络的交替曝光。然后，我们将相邻的交流帧与参考帧对齐，然后在完全的对手设置中重建高质量的HDR帧。为了进一步提高所产生帧的鲁棒性和质量，我们在培训过程中将时间稳定性的正则化术语与成本函数的内容和风格的损耗一起融合。实验结果表明，我们的框架实现了最先进的性能，并通过现有方法生成视频的优质HDR帧。

手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

人类活动的上采样视频是一个有趣但具有挑战性的任务，具有许多潜在的应用，从游戏到娱乐和运动广播。在该设置中合成视频帧的主要困难源于人类运动的高度复杂和非线性性质和身体的复杂外观和质地。我们建议在运动引导框架上采样框架中解决这些问题，该框架上采样框架能够产生现实的人类运动和外观。通过利用大规模运动捕获数据集（Amass）培训新颖运动模型，推动帧之间的非线性骨架运动。然后，神经渲染管线使用高帧速率姿态预测以产生全帧输出，考虑姿势和背景一致性。我们的管道只需要低帧速率视频和未配对的人类运动数据，但不需要高帧率视频进行培训。此外，我们贡献了第一个评估数据集，该数据集包括用于此任务的人类活动的高质量和高帧速率视频。与最先进的视频插值技术相比，我们的方法在具有更高质量和精度的帧之间产生的帧，这是通过最先进的导致像素级，分布度量和比较用户评估的结果。我们的代码和收集的数据集可以在https://git.io/render-in-botween中找到。

We address the problem of synthesizing new video frames in an existing video, either in-between existing frames (interpolation), or subsequent to them (extrapolation). This problem is challenging because video appearance and motion can be highly complex. Traditional optical-flow-based solutions often fail where flow estimation is challenging, while newer neural-network-based methods that hallucinate pixel values directly often produce blurry results. We combine the advantages of these two methods by training a deep network that learns to synthesize video frames by flowing pixel values from existing ones, which we call deep voxel flow. Our method requires no human supervision, and any video can be used as training data by dropping, and then learning to predict, existing frames. The technique is efficient, and can be applied at any video resolution. We demonstrate that our method produces results that both quantitatively and qualitatively improve upon the state-ofthe-art.

本文提出了一种新颖的视频介绍方法。我们做出了三个主要贡献：首先，我们通过引入基于贴片的同型（DEPTH）扩展了以前的变压器，以补丁的对齐方式扩展了贴片对齐，该均值（DEPTH）改善了补丁级的功能对齐，而没有其他有各种变形的监督和受益的挑战场景。其次，我们引入了基于面膜修剪的贴片注意力（MPPA），以通过修剪较少的基本功能和使用显着性图来改善贴合的功能匹配。MPPA用无效的像素增强了扭曲令牌之间的匹配精度。第三，我们引入了空间加权适配器（STA）模块，以在从深度中学到的变形因子的指导下，准确地关注空间代币，尤其是对于具有敏捷运动的视频。实验结果表明，我们的方法在定性和定量上优于最新方法，并实现了新的最新方法。

Many video enhancement algorithms rely on optical flow to register frames in a video sequence. Precise flow estimation is however intractable; and optical flow itself is often a sub-optimal representation for particular video processing tasks. In this paper, we propose task-oriented flow (TOFlow), a motion representation learned in a selfsupervised, task-specific manner. We design a neural network with a trainable motion estimation component and a video processing component, and train them jointly to learn the task-oriented flow. For evaluation, we build Vimeo-90K, a large-scale, high-quality video dataset for low-level video processing. TOFlow outperforms traditional optical flow on standard benchmarks as well as our Vimeo-90K dataset in three video processing tasks: frame interpolation, video denoising/deblocking, and video super-resolution. IntroductionMotion estimation is a key component in video processing tasks such as temporal frame interpolation, video denoising,

Given two consecutive frames, video interpolation aims at generating intermediate frame(s) to form both spatially and temporally coherent video sequences. While most existing methods focus on single-frame interpolation, we propose an end-to-end convolutional neural network for variable-length multi-frame video interpolation, where the motion interpretation and occlusion reasoning are jointly modeled. We start by computing bi-directional optical flow between the input images using a U-Net architecture. These flows are then linearly combined at each time step to approximate the intermediate bi-directional optical flows. These approximate flows, however, only work well in locally smooth regions and produce artifacts around motion boundaries. To address this shortcoming, we employ another U-Net to refine the approximated flow and also predict soft visibility maps. Finally, the two input images are warped and linearly fused to form each intermediate frame. By applying the visibility maps to the warped images before fusion, we exclude the contribution of occluded pixels to the interpolated intermediate frame to avoid artifacts. Since none of our learned network parameters are time-dependent, our approach is able to produce as many intermediate frames as needed. To train our network, we use 1,132 240-fps video clips, containing 300K individual video frames. Experimental results on several datasets, predicting different numbers of interpolated frames, demonstrate that our approach performs consistently better than existing methods.

由于细粒度的视觉细节中的运动和丰富内容的大变化，视频是复杂的。从这些信息密集型媒体中抽象有用的信息需要详尽的计算资源。本文研究了一个两步的替代方案，首先将视频序列冷凝到信息“框架”，然后在合成帧上利用现成的图像识别系统。有效问题是如何定义“有用信息”，然后将其从视频序列蒸发到一个合成帧。本文介绍了一种新颖的信息帧综合（IFS）架构，其包含三个客观任务，即外观重建，视频分类，运动估计和两个常规方案，即对抗性学习，颜色一致性。每个任务都配备了一个能力的合成框，而每个常规器可以提高其视觉质量。利用这些，通过以端到端的方式共同学习帧合成，预期产生的帧封装了用于视频分析的所需的时空信息。广泛的实验是在大型动力学数据集上进行的。与基线方法相比，将视频序列映射到单个图像，IFS显示出优异的性能。更值得注意地，IFS始终如一地展示了基于图像的2D网络和基于剪辑的3D网络的显着改进，并且通过了具有较少计算成本的最先进方法实现了相当的性能。

Visual signals in a video can be divided into content and motion. While content specifies which objects are in the video, motion describes their dynamics. Based on this prior, we propose the Motion and Content decomposed Generative Adversarial Network (MoCoGAN) framework for video generation. The proposed framework generates a video by mapping a sequence of random vectors to a sequence of video frames. Each random vector consists of a content part and a motion part. While the content part is kept fixed, the motion part is realized as a stochastic process. To learn motion and content decomposition in an unsupervised manner, we introduce a novel adversarial learning scheme utilizing both image and video discriminators. Extensive experimental results on several challenging datasets with qualitative and quantitative comparison to the state-of-theart approaches, verify effectiveness of the proposed framework. In addition, we show that MoCoGAN allows one to generate videos with same content but different motion as well as videos with different content and same motion.

视频脱毛方法的关键成功因素是用相邻视频帧的尖锐像素来补偿中框的模糊像素。因此，主流方法根据估计的光流对齐相邻帧并融合对齐帧进行恢复。但是，这些方法有时会产生不令人满意的结果，因为它们很少考虑像素的模糊水平，这可能会引入视频帧中的模糊像素。实际上，并非视频框架中的所有像素都对脱毛都是敏锐的和有益的。为了解决这个问题，我们提出了用于视频Delurring的时空变形注意网络（STDANET），该网络通过考虑视频帧的像素模糊级别来提取尖锐像素的信息。具体而言，stdanet是一个编码器 - 码头网络，结合了运动估计器和时空变形注意（STDA）模块，其中运动估计器预测了粗略光流，这些流量被用作基本偏移，以在STDA模块中找到相应的尖锐像素。实验结果表明，所提出的Stdanet对GOPRO，DVD和BSD数据集的最新方法表现出色。

最近的基于学习的初始化算法已经达到了在删除视频中的不期望的对象之后完成缺失区域的令人信服的结果。为了保持帧之间的时间一致性，3D空间和时间操作通常在深网络中使用。但是，这些方法通常遭受内存约束，只能处理低分辨率视频。我们提出了一种用于高分辨率视频侵略的新型空间剩余聚集框架。关键的想法是首先在下采样的低分辨率视频上学习和应用空间和时间内染色网络。然后，我们通过将学习的空间和时间图像残差（细节）聚合到上采样的染色帧来细化低分辨率结果。定量和定性评估都表明，我们可以生产出比确定高分辨率视频的最先进的方法产生更多的时间相干和视觉上吸引力。

动态对象对机器人对环境的看法产生了重大影响，这降低了本地化和映射等基本任务的性能。在这项工作中，我们通过在由动态对象封闭的区域中合成合理的颜色，纹理和几何形状来解决这个问题。我们提出了一种新的几何感知Dynafill架构，其遵循粗略拓扑，并将我们所通用的经常性反馈机制结合到自适应地融合来自之前的时间步来的信息。我们使用对抗性培训来优化架构，以综合精细的现实纹理，使其能够以空间和时间相干的方式在线在线遮挡地区的幻觉和深度结构，而不依赖于未来的帧信息。将我们的待遇问题作为图像到图像到图像的翻译任务，我们的模型还纠正了与场景中动态对象的存在相关的区域，例如阴影或反射。我们引入了具有RGB-D图像，语义分段标签，摄像机的大型高估数据集，以及遮挡区域的地面RGB-D信息。广泛的定量和定性评估表明，即使在挑战天气条件下，我们的方法也能实现最先进的性能。此外，我们使用综合图像显示基于检索的视觉本地化的结果，该图像证明了我们方法的效用。

本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围（HDR）图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近，在没有配对示例的情况下，生成对抗网络（GAN）证明了它们将图像从源域X转换为目标域y的潜力。在本文中，我们提出了一个基于GAN的网络，用于解决此类问题，同时产生愉快的HDR结果，名为Uphdr-Gan。提出的方法放松了配对数据集的约束，并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据，但UPHDR-GAN可以借助修改后的GAN丢失，改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。

Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.