现有的基于学习的框架插值算法从高速自然视频中提取连续帧以训练模型。与自然视频相比，卡通视频通常处于较低的框架速度。此外，连续卡通框架之间的运动通常是非线性，它破坏了插值算法的线性运动假设。因此，它不适合直接从卡通视频中生成训练集。为了更好地适应从自然视频到动画视频的框架插值算法，我们提出了Autofi，这是一种简单有效的方法，可以自动渲染训练数据，以进行深层动画视频插值。 Autofi采用分层体系结构来渲染合成数据，从而确保线性运动的假设。实验结果表明，Autofi在训练Dain和Anin方面表现出色。但是，大多数框架插值算法仍将在容易出错的区域（例如快速运动或大闭塞）中失败。除了Autofi外，我们还提出了一个名为SKTFI的基于插件的后处理后处理模块，以手动使用用户提供的草图来完善最终结果。借助Autofi和SKTFI，插值动画框架显示出很高的感知质量。

我们提出了一种称为基于DNN的基于DNN的框架，称为基于增强的相关匹配的视频帧插值网络，以支持4K的高分辨率，其具有大规模的运动和遮挡。考虑到根据分辨率的网络模型的可扩展性，所提出的方案采用经常性金字塔架构，该架构分享每个金字塔层之间的参数进行光学流量估计。在所提出的流程估计中，通过追踪具有最大相关性的位置来递归地改进光学流。基于前扭曲的相关匹配可以通过排除遮挡区域周围的错误扭曲特征来提高流量更新的准确性。基于最终双向流动，使用翘曲和混合网络合成任意时间位置的中间帧，通过细化网络进一步改善。实验结果表明，所提出的方案在4K视频数据和低分辨率基准数据集中占据了之前的工作，以及具有最小型号参数的客观和主观质量。

A difficult example for video frame interpolation. Our approach produces a high-quality result in spite of the delicate flamingo leg that is subject to large motion. This is a video figure that is best viewed using Adobe Reader.

视频框架插值是一项经典且具有挑战性的低级计算机视觉任务。最近，基于深度学习的方法取得了令人印象深刻的结果，并且已证明基于光流的方法可以合成具有更高质量的帧。但是，大多数基于流动的方法都假设两个输入帧之间具有恒定速度的线轨迹。只有一点点工作可以使用曲线轨迹执行预测，但这需要两个以上的框架作为输入来估计加速度，这需要更多的时间和内存才能执行。为了解决这个问题，我们提出了一个基于ARC轨迹的模型（ATCA），该模型仅从连续两个帧中就可以在前学习运动，而且轻量级。实验表明，我们的方法的性能要比许多参数较少且推理速度更快的SOTA方法更好。

视频帧插值，旨在在视频序列中合成不存在中间帧，是计算机视觉中的重要研究主题。现有的视频帧插值方法在特定假设下实现了显着的结果，例如瞬间或已知的曝光时间。然而，在复杂的真实情况下，视频的时间前锋，即每秒帧（FPS）和帧曝光时间，可能与不同的相机传感器不同。当在从训练中的不同曝光设置下进行测试视频时，内插帧将遭受显着的错位问题。在这项工作中，我们在一般情况下解决了视频帧插值问题，其中可以在不确定的曝光（和间隔）时间下获取输入帧。与以前可以应用于特定时间的方法的方法不同，我们从四个连续的尖锐帧或两个连续的模糊帧中导出一般的曲线运动轨迹公式，没有时间前导者。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光学流细化策略，以获得更好的插值结果。最后，实验表明，一个训练有素的模型足以在复杂的真实情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/uti-vfi上使用。

人类活动的上采样视频是一个有趣但具有挑战性的任务，具有许多潜在的应用，从游戏到娱乐和运动广播。在该设置中合成视频帧的主要困难源于人类运动的高度复杂和非线性性质和身体的复杂外观和质地。我们建议在运动引导框架上采样框架中解决这些问题，该框架上采样框架能够产生现实的人类运动和外观。通过利用大规模运动捕获数据集（Amass）培训新颖运动模型，推动帧之间的非线性骨架运动。然后，神经渲染管线使用高帧速率姿态预测以产生全帧输出，考虑姿势和背景一致性。我们的管道只需要低帧速率视频和未配对的人类运动数据，但不需要高帧率视频进行培训。此外，我们贡献了第一个评估数据集，该数据集包括用于此任务的人类活动的高质量和高帧速率视频。与最先进的视频插值技术相比，我们的方法在具有更高质量和精度的帧之间产生的帧，这是通过最先进的导致像素级，分布度量和比较用户评估的结果。我们的代码和收集的数据集可以在https://git.io/render-in-botween中找到。

现有的视频框架插值方法只能在给定的中间时间步骤中插值框架，例如1/2。在本文中，我们旨在探索一种更广泛的视频框架插值，该视频框架在任意时步。为此，我们考虑在元学习的帮助下以统一的方式处理不同的时间阶段。具体而言，我们开发了一个双元学习的帧插值框架，以通过上下文信息和光流的指导以及将时间步长为附带信息，将中间框架合成中间框架。首先，构建了一个内容感知的元学习流程模块，以提高基于输入帧的下采样版本的光流估计的准确性。其次，以精致的光流和时间步长为输入，运动吸引的元学习框架插值模块为在粗翘曲版本的特征图上使用的每个像素生成卷积内核，以生成输入的特征图上的每个像素生成预测帧的帧。广泛的定性和定量评估以及消融研究表明，通过以如此精心设计的方式在我们的框架中引入元学习，我们的方法不仅可以实现优于先进的框架插值方法，还可以实现优越的性能还拥有在任意时间步长以支持插值的扩展能力。

传统的2D动画是劳动密集型的，通常需要动画师每秒手动绘制十二例证。虽然自动帧插值可以缓解这种负担，但是与在光电环境域中相比，2D动画所固有的艺术效果使视频合成特别具有挑战性。较低的帧射击导致较大的位移和闭塞，离散的感知元素（例如，线条和固色区域）对面向纹理的卷积网络构成困难，并且夸张的非线性运动阻碍了训练数据收集。以前的工作尝试解决这些问题，但使用了不可提供的方法并专注于像素完美的性能。相比之下，我们建立一个可扩展的系统，更适当地以这种艺术领域的感知质量为中心。首先，我们提出了一种轻量级架构，具有简单而有效的遮挡技术，可以提高具有较少可训练参数的感知度量的收敛性。其次，我们设计一种新颖的辅助模块，利用欧几里德距离变换来改善键线和区域结构的保存。第三，我们通过量化移动非线性来自动为此任务加倍现有的手动收集的数据集，允许我们改善模型泛化。最后，我们通过用户学习确定PSNR和SSSIM的LPIP和倒角距离，验证我们的系统对2D动画域中的感知质量的强调。

Given two consecutive frames, video interpolation aims at generating intermediate frame(s) to form both spatially and temporally coherent video sequences. While most existing methods focus on single-frame interpolation, we propose an end-to-end convolutional neural network for variable-length multi-frame video interpolation, where the motion interpretation and occlusion reasoning are jointly modeled. We start by computing bi-directional optical flow between the input images using a U-Net architecture. These flows are then linearly combined at each time step to approximate the intermediate bi-directional optical flows. These approximate flows, however, only work well in locally smooth regions and produce artifacts around motion boundaries. To address this shortcoming, we employ another U-Net to refine the approximated flow and also predict soft visibility maps. Finally, the two input images are warped and linearly fused to form each intermediate frame. By applying the visibility maps to the warped images before fusion, we exclude the contribution of occluded pixels to the interpolated intermediate frame to avoid artifacts. Since none of our learned network parameters are time-dependent, our approach is able to produce as many intermediate frames as needed. To train our network, we use 1,132 240-fps video clips, containing 300K individual video frames. Experimental results on several datasets, predicting different numbers of interpolated frames, demonstrate that our approach performs consistently better than existing methods.

我们提出了一种用于视频帧插值（VFI）的实时中流估计算法。许多最近的基于流的VFI方法首先估计双向光学流，然后缩放并将它们倒转到近似中间流动，导致运动边界上的伪像。RIFE使用名为IFNET的神经网络，可以直接估计中间流量从粗细流，速度更好。我们设计了一种用于训练中间流动模型的特权蒸馏方案，这导致了大的性能改善。Rife不依赖于预先训练的光流模型，可以支持任意时间的帧插值。实验表明，普里埃雷在若干公共基准上实现了最先进的表现。\ url {https://github.com/hzwer/arxiv2020-rife}。

高速，高分辨率的立体视频（H2-STEREO）视频使我们能够在细粒度上感知动态3D内容。然而，对商品摄像机的收购H2-STEREO视频仍然具有挑战性。现有的空间超分辨率或时间框架插值方法分别提供了缺乏时间或空间细节的折衷解决方案。为了减轻这个问题，我们提出了一个双摄像头系统，其中一台相机捕获具有丰富空间细节的高空间分辨率低框架速率（HSR-LFR）视频，而另一个摄像头则捕获了低空间分辨率的高架框架-Rate（LSR-HFR）视频带有光滑的时间细节。然后，我们设计了一个学习的信息融合网络（LIFNET），该网络利用跨摄像机冗余，以增强两种相机视图，从而有效地重建H2-STEREO视频。即使在大型差异场景中，我们也利用一个差异网络将时空信息传输到视图上，基于该视图，我们建议使用差异引导的LSR-HFR视图基于差异引导的流量扭曲，并针对HSR-LFR视图进行互补的扭曲。提出了特征域中的多尺度融合方法，以最大程度地减少HSR-LFR视图中闭塞引起的翘曲幽灵和孔。 LIFNET使用YouTube收集的高质量立体视频数据集以端到端的方式进行训练。广泛的实验表明，对于合成数据和摄像头捕获的真实数据，我们的模型均优于现有的最新方法。消融研究探讨了各个方面，包括时空分辨率，摄像头基线，摄像头解理，长/短曝光和应用程序，以充分了解其对潜在应用的能力。

视频框架插值是一项艰巨的任务，这是由于不断变化的现实场景。先前的方法通常计算双向光流，然后在线性运动假设下预测中间光流，从而导致各向同性中间流量产生。随访研究通过估计的高阶运动信息和额外的帧获得各向异性调整。基于运动假设，它们的方法很难在真实场景中对复杂的运动进行建模。在本文中，我们提出了一种端到端训练方法A^2OF，用于视频框架插值，并通过事件驱动的各向异性调整光学流量调节。具体而言，我们使用事件为中间光流生成光流分布掩码，这可以对两个帧之间的复杂运动进行建模。我们提出的方法在视频框架插值中优于先前的方法，将基于事件的视频插值带到了更高的阶段。

视频框架插值（VFI）实现了许多可能涉及时间域的重要应用程序，例如慢运动播放或空间域，例如停止运动序列。我们专注于以前的任务，其中关键挑战之一是在存在复杂运动的情况下处理高动态范围（HDR）场景。为此，我们探索了双曝光传感器的可能优势，这些传感器很容易提供尖锐的短而模糊的长曝光，这些曝光是空间注册并在时间上对齐的两端。这样，运动模糊会在场景运动上暂时连续的信息，这些信息与尖锐的参考结合在一起，可以在单个相机拍摄中进行更精确的运动采样。我们证明，这促进了VFI任务中更复杂的运动重建以及HDR框架重建，迄今为止仅考虑到最初被捕获的框架，而不是插值之间的框架。我们设计了一个在这些任务中训练的神经网络，这些神经网络明显优于现有解决方案。我们还提出了一个场景运动复杂性的度量，该指标在测试时间提供了对VFI方法的性能的重要见解。

视频框架插值〜（VFI）算法近年来由于数据驱动算法及其实现的前所未有的进展，近年来有了显着改善。最近的研究引入了高级运动估计或新颖的扭曲方法，以解决具有挑战性的VFI方案。但是，没有发表的VFI作品认为插值误差（IE）的空间不均匀特征。这项工作引入了这样的解决方案。通过密切检查光流与IE之间的相关性，本文提出了新的错误预测指标，该指标将中间框架分为与不同IE水平相对应的不同区域。它基于IE驱动的分割，并通过使用新颖的错误控制损耗函数，引入了一组空间自适应插值单元的合奏，该单元逐步处理并集成了分段区域。这种空间合奏会产生有效且具有诱人的VFI解决方案。对流行视频插值基准测试的广泛实验表明，所提出的解决方案在当前兴趣的应用中优于当前最新（SOTA）。

视频框架合成由插值和外推组成，是一种必不可少的视频处理技术，可应用于各种情况。但是，大多数现有方法无法处理小物体或大型运动，尤其是在高分辨率视频（例如4K视频）中。为了消除此类局限性，我们引入了基于流动帧合成的邻居对应匹配（NCM）算法。由于当前的帧在视频框架合成中不可用，因此NCM以当前框架的方式进行，以在每个像素的空间型社区中建立多尺度对应关系。基于NCM的强大运动表示能力，我们进一步建议在异质的粗到细节方案中估算框架合成的中间流。具体而言，粗尺度模块旨在利用邻居的对应关系来捕获大型运动，而细尺度模块在计算上更有效地加快了估计过程。两个模块都经过逐步训练，以消除培训数据集和现实世界视频之间的分辨率差距。实验结果表明，NCM在多个基准测试中实现了最先进的性能。此外，NCM可以应用于各种实践场景，例如视频压缩，以实现更好的性能。

We address the problem of synthesizing new video frames in an existing video, either in-between existing frames (interpolation), or subsequent to them (extrapolation). This problem is challenging because video appearance and motion can be highly complex. Traditional optical-flow-based solutions often fail where flow estimation is challenging, while newer neural-network-based methods that hallucinate pixel values directly often produce blurry results. We combine the advantages of these two methods by training a deep network that learns to synthesize video frames by flowing pixel values from existing ones, which we call deep voxel flow. Our method requires no human supervision, and any video can be used as training data by dropping, and then learning to predict, existing frames. The technique is efficient, and can be applied at any video resolution. We demonstrate that our method produces results that both quantitatively and qualitatively improve upon the state-ofthe-art.

Standard video frame interpolation methods first estimate optical flow between input frames and then synthesize an intermediate frame guided by motion. Recent ap-proaches merge these two steps into a single convolution process by convolving input frames with spatially adaptive kernels that account for motion and re-sampling simultaneously. These methods require large kernels to handle large motion, which limits the number of pixels whose kernels can be estimated at once due to the large memory demand. To address this problem, this paper formulates frame interpolation as local separable convolution over input frames using pairs of 1D kernels. Compared to regular 2D kernels, the 1D kernels require significantly fewer parameters to be estimated. Our method develops a deep fully convolutional neural network that takes two input frames and estimates pairs of 1D kernels for all pixels simultaneously. Since our method is able to estimate kernels and synthesizes the whole video frame at once, it allows for the incorporation of perceptual loss to train the neural network to produce visually pleasing frames. This deep neural network is trained end-to-end using widely available video data without any human annotation. Both qualitative and quantitative experiments show that our method provides a practical solution to high-quality video frame interpolation.

Flow-guide synthesis provides a common framework for frame interpolation, where optical flow is typically estimated by a pyramid network, and then leveraged to guide a synthesis network to generate intermediate frames between input frames. In this paper, we present UPR-Net, a novel Unified Pyramid Recurrent Network for frame interpolation. Cast in a flexible pyramid framework, UPR-Net exploits lightweight recurrent modules for both bi-directional flow estimation and intermediate frame synthesis. At each pyramid level, it leverages estimated bi-directional flow to generate forward-warped representations for frame synthesis; across pyramid levels, it enables iterative refinement for both optical flow and intermediate frame. In particular, we show that our iterative synthesis can significantly improve the robustness of frame interpolation on large motion cases. Despite being extremely lightweight (1.7M parameters), UPR-Net achieves excellent performance on a large range of benchmarks. Code will be available soon.

我们提出了一种互动地控制静止图像中的流体元素的动画的方法，以产生阴影。具体而言，我们专注于水，烟雾，火的流体元素的动画，具有重复纹理和连续流体运动的性质。从先前作品中采取灵感，我们代表了恒定的2D光学流程图的形式中这种流体元件的运动。为此，我们允许用户提供任何数量的箭头方向及其相关速度以及用户想要动画的区域的掩码。然后，用户提供的输入箭头方向，它们对应的速度值和掩模被转换成表示恒定光学流程图（FD）的致密流图。我们观察到使用简单指数操作获得的FD可以密切地近似图像中元素的合理运动。我们进一步使用生成 - 对冲网络（GaN）来改进计算的密集光学流程图FD以获得更现实的流程图。我们通过在不同分辨率下向前翘曲输入图像特征来设计新的UNET基于基于UNET的架构来自动生成未来的帧，通过转发输入图像特征。我们在公开的数据集中进行广泛的实验，并表明我们的方法在定性和定量度量方面优于基线。此外，我们向培训集中不存在的方向上显示了对象的定性动画，并提供了一种综合视频的方法，否则在现实世界中不会存在。