传统的2D动画是劳动密集型的，通常需要动画师每秒手动绘制十二例证。虽然自动帧插值可以缓解这种负担，但是与在光电环境域中相比，2D动画所固有的艺术效果使视频合成特别具有挑战性。较低的帧射击导致较大的位移和闭塞，离散的感知元素（例如，线条和固色区域）对面向纹理的卷积网络构成困难，并且夸张的非线性运动阻碍了训练数据收集。以前的工作尝试解决这些问题，但使用了不可提供的方法并专注于像素完美的性能。相比之下，我们建立一个可扩展的系统，更适当地以这种艺术领域的感知质量为中心。首先，我们提出了一种轻量级架构，具有简单而有效的遮挡技术，可以提高具有较少可训练参数的感知度量的收敛性。其次，我们设计一种新颖的辅助模块，利用欧几里德距离变换来改善键线和区域结构的保存。第三，我们通过量化移动非线性来自动为此任务加倍现有的手动收集的数据集，允许我们改善模型泛化。最后，我们通过用户学习确定PSNR和SSSIM的LPIP和倒角距离，验证我们的系统对2D动画域中的感知质量的强调。

A difficult example for video frame interpolation. Our approach produces a high-quality result in spite of the delicate flamingo leg that is subject to large motion. This is a video figure that is best viewed using Adobe Reader.

现有的基于学习的框架插值算法从高速自然视频中提取连续帧以训练模型。与自然视频相比，卡通视频通常处于较低的框架速度。此外，连续卡通框架之间的运动通常是非线性，它破坏了插值算法的线性运动假设。因此，它不适合直接从卡通视频中生成训练集。为了更好地适应从自然视频到动画视频的框架插值算法，我们提出了Autofi，这是一种简单有效的方法，可以自动渲染训练数据，以进行深层动画视频插值。 Autofi采用分层体系结构来渲染合成数据，从而确保线性运动的假设。实验结果表明，Autofi在训练Dain和Anin方面表现出色。但是，大多数框架插值算法仍将在容易出错的区域（例如快速运动或大闭塞）中失败。除了Autofi外，我们还提出了一个名为SKTFI的基于插件的后处理后处理模块，以手动使用用户提供的草图来完善最终结果。借助Autofi和SKTFI，插值动画框架显示出很高的感知质量。

我们提出了一种框架插值算法，该算法从两个输入图像中综合了具有大型内部运动的两个输入图像。最近的方法使用多个网络来估计光流或深度以及专用于框架合成的单独网络。这通常是复杂的，需要稀缺的光流或深度地面真相。在这项工作中，我们提出了一个单一的统一网络，该网络以多尺度的特征提取器为特色，该特征提取器在各个尺度上共享权重，并且可以单独从框架中训练。为了综合酥脆和令人愉悦的框架，我们建议使用革兰氏矩阵损失来优化我们的网络，从而衡量特征地图之间的相关差异。我们的方法优于XIPH大型运动基准的最先进方法。与使用感知损失的方法相比，我们还可以在Vimeo-90K，Middlebury和UCF101上获得更高的分数。我们研究了体重共享和培训的效果，该数据集的运动范围不断增加。最后，我们证明了模型在综合高质量和临时连贯的视频中的有效性，该视频在具有挑战性的近乎修复的照片数据集中。代码和预训练模型可在https://film-net.github.io上找到。

在许多重要的科学和工程应用中发现了卷数据。渲染此数据以高质量和交互速率为苛刻的应用程序（例如虚拟现实）的可视化化，即使使用专业级硬件也无法实现。我们介绍了Fovolnet - 一种可显着提高数量数据可视化的性能的方法。我们开发了一种具有成本效益的渲染管道，该管道稀疏地对焦点进行了量度，并使用深层神经网络重建了全帧。 FOVEATED渲染是一种优先考虑用户焦点渲染计算的技术。这种方法利用人类视觉系统的属性，从而在用户视野的外围呈现数据时节省了计算资源。我们的重建网络结合了直接和内核预测方法，以产生快速，稳定和感知令人信服的输出。凭借纤细的设计和量化的使用，我们的方法在端到端框架时间和视觉质量中都优于最先进的神经重建技术。我们对系统的渲染性能，推理速度和感知属性进行了广泛的评估，并提供了与竞争神经图像重建技术的比较。我们的测试结果表明，Fovolnet始终在保持感知质量的同时，在传统渲染上节省了大量时间。

视频帧插值（VFI）目前是一个非常活跃的研究主题，具有跨越计算机视觉，后期生产和视频编码的应用程序。 VFI可能非常具有挑战性，特别是在含有大型运动，闭塞或动态纹理的序列中，现有方法未能提供感知鲁棒的插值性能。在这种情况下，我们基于时空多流量架构介绍了一种基于深度学习的VFI方法ST-MFNET。 ST-MFNET采用新的多尺度多流量预测器来估计多对一的中间流动，它们与传统的一对一光流组合以捕获大型和复杂的运动。为了增强各种纹理的插值性能，还用于在扩展时间窗口上模拟内容动态的3D CNN。此外，ST-MFNET已经在ST-GaN框架内培训，该框架最初是为纹理合成而开发的，目的是进一步提高感知插值质量。我们的方法已被全面评估 - 与十四个最先进的VFI算法相比 - 清楚地展示了ST-MFNET在各种和代表性测试数据集上始终如一地优于这些基准，在PSNR中具有显着的收益，用于案件在PSNR中高达1.09dB包括大型运动和动态纹理。项目页面：https://danielism97.github.io/st-mfnet。

视频框架插值〜（VFI）算法近年来由于数据驱动算法及其实现的前所未有的进展，近年来有了显着改善。最近的研究引入了高级运动估计或新颖的扭曲方法，以解决具有挑战性的VFI方案。但是，没有发表的VFI作品认为插值误差（IE）的空间不均匀特征。这项工作引入了这样的解决方案。通过密切检查光流与IE之间的相关性，本文提出了新的错误预测指标，该指标将中间框架分为与不同IE水平相对应的不同区域。它基于IE驱动的分割，并通过使用新颖的错误控制损耗函数，引入了一组空间自适应插值单元的合奏，该单元逐步处理并集成了分段区域。这种空间合奏会产生有效且具有诱人的VFI解决方案。对流行视频插值基准测试的广泛实验表明，所提出的解决方案在当前兴趣的应用中优于当前最新（SOTA）。

我们提出了一种称为基于DNN的基于DNN的框架，称为基于增强的相关匹配的视频帧插值网络，以支持4K的高分辨率，其具有大规模的运动和遮挡。考虑到根据分辨率的网络模型的可扩展性，所提出的方案采用经常性金字塔架构，该架构分享每个金字塔层之间的参数进行光学流量估计。在所提出的流程估计中，通过追踪具有最大相关性的位置来递归地改进光学流。基于前扭曲的相关匹配可以通过排除遮挡区域周围的错误扭曲特征来提高流量更新的准确性。基于最终双向流动，使用翘曲和混合网络合成任意时间位置的中间帧，通过细化网络进一步改善。实验结果表明，所提出的方案在4K视频数据和低分辨率基准数据集中占据了之前的工作，以及具有最小型号参数的客观和主观质量。

代表具有多个半透明彩色图层的场景是实时新型视图合成的流行和成功的选择。现有方法在平面或球形的规则间隔层上推断颜色和透明度值。在这项工作中，我们介绍了一种基于多个半透明层的新视图综合方法，具有场景适应的几何形状。我们的方法在两个阶段中介绍了立体对的这些表示。第一阶段从给定的一对视图中缩小了少数数据自适应层的几何形状。第二阶段为这些层的颜色和透明度值产生了新颖的视图合成的最终表示。重要的是，两个阶段都通过可差异化的渲染器连接，并以端到端的方式训练。在实验中，我们展示了所提出的方法在使用定期间隔的层上的优势，没有适应场景几何形状。尽管在渲染过程中较快的数量次数，但我们的方法也优于基于隐式几何表示的最近提出的IBRNET系统。查看https://samsunglabs.github.io/stereolayers的结果。

Block based motion estimation is integral to inter prediction processes performed in hybrid video codecs. Prevalent block matching based methods that are used to compute block motion vectors (MVs) rely on computationally intensive search procedures. They also suffer from the aperture problem, which can worsen as the block size is reduced. Moreover, the block matching criteria used in typical codecs do not account for the resulting levels of perceptual quality of the motion compensated pictures that are created upon decoding. Towards achieving the elusive goal of perceptually optimized motion estimation, we propose a search-free block motion estimation framework using a multi-stage convolutional neural network, which is able to conduct motion estimation on multiple block sizes simultaneously, using a triplet of frames as input. This composite block translation network (CBT-Net) is trained in a self-supervised manner on a large database that we created from publicly available uncompressed video content. We deploy the multi-scale structural similarity (MS-SSIM) loss function to optimize the perceptual quality of the motion compensated predicted frames. Our experimental results highlight the computational efficiency of our proposed model relative to conventional block matching based motion estimation algorithms, for comparable prediction errors. Further, when used to perform inter prediction in AV1, the MV predictions of the perceptually optimized model result in average Bjontegaard-delta rate (BD-rate) improvements of -1.70% and -1.52% with respect to the MS-SSIM and Video Multi-Method Assessment Fusion (VMAF) quality metrics, respectively as compared to the block matching based motion estimation system employed in the SVT-AV1 encoder.

动态对象对机器人对环境的看法产生了重大影响，这降低了本地化和映射等基本任务的性能。在这项工作中，我们通过在由动态对象封闭的区域中合成合理的颜色，纹理和几何形状来解决这个问题。我们提出了一种新的几何感知Dynafill架构，其遵循粗略拓扑，并将我们所通用的经常性反馈机制结合到自适应地融合来自之前的时间步来的信息。我们使用对抗性培训来优化架构，以综合精细的现实纹理，使其能够以空间和时间相干的方式在线在线遮挡地区的幻觉和深度结构，而不依赖于未来的帧信息。将我们的待遇问题作为图像到图像到图像的翻译任务，我们的模型还纠正了与场景中动态对象的存在相关的区域，例如阴影或反射。我们引入了具有RGB-D图像，语义分段标签，摄像机的大型高估数据集，以及遮挡区域的地面RGB-D信息。广泛的定量和定性评估表明，即使在挑战天气条件下，我们的方法也能实现最先进的性能。此外，我们使用综合图像显示基于检索的视觉本地化的结果，该图像证明了我们方法的效用。

可以通过定期预测未来的框架以增强虚拟现实应用程序中的用户体验，从而解决了低计算设备上图形渲染高帧速率视频的挑战。这是通过时间视图合成（TVS）的问题来研究的，该问题的目标是预测给定上一个帧的视频的下一个帧以及上一个和下一个帧的头部姿势。在这项工作中，我们考虑了用户和对象正在移动的动态场景的电视。我们设计了一个将运动解散到用户和对象运动中的框架，以在预测下一帧的同时有效地使用可用的用户运动。我们通过隔离和估计过去框架的3D对象运动，然后推断它来预测对象的运动。我们使用多平面图像（MPI）作为场景的3D表示，并将对象运动作为MPI表示中相应点之间的3D位移建模。为了在估计运动时处理MPI中的稀疏性，我们将部分卷积和掩盖的相关层纳入了相应的点。然后将预测的对象运动与给定的用户或相机运动集成在一起，以生成下一帧。使用不合格的填充模块，我们合成由于相机和对象运动而发现的区域。我们为动态场景的电视开发了一个新的合成数据集，该数据集由800个以全高清分辨率组成的视频组成。我们通过数据集和MPI Sintel数据集上的实验表明我们的模型优于文献中的所有竞争方法。

视频框架插值（VFI）旨在通过从双向历史参考文献中扭曲可学习的动作来产生预测帧。大多数现有的作品都利用时空语义信息提取器来实现运动估计和插值建模，考虑到产生的中间运动的实际机械合理性，没有足够的考虑。在本文中，我们将VFI重新制定为多变量的非线性（MNL）回归问题，并提出了联合非线性运动回归（JNMR）策略来模拟框架间的复杂运动。为了建立MNL回归，采用ConvlSTM来构建时间维度的完整运动的分布。目标框架和多个参考帧之间的运动相关性可以通过建模的分布进行回归。此外，功能学习网络旨在为MNL回归建模进行优化。进一步进行了一个粗到精细的合成增强模块，以通过重复回归和插值来学习不同分辨率的视觉动力学。框架插值上的高度竞争性实验结果表明，与最先进的性能相比，有效性和显着提高，以及复杂运动估计的鲁棒性通过MNL运动回归提高。

我们介绍了Fadiv-Syn，一种快速深入的新型观点合成方法。相关方法通常受到它们的深度估计阶段的限制，其中不正确的深度预测可能导致大的投影误差。为避免此问题，我们将输入图像有效地将输入图像呈现为目标帧，以为一系列假定的深度平面。得到的平面扫描量（PSV）直接进入我们的网络，首先以自我监督的方式估计软PSV掩模，然后直接产生新颖的输出视图。因此，我们侧行显式深度估计。这提高了透明，反光，薄，特色场景部件上的效率和性能。 Fadiv-syn可以在大规模Realestate10K数据集上执行插值和外推任务，优于最先进的外推方法。与可比方法相比，它由于其轻量级架构而实现了实时性能。我们彻底评估消融，例如去除软掩蔽网络，从更少的示例中培训以及更高的分辨率和更强深度离散化的概括。

我们提出了Tain（视频插值的变压器和注意力），这是一个用于视频插值的残留神经网络，旨在插入中间框架，并在其周围连续两个图像框架下进行插值。我们首先提出一个新型的视觉变压器模块，称为交叉相似性（CS），以与预测插值框架相似的外观相似的外观。然后，这些CS特征用于完善插值预测。为了说明CS功能中的遮挡，我们提出了一个图像注意（IA）模块，以使网络可以从另一个框架上关注CS功能。此外，我们还使用封闭式贴片来增强培训数据集，该补丁可以跨帧移动，以改善网络对遮挡和大型运动的稳健性。由于现有方法产生平滑的预测，尤其是在MB附近，因此我们根据图像梯度使用额外的训练损失来产生更清晰的预测。胜过不需要流量估计并与基于流程的方法相当执行的现有方法，同时在VIMEO90K，UCF101和SNU-FILM基准的推理时间上具有计算有效的效率。

我们提出了一种互动地控制静止图像中的流体元素的动画的方法，以产生阴影。具体而言，我们专注于水，烟雾，火的流体元素的动画，具有重复纹理和连续流体运动的性质。从先前作品中采取灵感，我们代表了恒定的2D光学流程图的形式中这种流体元件的运动。为此，我们允许用户提供任何数量的箭头方向及其相关速度以及用户想要动画的区域的掩码。然后，用户提供的输入箭头方向，它们对应的速度值和掩模被转换成表示恒定光学流程图（FD）的致密流图。我们观察到使用简单指数操作获得的FD可以密切地近似图像中元素的合理运动。我们进一步使用生成 - 对冲网络（GaN）来改进计算的密集光学流程图FD以获得更现实的流程图。我们通过在不同分辨率下向前翘曲输入图像特征来设计新的UNET基于基于UNET的架构来自动生成未来的帧，通过转发输入图像特征。我们在公开的数据集中进行广泛的实验，并表明我们的方法在定性和定量度量方面优于基线。此外，我们向培训集中不存在的方向上显示了对象的定性动画，并提供了一种综合视频的方法，否则在现实世界中不会存在。

基于DNN的框架插值从两个连续的帧中生成中间帧，通常取决于具有大量功能的模型体系结构，从而阻止其在具有有限资源的系统（例如移动设备）上部署。我们提出了一种用于框架插值的压缩驱动的网络设计，该设计通过稀疏性诱导优化来利用模型，以大大降低模型大小，同时达到更高的性能。具体而言，我们首先压缩了最近提出的ADACOF模型，并证明了10次压缩ADACOF的性能类似于其原始对应物，在各种超参数设置下，对使用layerwise稀疏信息作为指导的不同策略进行了全面研究。然后，我们通过引入一个多分辨率翘曲模块来增强这种压缩模型，从而提高了视觉一致性，并通过多层次的细节来提高视觉一致性。结果，我们通过原始AdaCof的四分之一获得了可观的性能增长。此外，我们的模型在各种数据集上对其他最先进的方法都表现出色。我们注意到，建议的压缩驱动框​​架是通用的，可以轻松地传输到其他基于DNN的框架插值算法中。源代码可在https://github.com/tding1/cdfi上获得。

我们介绍了基于生成的对抗性网络（GANS）的第一神经视频压缩方法。我们的方法显着优于用户研究中的先前神经和非神经视频压缩方法，为神经方法的视觉质量设置新的最先进。我们表明GaN亏损至关重要，以获得这种高视觉质量。两个组件使GaN丢失有效：我们）通过调节从翘曲的先前的重建提取的潜伏的发电机来合成细节，然后II）以高质量的流传播该细节。我们发现，用户学习必须比较方法，即，我们的定量指标都无法预测所有研究。我们详细展示了网络设计选择，并通过用户研究消除了它们。

Given two consecutive frames, video interpolation aims at generating intermediate frame(s) to form both spatially and temporally coherent video sequences. While most existing methods focus on single-frame interpolation, we propose an end-to-end convolutional neural network for variable-length multi-frame video interpolation, where the motion interpretation and occlusion reasoning are jointly modeled. We start by computing bi-directional optical flow between the input images using a U-Net architecture. These flows are then linearly combined at each time step to approximate the intermediate bi-directional optical flows. These approximate flows, however, only work well in locally smooth regions and produce artifacts around motion boundaries. To address this shortcoming, we employ another U-Net to refine the approximated flow and also predict soft visibility maps. Finally, the two input images are warped and linearly fused to form each intermediate frame. By applying the visibility maps to the warped images before fusion, we exclude the contribution of occluded pixels to the interpolated intermediate frame to avoid artifacts. Since none of our learned network parameters are time-dependent, our approach is able to produce as many intermediate frames as needed. To train our network, we use 1,132 240-fps video clips, containing 300K individual video frames. Experimental results on several datasets, predicting different numbers of interpolated frames, demonstrate that our approach performs consistently better than existing methods.