We present a novel camera path optimization framework for the task of online video stabilization. Typically, a stabilization pipeline consists of three steps: motion estimating, path smoothing, and novel view rendering. Most previous methods concentrate on motion estimation, proposing various global or local motion models. In contrast, path optimization receives relatively less attention, especially in the important online setting, where no future frames are available. In this work, we adopt recent off-the-shelf high-quality deep motion models for the motion estimation to recover the camera trajectory and focus on the latter two steps. Our network takes a short 2D camera path in a sliding window as input and outputs the stabilizing warp field of the last frame in the window, which warps the coming frame to its stabilized position. A hybrid loss is well-defined to constrain the spatial and temporal consistency. In addition, we build a motion dataset that contains stable and unstable motion pairs for the training. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art online methods both qualitatively and quantitatively and achieves comparable performance to offline methods.

以前的深度学习视频稳定器需要大量的配对不稳定和稳定的视频进行培训，这很难收集。另一方面，基于传统的基于轨迹的稳定器将任务分为几个子任务并随后对其进行处理，这些任务在使用手工制作的功能方面无纹理和遮挡的区域脆弱。在本文中，我们试图以一种深刻的无监督学习方式解决视频稳定问题，这借鉴了传统稳定器的分裂和纠纷思想，同时利用DNNS的代表权来应对现实情况下的挑战。从技术上讲，DUT由轨迹估计阶段和轨迹平滑阶段组成。在轨迹估计阶段，我们首先估计按键点的运动，初始化和完善网格的运动，分别通过新型的多摄影估计策略和运动改进网络，并通过临时关联获得基于网格的轨迹。在轨迹平滑阶段，我们设计了一个新颖的网络来预测轨迹平滑的动态平滑核，这可以很好地适应具有不同动态模式的轨迹。我们利用关键点和网格顶点的空间和时间连贯性来制定训练目标，从而导致无监督的培训计划。公共基准测试的实验结果表明，DUT在定性和定量上都优于最先进的方法。源代码可在https://github.com/annbless/dutcode上找到。

视频是一种流行的媒体形式，其中在线视频流最近聚集了很多人气。在这项工作中，我们提出了一种新颖的实时视频稳定方法 - 将摇晃视频转换为稳定的视频，仿佛它实时通过万向节稳定。我们的框架是以自我监督的方式进行培训，不需要使用特殊硬件设置（即，在立体声钻机或附加运动传感器上的两个摄像机）捕获的数据。我们的框架包括在给定帧之间的转换估计器，用于全局稳定性调整，然后通过空间平滑的光学流动的场景视差减少模块，以进一步稳定。然后，保证金修整模块填充稳定期间创建的缺失的边缘区域，以减少裁剪后的数量。这些顺序步骤将失真和边距减少到最小，同时增强稳定性。因此，我们的方法优于最先进的实时视频稳定方法以及需要相机轨迹优化的离线方法。无论分辨率（例如，480p或1080p），我们的方法程序大约需要41 fps的24.3 ms。

Videos shot by laymen using hand-held cameras contain undesirable shaky motion. Estimating the global motion between successive frames, in a manner not influenced by moving objects, is central to many video stabilization techniques, but poses significant challenges. A large body of work uses 2D affine transformations or homography for the global motion. However, in this work, we introduce a more general representation scheme, which adapts any existing optical flow network to ignore the moving objects and obtain a spatially smooth approximation of the global motion between video frames. We achieve this by a knowledge distillation approach, where we first introduce a low pass filter module into the optical flow network to constrain the predicted optical flow to be spatially smooth. This becomes our student network, named as \textsc{GlobalFlowNet}. Then, using the original optical flow network as the teacher network, we train the student network using a robust loss function. Given a trained \textsc{GlobalFlowNet}, we stabilize videos using a two stage process. In the first stage, we correct the instability in affine parameters using a quadratic programming approach constrained by a user-specified cropping limit to control loss of field of view. In the second stage, we stabilize the video further by smoothing global motion parameters, expressed using a small number of discrete cosine transform coefficients. In extensive experiments on a variety of different videos, our technique outperforms state of the art techniques in terms of subjective quality and different quantitative measures of video stability. The source code is publicly available at \href{https://github.com/GlobalFlowNet/GlobalFlowNet}{https://github.com/GlobalFlowNet/GlobalFlowNet}

视频稳定在提高视频质量方面起着核心作用。但是，尽管这些方法取得了很大的进展，但它们主要是在标准天气和照明条件下进行的，并且在不利条件下的性能可能会差。在本文中，我们提出了一种用于视频稳定的综合感知不良天气鲁棒算法，该算法不需要真实数据，并且只能在合成数据上接受培训。我们还提出了Silver，这是一种新颖的渲染引擎，可通过自动地面提取程序生成所需的训练数据。我们的方法使用我们的特殊生成的合成数据来训练仿射转换矩阵估计器，避免了当前方法面临的特征提取问题。此外，由于在不利条件下没有视频稳定数据集，因此我们提出了新颖的VSAC105REAL数据集以进行评估。我们将我们的方法与使用两个基准测试的五种最先进的视频稳定算法进行了比较。我们的结果表明，当前的方法在至少一个天气条件下的表现差，即使在一个具有合成数据的小数据集中培训，我们就稳定性得分，失真得分，成功率和平均种植方面取得了最佳性能考虑所有天气条件时的比率。因此，我们的视频稳定模型在现实世界的视频上很好地概括了，并且不需要大规模的合成训练数据来收敛。

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

视频博客和自拍照是流行的社交媒体格式，通常由广角相机捕获，以显示人类受试者和扩展的背景。遗憾的是，由于透视投影，靠近角落和边缘的面孔表现出明显的扭曲，延伸并挤出面部特征，导致视频质量差。在这项工作中，我们展示了一种视频扭曲算法来纠正这些扭曲。我们的主要思想是在面部地区本地应用立体投影。我们使用空间 - 时间能量最小化配制网眼翘曲问题，并使用线路保存术语最小化背景变形，以维持背景中的直边。为了解决时间一致性，我们通过潜在变量限制了翘曲网格和面部轨迹上的时间平滑度。对于性能评估，我们开发了具有广泛焦距的广角视频数据集。用户学习表明，83.9％的用户更喜欢基于透视投影的其他替代方案的算法。

滚动快门（RS）失真可以解释为在RS摄像机曝光期间，随着时间的推移从瞬时全局快门（GS）框架中挑选一排像素。这意味着每个即时GS帧的信息部分，依次是嵌入到行依赖性失真中。受到这一事实的启发，我们解决了扭转这一过程的挑战性任务，即从rs失真中的图像中提取未变形的GS框架。但是，由于RS失真与其他因素相结合，例如读数设置以及场景元素与相机的相对速度，因此仅利用临时相邻图像之间的几何相关性的型号，在处理数据中，具有不同的读数设置和动态场景的数据中遭受了不良的通用性。带有相机运动和物体运动。在本文中，我们建议使用双重RS摄像机捕获的一对图像，而不是连续的框架，而RS摄像机则具有相反的RS方向，以完成这项极具挑战性的任务。基于双重反转失真的对称和互补性，我们开发了一种新型的端到端模型，即IFED，以通过卢比时间对速度场的迭代学习来生成双重光流序列。广泛的实验结果表明，IFED优于天真的级联方案，以及利用相邻RS图像的最新艺术品。最重要的是，尽管它在合成数据集上进行了训练，但显示出在从现实世界中的RS扭曲的动态场景图像中检索GS框架序列有效。代码可在https://github.com/zzh-tech/dual-versed-rs上找到。

We address the problem of synthesizing new video frames in an existing video, either in-between existing frames (interpolation), or subsequent to them (extrapolation). This problem is challenging because video appearance and motion can be highly complex. Traditional optical-flow-based solutions often fail where flow estimation is challenging, while newer neural-network-based methods that hallucinate pixel values directly often produce blurry results. We combine the advantages of these two methods by training a deep network that learns to synthesize video frames by flowing pixel values from existing ones, which we call deep voxel flow. Our method requires no human supervision, and any video can be used as training data by dropping, and then learning to predict, existing frames. The technique is efficient, and can be applied at any video resolution. We demonstrate that our method produces results that both quantitatively and qualitatively improve upon the state-ofthe-art.

同性记估计是计算机视觉应用中的一个重要任务，例如图像拼接，视频稳定和相机校准。传统的同性恋估计方法大量取决于特征对应关系的数量和分布，导致低纹理场景中的稳健性差。相反，学习解决方案尝试学习强大的深度特征，但在具有低重叠率的场景中表现出不满意的性能。在本文中，我们通过设计上下文相关层（CCL）同时解决这两个问题。 CCL可以有效地捕获特征映射内的远程相关性，并且可以灵活地用于学习框架。此外，考虑到单位定位不能用视差将复杂的图像中的复杂空间转换表示，我们建议将多网权特征从全局预测到本地。此外，通过引入新的深度感知形状保存的损失，我们将我们的网络配备了深度感知能力。广泛的实验证明了我们在合成基准数据集和现实世界数据集中的最先进解决方案的方法的优越性。代码和模型将在https://github.com/nie-lang/multi-grid-deep-homography上获得。

Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on the alignment of nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task that requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-toend to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high frame rate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines 1 .

可以通过定期预测未来的框架以增强虚拟现实应用程序中的用户体验，从而解决了低计算设备上图形渲染高帧速率视频的挑战。这是通过时间视图合成（TVS）的问题来研究的，该问题的目标是预测给定上一个帧的视频的下一个帧以及上一个和下一个帧的头部姿势。在这项工作中，我们考虑了用户和对象正在移动的动态场景的电视。我们设计了一个将运动解散到用户和对象运动中的框架，以在预测下一帧的同时有效地使用可用的用户运动。我们通过隔离和估计过去框架的3D对象运动，然后推断它来预测对象的运动。我们使用多平面图像（MPI）作为场景的3D表示，并将对象运动作为MPI表示中相应点之间的3D位移建模。为了在估计运动时处理MPI中的稀疏性，我们将部分卷积和掩盖的相关层纳入了相应的点。然后将预测的对象运动与给定的用户或相机运动集成在一起，以生成下一帧。使用不合格的填充模块，我们合成由于相机和对象运动而发现的区域。我们为动态场景的电视开发了一个新的合成数据集，该数据集由800个以全高清分辨率组成的视频组成。我们通过数据集和MPI Sintel数据集上的实验表明我们的模型优于文献中的所有竞争方法。

新颖的视图合成（NVS）和视频预测（VP）通常被视为计算机视觉中的不相交任务。但是，它们都可以看作是观察空间时代世界的方法：NVS的目的是从新的角度综合一个场景，而副总裁则旨在从新的时间点观看场景。这两个任务提供了互补的信号以获得场景表示形式，因为观点从空间观察中变化为深度的变化，并且时间观察为相机和单个对象的运动提供了信息。受这些观察的启发，我们建议研究时空（背心）中视频外推的问题。我们提出了一个模型，该模型利用了两项任务的自学和互补线索，而现有方法只能解决其中之一。实验表明，我们的方法比室内和室外现实世界数据集上的几种最先进的NVS和VP方法更好地实现了性能。

人类活动的上采样视频是一个有趣但具有挑战性的任务，具有许多潜在的应用，从游戏到娱乐和运动广播。在该设置中合成视频帧的主要困难源于人类运动的高度复杂和非线性性质和身体的复杂外观和质地。我们建议在运动引导框架上采样框架中解决这些问题，该框架上采样框架能够产生现实的人类运动和外观。通过利用大规模运动捕获数据集（Amass）培训新颖运动模型，推动帧之间的非线性骨架运动。然后，神经渲染管线使用高帧速率姿态预测以产生全帧输出，考虑姿势和背景一致性。我们的管道只需要低帧速率视频和未配对的人类运动数据，但不需要高帧率视频进行培训。此外，我们贡献了第一个评估数据集，该数据集包括用于此任务的人类活动的高质量和高帧速率视频。与最先进的视频插值技术相比，我们的方法在具有更高质量和精度的帧之间产生的帧，这是通过最先进的导致像素级，分布度量和比较用户评估的结果。我们的代码和收集的数据集可以在https://git.io/render-in-botween中找到。

为了促进视频降解研究，我们构建了一个引人注目的数据集，即“实用的视频Denoising DataSet”（PVDD），其中包含200个SRGB和RAW格式的嘈杂清洁动态视频对。与由有限运动信息组成的现有数据集相比，PVDD涵盖了具有变化和自然运动的动态场景。与使用主要高斯或泊松分布的数据集不同，以合成SRGB域中的噪声，PVDD通过具有物理意义的传感器噪声模型，然后进行ISP处理，将原始域中的现实噪声合成现实的噪声。此外，基于此数据集，我们提出了一个基于洗牌的实用降解模型，以增强现实世界中SRGB视频的视频DeNoising网络的性能。广泛的实验表明，接受PVDD培训的模型在许多具有挑战性的现实视频上实现了优越的DeNo绩效，而不是在其他现有数据集中训练的模型上。

密集的深度和姿势估计是各种视频应用的重要先决条件。传统的解决方案遭受了稀疏特征跟踪的鲁棒性和视频中相机基线不足。因此，最近的方法利用基于学习的光流和深度在估计密集深度之前。但是，以前的作品需要大量的计算时间或产量亚最佳深度结果。我们提出了GCVD，这是本文中从运动（SFM）中基于学习的视频结构的全球一致方法。 GCVD将紧凑型姿势图集成到基于CNN的优化中，以从有效的密钥帧选择机制中实现全球一致的估计。它可以通过流动引导的密钥帧和完善的深度提高基于学习的方法的鲁棒性。实验结果表明，GCVD在深度和姿势估计上都优于最先进的方法。此外，运行时实验表明，它在提供全球一致性的短期和长期视频中都提供了强大的效率。

从单眼视频中估算移动摄像头的姿势是一个具有挑战性的问题，尤其是由于动态环境中移动对象的存在，在动态环境中，现有摄像头姿势估计方法的性能易于几何一致的像素。为了应对这一挑战，我们为视频提供了一种强大的密度间接结构，该结构是基于由成对光流初始化的致密对应的。我们的关键想法是将远程视频对应性优化为密集的点轨迹，并使用它来学习对运动分割的强大估计。提出了一种新型的神经网络结构来处理不规则的点轨迹数据。然后，在远程点轨迹的一部分中，通过全局捆绑式调整估算和优化摄像头姿势，这些轨迹被归类为静态。 MPI Sintel数据集的实验表明，与现有最新方法相比，我们的系统产生的相机轨迹明显更准确。此外，我们的方法能够在完全静态的场景上保留相机姿势的合理准确性，该场景始终优于端到端深度学习的强大最新密度对应方法，这证明了密集间接方法的潜力基于光流和点轨迹。由于点轨迹表示是通用的，因此我们进一步介绍了具有动态对象的复杂运动的野外单眼视频的比较。代码可在https://github.com/bytedance/particle-sfm上找到。

This paper presents an approach that reconstructs a hand-held object from a monocular video. In contrast to many recent methods that directly predict object geometry by a trained network, the proposed approach does not require any learned prior about the object and is able to recover more accurate and detailed object geometry. The key idea is that the hand motion naturally provides multiple views of the object and the motion can be reliably estimated by a hand pose tracker. Then, the object geometry can be recovered by solving a multi-view reconstruction problem. We devise an implicit neural representation-based method to solve the reconstruction problem and address the issues of imprecise hand pose estimation, relative hand-object motion, and insufficient geometry optimization for small objects. We also provide a newly collected dataset with 3D ground truth to validate the proposed approach.

在分析人类运动视频时，来自现有姿势估计器的输出抖动是高度不平衡的。大多数帧只遭受轻微的傻瓜，而在那些具有遮挡或图像质量差的框架中发生了重要的困难。这种复杂的姿势通常持续存在于视频中，导致估计结果差和大型抖动的连续帧。现有的基于时间卷积网络，经常性神经网络或低通滤波器的现有姿态平滑解决方案不能处理这种长期抖动问题，而不考虑抖动视频段内的显着和持久的错误。通过上述观察，我们提出了一种新颖的即插即用细化网络，即光滑网络，可以附加到任何现有的姿势估计，以提高其时间平滑度，同时提高其每个帧精度。特别是，SmoothNet是一个简单而有效的数据驱动的全连接网络，具有大的接收领域，有效地减轻了长期抖动与不可靠的估计结果的影响。我们在十二个骨干网络上进行广泛的实验，跨越2D和3D姿势估算，身体恢复和下游任务。我们的结果表明，所提出的光滑网络始终如一地优于现有的解决方案，尤其是具有高误差和长期抖动的夹子。

视频预测是一个推断任务，可以预测给定过去帧的未来帧，而视频框架插值是一个插值任务，可以估算两个帧之间的中间帧。我们目睹了视频框架插值的巨大进步，但野外的一般视频预测仍然是一个悬而未决的问题。受视频框架插值的照片真实结果的启发，我们为视频框架插值提供了一个新的优化框架，用于视频预测，其中我们根据插值模型解决了推断问题。我们的视频预测框架是基于优化的，而无需训练数据集，而无需培训数据集，因此训练数据和测试数据之间没有域间隙问题。另外，我们的方法不需要任何其他信息，例如语义或实例地图，这使我们的框架适用于任何视频。关于CityScapes，Kitti，Davis，Middlebury和Vimeo90K数据集的广泛实验表明，在一般情况下，我们的视频预测结果非常强大，我们的方法优于其他需要大量培训数据或额外语义信息的视频预测方法。