视频帧插值，旨在在视频序列中合成不存在中间帧，是计算机视觉中的重要研究主题。现有的视频帧插值方法在特定假设下实现了显着的结果，例如瞬间或已知的曝光时间。然而，在复杂的真实情况下，视频的时间前锋，即每秒帧（FPS）和帧曝光时间，可能与不同的相机传感器不同。当在从训练中的不同曝光设置下进行测试视频时，内插帧将遭受显着的错位问题。在这项工作中，我们在一般情况下解决了视频帧插值问题，其中可以在不确定的曝光（和间隔）时间下获取输入帧。与以前可以应用于特定时间的方法的方法不同，我们从四个连续的尖锐帧或两个连续的模糊帧中导出一般的曲线运动轨迹公式，没有时间前导者。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光学流细化策略，以获得更好的插值结果。最后，实验表明，一个训练有素的模型足以在复杂的真实情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/uti-vfi上使用。

视频框架插值（VFI）实现了许多可能涉及时间域的重要应用程序，例如慢运动播放或空间域，例如停止运动序列。我们专注于以前的任务，其中关键挑战之一是在存在复杂运动的情况下处理高动态范围（HDR）场景。为此，我们探索了双曝光传感器的可能优势，这些传感器很容易提供尖锐的短而模糊的长曝光，这些曝光是空间注册并在时间上对齐的两端。这样，运动模糊会在场景运动上暂时连续的信息，这些信息与尖锐的参考结合在一起，可以在单个相机拍摄中进行更精确的运动采样。我们证明，这促进了VFI任务中更复杂的运动重建以及HDR框架重建，迄今为止仅考虑到最初被捕获的框架，而不是插值之间的框架。我们设计了一个在这些任务中训练的神经网络，这些神经网络明显优于现有解决方案。我们还提出了一个场景运动复杂性的度量，该指标在测试时间提供了对VFI方法的性能的重要见解。

滚动快门（RS）失真可以解释为在RS摄像机曝光期间，随着时间的推移从瞬时全局快门（GS）框架中挑选一排像素。这意味着每个即时GS帧的信息部分，依次是嵌入到行依赖性失真中。受到这一事实的启发，我们解决了扭转这一过程的挑战性任务，即从rs失真中的图像中提取未变形的GS框架。但是，由于RS失真与其他因素相结合，例如读数设置以及场景元素与相机的相对速度，因此仅利用临时相邻图像之间的几何相关性的型号，在处理数据中，具有不同的读数设置和动态场景的数据中遭受了不良的通用性。带有相机运动和物体运动。在本文中，我们建议使用双重RS摄像机捕获的一对图像，而不是连续的框架，而RS摄像机则具有相反的RS方向，以完成这项极具挑战性的任务。基于双重反转失真的对称和互补性，我们开发了一种新型的端到端模型，即IFED，以通过卢比时间对速度场的迭代学习来生成双重光流序列。广泛的实验结果表明，IFED优于天真的级联方案，以及利用相邻RS图像的最新艺术品。最重要的是，尽管它在合成数据集上进行了训练，但显示出在从现实世界中的RS扭曲的动态场景图像中检索GS框架序列有效。代码可在https://github.com/zzh-tech/dual-versed-rs上找到。

我们研究了从单个运动毛发图像中恢复详细运动的挑战性问题。该问题的现有解决方案估算一个单个图像序列，而无需考虑每个区域的运动歧义。因此，结果倾向于收敛到多模式可能性的平均值。在本文中，我们明确说明了这种运动歧义，使我们能够详细地生成多个合理的解决方案。关键思想是引入运动引导表示，这是对仅有四个离散运动方向的2D光流的紧凑量量化。在运动引导的条件下，模糊分解通过使用新型的两阶段分解网络导致了特定的，明确的解决方案。我们提出了一个模糊分解的统一框架，该框架支持各种界面来生成我们的运动指导，包括人类输入，来自相邻视频帧的运动信息以及从视频数据集中学习。关于合成数据集和现实世界数据的广泛实验表明，所提出的框架在定性和定量上优于以前的方法，并且还具有生产物理上合理和多样的解决方案的优点。代码可从https://github.com/zzh-tech/animation-from-blur获得。

本文旨在探讨如何合成对其进行训练的现有视频脱毛模型的近距离模糊，可以很好地推广到现实世界中的模糊视频。近年来，基于深度学习的方法已在视频Deblurring任务上取得了希望的成功。但是，对现有合成数据集培训的模型仍然遭受了与现实世界中的模糊场景的概括问题。造成故障的因素仍然未知。因此，我们重新审视经典的模糊综合管道，并找出可能的原因，包括拍摄参数，模糊形成空间和图像信号处理器〜（ISP）。为了分析这些潜在因素的效果，我们首先收集一个超高帧速率（940 fps）原始视频数据集作为数据基础，以综合各种模糊。然后，我们提出了一种新颖的现实模糊合成管道，该管道通过利用模糊形成线索称为原始爆炸。通过大量实验，我们证明了在原始空间中的合成模糊并采用与现实世界测试数据相同的ISP可以有效消除合成数据的负面影响。此外，合成的模糊视频的拍摄参数，例如，曝光时间和框架速率在改善脱毛模型的性能中起着重要作用。令人印象深刻的是，与在现有合成模糊数据集中训练的训练的模型合成的模糊数据训练的模型可以获得超过5DB PSNR的增益。我们认为，新颖的现实合成管道和相应的原始视频数据集可以帮助社区轻松构建自定义的Blur数据集，以改善现实世界的视频DeBlurring性能，而不是费力地收集真实的数据对。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

视频框架插值（VFI）旨在通过从双向历史参考文献中扭曲可学习的动作来产生预测帧。大多数现有的作品都利用时空语义信息提取器来实现运动估计和插值建模，考虑到产生的中间运动的实际机械合理性，没有足够的考虑。在本文中，我们将VFI重新制定为多变量的非线性（MNL）回归问题，并提出了联合非线性运动回归（JNMR）策略来模拟框架间的复杂运动。为了建立MNL回归，采用ConvlSTM来构建时间维度的完整运动的分布。目标框架和多个参考帧之间的运动相关性可以通过建模的分布进行回归。此外，功能学习网络旨在为MNL回归建模进行优化。进一步进行了一个粗到精细的合成增强模块，以通过重复回归和插值来学习不同分辨率的视觉动力学。框架插值上的高度竞争性实验结果表明，与最先进的性能相比，有效性和显着提高，以及复杂运动估计的鲁棒性通过MNL运动回归提高。

的状态的最先进的视频去模糊方法的成功主要源于潜伏视频恢复相邻帧之间的对准隐式或显式的估计。然而，由于模糊效果的影响，估计从所述模糊的相邻帧的对准信息是不是一个简单的任务。不准确的估计将干扰随后的帧的恢复。相反，估计比对信息，我们提出了一个简单而有效的深层递归神经网络与多尺度双向传播（RNN-MBP），有效传播和收集未对齐的相邻帧的信息，更好的视频去模糊。具体来说，我们建立与这可以通过在不同的尺度整合他们直接利用从非对齐相邻隐藏状态帧间信息的两个U形网RNN细胞多尺度双向传播〜（MBP）模块。此外，为了更好地评估算法和国家的最先进的存在于现实世界的模糊场景的方法，我们也通过一个精心设计的数字视频采集系统创建一个真实世界的模糊视频数据集（RBVD）（的DVA）并把它作为训练和评估数据集。大量的实验结果表明，该RBVD数据集有效地提高了对现实世界的模糊的视频现有算法的性能，并且算法进行从优对三个典型基准的国家的最先进的方法。该代码可在https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP。

由于空间和时间变化的模糊，视频脱毛是一个高度不足的问题。视频脱毛的直观方法包括两个步骤：a）检测当前框架中的模糊区域； b）利用来自相邻帧中清晰区域的信息，以使当前框架脱毛。为了实现这一过程，我们的想法是检测每个帧的像素模糊级别，并将其与视频Deblurring结合使用。为此，我们提出了一个新颖的框架，该框架利用了先验运动级（MMP）作为有效的深视频脱张的指南。具体而言，由于在曝光时间内沿其轨迹的像素运动与运动模糊水平呈正相关，因此我们首先使用高频尖锐框架的光流量的平均幅度来生成合成模糊框架及其相应的像素 - 像素 - 明智的运动幅度地图。然后，我们构建一个数据集，包括模糊框架和MMP对。然后，由紧凑的CNN通过回归来学习MMP。 MMP包括空间和时间模糊级别的信息，可以将其进一步集成到视频脱毛的有效复发性神经网络（RNN）中。我们进行密集的实验，以验证公共数据集中提出的方法的有效性。

视频去抑制是一种高度均不存在的问题，因为模糊劣化过程中的运动信息丢失。由于事件相机可以通过高时分辨率捕获表观运动，因此多次尝试探索了引导视频去纹的事件的潜力。这些方法通常认为曝光时间与视频帧速率的倒数相同。然而，在实际情况下，这不是真的，并且曝光时间可能是未知的并且根据视频拍摄环境（例如，照明条件）动态地变化。在本文中，假设基于帧的相机的动态可变未知的曝光时间来解决事件引导视频去纹。为此，我们首先通过考虑视频帧采集过程中的曝光和读出时间来推导出事件引导视频去掩模的新配方。然后，我们提出了一种用于事件引导视频去纹的新的结束终端学习框架。特别地，我们设计了一种新的基于曝光时间的事件选择（ETES）模块，以通过估计来自模糊帧和事件的特征之间的跨模型相关来选择性地使用事件特征。此外，我们提出了一种特征融合模块，以有效地熔断来自事件和模糊帧的所选功能。我们对各种数据集进行广泛的实验，并证明我们的方法实现了最先进的性能。我们的项目代码和预付费型号将可用。

在本文中，我们提出了一种新颖的联合去钻头和多帧插值（DEMFI）框架，称为DEMFI-NET，该网球被准确地将较低帧速率的模糊视频以基于流动引导的更高帧速率转换为尖锐的视频基于关提性的相关性的特征借助于多帧插值（MFI）的借助于基于相关的特征Bolstering（FAC-FB）模块和递归升压（RB）。 DEMFI-NET联合执行DeBlurring和MFI，其中其基线版本执行与FAC-FB模块的基于特征流的翘曲，以获得尖锐插值的帧，也可以解置两个中心输入帧。此外，其扩展版本进一步提高了基于基于像素的RB的像素流的翘曲的联合任务性能。我们的FAC-FB模块在特征域中的模糊输入帧中有效地聚集了分布式模糊像素信息，以改善整体关节性能，这是计算上有效的，因为其细心的相关性仅聚焦。结果，与最近的SOTA方法相比，我们的DEMFI-Net实现了最先进的数据集，用于近期SOTA方法，用于脱孔和MFI。所有源代码包括预押德福网在https://github.com/jihyongoh/demfi上公开提供。

我们提出了一种称为基于DNN的基于DNN的框架，称为基于增强的相关匹配的视频帧插值网络，以支持4K的高分辨率，其具有大规模的运动和遮挡。考虑到根据分辨率的网络模型的可扩展性，所提出的方案采用经常性金字塔架构，该架构分享每个金字塔层之间的参数进行光学流量估计。在所提出的流程估计中，通过追踪具有最大相关性的位置来递归地改进光学流。基于前扭曲的相关匹配可以通过排除遮挡区域周围的错误扭曲特征来提高流量更新的准确性。基于最终双向流动，使用翘曲和混合网络合成任意时间位置的中间帧，通过细化网络进一步改善。实验结果表明，所提出的方案在4K视频数据和低分辨率基准数据集中占据了之前的工作，以及具有最小型号参数的客观和主观质量。

视频框架插值是一项艰巨的任务，这是由于不断变化的现实场景。先前的方法通常计算双向光流，然后在线性运动假设下预测中间光流，从而导致各向同性中间流量产生。随访研究通过估计的高阶运动信息和额外的帧获得各向异性调整。基于运动假设，它们的方法很难在真实场景中对复杂的运动进行建模。在本文中，我们提出了一种端到端训练方法A^2OF，用于视频框架插值，并通过事件驱动的各向异性调整光学流量调节。具体而言，我们使用事件为中间光流生成光流分布掩码，这可以对两个帧之间的复杂运动进行建模。我们提出的方法在视频框架插值中优于先前的方法，将基于事件的视频插值带到了更高的阶段。

Given two consecutive frames, video interpolation aims at generating intermediate frame(s) to form both spatially and temporally coherent video sequences. While most existing methods focus on single-frame interpolation, we propose an end-to-end convolutional neural network for variable-length multi-frame video interpolation, where the motion interpretation and occlusion reasoning are jointly modeled. We start by computing bi-directional optical flow between the input images using a U-Net architecture. These flows are then linearly combined at each time step to approximate the intermediate bi-directional optical flows. These approximate flows, however, only work well in locally smooth regions and produce artifacts around motion boundaries. To address this shortcoming, we employ another U-Net to refine the approximated flow and also predict soft visibility maps. Finally, the two input images are warped and linearly fused to form each intermediate frame. By applying the visibility maps to the warped images before fusion, we exclude the contribution of occluded pixels to the interpolated intermediate frame to avoid artifacts. Since none of our learned network parameters are time-dependent, our approach is able to produce as many intermediate frames as needed. To train our network, we use 1,132 240-fps video clips, containing 300K individual video frames. Experimental results on several datasets, predicting different numbers of interpolated frames, demonstrate that our approach performs consistently better than existing methods.

大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。

视频框架插值是一项经典且具有挑战性的低级计算机视觉任务。最近，基于深度学习的方法取得了令人印象深刻的结果，并且已证明基于光流的方法可以合成具有更高质量的帧。但是，大多数基于流动的方法都假设两个输入帧之间具有恒定速度的线轨迹。只有一点点工作可以使用曲线轨迹执行预测，但这需要两个以上的框架作为输入来估计加速度，这需要更多的时间和内存才能执行。为了解决这个问题，我们提出了一个基于ARC轨迹的模型（ATCA），该模型仅从连续两个帧中就可以在前学习运动，而且轻量级。实验表明，我们的方法的性能要比许多参数较少且推理速度更快的SOTA方法更好。

视频脱毛方法的关键成功因素是用相邻视频帧的尖锐像素来补偿中框的模糊像素。因此，主流方法根据估计的光流对齐相邻帧并融合对齐帧进行恢复。但是，这些方法有时会产生不令人满意的结果，因为它们很少考虑像素的模糊水平，这可能会引入视频帧中的模糊像素。实际上，并非视频框架中的所有像素都对脱毛都是敏锐的和有益的。为了解决这个问题，我们提出了用于视频Delurring的时空变形注意网络（STDANET），该网络通过考虑视频帧的像素模糊级别来提取尖锐像素的信息。具体而言，stdanet是一个编码器 - 码头网络，结合了运动估计器和时空变形注意（STDA）模块，其中运动估计器预测了粗略光流，这些流量被用作基本偏移，以在STDA模块中找到相应的尖锐像素。实验结果表明，所提出的Stdanet对GOPRO，DVD和BSD数据集的最新方法表现出色。

视频框架插值（VFI）旨在合成两个连续帧之间的中间框架。最先进的方法通常采用两步解决方案，其中包括1）通过基于流动的运动估计来生成本地光线的像素，2）将扭曲的像素混合以通过深神经合成网络形成全帧。但是，由于两个连续的帧不一致，新帧的扭曲功能通常不会对齐，这会导致扭曲和模糊的帧，尤其是在发生大型和复杂的运动时。为了解决这个问题，在本文中，我们提出了一种新颖的视频框架插值变压器（TTVFI）。特别是，我们以不一致的动作为查询令牌制定了扭曲的特征，并将运动轨迹中的相关区域从两个原始的连续帧中提出到键和值。在沿轨迹的相关令牌上学习了自我注意力，以通过端到端训练将原始特征融合到中间框架中。实验结果表明，我们的方法在四个广泛使用的VFI基准中优于其他最先进的方法。代码和预培训模型都将很快发布。

我们提出了一种用于视频帧插值（VFI）的实时中流估计算法。许多最近的基于流的VFI方法首先估计双向光学流，然后缩放并将它们倒转到近似中间流动，导致运动边界上的伪像。RIFE使用名为IFNET的神经网络，可以直接估计中间流量从粗细流，速度更好。我们设计了一种用于训练中间流动模型的特权蒸馏方案，这导致了大的性能改善。Rife不依赖于预先训练的光流模型，可以支持任意时间的帧插值。实验表明，普里埃雷在若干公共基准上实现了最先进的表现。\ url {https://github.com/hzwer/arxiv2020-rife}。

使用致动万向节的机械图像稳定使得能够捕获长曝光镜头而不会因相机运动而遭受模糊。然而，这些装置通常是物理上繁琐和昂贵的，限制了他们广泛的使用。在这项工作中，我们建议通过输入快速未稳定的相机的输入来数字化地模拟机械稳定的系统。在短曝光的长曝光和低SNR处开发运动模糊之间的折衷，我们通过聚集由未知运动相关的嘈杂短曝光框架来培训估计尖锐的高SNR图像的CNN。我们进一步建议以端到端的方式学习突发的曝光时间，从而平衡噪声和模糊穿过框架。我们展示了这种方法，通过传统的去掩盖单个图像或在合成和实际数据上去除固定曝光突发的传统方法的优势。