由于空间和时间变化的模糊，视频脱毛是一个高度不足的问题。视频脱毛的直观方法包括两个步骤：a）检测当前框架中的模糊区域； b）利用来自相邻帧中清晰区域的信息，以使当前框架脱毛。为了实现这一过程，我们的想法是检测每个帧的像素模糊级别，并将其与视频Deblurring结合使用。为此，我们提出了一个新颖的框架，该框架利用了先验运动级（MMP）作为有效的深视频脱张的指南。具体而言，由于在曝光时间内沿其轨迹的像素运动与运动模糊水平呈正相关，因此我们首先使用高频尖锐框架的光流量的平均幅度来生成合成模糊框架及其相应的像素 - 像素 - 明智的运动幅度地图。然后，我们构建一个数据集，包括模糊框架和MMP对。然后，由紧凑的CNN通过回归来学习MMP。 MMP包括空间和时间模糊级别的信息，可以将其进一步集成到视频脱毛的有效复发性神经网络（RNN）中。我们进行密集的实验，以验证公共数据集中提出的方法的有效性。

大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。

的状态的最先进的视频去模糊方法的成功主要源于潜伏视频恢复相邻帧之间的对准隐式或显式的估计。然而，由于模糊效果的影响，估计从所述模糊的相邻帧的对准信息是不是一个简单的任务。不准确的估计将干扰随后的帧的恢复。相反，估计比对信息，我们提出了一个简单而有效的深层递归神经网络与多尺度双向传播（RNN-MBP），有效传播和收集未对齐的相邻帧的信息，更好的视频去模糊。具体来说，我们建立与这可以通过在不同的尺度整合他们直接利用从非对齐相邻隐藏状态帧间信息的两个U形网RNN细胞多尺度双向传播〜（MBP）模块。此外，为了更好地评估算法和国家的最先进的存在于现实世界的模糊场景的方法，我们也通过一个精心设计的数字视频采集系统创建一个真实世界的模糊视频数据集（RBVD）（的DVA）并把它作为训练和评估数据集。大量的实验结果表明，该RBVD数据集有效地提高了对现实世界的模糊的视频现有算法的性能，并且算法进行从优对三个典型基准的国家的最先进的方法。该代码可在https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP。

视频脱毛方法的关键成功因素是用相邻视频帧的尖锐像素来补偿中框的模糊像素。因此，主流方法根据估计的光流对齐相邻帧并融合对齐帧进行恢复。但是，这些方法有时会产生不令人满意的结果，因为它们很少考虑像素的模糊水平，这可能会引入视频帧中的模糊像素。实际上，并非视频框架中的所有像素都对脱毛都是敏锐的和有益的。为了解决这个问题，我们提出了用于视频Delurring的时空变形注意网络（STDANET），该网络通过考虑视频帧的像素模糊级别来提取尖锐像素的信息。具体而言，stdanet是一个编码器 - 码头网络，结合了运动估计器和时空变形注意（STDA）模块，其中运动估计器预测了粗略光流，这些流量被用作基本偏移，以在STDA模块中找到相应的尖锐像素。实验结果表明，所提出的Stdanet对GOPRO，DVD和BSD数据集的最新方法表现出色。

尽管运动补偿大大提高了视频质量，但单独执行运动补偿和视频脱张需要大量的计算开销。本文提出了一个实时视频Deblurring框架，该框架由轻巧的多任务单元组成，该单元以有效的方式支持视频脱张和运动补偿。多任务单元是专门设计的，用于使用单个共享网络处理两个任务的大部分，并由多任务详细网络和简单的网络组成，用于消除和运动补偿。多任务单元最大程度地减少了将运动补偿纳入视频Deblurring的成本，并实现了实时脱毛。此外，通过堆叠多个多任务单元，我们的框架在成本和过度质量之间提供了灵活的控制。我们通过实验性地验证了方法的最先进的质量，与以前的方法相比，该方法的运行速度要快得多，并显示了实时的实时性能（在DVD数据集中测量了30.99db@30fps）。

视频帧插值，旨在在视频序列中合成不存在中间帧，是计算机视觉中的重要研究主题。现有的视频帧插值方法在特定假设下实现了显着的结果，例如瞬间或已知的曝光时间。然而，在复杂的真实情况下，视频的时间前锋，即每秒帧（FPS）和帧曝光时间，可能与不同的相机传感器不同。当在从训练中的不同曝光设置下进行测试视频时，内插帧将遭受显着的错位问题。在这项工作中，我们在一般情况下解决了视频帧插值问题，其中可以在不确定的曝光（和间隔）时间下获取输入帧。与以前可以应用于特定时间的方法的方法不同，我们从四个连续的尖锐帧或两个连续的模糊帧中导出一般的曲线运动轨迹公式，没有时间前导者。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光学流细化策略，以获得更好的插值结果。最后，实验表明，一个训练有素的模型足以在复杂的真实情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/uti-vfi上使用。

从一组多曝光图像中重建无精神的高动态范围（HDR）图像是一项具有挑战性的任务，尤其是在大型对象运动和闭塞的情况下，使用现有方法导致可见的伪影。为了解决这个问题，我们提出了一个深层网络，该网络试图学习以正规损失为指导的多尺度特征流。它首先提取多尺度功能，然后对非参考图像的特征对齐。对齐后，我们使用残留的通道注意块将不同图像的特征合并。广泛的定性和定量比较表明，我们的方法可实现最新的性能，并在颜色伪像和几何变形大大减少的情况下产生出色的结果。

我们研究了从单个运动毛发图像中恢复详细运动的挑战性问题。该问题的现有解决方案估算一个单个图像序列，而无需考虑每个区域的运动歧义。因此，结果倾向于收敛到多模式可能性的平均值。在本文中，我们明确说明了这种运动歧义，使我们能够详细地生成多个合理的解决方案。关键思想是引入运动引导表示，这是对仅有四个离散运动方向的2D光流的紧凑量量化。在运动引导的条件下，模糊分解通过使用新型的两阶段分解网络导致了特定的，明确的解决方案。我们提出了一个模糊分解的统一框架，该框架支持各种界面来生成我们的运动指导，包括人类输入，来自相邻视频帧的运动信息以及从视频数据集中学习。关于合成数据集和现实世界数据的广泛实验表明，所提出的框架在定性和定量上优于以前的方法，并且还具有生产物理上合理和多样的解决方案的优点。代码可从https://github.com/zzh-tech/animation-from-blur获得。

Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on the alignment of nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task that requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-toend to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high frame rate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines 1 .

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

在时空邻域中利用类似和更清晰的场景补丁对于视频去纹理至关重要。然而，基于CNN的方法显示了捕获远程依赖性和建模非本地自相相似性的限制。在本文中，我们提出了一种新颖的框架，流引导稀疏变压器（FGST），用于视频去掩模。在FGST中，我们定制自我关注模块，流动引导的基于稀疏窗口的多头自我关注（FGSW-MSA）。对于模糊参考帧上的每个$查询$元素，FGSW-MSA享有估计的光流向全局样本的指导，其空间稀疏但与相邻帧中相同的场景补丁对应的高度相关$键$元素。此外，我们介绍了一种反复嵌入（RE）机制，以从过去的框架转移信息并加强远程时间依赖性。综合实验表明，我们提出的FGST优于DVD和GoPro数据集的最先进的（SOTA）方法，甚至在真实视频去纹理中产生更多视觉上令人愉悦的结果。代码和型号将发布给公众。

旨在恢复降级视频清晰框架的视频修复一直在吸引越来越多的关注。需要进行视频修复来建立来自多个未对准帧的时间对应关系。为了实现这一目标，现有的深层方法通常采用复杂的网络体系结构，例如集成光流，可变形卷积，跨框或跨像素自我发项层，从而导致昂贵的计算成本。我们认为，通过适当的设计，视频修复中的时间信息利用可能会更加有效。在这项研究中，我们提出了一个简单，快速但有效的视频修复框架。我们框架的关键是分组的时空转移，它简单且轻巧，但可以隐式建立框架间的对应关系并实现多框架聚合。加上用于框架编码和解码的基本2D U-NET，这种有效的时空移位模块可以有效地应对视频修复中的挑战。广泛的实验表明，我们的框架超过了先前的最先进方法，其计算成本的43％在视频DeBlurring和Video Denoisising上。

Non-uniform blind deblurring for general dynamic scenes is a challenging computer vision problem as blurs arise not only from multiple object motions but also from camera shake, scene depth variation. To remove these complicated motion blurs, conventional energy optimization based methods rely on simple assumptions such that blur kernel is partially uniform or locally linear. Moreover, recent machine learning based methods also depend on synthetic blur datasets generated under these assumptions. This makes conventional deblurring methods fail to remove blurs where blur kernel is difficult to approximate or parameterize (e.g. object motion boundaries). In this work, we propose a multi-scale convolutional neural network that restores sharp images in an end-to-end manner where blur is caused by various sources. Together, we present multiscale loss function that mimics conventional coarse-to-fine approaches. Furthermore, we propose a new large-scale dataset that provides pairs of realistic blurry image and the corresponding ground truth sharp image that are obtained by a high-speed camera. With the proposed model trained on this dataset, we demonstrate empirically that our method achieves the state-of-the-art performance in dynamic scene deblurring not only qualitatively, but also quantitatively.

本文解决了视频解训的挑战性问题。现有的大多数作品依赖于用于时间信息融合的隐式或显式对齐，其由于错误的对准而增加计算成本或导致次优的性能。在这项研究中，我们提出了一个分解的时空关注，以在不考虑的情况下完全使用可用信息的空间和时间来执行非本地操作。与现有融合技术相比，它显示出优异的性能，同时高效。多个数据集的广泛实验证明了我们方法的优越性。

我们提出了一种新型的基于网络的基于网络的HDR Duthosting方法，用于融合任意长度的动态序列。所提出的方法使用卷积和经常性架构来产生视觉上令人愉悦的重影的HDR图像。我们介绍了一个新的反复间谍架构，即自动门控内存（SGM）单元格，这胜过标准LSTM单元格，同时包含更少的参数并具有更快的运行时间。在SGM小区中，通过将门的输出乘以自身的函数来控制通过门的信息流。此外，我们在双向设置中使用两个SGM单元来提高输出质量。该方法的方法与现有的HDR Deghosting方法定量跨三个公共数据集相比，实现了最先进的性能，同时同时实现熔断器可变长度输入顺序的可扩展性而不需要重新训练。通过广泛的消融，我们证明了各个组件以拟议方法的重要性。该代码可在https://val.cds.iisc.ac.in.in/hdr/hdrrn/index.html中获得。

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

视频框架插值（VFI）旨在通过从双向历史参考文献中扭曲可学习的动作来产生预测帧。大多数现有的作品都利用时空语义信息提取器来实现运动估计和插值建模，考虑到产生的中间运动的实际机械合理性，没有足够的考虑。在本文中，我们将VFI重新制定为多变量的非线性（MNL）回归问题，并提出了联合非线性运动回归（JNMR）策略来模拟框架间的复杂运动。为了建立MNL回归，采用ConvlSTM来构建时间维度的完整运动的分布。目标框架和多个参考帧之间的运动相关性可以通过建模的分布进行回归。此外，功能学习网络旨在为MNL回归建模进行优化。进一步进行了一个粗到精细的合成增强模块，以通过重复回归和插值来学习不同分辨率的视觉动力学。框架插值上的高度竞争性实验结果表明，与最先进的性能相比，有效性和显着提高，以及复杂运动估计的鲁棒性通过MNL运动回归提高。

视频去抑制是一种高度均不存在的问题，因为模糊劣化过程中的运动信息丢失。由于事件相机可以通过高时分辨率捕获表观运动，因此多次尝试探索了引导视频去纹的事件的潜力。这些方法通常认为曝光时间与视频帧速率的倒数相同。然而，在实际情况下，这不是真的，并且曝光时间可能是未知的并且根据视频拍摄环境（例如，照明条件）动态地变化。在本文中，假设基于帧的相机的动态可变未知的曝光时间来解决事件引导视频去纹。为此，我们首先通过考虑视频帧采集过程中的曝光和读出时间来推导出事件引导视频去掩模的新配方。然后，我们提出了一种用于事件引导视频去纹的新的结束终端学习框架。特别地，我们设计了一种新的基于曝光时间的事件选择（ETES）模块，以通过估计来自模糊帧和事件的特征之间的跨模型相关来选择性地使用事件特征。此外，我们提出了一种特征融合模块，以有效地熔断来自事件和模糊帧的所选功能。我们对各种数据集进行广泛的实验，并证明我们的方法实现了最先进的性能。我们的项目代码和预付费型号将可用。

相邻帧的比对被认为是视频超分辨率（VSR）中的重要操作。高级VSR模型，包括最新的VSR变形金刚，通常配备精心设计的对齐模块。但是，自我注意机制的进步可能违反了这种常识。在本文中，我们重新考虑了对齐在VSR变压器中的作用，并进行了几种违反直觉的观察。我们的实验表明：（i）VSR变形金刚可以直接利用来自非对齐视频的多帧信息，并且（ii）现有的对齐方法有时对VSR变形金刚有害。这些观察结果表明，我们可以仅通过删除对齐模块并采用更大的注意力窗口来进一步提高VSR变压器的性能。然而，这样的设计将大大增加计算负担，无法处理大型动议。因此，我们提出了一种称为斑块对齐的新的，有效的对准方法，该方法将图像贴片而不是像素对齐。配备贴片对齐的VSR变形金刚可以在多个基准测试上证明最先进的性能。我们的工作提供了有关如何在VSR中使用多帧信息以及如何为不同网络/数据集选择对齐方法的宝贵见解。代码和模型将在https://github.com/xpixelgroup/rethinkvsralignment上发布。

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。