视频稳定在提高视频质量方面起着核心作用。但是，尽管这些方法取得了很大的进展，但它们主要是在标准天气和照明条件下进行的，并且在不利条件下的性能可能会差。在本文中，我们提出了一种用于视频稳定的综合感知不良天气鲁棒算法，该算法不需要真实数据，并且只能在合成数据上接受培训。我们还提出了Silver，这是一种新颖的渲染引擎，可通过自动地面提取程序生成所需的训练数据。我们的方法使用我们的特殊生成的合成数据来训练仿射转换矩阵估计器，避免了当前方法面临的特征提取问题。此外，由于在不利条件下没有视频稳定数据集，因此我们提出了新颖的VSAC105REAL数据集以进行评估。我们将我们的方法与使用两个基准测试的五种最先进的视频稳定算法进行了比较。我们的结果表明，当前的方法在至少一个天气条件下的表现差，即使在一个具有合成数据的小数据集中培训，我们就稳定性得分，失真得分，成功率和平均种植方面取得了最佳性能考虑所有天气条件时的比率。因此，我们的视频稳定模型在现实世界的视频上很好地概括了，并且不需要大规模的合成训练数据来收敛。

Videos shot by laymen using hand-held cameras contain undesirable shaky motion. Estimating the global motion between successive frames, in a manner not influenced by moving objects, is central to many video stabilization techniques, but poses significant challenges. A large body of work uses 2D affine transformations or homography for the global motion. However, in this work, we introduce a more general representation scheme, which adapts any existing optical flow network to ignore the moving objects and obtain a spatially smooth approximation of the global motion between video frames. We achieve this by a knowledge distillation approach, where we first introduce a low pass filter module into the optical flow network to constrain the predicted optical flow to be spatially smooth. This becomes our student network, named as \textsc{GlobalFlowNet}. Then, using the original optical flow network as the teacher network, we train the student network using a robust loss function. Given a trained \textsc{GlobalFlowNet}, we stabilize videos using a two stage process. In the first stage, we correct the instability in affine parameters using a quadratic programming approach constrained by a user-specified cropping limit to control loss of field of view. In the second stage, we stabilize the video further by smoothing global motion parameters, expressed using a small number of discrete cosine transform coefficients. In extensive experiments on a variety of different videos, our technique outperforms state of the art techniques in terms of subjective quality and different quantitative measures of video stability. The source code is publicly available at \href{https://github.com/GlobalFlowNet/GlobalFlowNet}{https://github.com/GlobalFlowNet/GlobalFlowNet}

Modern computer vision algorithms typically require expensive data acquisition and accurate manual labeling. In this work, we instead leverage the recent progress in computer graphics to generate fully labeled, dynamic, and photo-realistic proxy virtual worlds. We propose an efficient real-to-virtual world cloning method, and validate our approach by building and publicly releasing a new video dataset, called "Virtual KITTI" 1 , automatically labeled with accurate ground truth for object detection, tracking, scene and instance segmentation, depth, and optical flow. We provide quantitative experimental evidence suggesting that (i) modern deep learning algorithms pre-trained on real data behave similarly in real and virtual worlds, and (ii) pre-training on virtual data improves performance. As the gap between real and virtual worlds is small, virtual worlds enable measuring the impact of various weather and imaging conditions on recognition performance, all other things being equal. We show these factors may affect drastically otherwise high-performing deep models for tracking.

滚动快门（RS）失真可以解释为在RS摄像机曝光期间，随着时间的推移从瞬时全局快门（GS）框架中挑选一排像素。这意味着每个即时GS帧的信息部分，依次是嵌入到行依赖性失真中。受到这一事实的启发，我们解决了扭转这一过程的挑战性任务，即从rs失真中的图像中提取未变形的GS框架。但是，由于RS失真与其他因素相结合，例如读数设置以及场景元素与相机的相对速度，因此仅利用临时相邻图像之间的几何相关性的型号，在处理数据中，具有不同的读数设置和动态场景的数据中遭受了不良的通用性。带有相机运动和物体运动。在本文中，我们建议使用双重RS摄像机捕获的一对图像，而不是连续的框架，而RS摄像机则具有相反的RS方向，以完成这项极具挑战性的任务。基于双重反转失真的对称和互补性，我们开发了一种新型的端到端模型，即IFED，以通过卢比时间对速度场的迭代学习来生成双重光流序列。广泛的实验结果表明，IFED优于天真的级联方案，以及利用相邻RS图像的最新艺术品。最重要的是，尽管它在合成数据集上进行了训练，但显示出在从现实世界中的RS扭曲的动态场景图像中检索GS框架序列有效。代码可在https://github.com/zzh-tech/dual-versed-rs上找到。

视频是一种流行的媒体形式，其中在线视频流最近聚集了很多人气。在这项工作中，我们提出了一种新颖的实时视频稳定方法 - 将摇晃视频转换为稳定的视频，仿佛它实时通过万向节稳定。我们的框架是以自我监督的方式进行培训，不需要使用特殊硬件设置（即，在立体声钻机或附加运动传感器上的两个摄像机）捕获的数据。我们的框架包括在给定帧之间的转换估计器，用于全局稳定性调整，然后通过空间平滑的光学流动的场景视差减少模块，以进一步稳定。然后，保证金修整模块填充稳定期间创建的缺失的边缘区域，以减少裁剪后的数量。这些顺序步骤将失真和边距减少到最小，同时增强稳定性。因此，我们的方法优于最先进的实时视频稳定方法以及需要相机轨迹优化的离线方法。无论分辨率（例如，480p或1080p），我们的方法程序大约需要41 fps的24.3 ms。

We present a novel camera path optimization framework for the task of online video stabilization. Typically, a stabilization pipeline consists of three steps: motion estimating, path smoothing, and novel view rendering. Most previous methods concentrate on motion estimation, proposing various global or local motion models. In contrast, path optimization receives relatively less attention, especially in the important online setting, where no future frames are available. In this work, we adopt recent off-the-shelf high-quality deep motion models for the motion estimation to recover the camera trajectory and focus on the latter two steps. Our network takes a short 2D camera path in a sliding window as input and outputs the stabilizing warp field of the last frame in the window, which warps the coming frame to its stabilized position. A hybrid loss is well-defined to constrain the spatial and temporal consistency. In addition, we build a motion dataset that contains stable and unstable motion pairs for the training. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art online methods both qualitatively and quantitatively and achieves comparable performance to offline methods.

以前的深度学习视频稳定器需要大量的配对不稳定和稳定的视频进行培训，这很难收集。另一方面，基于传统的基于轨迹的稳定器将任务分为几个子任务并随后对其进行处理，这些任务在使用手工制作的功能方面无纹理和遮挡的区域脆弱。在本文中，我们试图以一种深刻的无监督学习方式解决视频稳定问题，这借鉴了传统稳定器的分裂和纠纷思想，同时利用DNNS的代表权来应对现实情况下的挑战。从技术上讲，DUT由轨迹估计阶段和轨迹平滑阶段组成。在轨迹估计阶段，我们首先估计按键点的运动，初始化和完善网格的运动，分别通过新型的多摄影估计策略和运动改进网络，并通过临时关联获得基于网格的轨迹。在轨迹平滑阶段，我们设计了一个新颖的网络来预测轨迹平滑的动态平滑核，这可以很好地适应具有不同动态模式的轨迹。我们利用关键点和网格顶点的空间和时间连贯性来制定训练目标，从而导致无监督的培训计划。公共基准测试的实验结果表明，DUT在定性和定量上都优于最先进的方法。源代码可在https://github.com/annbless/dutcode上找到。

从视频中获得地面真相标签很具有挑战性，因为在像素流标签的手动注释非常昂贵且费力。此外，现有的方法试图将合成数据集的训练模型调整到真实的视频中，该视频不可避免地遭受了域差异并阻碍了现实世界应用程序的性能。为了解决这些问题，我们提出了RealFlow，这是一个基于期望最大化的框架，可以直接从任何未标记的现实视频中创建大规模的光流数据集。具体而言，我们首先估计一对视频帧之间的光流，然后根据预测流从该对中合成新图像。因此，新图像对及其相应的流可以被视为新的训练集。此外，我们设计了一种逼真的图像对渲染（RIPR）模块，该模块采用软磁性裂口和双向孔填充技术来减轻图像合成的伪像。在E-Step中，RIPR呈现新图像以创建大量培训数据。在M-Step中，我们利用生成的训练数据来训练光流网络，该数据可用于估计下一个E步骤中的光流。在迭代学习步骤中，流网络的能力逐渐提高，流量的准确性以及合成数据集的质量也是如此。实验结果表明，REALFLOW的表现优于先前的数据集生成方法。此外，基于生成的数据集，我们的方法与受监督和无监督的光流方法相比，在两个标准基准测试方面达到了最先进的性能。我们的代码和数据集可从https://github.com/megvii-research/realflow获得

基于深度学习的当前计算机视觉任务需要大量数据，并具有用于模型培训或测试的注释，尤其是在某些密集的估计任务中，例如光流分段和深度估计。实际上，密集估计任务的手动标记非常困难甚至不可能，并且数据集的场景通常仅限于较小的范围，这极大地限制了社区的发展。为了克服这种缺陷，我们提出了一种合成数据集生成方法，以获取无繁重的手动劳动力的可扩展数据集。通过这种方法，我们构建了一个名为Minenavi的数据集，该数据集包含来自飞机的第一镜头视频视频素材，并与准确的地面真相相匹配，以实现飞机导航应用中的深度估算。我们还提供定量实验，以证明通过Minenavi数据集进行预训练可以提高深度估计模型的性能，并加快模型在真实场景数据上的收敛性。由于合成数据集在深层模型的训练过程中与现实世界数据集具有相似的效果，因此我们还提供了具有单眼深度估计方法的其他实验，以证明各种因素在我们的数据集中的影响，例如照明条件和运动模式。

具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统中的关键组件。但是，数据策展和注释需要大量投资并产生低多样性的情况。最近对合成数据的兴趣日益增长，提出了有关此类系统改进范围的问题，以及产生大量和变化的模拟数据所需的手动工作量。这项工作提出了一条合成数据生成管道，该管道利用现有数据集（如Nuscenes）来解决模拟数据集中存在的困难和域间隙。我们表明，使用现有数据集的注释和视觉提示，我们可以促进自动化的多模式数据生成，模仿具有高保真性的真实场景属性，以及以物理意义的方式使样本多样化的机制。我们通过提供定性和定量实验，并通过使用真实和合成数据来证明MIOU指标的改进，以实现CityScapes和Kitti-Step数据集的语义分割。所有相关代码和数据均在GitHub（https://github.com/shubham1810/trove_toolkit）上发布。

鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

我们提出了一种便携式多型摄像头系统，该系统具有专用模型，用于动态场景中的新型视图和时间综合。我们的目标是使用我们的便携式多座相机从任何角度从任何角度出发为动态场景提供高质量的图像。为了实现这种新颖的观点和时间综合，我们开发了一个配备了五个相机的物理多型摄像头，以在时间和空间域中训练神经辐射场（NERF），以进行动态场景。我们的模型将6D坐标（3D空间位置，1D时间坐标和2D观看方向）映射到观看依赖性且随时间变化的发射辐射和体积密度。量渲染用于在指定的相机姿势和时间上渲染光真实的图像。为了提高物理相机的鲁棒性，我们提出了一个摄像机参数优化模块和一个时间框架插值模块，以促进跨时间的信息传播。我们对现实世界和合成数据集进行了实验以评估我们的系统，结果表明，我们的方法在定性和定量上优于替代解决方案。我们的代码和数据集可从https://yuenfuilau.github.io获得。

Recent work has shown that optical flow estimation can be formulated as a supervised learning task and can be successfully solved with convolutional networks. Training of the so-called FlowNet was enabled by a large synthetically generated dataset. The present paper extends the concept of optical flow estimation via convolutional networks to disparity and scene flow estimation. To this end, we propose three synthetic stereo video datasets with sufficient realism, variation, and size to successfully train large networks. Our datasets are the first large-scale datasets to enable training and evaluating scene flow methods. Besides the datasets, we present a convolutional network for real-time disparity estimation that provides state-of-the-art results. By combining a flow and disparity estimation network and training it jointly, we demonstrate the first scene flow estimation with a convolutional network.

光流估计是自动驾驶和机器人系统系统中的一项基本任务，它可以在时间上解释流量场景。自动驾驶汽车显然受益于360 {\ deg}全景传感器提供的超宽视野（FOV）。但是，由于全景相机的独特成像过程，专为针孔图像设计的模型不会令人满意地概括为360 {\ deg}全景图像。在本文中，我们提出了一个新颖的网络框架 - panoflow，以学习全景图像的光流。为了克服全景转化中等应角投影引起的扭曲，我们设计了一种流动失真增强（FDA）方法，其中包含径向流量失真（FDA-R）或等骨流量失真（FDA-E）。我们进一步研究了全景视频的环状光流的定义和特性，并通过利用球形图像的环状来推断360 {\ deg}光流并将大型位移转换为相对小的位移，从而提出了环状流量估计（CFE）方法移位。 Panoflow适用于任何现有的流量估计方法，并从狭窄的FOL流量估计的进度中受益。此外，我们创建并释放基于CARLA的合成全景数据集Flow360，以促进训练和定量分析。 Panoflow在公共Omniflownet和已建立的Flow360基准中实现了最先进的表现。我们提出的方法将Flow360上的端点误差（EPE）降低了27.3％。在Omniflownet上，Panoflow获得了3.17像素的EPE，从最佳发布的结果中降低了55.5％的误差。我们还通过收集工具和公共现实世界中的全球数据集对我们的方法进行定性验证我们的方法，这表明对现实世界导航应用程序的强大潜力和稳健性。代码和数据集可在https://github.com/masterhow/panoflow上公开获取。

在本文中，通过以自我监督的方式将基于几何的方法纳入深度学习架构来实现强大的视觉测量（VO）的基本问题。通常，基于纯几何的算法与特征点提取和匹配中的深度学习不那么稳健，但由于其成熟的几何理论，在自我运动估计中表现良好。在这项工作中，首先提出了一种新颖的光学流量网络（PANET）内置于位置感知机构。然后，提出了一种在没有典型网络的情况下共同估计深度，光学流动和自我运动来学习自我运动的新系统。所提出的系统的关键组件是一种改进的束调节模块，其包含多个采样，初始化的自我运动，动态阻尼因子调整和Jacobi矩阵加权。另外，新颖的相对光度损耗函数先进以提高深度估计精度。该实验表明，所提出的系统在基于基于基于基于基于基于基于基于学习的基于学习的方法之间的深度，流量和VO估计方面不仅优于其他最先进的方法，而且与几何形状相比，也显着提高了鲁棒性 - 基于，基于学习和混合VO系统。进一步的实验表明，我们的模型在挑战室内（TMU-RGBD）和室外（KAIST）场景中实现了出色的泛化能力和性能。

动态对象对机器人对环境的看法产生了重大影响，这降低了本地化和映射等基本任务的性能。在这项工作中，我们通过在由动态对象封闭的区域中合成合理的颜色，纹理和几何形状来解决这个问题。我们提出了一种新的几何感知Dynafill架构，其遵循粗略拓扑，并将我们所通用的经常性反馈机制结合到自适应地融合来自之前的时间步来的信息。我们使用对抗性培训来优化架构，以综合精细的现实纹理，使其能够以空间和时间相干的方式在线在线遮挡地区的幻觉和深度结构，而不依赖于未来的帧信息。将我们的待遇问题作为图像到图像到图像的翻译任务，我们的模型还纠正了与场景中动态对象的存在相关的区域，例如阴影或反射。我们引入了具有RGB-D图像，语义分段标签，摄像机的大型高估数据集，以及遮挡区域的地面RGB-D信息。广泛的定量和定性评估表明，即使在挑战天气条件下，我们的方法也能实现最先进的性能。此外，我们使用综合图像显示基于检索的视觉本地化的结果，该图像证明了我们方法的效用。

Estimating 6D poses of objects from images is an important problem in various applications such as robot manipulation and virtual reality. While direct regression of images to object poses has limited accuracy, matching rendered images of an object against the input image can produce accurate results. In this work, we propose a novel deep neural network for 6D pose matching named DeepIM. Given an initial pose estimation, our network is able to iteratively refine the pose by matching the rendered image against the observed image. The network is trained to predict a relative pose transformation using a disentangled representation of 3D location and 3D orientation and an iterative training process. Experiments on two commonly used benchmarks for 6D pose estimation demonstrate that DeepIM achieves large improvements over stateof-the-art methods. We furthermore show that DeepIM is able to match previously unseen objects.

The quantitative evaluation of optical flow algorithms by Barron et al. (1994) led to significant advances in performance. The challenges for optical flow algorithms today go beyond the datasets and evaluation methods proposed in that paper. Instead, they center on problems associated with complex natural scenes, including nonrigid motion, real sensor noise, and motion discontinuities. We propose a new set of benchmarks and evaluation methods for the next generation of optical flow algorithms. To that end, we contribute four types of data to test different aspects of optical flow algorithms: (1) sequences with nonrigid motion where the ground-truth flow is determined by A preliminary version of this paper appeared in the IEEE International Conference on Computer Vision (Baker et al. 2007).