全向视频中的光流估计面临两个重要问题：缺乏基准数据集以及调整基于视频的方法以适应全向性质的挑战。本文提出了第一个具有360度视野Flow360的感知上天然合成的全向基准数据集，其中有40个不同的视频和4,000个视频帧。我们在数据集和现有的光流数据集之间进行了全面的特征分析和比较，这些数据集表现出感知现实主义，独特性和多样性。为了适应全向性质，我们提出了一个新颖的暹罗表示学习框架（SLOF）。我们以对比度的方式训练我们的网络，并结合了对比度损失和光流损失的混合损失函数。广泛的实验验证了所提出的框架的有效性，并在最新方法中显示出40％的性能提高。我们的Flow360数据集和代码可在https://siamlof.github.io/上找到。
translated by 谷歌翻译
光流估计是自动驾驶和机器人系统系统中的一项基本任务，它可以在时间上解释流量场景。自动驾驶汽车显然受益于360 {\ deg}全景传感器提供的超宽视野（FOV）。但是，由于全景相机的独特成像过程，专为针孔图像设计的模型不会令人满意地概括为360 {\ deg}全景图像。在本文中，我们提出了一个新颖的网络框架 - panoflow，以学习全景图像的光流。为了克服全景转化中等应角投影引起的扭曲，我们设计了一种流动失真增强（FDA）方法，其中包含径向流量失真（FDA-R）或等骨流量失真（FDA-E）。我们进一步研究了全景视频的环状光流的定义和特性，并通过利用球形图像的环状来推断360 {\ deg}光流并将大型位移转换为相对小的位移，从而提出了环状流量估计（CFE）方法移位。 Panoflow适用于任何现有的流量估计方法，并从狭窄的FOL流量估计的进度中受益。此外，我们创建并释放基于CARLA的合成全景数据集Flow360，以促进训练和定量分析。 Panoflow在公共Omniflownet和已建立的Flow360基准中实现了最先进的表现。我们提出的方法将Flow360上的端点误差（EPE）降低了27.3％。在Omniflownet上，Panoflow获得了3.17像素的EPE，从最佳发布的结果中降低了55.5％的误差。我们还通过收集工具和公共现实世界中的全球数据集对我们的方法进行定性验证我们的方法，这表明对现实世界导航应用程序的强大潜力和稳健性。代码和数据集可在https://github.com/masterhow/panoflow上公开获取。
translated by 谷歌翻译
Recent work has shown that optical flow estimation can be formulated as a supervised learning task and can be successfully solved with convolutional networks. Training of the so-called FlowNet was enabled by a large synthetically generated dataset. The present paper extends the concept of optical flow estimation via convolutional networks to disparity and scene flow estimation. To this end, we propose three synthetic stereo video datasets with sufficient realism, variation, and size to successfully train large networks. Our datasets are the first large-scale datasets to enable training and evaluating scene flow methods. Besides the datasets, we present a convolutional network for real-time disparity estimation that provides state-of-the-art results. By combining a flow and disparity estimation network and training it jointly, we demonstrate the first scene flow estimation with a convolutional network.
translated by 谷歌翻译
由于他们越来越多的可负担性，可移植性和360 {\ DEG}视野，全向360 {\ DEG}图像在计算机视觉，机器人和其他领域找到了许多有希望和激动人心的应用。用于存储，处理和可视化360 {\ DEG}图像的最常用格式是互连的投影（ERP）。然而，由360 {\ DEG}图像引入的非线性映射引入到ERP图像的失真仍然是一种屏障，其容纳作为传统透视图像的易于用作易用的屏障。当估计360 {\ DEG}光流时，这尤其相关，因为需要适当地减去失真。在本文中，我们提出了一种基于切线图像的360 {\ DEG}光学流量。我们的方法利用GNOMONIC投影将ERP图像局部转换为透视图像，并且通过投影将ERP图像均匀地对准CUBEMAP和常规ICOSAHEDRON顶点来逐步地进行逐步改进估计的360 {\ DEG}流场。我们的实验表明了我们所提出的方法的益处，这些方法都是定量和定性的。
translated by 谷歌翻译
可以通过定期预测未来的框架以增强虚拟现实应用程序中的用户体验，从而解决了低计算设备上图形渲染高帧速率视频的挑战。这是通过时间视图合成（TVS）的问题来研究的，该问题的目标是预测给定上一个帧的视频的下一个帧以及上一个和下一个帧的头部姿势。在这项工作中，我们考虑了用户和对象正在移动的动态场景的电视。我们设计了一个将运动解散到用户和对象运动中的框架，以在预测下一帧的同时有效地使用可用的用户运动。我们通过隔离和估计过去框架的3D对象运动，然后推断它来预测对象的运动。我们使用多平面图像（MPI）作为场景的3D表示，并将对象运动作为MPI表示中相应点之间的3D位移建模。为了在估计运动时处理MPI中的稀疏性，我们将部分卷积和掩盖的相关层纳入了相应的点。然后将预测的对象运动与给定的用户或相机运动集成在一起，以生成下一帧。使用不合格的填充模块，我们合成由于相机和对象运动而发现的区域。我们为动态场景的电视开发了一个新的合成数据集，该数据集由800个以全高清分辨率组成的视频组成。我们通过数据集和MPI Sintel数据集上的实验表明我们的模型优于文献中的所有竞争方法。
translated by 谷歌翻译
Ground truth optical flow is difficult to measure in real scenes with natural motion. As a result, optical flow data sets are restricted in terms of size, complexity, and diversity, making optical flow algorithms difficult to train and test on realistic data. We introduce a new optical flow data set derived from the open source 3D animated short film Sintel. This data set has important features not present in the popular Middlebury flow evaluation: long sequences, large motions, specular reflections, motion blur, defocus blur, and atmospheric effects. Because the graphics data that generated the movie is open source, we are able to render scenes under conditions of varying complexity to evaluate where existing flow algorithms fail. We evaluate several recent optical flow algorithms and find that current highly-ranked methods on the Middlebury evaluation have difficulty with this more complex data set suggesting further research on optical flow estimation is needed. To validate the use of synthetic data, we compare the image-and flow-statistics of Sintel to those of real films and videos and show that they are similar. The data set, metrics, and evaluation website are publicly available.
translated by 谷歌翻译
Convolutional neural networks (CNNs) have recently been very successful in a variety of computer vision tasks, especially on those linked to recognition. Optical flow estimation has not been among the tasks where CNNs were successful. In this paper we construct appropriate CNNs which are capable of solving the optical flow estimation problem as a supervised learning task. We propose and compare two architectures: a generic architecture and another one including a layer that correlates feature vectors at different image locations.Since existing ground truth datasets are not sufficiently large to train a CNN, we generate a synthetic Flying Chairs dataset. We show that networks trained on this unrealistic data still generalize very well to existing datasets such as Sintel and KITTI, achieving competitive accuracy at frame rates of 5 to 10 fps.
translated by 谷歌翻译
从视频中获得地面真相标签很具有挑战性，因为在像素流标签的手动注释非常昂贵且费力。此外，现有的方法试图将合成数据集的训练模型调整到真实的视频中，该视频不可避免地遭受了域差异并阻碍了现实世界应用程序的性能。为了解决这些问题，我们提出了RealFlow，这是一个基于期望最大化的框架，可以直接从任何未标记的现实视频中创建大规模的光流数据集。具体而言，我们首先估计一对视频帧之间的光流，然后根据预测流从该对中合成新图像。因此，新图像对及其相应的流可以被视为新的训练集。此外，我们设计了一种逼真的图像对渲染（RIPR）模块，该模块采用软磁性裂口和双向孔填充技术来减轻图像合成的伪像。在E-Step中，RIPR呈现新图像以创建大量培训数据。在M-Step中，我们利用生成的训练数据来训练光流网络，该数据可用于估计下一个E步骤中的光流。在迭代学习步骤中，流网络的能力逐渐提高，流量的准确性以及合成数据集的质量也是如此。实验结果表明，REALFLOW的表现优于先前的数据集生成方法。此外，基于生成的数据集，我们的方法与受监督和无监督的光流方法相比，在两个标准基准测试方面达到了最先进的性能。我们的代码和数据集可从https://github.com/megvii-research/realflow获得
translated by 谷歌翻译
传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。
translated by 谷歌翻译
现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。
translated by 谷歌翻译
鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。
translated by 谷歌翻译
尽管基于深度学习的面部相关模型成功显着，但这些模型仍然仅限于真正人类面的领域。另一方面，由于缺乏组织良好的数据集，由于缺乏组织的数据集，动画面的域已经不太积极地研究。在本文中，我们通过可控的合成动画模型介绍了一个大规模动画CeleBfaces数据集（AnimeCeleb），以提高动画面域的研究。为了促进数据生成过程，我们基于开放式3D软件和开发的注释系统构建半自动管道。这导致构建大型动画面部数据集，包括具有丰富注释的多姿态和多样式动画面。实验表明，我们的数据集适用于各种动画相关的任务，如头部重新创建和着色。
translated by 谷歌翻译
本文介绍了一种新颖的体系结构，用于同时估算高度准确的光流和刚性场景转换，以实现困难的场景，在这种情况下，亮度假设因强烈的阴影变化而违反了亮度假设。如果是旋转物体或移动的光源（例如在黑暗中驾驶汽车遇到的光源），场景的外观通常从一个视图到下一个视图都发生了很大变化。不幸的是，用于计算光学流或姿势的标准方法是基于这样的期望，即场景中特征在视图之间保持恒定。在调查的情况下，这些方法可能经常失败。提出的方法通过组合图像，顶点和正常数据来融合纹理和几何信息，以计算照明不变的光流。通过使用粗到最新的策略，可以学习全球锚定的光流，从而减少了基于伪造的伪相应的影响。基于学习的光学流，提出了第二个体系结构，该体系结构可预测扭曲的顶点和正常地图的稳健刚性变换。特别注意具有强烈旋转的情况，这通常会导致这种阴影变化。因此，提出了一个三步程序，该程序可以利用正态和顶点之间的相关性。该方法已在新创建的数据集上进行了评估，该数据集包含具有强烈旋转和阴影效果的合成数据和真实数据。该数据代表了3D重建中的典型用例，其中该对象通常在部分重建之间以很大的步骤旋转。此外，我们将该方法应用于众所周知的Kitti Odometry数据集。即使由于实现了Brighness的假设，这不是该方法的典型用例，因此，还建立了对标准情况和与其他方法的关系的适用性。
translated by 谷歌翻译
我们提出了一种便携式多型摄像头系统，该系统具有专用模型，用于动态场景中的新型视图和时间综合。我们的目标是使用我们的便携式多座相机从任何角度从任何角度出发为动态场景提供高质量的图像。为了实现这种新颖的观点和时间综合，我们开发了一个配备了五个相机的物理多型摄像头，以在时间和空间域中训练神经辐射场（NERF），以进行动态场景。我们的模型将6D坐标（3D空间位置，1D时间坐标和2D观看方向）映射到观看依赖性且随时间变化的发射辐射和体积密度。量渲染用于在指定的相机姿势和时间上渲染光真实的图像。为了提高物理相机的鲁棒性，我们提出了一个摄像机参数优化模块和一个时间框架插值模块，以促进跨时间的信息传播。我们对现实世界和合成数据集进行了实验以评估我们的系统，结果表明，我们的方法在定性和定量上优于替代解决方案。我们的代码和数据集可从https://yuenfuilau.github.io获得。
translated by 谷歌翻译
We address the problem of synthesizing new video frames in an existing video, either in-between existing frames (interpolation), or subsequent to them (extrapolation). This problem is challenging because video appearance and motion can be highly complex. Traditional optical-flow-based solutions often fail where flow estimation is challenging, while newer neural-network-based methods that hallucinate pixel values directly often produce blurry results. We combine the advantages of these two methods by training a deep network that learns to synthesize video frames by flowing pixel values from existing ones, which we call deep voxel flow. Our method requires no human supervision, and any video can be used as training data by dropping, and then learning to predict, existing frames. The technique is efficient, and can be applied at any video resolution. We demonstrate that our method produces results that both quantitatively and qualitatively improve upon the state-ofthe-art.
translated by 谷歌翻译
Estimating human pose, shape, and motion from images and videos are fundamental challenges with many applications. Recent advances in 2D human pose estimation use large amounts of manually-labeled training data for learning convolutional neural networks (CNNs). Such data is time consuming to acquire and difficult to extend. Moreover, manual labeling of 3D pose, depth and motion is impractical. In this work we present SURREAL (Synthetic hUmans foR REAL tasks): a new large-scale dataset with synthetically-generated but realistic images of people rendered from 3D sequences of human motion capture data. We generate more than 6 million frames together with ground truth pose, depth maps, and segmentation masks. We show that CNNs trained on our synthetic dataset allow for accurate human depth estimation and human part segmentation in real RGB images. Our results and the new dataset open up new possibilities for advancing person analysis using cheap and large-scale synthetic data.
translated by 谷歌翻译
视觉世界可以以稀疏相互作用的不同实体来嘲笑。在动态视觉场景中发现这种组合结构已被证明对端到端的计算机视觉方法有挑战，除非提供明确的实例级别的监督。利用运动提示的基于老虎机的模型最近在学习代表，细分和跟踪对象的情况下没有直接监督显示了巨大的希望，但是它们仍然无法扩展到复杂的现实世界多对象视频。为了弥合这一差距，我们从人类发展中汲取灵感，并假设以深度信号形式的场景几何形状的信息可以促进以对象为中心的学习。我们介绍了一种以对象为中心的视频模型SAVI ++，该模型经过训练，可以预测基于插槽的视频表示的深度信号。通过进一步利用模型缩放的最佳实践，我们能够训练SAVI ++以细分使用移动摄像机记录的复杂动态场景，其中包含在自然主义背景上具有不同外观的静态和移动对象，而无需进行分割监督。最后，我们证明，通过使用从LIDAR获得的稀疏深度信号，Savi ++能够从真实World Waymo Open DataSet中的视频中学习新兴对象细分和跟踪。
translated by 谷歌翻译
全景图像可以同时展示周围环境的完整信息，并且在虚拟旅游，游戏，机器人技术等方面具有许多优势。但是，全景深度估计的进度无法完全解决由常用的投射方法引起的失真和不连续性问题。本文提出了SphereDepth，这是一种新型的全景深度估计方法，该方法可直接预测球形网格的深度而无需投影预处理。核心思想是建立全景图像与球形网格之间的关系，然后使用深层神经网络在球形域上提取特征以预测深度。为了解决高分辨率全景数据带来的效率挑战，我们介绍了两个超参数，以平衡推理速度和准确性。在三个公共全景数据集中验证，SphereDepth通过全景深度估算的最新方法实现了可比的结果。从球形域设置中受益，球形部可以产生高质量的点云，并显着缓解失真和不连续性问题。
translated by 谷歌翻译
The quantitative evaluation of optical flow algorithms by Barron et al. (1994) led to significant advances in performance. The challenges for optical flow algorithms today go beyond the datasets and evaluation methods proposed in that paper. Instead, they center on problems associated with complex natural scenes, including nonrigid motion, real sensor noise, and motion discontinuities. We propose a new set of benchmarks and evaluation methods for the next generation of optical flow algorithms. To that end, we contribute four types of data to test different aspects of optical flow algorithms: (1) sequences with nonrigid motion where the ground-truth flow is determined by A preliminary version of this paper appeared in the IEEE International Conference on Computer Vision (Baker et al. 2007).
translated by 谷歌翻译
捕获比窄FOV相机的宽视野（FOV）相机，其捕获更大的场景区域，用于许多应用，包括3D重建，自动驾驶和视频监控。然而，广角图像包含违反针孔摄像机模型底层的假设的扭曲，导致对象失真，估计场景距离，面积和方向困难，以及防止在未造成的图像上使用现成的深层模型。下游计算机视觉任务。图像整流，旨在纠正这些扭曲，可以解决这些问题。本文从转换模型到整流方法的广角图像整流的全面调查进展。具体地，我们首先介绍了不同方法中使用的相机模型的详细描述和讨论。然后，我们总结了几种失真模型，包括径向失真和投影失真。接下来，我们审查了传统的基于几何图像整流方法和基于深度学习的方法，其中前者将失真参数估计作为优化问题，并且后者通过利用深神经网络的力量来将其作为回归问题。我们评估在公共数据集上最先进的方法的性能，并显示虽然两种方法都可以实现良好的结果，但这些方法仅适用于特定的相机型号和失真类型。我们还提供了强大的基线模型，并对合成数据集和真实世界广角图像进行了对不同失真模型的实证研究。最后，我们讨论了几个潜在的研究方向，预计将来进一步推进这一领域。
translated by 谷歌翻译