在这项工作中，我们调查如何实现方面，以纯粹来自数据的平台输入变换，而不会被赋予那些转换的模型。例如，卷积神经网络（CNNS）是对图像转换的等意识别，可以容易地建模的变换（通过垂直或水平地移动像素）。其他转换，例如外平面旋转，不承认一个简单的分析模型。我们提出了一种自动编码器架构，其嵌入了obeeys同时嵌入了一组任意的标准关系，例如翻译，旋转，颜色变化以及许多其他。这意味着它可以拍摄输入图像，并产生由之前未观察到的给定金额的版本（例如，相同对象的不同观点或颜色变化）。尽管延伸到许多（甚至是非几何）转换，但我们的模型在翻译标准规范的特殊情况下完全缩短了CNN。协调对深度网络的可解释性和稳健性是重要的，并且我们证明了在几个合成和实际数据集上成功重新渲染的输入图像的转换版本的结果，以及对象姿态估计的结果。
translated by 谷歌翻译
基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。
translated by 谷歌翻译
Understanding the 3D world without supervision is currently a major challenge in computer vision as the annotations required to supervise deep networks for tasks in this domain are expensive to obtain on a large scale. In this paper, we address the problem of unsupervised viewpoint estimation. We formulate this as a self-supervised learning task, where image reconstruction provides the supervision needed to predict the camera viewpoint. Specifically, we make use of pairs of images of the same object at training time, from unknown viewpoints, to self-supervise training by combining the viewpoint information from one image with the appearance information from the other. We demonstrate that using a perspective spatial transformer allows efficient viewpoint learning, outperforming existing unsupervised approaches on synthetic data, and obtains competitive results on the challenging PASCAL3D+ dataset.
translated by 谷歌翻译
卷积神经网络（CNNS）非常有效，因为它们利用自然图像的固有转换不变性。但是，翻译只是无数的有用空间转换之一。在考虑其他空间的侵犯侵犯性时可以获得相同的效率吗？过去已经考虑过这种广义综合，但以高计算成本为例。我们展示了一个简单和精确的建筑，但标准卷积具有相同的计算复杂性。它由一个恒定的图像扭曲，后跟一个简单的卷积，这是深度学习工具箱中的标准块。通过精心制作的经线，所产生的架构可以使成功的架构成为各种各样的双参数空间转换。我们展示了令人鼓舞的现实情景结果，包括谷歌地球数据集（旋转和缩放）中车辆姿势的估计，并且面部在野外注释的面部地标中的面部姿势（在透视下的3D旋转）。
translated by 谷歌翻译
2019-10-31
由于其在翻译下的增强/不变性，卷积网络成功。然而，在坐标系的旋转取向不会影响数据的含义（例如对象分类）的情况下，诸如图像，卷，形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面，在旋转很重要的情况下是必要的估计/处理旋转（例如运动估计）。最近在所有这些方面的方法和理论方面取得了进展。在这里，我们提供了2D和3D旋转（以及翻译）的现有方法的概述，以及识别它们之间的共性和链接。
translated by 谷歌翻译
模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。
translated by 谷歌翻译
We introduce ViewNeRF, a Neural Radiance Field-based viewpoint estimation method that learns to predict category-level viewpoints directly from images during training. While NeRF is usually trained with ground-truth camera poses, multiple extensions have been proposed to reduce the need for this expensive supervision. Nonetheless, most of these methods still struggle in complex settings with large camera movements, and are restricted to single scenes, i.e. they cannot be trained on a collection of scenes depicting the same object category. To address these issues, our method uses an analysis by synthesis approach, combining a conditional NeRF with a viewpoint predictor and a scene encoder in order to produce self-supervised reconstructions for whole object categories. Rather than focusing on high fidelity reconstruction, we target efficient and accurate viewpoint prediction in complex scenarios, e.g. 360{\deg} rotation on real data. Our model shows competitive results on synthetic and real datasets, both for single scenes and multi-instance collections.
translated by 谷歌翻译
计算机愿景中的经典问题是推断从几个可用于以交互式速率渲染新颖视图的图像的3D场景表示。以前的工作侧重于重建预定定义的3D表示，例如，纹理网格或隐式表示，例如隐式表示。辐射字段，并且通常需要输入图像，具有精确的相机姿势和每个新颖场景的长处理时间。在这项工作中，我们提出了场景表示变换器（SRT），一种方法，该方法处理新的区域的构成或未铺设的RGB图像，Infers Infers“设置 - 潜在场景表示”，并合成新颖的视图，全部在一个前馈中经过。为了计算场景表示，我们提出了视觉变压器的概括到图像组，实现全局信息集成，从而实现3D推理。一个有效的解码器变压器通过参加场景表示来参加光场以呈现新颖的视图。通过最大限度地减少新型视图重建错误，学习是通过最终到底的。我们表明，此方法在PSNR和Synthetic DataSets上的速度方面优于最近的基线，包括为纸张创建的新数据集。此外，我们展示了使用街景图像支持现实世界户外环境的交互式可视化和语义分割。
translated by 谷歌翻译
我们介绍了一种基于深度学习的方法，用于将空间变化的视觉材料属性（例如纹理地图或图像样式）传播到相同或类似材料的较大样本。为培训，我们利用在多个照明和专用数据增强策略下采取的材料的图像，使转移到新颖的照明条件和仿射变形。我们的模型依赖于监督的图像到图像转换框架，并且对转移域名不可知;我们展示了语义分割，普通地图和程式化。在图像类比方法之后，该方法仅需要训练数据包含与输入引导相同的视觉结构。我们的方法采用交互式速率，使其适用于材料编辑应用。我们在受控设置中彻底评估了我们的学习方法，提供了性能的定量测量。最后，我们证明训练单个材料上的模型足以推广到相同类型的材料，而无需大量数据集。
translated by 谷歌翻译
In this work, we address the lack of 3D understanding of generative neural networks by introducing a persistent 3D feature embedding for view synthesis. To this end, we propose DeepVoxels, a learned representation that encodes the view-dependent appearance of a 3D scene without having to explicitly model its geometry. At its core, our approach is based on a Cartesian 3D grid of persistent embedded features that learn to make use of the underlying 3D scene structure. Our approach combines insights from 3D geometric computer vision with recent advances in learning image-to-image mappings based on adversarial loss functions. DeepVoxels is supervised, without requiring a 3D reconstruction of the scene, using a 2D re-rendering loss and enforces perspective and multi-view geometry in a principled manner. We apply our persistent 3D scene representation to the problem of novel view synthesis demonstrating high-quality results for a variety of challenging scenes.
translated by 谷歌翻译
逆渲染是一个不适的问题。以前的工作试图通过重点关注对象或场景形状或外观的先验来解决这一问题。在这项工作中，我们专注于自然照明的先验。当前方法依赖于球形谐波照明或其他通用表示，充其量是参数的简单先验。我们提出了一个有条件的神经场表示，基于带有警报网络的变异自动描述器，并扩展向量神经元，直接将其构建到网络中。使用此功能，我们开发了一个旋转等值的高动态范围（HDR）神经照明模型，该模型紧凑并且能够表达自然环境图的复杂，高频特征。在自然场景的1.6k HDR环境图的策划数据集上训练我们的模型，我们将其与传统表示形式进行了比较，证明了其适用于反向渲染任务，并通过部分观察显示了环境图的完成。可以在jadgardner.github.io/reni上找到我们的数据集和训练有素的模型。
translated by 谷歌翻译
合并对称性可以通过定义通过转换相关的数据样本的等效类别来导致高度数据效率和可推广的模型。但是，表征转换如何在输入数据上作用通常很困难，从而限制了模型模型的适用性。我们提出了编码输入空间（例如图像）的学习对称嵌入网络（SENS），我们不知道转换的效果（例如旋转），以在这些操作下以已知方式转换的特征空间。可以通过模棱两可的任务网络端对端训练该网络，以学习明确的对称表示。我们在具有3种不同形式的对称形式的模棱两可的过渡模型的背景下验证了这种方法。我们的实验表明，SENS有助于将模棱两可的网络应用于具有复杂对称表示的数据。此外，相对于全等级和非等价基线的准确性和泛化可以提高准确性和概括。
translated by 谷歌翻译
在这项工作中，我们寻求弥合神经网络中地形组织和设备的概念。为实现这一目标，我们介绍了一种新颖的方法，用于有效地培训具有地形组织的潜变量的深度生成模型。我们表明，这种模型确实学会根据突出的特征，例如在MNIST上的数字，宽度和样式等突出特征来组织激活。此外，通过地形组织随着时间的推移（即时间相干），我们展示了如何鼓励预定义的潜空间转换运营商，以便观察到的转换输入序列 - 这是一种无监督的学习设备的原始形式。我们展示了该模型直接从序列中直接从序列中学习大约成反比的特征（即“胶囊”）并在相应变换测试序列上实现更高的似然性。通过测量推理网络的近似扩展和序列变换来定量验证标准验证。最后，我们展示了复杂转化的近似值，扩大了现有组的常量神经网络的能力。
translated by 谷歌翻译
Estimating 6D poses of objects from images is an important problem in various applications such as robot manipulation and virtual reality. While direct regression of images to object poses has limited accuracy, matching rendered images of an object against the input image can produce accurate results. In this work, we propose a novel deep neural network for 6D pose matching named DeepIM. Given an initial pose estimation, our network is able to iteratively refine the pose by matching the rendered image against the observed image. The network is trained to predict a relative pose transformation using a disentangled representation of 3D location and 3D orientation and an iterative training process. Experiments on two commonly used benchmarks for 6D pose estimation demonstrate that DeepIM achieves large improvements over stateof-the-art methods. We furthermore show that DeepIM is able to match previously unseen objects.
translated by 谷歌翻译
RGB图像的刚性对象的可伸缩6D构成估计旨在处理多个对象并推广到新物体。我们建立在一个著名的自动编码框架的基础上，以应对对象对称性和缺乏标记的训练数据，我们通过将自动编码器的潜在表示形状分解为形状并构成子空间来实现可伸缩性。潜在形状空间通过对比度度量学习模型不同对象的相似性，并将潜在姿势代码与旋转检索的规范旋转进行比较。由于不同的对象对称会诱导不一致的潜在姿势空间，因此我们用规范旋转重新输入形状表示，以生成形状依赖的姿势代码簿以进行旋转检索。我们在两个基准上显示了最新的性能，其中包含无类别和每日对象的无纹理CAD对象，并通过扩展到跨类别的每日对象的更具挑战性的设置，进一步证明了可扩展性。
translated by 谷歌翻译
我们研究了从3D对象组成的场景的稀疏源观察的新型视图综合的问题。我们提出了一种简单但有效的方法，既不是持续的也不是隐含的，挑战近期观测综合的趋势。我们的方法将观察显式编码为启用摊销渲染的体积表示。我们证明，虽然由于其表现力，但由于其表现力，但由于其富有力的力量，我们的简单方法获得了与最新的基线的比较比较了与最先进的基线的相当甚至更好的新颖性重建质量，同时增加了渲染速度超过400倍。我们的模型采用类别无关方式培训，不需要特定于场景的优化。因此，它能够将新颖的视图合成概括为在训练期间未见的对象类别。此外，我们表明，通过简单的制定，我们可以使用视图综合作为自我监控信号，以便在没有明确的3D监督的情况下高效学习3D几何。
translated by 谷歌翻译
从单个图像中的新视图综合最近实现了显着的结果，尽管在训练时需要某种形式的3D，姿势或多视图监管限制了实际情况的部署。这项工作旨在放松这些假设，可实现新颖的观看综合的条件生成模型，以完全无人监测。我们首先使用3D感知GaN制定预先列车纯粹的生成解码器模型，同时训练编码器网络将映射从潜空间颠覆到图像。然后，我们将编码器和解码器交换，并将网络作为条件GaN培训，其混合物类似于自动化器的物镜和自蒸馏。在测试时间，给定对象的视图，我们的模型首先将图像内容嵌入到潜在代码中并通过保留代码固定并改变姿势来生成它的新颖视图。我们在ShapeNet等合成数据集上测试我们的框架，如ShapeNet和无约束的自然图像集合，在那里没有竞争方法可以训练。
translated by 谷歌翻译
代表物体粒度的场景是场景理解和决策的先决条件。我们提出PrisMoNet，一种基于先前形状知识的新方法，用于学习多对象3D场景分解和来自单个图像的表示。我们的方法学会在平面曲面上分解具有多个对象的合成场景的图像，进入其组成场景对象，并从单个视图推断它们的3D属性。经常性编码器从输入的RGB图像中回归3D形状，姿势和纹理的潜在表示。通过可差异化的渲染，我们培训我们的模型以自我监督方式从RGB-D图像中分解场景。 3D形状在功能空间中连续表示，作为我们以监督方式从示例形状预先训练的符号距离函数。这些形状的前沿提供弱监管信号，以更好地条件挑战整体学习任务。我们评估我们模型在推断3D场景布局方面的准确性，展示其生成能力，评估其对真实图像的概括，并指出了学习的表示的益处。
translated by 谷歌翻译
我们为3D点云提出了一种自我监督的胶囊架构。我们通过置换等级的注意力计算对象的胶囊分解，并通过用对随机旋转对象的对进行自我监督处理。我们的主要思想是将注意力掩码汇总为语义关键点，并使用这些来监督满足胶囊不变性/设备的分解。这不仅能够培训语义一致的分解，而且还允许我们学习一个能够以对客观的推理的规范化操作。培训我们的神经网络，我们既不需要分类标签也没有手动对齐训练数据集。然而，通过以自我监督方式学习以对象形式的表示，我们的方法在3D点云重建，规范化和无监督的分类上表现出最先进的。
translated by 谷歌翻译
新型视图合成是一个长期存在的问题。在这项工作中，我们考虑了一个问题的变体，在这种变体中，只有几个上下文视图稀疏地涵盖了场景或对象。目的是预测现场的新观点，这需要学习先验。当前的艺术状态基于神经辐射场（NERF），在获得令人印象深刻的结果的同时，这些方法遭受了较长的训练时间，因为它们需要通过每个图像来评估数百万个3D点样品。我们提出了一种仅限2D方法，该方法将多个上下文视图映射，并在神经网络的单个通过中映射到新图像。我们的模型使用由密码簿和变压器模型组成的两阶段体系结构。该密码手册用于将单个图像嵌入较小的潜在空间中，而变压器在此更紧凑的空间中求解了视图综合任务。为了有效地训练我们的模型，我们引入了一种新颖的分支注意机制，该机制使我们不仅可以将相同的模型用于神经渲染，还可以用于摄像头姿势估计。现实世界场景的实验结果表明，与基于NERF的方法相比，我们的方法具有竞争力，而在3D中没有明确推理，并且训练速度更快。
translated by 谷歌翻译