单图像姿势估计是许多视觉和机器人任务中的一个基本问题，并且现有的深度学习方法不会完全建模和处理来遭受：i）关于预测的不确定性，ii）具有多个（有时是无限）正确姿势的对称对象。为此，我们引入了一种在SO（3）上估算任意非参数分布的方法。我们的关键思想是通过神经网络隐含地表示分布，该神经网络估计给定输入图像和候选姿势的概率。网格采样或梯度上升可用于找到最有可能的姿势，但也可以评估任何姿势的概率，从而实现关于对称性和不确定性的推理。这是代表流形分布的最通用方法，为了展示丰富的表现力，我们介绍了一个具有挑战性的对称和几乎对称对象的数据集。我们不需要对姿势不确定性的监督 - 模型仅以一个示例训练单个姿势。但是，我们的隐式模型具有高度表达能力在3D姿势上处理复杂的分布，同时仍然在标准的非歧义环境上获得准确的姿势估计，从而在Pascal3d+和ModelNet10-SO-SO（3）基准方面实现了最先进的性能。

我们描述了一种数据驱动的方法，用于指定任意对象的多个图像，以推断相机观点。该任务是经典几何管道（例如SFM和SLAM）的核心组成部分，也是当代神经方法（例如NERF）的至关重要的预处理要求，以对象重建和视图合成。与现有的对应驱动的方法相反，鉴于稀疏视图的表现不佳，我们提出了一种基于自上而下的预测方法来估计相机观点。我们的主要技术见解是使用基于能量的公式来表示相对摄像机旋转的分布，从而使我们能够明确表示由对象对称或视图引起的多个摄像机模式。利用这些相对预测，我们共同估计了来自多个图像的一致摄像机旋转集。我们表明，我们的方法优于最先进的SFM和SLAM方法，并且在可见和看不见的类别上都稀疏图像。此外，我们的概率方法显着优于直接回归相对姿势的表现，这表明对多模型建模对于相干关节重建很重要。我们证明，我们的系统可以是从多视图数据集中进行野外重建的垫脚石。可以在https://jasonyzhang.com/relpose上找到带有代码和视频的项目页面。

在本文中，我们提出了TAC2POSE，这是一种特定于对象的触觉方法，从首次触摸已知对象的触觉估计。鉴于对象几何形状，我们在模拟中学习了一个量身定制的感知模型，该模型估计了给定触觉观察的可能对象姿势的概率分布。为此，我们模拟了一个密集的物体姿势将在传感器上产生的密集对象姿势的接触形状。然后，鉴于从传感器获得的新接触形状，我们使用使用对比度学习学习的对象特定于对象的嵌入式将其与预计集合进行了匹配。我们从传感器中获得接触形状，并具有对象不足的校准步骤，该步骤将RGB触觉观测值映射到二进制接触形状。该映射可以在对象和传感器实例上重复使用，是唯一接受真实传感器数据训练的步骤。这导致了一种感知模型，该模型从第一个真实的触觉观察中定位对象。重要的是，它产生姿势分布，并可以纳入来自其他感知系统，联系人或先验的其他姿势限制。我们为20个对象提供定量结果。 TAC2POSE从独特的触觉观测中提供了高精度的姿势估计，同时回归有意义的姿势分布，以说明可能由不同对象姿势产生的接触形状。我们还测试了从3D扫描仪重建的对象模型上的TAC2POSE，以评估对象模型中不确定性的鲁棒性。最后，我们证明了TAC2POSE的优势与三种基线方法进行触觉姿势估计：直接使用神经网络回归对象姿势，将观察到的接触与使用标准分类神经网络的一组可能的接触匹配，并直接的像素比较比较观察到的一组可能的接触接触。网站：http：//mcube.mit.edu/research/tac2pose.html

我们提出了一个简单的基线，用于直接估计两个图像之间的相对姿势（旋转和翻译，包括比例）。深度方法最近显示出很强的进步，但通常需要复杂或多阶段的体系结构。我们表明，可以将少数修改应用于视觉变压器（VIT），以使其计算接近八点算法。这种归纳偏见使一种简单的方法在多种环境中具有竞争力，通常在有限的数据制度中具有强劲的性能增长，从而实质上有所改善。

代表性学习形成最深入的学习应用的骨干，并且学习表示的值与其关于不同变异因素的信息内容密切相关。找到良好的表现取决于监督和学习算法的性质。我们提出了一种新颖的算法，该算法利用弱形的监督形式，其中数据根据各种变体的某些无效（常见）因子来划分到集合中，这些因素在每个集合的元素中不变。我们的主要识别是，通过寻求不同集合之间的对应，我们学习强烈的表示，排除了变异的非活动因素，并隔离了所有集合中变化的活动（不同）因素。由于重点关注有源因素，我们的方法可以利用设定监督和全文无监督数据的混合，甚至可以属于不同的域。我们通过将概括到类别水平和综合/真实域间隙的图像姿势信息隔离，解决综合对象姿势转移的具有挑战性问题，即使没有对任何内容的姿势注释也没有姿势注释。通过加强中间表示，该方法还可以提高监督设置的性能。

Understanding the 3D world without supervision is currently a major challenge in computer vision as the annotations required to supervise deep networks for tasks in this domain are expensive to obtain on a large scale. In this paper, we address the problem of unsupervised viewpoint estimation. We formulate this as a self-supervised learning task, where image reconstruction provides the supervision needed to predict the camera viewpoint. Specifically, we make use of pairs of images of the same object at training time, from unknown viewpoints, to self-supervise training by combining the viewpoint information from one image with the appearance information from the other. We demonstrate that using a perspective spatial transformer allows efficient viewpoint learning, outperforming existing unsupervised approaches on synthetic data, and obtains competitive results on the challenging PASCAL3D+ dataset.

We introduce MegaPose, a method to estimate the 6D pose of novel objects, that is, objects unseen during training. At inference time, the method only assumes knowledge of (i) a region of interest displaying the object in the image and (ii) a CAD model of the observed object. The contributions of this work are threefold. First, we present a 6D pose refiner based on a render&compare strategy which can be applied to novel objects. The shape and coordinate system of the novel object are provided as inputs to the network by rendering multiple synthetic views of the object's CAD model. Second, we introduce a novel approach for coarse pose estimation which leverages a network trained to classify whether the pose error between a synthetic rendering and an observed image of the same object can be corrected by the refiner. Third, we introduce a large-scale synthetic dataset of photorealistic images of thousands of objects with diverse visual and shape properties and show that this diversity is crucial to obtain good generalization performance on novel objects. We train our approach on this large synthetic dataset and apply it without retraining to hundreds of novel objects in real images from several pose estimation benchmarks. Our approach achieves state-of-the-art performance on the ModelNet and YCB-Video datasets. An extensive evaluation on the 7 core datasets of the BOP challenge demonstrates that our approach achieves performance competitive with existing approaches that require access to the target objects during training. Code, dataset and trained models are available on the project page: https://megapose6d.github.io/.

We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed Cosy-Pose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage. 5

刚性对象的6D姿势的估计是计算机视觉中的一个基本问题。传统上，姿势估计与确定单一最佳估计有关。但是，单个估计无法表达视觉歧义，在许多情况下，由于对象对称或识别特征的阻塞，这在许多情况下是不可避免的。无法说明姿势的歧义可能会导致后续方法的失败，这是在失败成本高时无法接受的。完全姿势分布的估计与单个估计相反，非常适合表达姿势不确定性。由此激励，我们提出了一种新颖的姿势分布估计方法。对象姿势上概率分布的隐式公式来自对象的中间表示作为一组关键点。这样可以确保姿势分布估计值具有很高的解释性。此外，我们的方法基于保守近似，这导致可靠的估计。该方法已被评估在YCB-V和T-less数据集上旋转分布估计的任务，并在所有对象上可靠地执行。

RGB图像的刚性对象的可伸缩6D构成估计旨在处理多个对象并推广到新物体。我们建立在一个著名的自动编码框架的基础上，以应对对象对称性和缺乏标记的训练数据，我们通过将自动编码器的潜在表示形状分解为形状并构成子空间来实现可伸缩性。潜在形状空间通过对比度度量学习模型不同对象的相似性，并将潜在姿势代码与旋转检索的规范旋转进行比较。由于不同的对象对称会诱导不一致的潜在姿势空间，因此我们用规范旋转重新输入形状表示，以生成形状依赖的姿势代码簿以进行旋转检索。我们在两个基准上显示了最新的性能，其中包含无类别和每日对象的无纹理CAD对象，并通过扩展到跨类别的每日对象的更具挑战性的设置，进一步证明了可扩展性。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.

通过Perspective-N点（PNP）从单个RGB图像找到3D对象是计算机视觉中的长期问题。在端到端的深度学习的驱动下，最近的研究表明将PNP解释为一个可区分的层，因此可以通过反向传播梯度W.R.T.可以部分学习2d-3d点对应。对象姿势。然而，由于确定性姿势本质上是非差异的，因此学习整个不受限制的2D-3D点无法与现有方法融合。在本文中，我们提出了EPRO-PNP，这是用于一般端到端姿势估计的概率PNP层，该阶段估计输出了SE（3）歧管上的姿势分布，从本质上讲，将分类软效量带到连续域。 2d-3d坐标和相应的权重被视为通过最大程度地减少预测姿势分布和目标姿势分布之间的KL差异来学习的中间变量。基本原则统一了现有方法并类似于注意机制。 EPRO-PNP显着胜过竞争基线，缩小基于PNP的方法与LineMod 6DOF姿势估计和NUSCENES 3D对象检测基准的差距。

我们介绍了Amazon Berkeley对象（ABO），这是一个新的大型数据集，旨在帮助弥合真实和虚拟3D世界之间的差距。ABO包含产品目录图像，元数据和艺术家创建的3D模型，具有复杂的几何形状和与真实的家用物体相对应的物理基础材料。我们得出了具有挑战性的基准，这些基准利用ABO的独特属性，并测量最先进的对象在三个开放问题上的最新限制，以了解实际3D对象：单视3D 3D重建，材料估计和跨域多视图对象检索。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

Estimating 6D poses of objects from images is an important problem in various applications such as robot manipulation and virtual reality. While direct regression of images to object poses has limited accuracy, matching rendered images of an object against the input image can produce accurate results. In this work, we propose a novel deep neural network for 6D pose matching named DeepIM. Given an initial pose estimation, our network is able to iteratively refine the pose by matching the rendered image against the observed image. The network is trained to predict a relative pose transformation using a disentangled representation of 3D location and 3D orientation and an iterative training process. Experiments on two commonly used benchmarks for 6D pose estimation demonstrate that DeepIM achieves large improvements over stateof-the-art methods. We furthermore show that DeepIM is able to match previously unseen objects.

单视图重建的方法通常依赖于观点注释，剪影，缺乏背景，同一实例的多个视图，模板形状或对称性。我们通过明确利用不同对象实例的图像之间的一致性来避免所有此类监督和假设。结果，我们的方法可以从描述相同对象类别的大量未标记图像中学习。我们的主要贡献是利用跨境一致性的两种方法：（i）渐进式调理，一种培训策略，以逐步将模型从类别中逐步专业为课程学习方式进行实例； （ii）邻居重建，具有相似形状或纹理的实例之间的损失。对于我们方法的成功也至关重要的是：我们的结构化自动编码体系结构将图像分解为显式形状，纹理，姿势和背景；差异渲染的适应性公式；以及一个新的优化方案在3D和姿势学习之间交替。我们将我们的方法（独角兽）在多样化的合成造型数据集上进行比较，这是需要多种视图作为监督的方法的经典基准 - 以及标准的实数基准（Pascal3d+ Car，Cub，Cub，Cub，Cub），大多数方法都需要已知的模板和Silhouette注释。我们还展示了对更具挑战性的现实收藏集（Compcars，LSUN）的适用性，在该收藏中，剪影不可用，图像没有在物体周围裁剪。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

从单个图像的人类姿势估计是一个充满挑战的问题，通常通过监督学习解决。不幸的是，由于3D注释需要专用的运动捕获系统，因此许多人类活动尚不存在标记的培训数据。因此，我们提出了一种无监督的方法，该方法学会从单个图像预测3D人类姿势，同时只有2D姿势数据培训，这可能是人群的并且已经广泛可用。为此，我们估计最有可能过于随机投影的3D姿势，其中使用2D姿势的归一化流程估计的可能性。虽然以前的工作需要在训练数据集中的相机旋转上需要强大的前锋，但我们了解了相机角度的分布，显着提高了性能。我们的贡献的另一部分是通过首先将2D突出到线性子空间来稳定高维3D姿势数据上的标准化流动的训练。在许多指标中，我们优于基准数据集Humanets3.6m和MPI-INF-3DHP的最先进的无人监督的人类姿势估算方法。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...