6D对象姿势估计是计算机视觉和机器人研究中的基本问题之一。尽管最近在同一类别内将姿势估计概括为新的对象实例（即类别级别的6D姿势估计）方面已做出了许多努力，但考虑到有限的带注释数据，它仍然在受限的环境中受到限制。在本文中，我们收集了Wild6D，这是一种具有不同实例和背景的新的未标记的RGBD对象视频数据集。我们利用这些数据在野外概括了类别级别的6D对象姿势效果，并通过半监督学习。我们提出了一个新模型，称为呈现姿势估计网络reponet，该模型使用带有合成数据的自由地面真实性共同训练，以及在现实世界数据上具有轮廓匹配的目标函数。在不使用实际数据上的任何3D注释的情况下，我们的方法优于先前数据集上的最先进方法，而我们的WILD6D测试集（带有手动注释进行评估）则优于较大的边距。带有WILD6D数据的项目页面：https：//oasisyang.github.io/semi-pose。

最近，基于RGBD的类别级别6D对象姿势估计已实现了有希望的性能提高，但是，深度信息的要求禁止更广泛的应用。为了缓解这个问题，本文提出了一种新的方法，名为“对象级别深度重建网络”（旧网）仅将RGB图像作为类别级别6D对象姿势估计的输入。我们建议通过将类别级别的形状在对象级深度和规范的NOC表示中直接从单眼RGB图像中直接预测对象级的深度。引入了两个名为归一化的全局位置提示（NGPH）和形状吸引的脱钩深度重建（SDDR）模块的模块，以学习高保真对象级的深度和精致的形状表示。最后，通过将预测的规范表示与背面预测的对象级深度对齐来解决6D对象姿势。在具有挑战性的Camera25和Real275数据集上进行了广泛的实验，表明我们的模型虽然很简单，但可以实现最先进的性能。

The goal of this paper is to estimate the 6D pose and dimensions of unseen object instances in an RGB-D image. Contrary to "instance-level" 6D pose estimation tasks, our problem assumes that no exact object CAD models are available during either training or testing time. To handle different and unseen object instances in a given category, we introduce Normalized Object Coordinate Space (NOCS)-a shared canonical representation for all possible object instances within a category. Our region-based neural network is then trained to directly infer the correspondence from observed pixels to this shared object representation (NOCS) along with other object information such as class label and instance mask. These predictions can be combined with the depth map to jointly estimate the metric 6D pose and dimensions of multiple objects in a cluttered scene. To train our network, we present a new contextaware technique to generate large amounts of fully annotated mixed reality data. To further improve our model and evaluate its performance on real data, we also provide a fully annotated real-world dataset with large environment and instance variation. Extensive experiments demonstrate that the proposed method is able to robustly estimate the pose and size of unseen object instances in real environments while also achieving state-of-the-art performance on standard 6D pose estimation benchmarks.

类别级别的姿势估计是由于类内形状变化而导致的一个具有挑战性的问题。最近的方法变形了预计的形状先验，将观察到的点云映射到归一化对象坐标空间中，然后通过后处理（即Umeyama的算法）检索姿势。这种两阶段策略的缺点在于两个方面：1）中间结果的替代监督无法直接指导姿势的学习，从而导致后期处理后造成了较大的姿势错误。 2）推理速度受后处理步骤的限制。在本文中，为了处理这些缺点，我们为类别级别的姿势估计提出了一个可端到端的可训练网络SSP置换，该网络将Shape Priors整合到直接的姿势回归网络中。 SSP置位堆栈在共享特征提取器上的四个单独分支，其中两个分支旨在变形和匹配先前的模型与观察到的实例，并应用了其他两个分支，以直接回归完全9度的自由度姿势和分别执行对称性重建和点对上的掩码预测。然后，自然利用一致性损失项，以对齐不同分支的产出并促进性能。在推断期间，仅需要直接姿势回归分支。通过这种方式，SSP置态不仅学习类别级别的姿势敏感特征以提高性能，而且还可以保持实时推理速度。此外，我们利用每个类别的对称信息来指导形状事先变形，并提出一种新颖的对称性损失来减轻匹配的歧义。公共数据集的广泛实验表明，与竞争对手相比，SSP置孔在约25Hz的实时推理速度中产生了出色的性能。

深度学习识别的进步导致使用2D图像准确的对象检测。然而，这些2D感知方法对于完整的3D世界信息不足。同时，高级3D形状估计接近形状本身的焦点，而不考虑公制量表。这些方法无法确定对象的准确位置和方向。为了解决这个问题，我们提出了一个框架，该框架共同估计了从单个RGB图像的度量标度形状和姿势。我们的框架有两个分支：公制刻度对象形状分支（MSO）和归一化对象坐标空间分支（NOC）。 MSOS分支估计在相机坐标中观察到的度量标准形状。 NOCS分支预测归一化对象坐标空间（NOCS）映射，并从预测的度量刻度网格与渲染的深度图执行相似性转换，以获得6D姿势和大小。此外，我们介绍了归一化对象中心估计（NOCE），以估计从相机到物体中心的几何对齐距离。我们在合成和实际数据集中验证了我们的方法，以评估类别级对象姿势和形状。

类别级的对象姿势估计旨在预测已知类别集的任意对象的6D姿势以及3D度量大小。最近的方法利用了先验改编的形状，以将观察到的点云映射到规范空间中，并应用Umeyama算法以恢复姿势和大小。然而，它们的形状先验整合策略间接增强了姿势估计，从而导致姿势敏感的特征提取和推理速度缓慢。为了解决这个问题，在本文中，我们提出了一个新颖的几何形状引导的残留对象边界框投影网络RBP置rbp置置，该框架共同预测对象的姿势和残留的矢量，描述了从形状优先指示的对象表面投影中的位移迈向真实的表面投影。残留矢量的这种定义本质上是零均值且相对较小，并且明确封装了3D对象的空间提示，以进行稳健和准确的姿势回归。我们强制执行几何学意识的一致性项，以使预测的姿势和残留向量对齐以进一步提高性能。

In this paper, we propose a novel 3D graph convolution based pipeline for category-level 6D pose and size estimation from monocular RGB-D images. The proposed method leverages an efficient 3D data augmentation and a novel vector-based decoupled rotation representation. Specifically, we first design an orientation-aware autoencoder with 3D graph convolution for latent feature learning. The learned latent feature is insensitive to point shift and size thanks to the shift and scale-invariance properties of the 3D graph convolution. Then, to efficiently decode the rotation information from the latent feature, we design a novel flexible vector-based decomposable rotation representation that employs two decoders to complementarily access the rotation information. The proposed rotation representation has two major advantages: 1) decoupled characteristic that makes the rotation estimation easier; 2) flexible length and rotated angle of the vectors allow us to find a more suitable vector representation for specific pose estimation task. Finally, we propose a 3D deformation mechanism to increase the generalization ability of the pipeline. Extensive experiments show that the proposed pipeline achieves state-of-the-art performance on category-level tasks. Further, the experiments demonstrate that the proposed rotation representation is more suitable for the pose estimation tasks than other rotation representations.

Estimating 6D poses of objects from images is an important problem in various applications such as robot manipulation and virtual reality. While direct regression of images to object poses has limited accuracy, matching rendered images of an object against the input image can produce accurate results. In this work, we propose a novel deep neural network for 6D pose matching named DeepIM. Given an initial pose estimation, our network is able to iteratively refine the pose by matching the rendered image against the observed image. The network is trained to predict a relative pose transformation using a disentangled representation of 3D location and 3D orientation and an iterative training process. Experiments on two commonly used benchmarks for 6D pose estimation demonstrate that DeepIM achieves large improvements over stateof-the-art methods. We furthermore show that DeepIM is able to match previously unseen objects.

我们的方法从单个RGB-D观察中研究了以对象为中心的3D理解的复杂任务。由于这是一个不适的问题，因此现有的方法在3D形状和6D姿势和尺寸估计中都遭受了遮挡的复杂多对象方案的尺寸估计。我们提出了Shapo，这是一种联合多对象检测的方法，3D纹理重建，6D对象姿势和尺寸估计。 Shapo的关键是一条单杆管道，可回归形状，外观和构成潜在的代码以及每个对象实例的口罩，然后以稀疏到密集的方式进一步完善。首先学到了一种新颖的剖面形状和前景数据库，以将对象嵌入各自的形状和外观空间中。我们还提出了一个基于OCTREE的新颖的可区分优化步骤，使我们能够以分析的方式进一步改善对象形状，姿势和外观。我们新颖的联合隐式纹理对象表示使我们能够准确地识别和重建新颖的看不见的对象，而无需访问其3D网格。通过广泛的实验，我们表明我们的方法在模拟的室内场景上进行了训练，可以准确地回归现实世界中新颖物体的形状，外观和姿势，并以最小的微调。我们的方法显着超过了NOCS数据集上的所有基准，对于6D姿势估计，MAP的绝对改进为8％。项目页面：https：//zubair-irshad.github.io/projects/shapo.html

虽然最近出现了类别级的9DOF对象姿势估计，但由于较大的对象形状和颜色等类别内差异，因此，先前基于对应的或直接回归方法的准确性均受到限制。 - 级别的物体姿势和尺寸炼油机Catre，能够迭代地增强点云的姿势估计以产生准确的结果。鉴于初始姿势估计，Catre通过对齐部分观察到的点云和先验的抽象形状来预测初始姿势和地面真理之间的相对转换。具体而言，我们提出了一种新颖的分离体系结构，以了解旋转与翻译/大小估计之间的固有区别。广泛的实验表明，我们的方法在REAL275，Camera25和LM基准测试中的最先进方法高达〜85.32Hz，并在类别级别跟踪上取得了竞争成果。我们进一步证明，Catre可以对看不见的类别进行姿势改进。可以使用代码和训练有素的型号。

本文提出了一种类别级别的6D对象姿势和形状估计方法IDAPS，其允许在类别中跟踪6D姿势并估计其3D形状。我们使用深度图像作为输入开发类别级别自动编码器网络，其中来自自动编码器编码的特征嵌入在类别中对象的姿势。自动编码器可用于粒子过滤器框架，以估计和跟踪类别中的对象的姿势。通过利用基于符号距离函数的隐式形状表示，我们构建延迟网络以估计给定对象的估计姿势的3D形状的潜在表示。然后，估计的姿势和形状可用于以迭代方式互相更新。我们的类别级别6D对象姿势和形状估计流水线仅需要2D检测和分段进行初始化。我们在公开的数据集中评估我们的方法，并展示其有效性。特别是，我们的方法在形状估计上实现了相对高的准确性。

我们提出了一种对类别级别的6D对象姿势和大小估计的新方法。为了解决类内的形状变化，我们学习规范形状空间（CASS），统一表示，用于某个对象类别的各种情况。特别地，CASS被建模为具有标准化姿势的规范3D形状深度生成模型的潜在空间。我们训练变形式自动编码器（VAE），用于从RGBD图像中的规范空间中生成3D点云。 VAE培训以跨类方式培训，利用公开的大型3D形状存储库。由于3D点云在归一化姿势（具有实际尺寸）中生成，因此VAE的编码器学习视图分解RGBD嵌入。它将RGBD图像映射到任意视图中以独立于姿势的3D形状表示。然后通过将对象姿势与用单独的深神经网络提取的输入RGBD的姿势相关的特征进行对比姿势估计。我们将CASS和姿势和大小估计的学习集成到最终的培训网络中，实现了最先进的性能。

在这项工作中，我们探索在野外重建手对象交互。这个问题的核心挑战是缺乏适当的3D标记数据。为了克服这个问题，我们提出了一种基于优化的程序，该过程不需要直接的3D监督。我们采用的一般策略是利用所有可用的相关数据（2D边界框，2D手键盘，2D实例掩码，3D对象模型，实验室Mocap）为3D重建提供约束。我们不是单独优化手和对象，我们共同优化它们，这使我们能够基于手动对象触点，碰撞和遮挡来施加额外的约束。我们的方法在史诗厨房和100天的手中数据集中产生令人信服的重建，跨越一系列对象类别。定量地，我们证明我们的方法对现有的实验室设置中的现有方法有利地进行了比较，其中地面真理3D注释提供。

我们介绍了日常桌面对象的998 3D型号的数据集及其847,000个现实世界RGB和深度图像。每个图像的相机姿势和对象姿势的准确注释都以半自动化方式执行，以促进将数据集用于多种3D应用程序，例如形状重建，对象姿势估计，形状检索等。3D重建由于缺乏适当的现实世界基准来完成该任务，并证明我们的数据集可以填补该空白。整个注释数据集以及注释工具和评估基线的源代码可在http://www.ocrtoc.org/3d-reconstruction.html上获得。

最近，随着重建规范3D表示的发展，类别级别的6D对象姿态估计已经取得了显着的改进。然而，现有方法的重建质量仍远非优秀。在本文中，我们提出了一种名为ACR-POSE的新型对抗性规范代表性重建网络。 ACR-POSE由重建器和鉴别器组成。重建器主要由两种新型子模块组成：姿势 - 无关模块（PIM）和关系重建模块（RRM）。 PIM倾向于学习Canonical相关的功能，使重建者对旋转和翻译不敏感，而RRM探讨不同输入模态之间的基本关系信息以产生高质量功能。随后，采用鉴别器来指导重建器以产生现实的规范表示。重构和鉴别者学会通过对抗性培训进行优化。普遍的NOCS相机和NOCS实际数据集的实验结果表明，我们的方法实现了最先进的性能。

商业深度传感器通常会产生嘈杂和缺失的深度，尤其是在镜面和透明的对象上，这对下游深度或基于点云的任务构成了关键问题。为了减轻此问题，我们提出了一个强大的RGBD融合网络Swindrnet，以进行深度修复。我们进一步提出了域随机增强深度模拟（DREDS）方法，以使用基于物理的渲染模拟主动的立体声深度系统，并生成一个大规模合成数据集，该数据集包含130k Photorealistic RGB图像以及其模拟深度带有现实主义的传感器。为了评估深度恢复方法，我们还策划了一个现实世界中的数据集，即STD，该数据集捕获了30个混乱的场景，这些场景由50个对象组成，具有不同的材料，从透明，透明，弥漫性。实验表明，提议的DREDS数据集桥接了SIM到实地域间隙，因此，经过训练，我们的Swindrnet可以无缝地概括到其他真实的深度数据集，例如。 ClearGrasp，并以实时速度优于深度恢复的竞争方法。我们进一步表明，我们的深度恢复有效地提高了下游任务的性能，包括类别级别的姿势估计和掌握任务。我们的数据和代码可从https://github.com/pku-epic/dreds获得

在这项工作中，我们解决了共同跟踪手对象姿势并从野外深度点云序列重建形状的具有挑战性，HandTrackNet，以估计框架间的手动运动。我们的HandTrackNet提出了一个新型的手姿势构成典型化模块，以简化跟踪任务，从而产生准确且稳健的手工关节跟踪。然后，我们的管道通过将预测的手关节转换为基于模板的参数手模型mano来重建全手。对于对象跟踪，我们设计了一个简单而有效的模块，该模块从第一帧估算对象SDF并执行基于优化的跟踪。最后，采用联合优化步骤执行联合手和物体推理，从而减轻了闭塞引起的歧义并进一步完善了手姿势。在训练过程中，整个管道仅看到纯粹的合成数据，这些数据与足够的变化并通过深度模拟合成，以易于概括。整个管道与概括差距有关，因此可以直接传输到真实的野外数据。我们在两个真实的手对象交互数据集上评估我们的方法，例如HO3D和DEXYCB，没有任何填充。我们的实验表明，所提出的方法显着优于先前基于深度的手和对象姿势估计和跟踪方法，以9 fps的帧速率运行。

RGB图像的刚性对象的可伸缩6D构成估计旨在处理多个对象并推广到新物体。我们建立在一个著名的自动编码框架的基础上，以应对对象对称性和缺乏标记的训练数据，我们通过将自动编码器的潜在表示形状分解为形状并构成子空间来实现可伸缩性。潜在形状空间通过对比度度量学习模型不同对象的相似性，并将潜在姿势代码与旋转检索的规范旋转进行比较。由于不同的对象对称会诱导不一致的潜在姿势空间，因此我们用规范旋转重新输入形状表示，以生成形状依赖的姿势代码簿以进行旋转检索。我们在两个基准上显示了最新的性能，其中包含无类别和每日对象的无纹理CAD对象，并通过扩展到跨类别的每日对象的更具挑战性的设置，进一步证明了可扩展性。

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

Estimating the 6D pose of known objects is important for robots to interact with the real world. The problem is challenging due to the variety of objects as well as the complexity of a scene caused by clutter and occlusions between objects. In this work, we introduce PoseCNN, a new Convolutional Neural Network for 6D object pose estimation. PoseCNN estimates the 3D translation of an object by localizing its center in the image and predicting its distance from the camera. The 3D rotation of the object is estimated by regressing to a quaternion representation. We also introduce a novel loss function that enables PoseCNN to handle symmetric objects. In addition, we contribute a large scale video dataset for 6D object pose estimation named the YCB-Video dataset. Our dataset provides accurate 6D poses of 21 objects from the YCB dataset observed in 92 videos with 133,827 frames. We conduct extensive experiments on our YCB-Video dataset and the OccludedLINEMOD dataset to show that PoseCNN is highly robust to occlusions, can handle symmetric objects, and provide accurate pose estimation using only color images as input. When using depth data to further refine the poses, our approach achieves state-of-the-art results on the challenging OccludedLINEMOD dataset. Our code and dataset are available at https://rse-lab.cs.washington.edu/projects/posecnn/.