在许多机器人应用中，要执行已知，刚体对象及其随后的抓握的6多-DOF姿势估计的环境设置几乎保持不变，甚至可能是机器人事先知道的。在本文中，我们将此问题称为特定实例的姿势估计：只有在有限的一组熟悉的情况下，该机器人将以高度准确性估算姿势。场景中的微小变化，包括照明条件和背景外观的变化，是可以接受的，但没有预期的改变。为此，我们提出了一种方法，可以快速训练和部署管道，以估算单个RGB图像的对象的连续6-DOF姿势。关键的想法是利用已知的相机姿势和刚性的身体几何形状部分自动化大型标记数据集的生成。然后，数据集以及足够的域随机化来监督深度神经网络的培训，以预测语义关键。在实验上，我们证明了我们提出的方法的便利性和有效性，以准确估计物体姿势，仅需要少量的手动注释才能进行训练。

在这项工作中，我们通过利用3D Suite Blender生产具有6D姿势的合成RGBD图像数据集来提出数据生成管道。提出的管道可以有效地生成大量的照片现实的RGBD图像，以了解感兴趣的对象。此外，引入了域随机化技术的集合来弥合真实数据和合成数据之间的差距。此外，我们通过整合对象检测器Yolo-V4微型和6D姿势估计算法PVN3D来开发实时的两阶段6D姿势估计方法，用于时间敏感的机器人应用。借助提出的数据生成管道，我们的姿势估计方法可以仅使用没有任何预训练模型的合成数据从头开始训练。在LineMod数据集评估时，与最先进的方法相比，所得网络显示出竞争性能。我们还证明了在机器人实验中提出的方法，在不同的照明条件下从混乱的背景中抓住家用物体。

This paper addresses the challenge of 6DoF pose estimation from a single RGB image under severe occlusion or truncation. Many recent works have shown that a two-stage approach, which first detects keypoints and then solves a Perspective-n-Point (PnP) problem for pose estimation, achieves remarkable performance. However, most of these methods only localize a set of sparse keypoints by regressing their image coordinates or heatmaps, which are sensitive to occlusion and truncation. Instead, we introduce a Pixel-wise Voting Network (PVNet) to regress pixel-wise unit vectors pointing to the keypoints and use these vectors to vote for keypoint locations using RANSAC. This creates a flexible representation for localizing occluded or truncated keypoints. Another important feature of this representation is that it provides uncertainties of keypoint locations that can be further leveraged by the PnP solver. Experiments show that the proposed approach outperforms the state of the art on the LINEMOD, Occlusion LINEMOD and YCB-Video datasets by a large margin, while being efficient for real-time pose estimation. We further create a Truncation LINEMOD dataset to validate the robustness of our approach against truncation. The code will be avaliable at https://zju-3dv.github.io/pvnet/.

透明的物体在家庭环境中无处不在，并且对视觉传感和感知系统构成了不同的挑战。透明物体的光学特性使常规的3D传感器仅对物体深度和姿势估计不可靠。这些挑战是由重点关注现实世界中透明对象的大规模RGB深度数据集突出了这些挑战。在这项工作中，我们为名为ClearPose的大规模现实世界RGB深度透明对象数据集提供了一个用于分割，场景级深度完成和以对象为中心的姿势估计任务的基准数据集。 ClearPose数据集包含超过350K标记的现实世界RGB深度框架和5M实例注释，涵盖了63个家用对象。该数据集包括在各种照明和遮挡条件下在日常生活中常用的对象类别，以及具有挑战性的测试场景，例如不透明或半透明物体的遮挡病例，非平面取向，液体的存在等。 - 艺术深度完成和对象构成清晰度上的深神经网络。数据集和基准源代码可在https://github.com/opipari/clearpose上获得。

Traditional approaches to extrinsic calibration use fiducial markers and learning-based approaches rely heavily on simulation data. In this work, we present a learning-based markerless extrinsic calibration system that uses a depth camera and does not rely on simulation data. We learn models for end-effector (EE) segmentation, single-frame rotation prediction and keypoint detection, from automatically generated real-world data. We use a transformation trick to get EE pose estimates from rotation predictions and a matching algorithm to get EE pose estimates from keypoint predictions. We further utilize the iterative closest point algorithm, multiple-frames, filtering and outlier detection to increase calibration robustness. Our evaluations with training data from multiple camera poses and test data from previously unseen poses give sub-centimeter and sub-deciradian average calibration and pose estimation errors. We also show that a carefully selected single training pose gives comparable results.

当代掌握检测方法采用深度学习，实现传感器和物体模型不确定性的鲁棒性。这两个主导的方法设计了掌握质量评分或基于锚的掌握识别网络。本文通过将其视为图像空间中的关键点检测来掌握掌握检测的不同方法。深网络检测每个掌握候选者作为一对关键点，可转换为掌握代表= {x，y，w，{\ theta}} t，而不是转角点的三态或四重奏。通过将关键点分组成对来降低检测难度提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块结合到网络设计中。基于离散和连续定向预测的最终过滤策略消除了错误的对应关系，并进一步提高了掌握检测性能。此处提出的方法GKNET在康奈尔和伸缩的提花数据集上的精度和速度之间实现了良好的平衡（在41.67和23.26 fps的96.9％和98.39％）之间。操纵器上的后续实验使用4种类型的抓取实验来评估GKNet，反映不同滋扰的速度：静态抓握，动态抓握，在各种相机角度抓住，夹住。 GKNet优于静态和动态掌握实验中的参考基线，同时表现出变化的相机观点和中度杂波的稳健性。结果证实了掌握关键点是深度掌握网络的有效输出表示的假设，为预期的滋扰因素提供鲁棒性。

实时机器人掌握，支持随后的精确反对操作任务，是高级高级自治系统的优先目标。然而，尚未找到这样一种可以用时间效率进行充分准确的掌握的算法。本文提出了一种新的方法，其具有2阶段方法，它使用深神经网络结合快速的2D对象识别，以及基于点对特征框架的随后的精确和快速的6D姿态估计来形成实时3D对象识别和抓握解决方案能够多对象类场景。所提出的解决方案有可能在实时应用上稳健地进行，需要效率和准确性。为了验证我们的方法，我们进行了广泛且彻底的实验，涉及我们自己的数据集的费力准备。实验结果表明，该方法在5CM5DEG度量标准中的精度97.37％，平均距离度量分数99.37％。实验结果显示了通过使用该方法的总体62％的相对改善（5cm5deg度量）和52.48％（平均距离度量）。此外，姿势估计执行也显示出运行时间的平均改善47.6％。最后，为了说明系统在实时操作中的整体效率，进行了一个拾取和放置的机器人实验，并显示了90％的准确度的令人信服的成功率。此实验视频可在https://sites.google.com/view/dl-ppf6dpose/上获得。

6多机器人抓钩是一个持久但未解决的问题。最近的方法利用强3D网络从深度传感器中提取几何抓握表示形式，表明对公共物体的准确性卓越，但对光度化挑战性物体（例如，透明或反射材料中的物体）进行不满意。瓶颈在于这些物体的表面由于光吸收或折射而无法反射准确的深度。在本文中，与利用不准确的深度数据相反，我们提出了第一个称为MonograspNet的只有RGB的6-DOF握把管道，该管道使用稳定的2D特征同时处理任意对象抓握，并克服由光学上具有挑战性挑战的对象引起的问题。 MonograspNet利用关键点热图和正常地图来恢复由我们的新型表示形式表示的6-DOF抓握姿势，该表示的2D键盘具有相应的深度，握把方向，抓握宽度和角度。在真实场景中进行的广泛实验表明，我们的方法可以通过在抓住光学方面挑战的对象方面抓住大量对象并超过基于深度的竞争者的竞争成果。为了进一步刺激机器人的操纵研究，我们还注释并开源一个多视图和多场景现实世界抓地数据集，其中包含120个具有20m精确握把标签的混合光度复杂性对象。

估计对象的6D姿势是必不可少的计算机视觉任务。但是，大多数常规方法从单个角度依赖相机数据，因此遭受遮挡。我们通过称为MV6D的新型多视图6D姿势估计方法克服了这个问题，该方法从多个角度根据RGB-D图像准确地预测了混乱场景中所有对象的6D姿势。我们将方法以PVN3D网络为基础，该网络使用单个RGB-D图像来预测目标对象的关键点。我们通过从多个视图中使用组合点云来扩展此方法，并将每个视图中的图像与密集层层融合。与当前的多视图检测网络（例如Cosypose）相反，我们的MV6D可以以端到端的方式学习多个观点的融合，并且不需要多个预测阶段或随后对预测的微调。此外，我们介绍了三个新颖的影像学数据集，这些数据集具有沉重的遮挡的混乱场景。所有这些都从多个角度包含RGB-D图像，例如语义分割和6D姿势估计。即使在摄像头不正确的情况下，MV6D也明显优于多视图6D姿势估计中最新的姿势估计。此外，我们表明我们的方法对动态相机设置具有强大的态度，并且其准确性随着越来越多的观点而逐渐增加。

视觉感知任务通常需要大量的标记数据，包括3D姿势和图像空间分割掩码。创建此类培训数据集的过程可能很难或耗时，可以扩展到一般使用的功效。考虑对刚性对象的姿势估计的任务。在大型公共数据集中接受培训时，基于神经网络的深层方法表现出良好的性能。但是，将这些网络调整为其他新颖对象，或针对不同环境的现有模型进行微调，需要大量的时间投资才能产生新标记的实例。为此，我们提出了ProgressLabeller作为一种方法，以更有效地以可扩展的方式从彩色图像序列中生成大量的6D姿势训练数据。 ProgressLabeller还旨在支持透明或半透明的对象，以深度密集重建的先前方法将失败。我们通过快速创建一个超过1M样品的数据集来证明ProgressLabeller的有效性，我们将其微调一个最先进的姿势估计网络，以显着提高下游机器人的抓地力。 ProgressLabeller是https://github.com/huijiezh/progresslabeller的开放源代码。

我们提出了一个基于按键的对象级别的SLAM框架，该框架可以为对称和不对称对象提供全球一致的6DOF姿势估计。据我们所知，我们的系统是最早利用来自SLAM的相机姿势信息的系统之一，以提供先验知识，以跟踪对称对象的关键点 - 确保新测量与当前的3D场景一致。此外，我们的语义关键点网络经过训练，可以预测捕获预测的真实错误的关键点的高斯协方差，因此不仅可以作为系统优化问题中残留物的权重，而且还可以作为检测手段有害的统计异常值，而无需选择手动阈值。实验表明，我们的方法以6DOF对象姿势估算和实时速度为最先进的状态提供了竞争性能。我们的代码，预培训模型和关键点标签可用https://github.com/rpng/suo_slam。

A key technical challenge in performing 6D object pose estimation from RGB-D image is to fully leverage the two complementary data sources. Prior works either extract information from the RGB image and depth separately or use costly post-processing steps, limiting their performances in highly cluttered scenes and real-time applications. In this work, we present DenseFusion, a generic framework for estimating 6D pose of a set of known objects from RGB-D images. DenseFusion is a heterogeneous architecture that processes the two data sources individually and uses a novel dense fusion network to extract pixel-wise dense feature embedding, from which the pose is estimated. Furthermore, we integrate an end-to-end iterative pose refinement procedure that further improves the pose estimation while achieving near real-time inference. Our experiments show that our method outperforms state-of-the-art approaches in two datasets, YCB-Video and LineMOD. We also deploy our proposed method to a real robot to grasp and manipulate objects based on the estimated pose. Our code and video are available at https://sites.google.com/view/densefusion/.

6D object pose estimation problem has been extensively studied in the field of Computer Vision and Robotics. It has wide range of applications such as robot manipulation, augmented reality, and 3D scene understanding. With the advent of Deep Learning, many breakthroughs have been made; however, approaches continue to struggle when they encounter unseen instances, new categories, or real-world challenges such as cluttered backgrounds and occlusions. In this study, we will explore the available methods based on input modality, problem formulation, and whether it is a category-level or instance-level approach. As a part of our discussion, we will focus on how 6D object pose estimation can be used for understanding 3D scenes.

Estimating the 6D pose of known objects is important for robots to interact with the real world. The problem is challenging due to the variety of objects as well as the complexity of a scene caused by clutter and occlusions between objects. In this work, we introduce PoseCNN, a new Convolutional Neural Network for 6D object pose estimation. PoseCNN estimates the 3D translation of an object by localizing its center in the image and predicting its distance from the camera. The 3D rotation of the object is estimated by regressing to a quaternion representation. We also introduce a novel loss function that enables PoseCNN to handle symmetric objects. In addition, we contribute a large scale video dataset for 6D object pose estimation named the YCB-Video dataset. Our dataset provides accurate 6D poses of 21 objects from the YCB dataset observed in 92 videos with 133,827 frames. We conduct extensive experiments on our YCB-Video dataset and the OccludedLINEMOD dataset to show that PoseCNN is highly robust to occlusions, can handle symmetric objects, and provide accurate pose estimation using only color images as input. When using depth data to further refine the poses, our approach achieves state-of-the-art results on the challenging OccludedLINEMOD dataset. Our code and dataset are available at https://rse-lab.cs.washington.edu/projects/posecnn/.

我们介绍了日常桌面对象的998 3D型号的数据集及其847,000个现实世界RGB和深度图像。每个图像的相机姿势和对象姿势的准确注释都以半自动化方式执行，以促进将数据集用于多种3D应用程序，例如形状重建，对象姿势估计，形状检索等。3D重建由于缺乏适当的现实世界基准来完成该任务，并证明我们的数据集可以填补该空白。整个注释数据集以及注释工具和评估基线的源代码可在http://www.ocrtoc.org/3d-reconstruction.html上获得。

我们提出了一种称为DPODV2（密集姿势对象检测器）的三个阶段6 DOF对象检测方法，该方法依赖于致密的对应关系。我们将2D对象检测器与密集的对应关系网络和多视图姿势细化方法相结合，以估计完整的6 DOF姿势。与通常仅限于单眼RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像方式（RGB或DEPTH）。此外，我们提出了一种基于可区分渲染的新型姿势改进方法。主要概念是在多个视图中比较预测并渲染对应关系，以获得与所有视图中预测的对应关系一致的姿势。我们提出的方法对受控设置中的不同数据方式和培训数据类型进行了严格的评估。主要结论是，RGB在对应性估计中表现出色，而如果有良好的3D-3D对应关系，则深度有助于姿势精度。自然，他们的组合可以实现总体最佳性能。我们进行广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。 DPODV2在所有这些方面都取得了出色的成果，同时仍然保持快速和可扩展性，独立于使用的数据模式和培训数据的类型

本文介绍了一种新型的多视图6 DOF对象姿势细化方法，重点是改进对合成数据训练的方法。它基于DPOD检测器，该检测器会在每个帧中产生密集的2D-3D对应关系。我们选择使用多个具有已知相机转换的帧，因为它允许通过可解释的ICP样损耗函数引入几何约束。损耗函数是通过可区分的渲染器实现的，并经过迭代进行了优化。我们还证明，仅根据合成数据训练的完整检测和完善管道可用于自动标记的真实数据。我们对linemod，caslusion，自制和YCB-V数据集执行定量评估，并与对合成和真实数据训练的最新方法相比，报告出色的性能。我们从经验上证明，我们的方法仅需要几个帧，并且可以在外部摄像机校准中关闭相机位置和噪音，从而使其实际用法更加容易且无处不在。

从点云输入中的6-DOF GRASP学习中取得了巨大的成功，但是由于点集无秩序而引起的计算成本仍然是一个令人关注的问题。另外，我们从本文中的RGB-D输入中探讨了GRASP的生成。提出的解决方案Kepoint-GraspNet检测图像空间中Gripper Kepoint的投影，然后用PNP算法恢复SE（3）姿势。建立了基于原始形状和抓住家族的合成数据集来检查我们的想法。基于公制的评估表明，我们的方法在掌握建议的准确性，多样性和时间成本方面优于基准。最后，机器人实验显示出很高的成功率，证明了在现实世界应用中的想法的潜力。

我们提出了一种使用图像增强的自我监督训练方法，用于学习视图的视觉描述符。与通常需要复杂数据集的现有作品（例如注册的RGBD序列）不同，我们在无序的一组RGB图像上训练。这允许从单个相机视图（例如，在带有安装式摄像机的现有机器人单元格中学习）学习。我们使用数据增强创建合成视图和密集的像素对应关系。尽管数据记录和设置要求更简单，但我们发现我们的描述符与现有方法具有竞争力。我们表明，对合成对应的培训提供了各种相机视图的描述符的一致性。我们将训练与来自多种视图的几何对应关系进行比较，并提供消融研究。我们还使用从固定式摄像机中学到的描述符显示了一个机器人箱进行挑选实验，以定义掌握偏好。

我们研究了在紧邻人类机器人相互作用的背景下，最先进的人关键点探测器的性能。在这种情况下的检测是具体的，因为只有手和躯干等身体部位的子集在视野中。特别是（i）我们从近距离图像的角度调查了具有人类姿势注释的现有数据集，并准备并使公开可用的新人（HICP）数据集； （ii）我们在此数据集上进行定量和定性比较人类全身2D关键点检测方法（openpose，mmpose，onphapose，detectron2）； （iii）由于对手指的准确检测对于使用交接的应用至关重要，因此我们评估了介质手工检测器的性能； （iv）我们在头部上带有RGB-D摄像头的人形机器人上部署算法，并在3D Human KeyPoint检测中评估性能。运动捕获系统用作参考。在紧邻近端的最佳性能全身关键点探测器是mmpose和字母，但两者都难以检测手指。因此，我们提出了在单个框架中为人体和手介载体的mmpose或字母组合的组合，提供了最准确，最强大的检测。我们还分析了单个探测器的故障模式 - 例如，图像中人的头部缺失在多大程度上降低了性能。最后，我们在一个场景中演示了框架，其中类人类机器人与人相互作用的人类机器人使用检测到的3D关键点进行全身避免动作。