3D手姿势估计方法最近取得了重大进展。但是，对于特定的现实世界应用，估计准确性通常远远不足，因此有很大的改进空间。本文提出了Trihorn-Net，这是一种新型模型，该模型使用特定的创新来提高深度图像的手姿势估计精度。第一个创新是将3D手姿势估计分解为深度图像空间（UV）中2D关节位置的估计，以及其相应深度的估计得到了两个互补注意图的帮助。这种分解可防止深度估计，这是一项更加困难的任务，无法在预测水平和特征级别上干扰紫外线估计。第二个创新是PixDropout，据我们所知，这是第一个基于外观的数据增强方法，用于手动深度图像。实验结果表明，所提出的模型优于三个公共基准数据集上的最新方法。

3D手形状和姿势估计从单一深度地图是一种新的和具有挑战性的计算机视觉问题，具有许多应用。现有方法通过2D卷积神经网络直接回归手网，这导致由于图像中的透视失真导致人工制品。为了解决现有方法的局限性，我们开发HandvoxNet ++，即基于体素的深网络，其3D和图形卷轴以完全监督的方式训练。对我们网络的输入是基于截短的符号距离函数（TSDF）的3D Voxelized-Depth-Map。 handvoxnet ++依赖于两只手形状表示。第一个是手工形状的3D体蛋白化网格，它不保留网状拓扑，这是最准确的表示。第二个表示是保留网状拓扑的手表面。我们通过用基于新的神经图卷曲的网格登记（GCN-Meshreg）或典型的段 - 明智的非刚性重力方法（NRGA ++）来将手表面与Voxelized手形状对齐，通过将手表面对准依靠培训数据。在三个公共基准的广泛评估中，即Synhand5M，基于深度的Hands19挑战和HO-3D，所提出的Handvoxnet ++实现了最先进的性能。在本杂志中，我们在CVPR 2020呈现的先前方法的延伸中，我们分别在Synhand5M和17分数据集上获得41.09％和13.7％的形状对准精度。我们的方法在2020年8月将结果提交到门户网站时，首先在Hands19挑战数据集（任务1：基于深度3D手姿势估计）上排名。

在自然谈话和互动中，我们的手经常重叠或彼此接触。由于双手的均匀外观，这使得估计从图像互动的3D姿势困难。在本文中，我们证明了自我相似性，以及将像素观测分配给各自的手和它们的部分的产生的歧义是最终3D姿势错误的主要原因。通过这种洞察力，我们提出了数字，一种估计来自单眼图像的两个交互手的3D姿势的新方法。该方法包括两个交织分支，该分支处理输入图像到每个像素语义部分分段掩模和视觉特征卷。与事先工作相比，我们不会从姿势估计阶段解耦分割，而是直接利用每个像素概率直接在下游姿势估计任务中。为此，零件概率与视觉功能合并并通过全卷积层处理。我们通过实验表明，该方法在Interhand2.6M数据集中实现了新的最先进的性能。我们提供详细的消融研究，以证明我们方法的功效，并提供对像素所有权建模如何影响3D手姿势估计的见解。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

估计每个视图中的2D人类姿势通常是校准多视图3D姿势估计的第一步。但是，2D姿势探测器的性能遭受挑战性的情况，例如闭塞和斜视角。为了解决这些挑战，以前的作品从eMipolar几何中的不同视图之间导出点对点对应关系，并利用对应关系来合并预测热插拔或特征表示。除了后预测合并/校准之外，我们引入了用于多视图3D姿势估计的变压器框架，其目的地通过将来自不同视图的信息集成信息来直接改善单个2D预测器。灵感来自先前的多模态变压器，我们设计一个统一的变压器体系结构，命名为输送，从当前视图和邻近视图中保险。此外，我们提出了eMipolar字段的概念来将3D位置信息编码到变压器模型中。由Epipolar字段引导的3D位置编码提供了一种有效的方式来编码不同视图的像素之间的对应关系。人类3.6M和滑雪姿势的实验表明，与其他融合方法相比，我们的方法更有效，并且具有一致的改进。具体而言，我们在256 x 256分辨率上只有5米参数达到人类3.6米的25.8毫米MPJPE。

单眼深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多作品研究了联合任务学习算法。但是，大多数现有方法都无法充分利用语义标签，忽略提供的上下文结构，并且仅使用它们来监督分段拆分的预测，这限制了两个任务的性能。在本文中，我们提出了一个网络注入了上下文信息（CI-Net）来解决问题。具体而言，我们在编码器中引入自我关注块以产生注意图。通过由语义标签创建的理想注意图的监督，网络嵌入了上下文信息，使得它可以更好地理解场景并利用相关特征来进行准确的预测。此外，构造了一个特征共享模块，以使任务特征深入融合，并且设计了一致性损耗，以使特征相互引导。我们在NYU-Deaft-V2和Sun-RGBD数据集上评估所提出的CI-Net。实验结果验证了我们所提出的CI-Net可以有效提高语义分割和深度估计的准确性。

A key technical challenge in performing 6D object pose estimation from RGB-D image is to fully leverage the two complementary data sources. Prior works either extract information from the RGB image and depth separately or use costly post-processing steps, limiting their performances in highly cluttered scenes and real-time applications. In this work, we present DenseFusion, a generic framework for estimating 6D pose of a set of known objects from RGB-D images. DenseFusion is a heterogeneous architecture that processes the two data sources individually and uses a novel dense fusion network to extract pixel-wise dense feature embedding, from which the pose is estimated. Furthermore, we integrate an end-to-end iterative pose refinement procedure that further improves the pose estimation while achieving near real-time inference. Our experiments show that our method outperforms state-of-the-art approaches in two datasets, YCB-Video and LineMOD. We also deploy our proposed method to a real robot to grasp and manipulate objects based on the estimated pose. Our code and video are available at https://sites.google.com/view/densefusion/.

3D pose estimation is a challenging problem in computer vision. Most of the existing neural-network-based approaches address color or depth images through convolution networks (CNNs). In this paper, we study the task of 3D human pose estimation from depth images. Different from the existing CNN-based human pose estimation method, we propose a deep human pose network for 3D pose estimation by taking the point cloud data as input data to model the surface of complex human structures. We first cast the 3D human pose estimation from 2D depth images to 3D point clouds and directly predict the 3D joint position. Our experiments on two public datasets show that our approach achieves higher accuracy than previous state-of-art methods. The reported results on both ITOP and EVAL datasets demonstrate the effectiveness of our method on the targeted tasks.

了解协作环境中工人和机器人的确切3D位置可以实现多种真实应用，例如检测不安全情况或用于统计和社会目的的相互作用的研究。在本文中，我们提出了一个基于深度设备和深度神经网络的非侵入性和光变色的框架，以估算外部摄像头的3D机器人姿势。该方法可以应用于任何机器人，而无需硬件访问内部状态。我们介绍了预测姿势的新颖代表，即半光谱脱钩的热图（SPDH），以准确计算世界坐标中的3D关节位置，以适应为2D人类姿势估计设计的有效的深层网络。所提出的方法可以作为基于XYZ坐标的输入深度表示，可以在合成深度数据上进行训练，并应用于现实世界设置，而无需域适应技术。为此，我们根据合成和真实深度图像介绍SIMBA数据集，并将其用于实验评估。结果表明，由特定的深度图表示和SPDH制成的建议方法克服了当前的最新状态。

变压器在自然语言处理中的成功最近引起了计算机视觉领域的关注。由于能够学习长期依赖性，变压器已被用作广泛使用的卷积运算符的替代品。事实证明，这种替代者在许多任务中都取得了成功，其中几种最先进的方法依靠变压器来更好地学习。在计算机视觉中，3D字段还见证了使用变压器来增加3D卷积神经网络和多层感知器网络的增加。尽管许多调查都集中在视力中的变压器上，但由于与2D视觉相比，由于数据表示和处理的差异，3D视觉需要特别注意。在这项工作中，我们介绍了针对不同3D视觉任务的100多种变压器方法的系统和彻底审查，包括分类，细分，检测，完成，姿势估计等。我们在3D Vision中讨论了变形金刚的设计，该设计使其可以使用各种3D表示形式处理数据。对于每个应用程序，我们强调了基于变压器的方法的关键属性和贡献。为了评估这些方法的竞争力，我们将它们的性能与12个3D基准测试的常见非转化方法进行了比较。我们通过讨论3D视觉中变压器的不同开放方向和挑战来结束调查。除了提出的论文外，我们的目标是频繁更新最新的相关论文及其相应的实现：https：//github.com/lahoud/3d-vision-transformers。

视频3D人类姿势估计旨在将视频中人类关节的3D坐标定位。最近的基于变压器的方法着重于从顺序2D姿势捕获时空信息，由于在2D姿势估计的步骤中丢失了视觉深度特征，因此无法有效地对上下文深度特征进行建模。在本文中，我们将范式简化为端到端框架，实例引导的视频变压器（IVT），该范式可以有效地从视觉特征中学习时空的上下文深度信息，并直接从视频框架中预测3D姿势。特别是，我们首先将视频框架作为一系列实例引导令牌，每个令牌都可以预测人类实例的3D姿势。这些令牌包含身体结构信息，因为它们是由关节偏移从人体中心到相应身体关节的指导提取的。然后，这些令牌被发送到IVT中，以学习时空的上下文深度。此外，我们提出了一种跨尺度实例引导的注意机制，以处理多个人之间的变异量表。最后，每个人的3D姿势都是通过坐标回归从实例引导的代币中解码的。在三个广泛使用的3D姿势估计基准上进行的实验表明，拟议的IVT实现了最先进的性能。

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

在本文中，提出了一种称为POP-Net的实时方法，以预测来自深度图像的多人3D。 POP-Net了解到在一次拍摄中预测自下而上的部分表示和自上而下的全球姿势。具体地，介绍了一种名为截断的零件位移场（TPDF）的新的零级表示，这使得明确的融合过程能够统一自下而上部分检测和全局姿势检测的优点。同时，引入了有效的模式选择方案以自动解决全局姿势和部分检测之间的冲突案例。最后，由于缺乏用于开发多人3D姿势估计的高质量深度数据集，我们将多人3D人类姿势数据集（MP-3DHP）引入新的基准。 MP-3DHP旨在在模型培训中实现有效的多人和背景数据增强，并在不受控制的多人场景下评估3D人类姿势估计。我们表明Pop-Net在MP-3DHP和广泛使用的ITOP数据集上实现了最先进的结果，并对多人处理的效率具有显着的优势。为了证明我们的算法管道的应用之一，我们还显示了由我们计算的3D关节位置驱动的虚拟化身的结果。 MP-3DHP数据集和评估代码已提供：https://github.com/oppo-us-research/pop-net。

从视频中估算人的姿势对于人类计算机相互作用至关重要。通过精确估计人类姿势，机器人可以对人类提供适当的反应。大多数现有方法都使用光流，RNN或CNN从视频中提取时间功能。尽管这些尝试取得了积极的结果，但其中大多数仅直接整合沿时间维度的特征，而忽略了关节之间的时间相关性。与以前的方法相反，我们提出了一个基于域交叉注意机制的插件运动学建模模块（KMM），以对不同帧的关节之间的时间相关性进行建模。具体而言，提出的KMM通过计算其时间相似性来模拟任意两个关节之间的时间相关性。这样，KMM可以学习每个关节的运动提示。使用运动提示（时间域）和关节的历史位置（空间域），KMM可以提前推断关节的初始位置。此外，我们还基于KMM提出了一个运动学建模网络（KIMNET），用于通过结合姿势特征和关节的初始位置来获得关节的最终位置。通过对关节之间的时间相关性进行显式建模，Kimnet可以根据前一刻的所有关节来推断遮挡的关节。此外，KMM是通过注意机制实现的，该机制使其能够保持高度分辨率。因此，它可以将丰富的历史姿势信息转移到当前框架上，该信息为定位遮挡关节提供了有效的姿势信息。我们的方法在两个基于视频的姿势估计基准的基准上实现了最新的结果。此外，提出的Kimnet对闭塞显示了一些鲁棒性，证明了所提出的方法的有效性。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

尽管基于体素的方法已经获得了来自多摄像头的多人3D姿势估计的有希望的结果，但它们具有沉重的计算负担，尤其是对于大型场景。我们提出了更快的素素，以通过将特征体积重新投影到三个二维坐标平面并分别估算x，y，z坐标来解决挑战。为此，我们首先通过分别基于投影到XY平面和Z轴的体积功能来估算2D框及其高度，首先通过一个3D边界框来定位每个人。然后，对于每个人，我们分别估算三个坐标平面的部分关节坐标，然后将其融合以获得最终的3D姿势。该方法不含昂贵的3D-CNN，并将其素的速度提高了十倍，同时作为最先进的方法的竞争精度，证明了其在实时应用中的潜力。

深度学习识别的进步导致使用2D图像准确的对象检测。然而，这些2D感知方法对于完整的3D世界信息不足。同时，高级3D形状估计接近形状本身的焦点，而不考虑公制量表。这些方法无法确定对象的准确位置和方向。为了解决这个问题，我们提出了一个框架，该框架共同估计了从单个RGB图像的度量标度形状和姿势。我们的框架有两个分支：公制刻度对象形状分支（MSO）和归一化对象坐标空间分支（NOC）。 MSOS分支估计在相机坐标中观察到的度量标准形状。 NOCS分支预测归一化对象坐标空间（NOCS）映射，并从预测的度量刻度网格与渲染的深度图执行相似性转换，以获得6D姿势和大小。此外，我们介绍了归一化对象中心估计（NOCE），以估计从相机到物体中心的几何对齐距离。我们在合成和实际数据集中验证了我们的方法，以评估类别级对象姿势和形状。

We propose a CNN-based approach for 3D human body pose estimation from single RGB images that addresses the issue of limited generalizability of models trained solely on the starkly limited publicly available 3D pose data. Using only the existing 3D pose data and 2D pose data, we show state-of-the-art performance on established benchmarks through transfer of learned features, while also generalizing to in-the-wild scenes. We further introduce a new training set for human body pose estimation from monocular images of real humans that has the ground truth captured with a multi-camera marker-less motion capture system. It complements existing corpora with greater diversity in pose, human appearance, clothing, occlusion, and viewpoints, and enables an increased scope of augmentation. We also contribute a new benchmark that covers outdoor and indoor scenes, and demonstrate that our 3D pose dataset shows better in-the-wild performance than existing annotated data, which is further improved in conjunction with transfer learning from 2D pose data. All in all, we argue that the use of transfer learning of representations in tandem with algorithmic and data contributions is crucial for general 3D body pose estimation.

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

事件摄像头是一种新兴的生物启发的视觉传感器，每像素亮度不同步地变化。它具有高动态范围，高速响应和低功率预算的明显优势，使其能够在不受控制的环境中最好地捕获本地动作。这激发了我们释放事件摄像机进行人姿势估计的潜力，因为很少探索人类姿势估计。但是，由于新型范式从传统的基于框架的摄像机转变，时间间隔中的事件信号包含非常有限的信息，因为事件摄像机只能捕获移动的身体部位并忽略那些静态的身体部位，从而导致某些部位不完整甚至在时间间隔中消失。本文提出了一种新型的密集连接的复发架构，以解决不完整信息的问题。通过这种经常性的体系结构，我们可以明确地对跨时间步骤的顺序几何一致性进行明确模拟，从而从以前的帧中积累信息以恢复整个人体，从而从事件数据中获得稳定且准确的人类姿势估计。此外，为了更好地评估我们的模型，我们收集了一个基于人类姿势注释的大型多模式事件数据集，该数据集是迄今为止我们所知的最具挑战性的数据集。两个公共数据集和我们自己的数据集的实验结果证明了我们方法的有效性和强度。代码可以在线提供，以促进未来的研究。