3D互动手重建对于促进人机互动和人类行为理解至关重要。以前的工作在此字段中依赖于辅助输入，例如深度图像，或者如果使用单目的RGB图像，则只能处理单手。当应用于紧密互动时，单手方法倾向于产生碰撞手网格，因为它们无法明确地模拟两只手之间的相互作用。在本文中，我们首次尝试重建从单眼单rgb图像的三维交互手。我们的方法可以通过精确的3D姿势和最小冲突生成3D手网格。这是通过两级框架实现的。具体地，第一阶段采用卷积神经网络来产生容忍碰撞但鼓励姿势准确的手网格的粗略预测。第二阶段通过一系列分解改进逐渐改善碰撞，同时保留3D姿势的精确性。考虑到效率和准确性之间的权衡，我们仔细研究了分解改进的潜在实现。大规模数据集的广泛定量和定性结果，例如Interwand2.6m，证明了所提出的方法的有效性。

最近的工作取得了令人印象深刻的进展，从单眼颜色图像中联合重建手和操纵物体。现有的方法着重于两个替代表示，以参数网格或签名的距离字段（SDF）。一方面，参数模型可以以有限的形状变形和网格分辨率的成本从先验知识中受益。因此，网格模型可能无法精确地重建细节，例如手和物体的接触表面。另一方面，基于SDF的方法可以代表任意细节，但缺乏明确的先验。在这项工作中，我们旨在使用参数表示提供的PRIOR来改善SDF模型。特别是，我们提出了一个联合学习框架，该框架可以解散姿势和形状。我们从参数模型中获取手和对象摆姿势，并使用它们在3D空间中对齐SDF。我们表明，这种对齐的SDF可以更好地专注于重建形状细节，并提高手和物体的重建精度。我们评估了我们的方法，并在挑战性的OBMAN和DEXYCB基准方面证明了对最新技术的显着改善。

从单眼RGB图像中捕获的3D人类运动捕获符合受试者与复杂且可能可变形的环境的相互作用的相互作用是一个非常具有挑战性，不足和探索不足的问题。现有方法仅薄弱地解决它，并且当人类与场景表面互动时，通常不会建模可能发生的表面变形。相比之下，本文提出了mocapdeform，即单眼3D人体运动捕获的新框架，该框架是第一个明确模拟3D场景的非刚性变形，以改善3D人体姿势估计和可变形环境的重建。 Mocapdeform接受单眼RGB视频，并在相机空间中对齐一个3D场景。它首先使用基于新的射线广播的策略将输入单眼视频中的主题以及密集的触点标签进行定位。接下来，我们的人类环境相互作用约束被利用以共同优化全局3D人类姿势和非刚性表面变形。 Mocapdeform比在几个数据集上的竞争方法获得了更高的精度，包括我们新记录的具有变形背景场景的方法。

从单眼RGB图像中重建3D手网络，由于其在AR/VR领域的巨大潜在应用，引起了人们的注意力越来越多。大多数最先进的方法试图以匿名方式解决此任务。具体而言，即使在连续录制会话中用户没有变化的实际应用程序中实际上可用，因此忽略了该主题的身份。在本文中，我们提出了一个身份感知的手网格估计模型，该模型可以结合由受试者的内在形状参数表示的身份信息。我们通过将提出的身份感知模型与匿名对待主题的基线进行比较来证明身份信息的重要性。此外，为了处理未见测试对象的用例，我们提出了一条新型的个性化管道来校准固有的形状参数，仅使用该受试者的少数未标记的RGB图像。在两个大型公共数据集上进行的实验验证了我们提出的方法的最先进性能。

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

无标记的单眼3D人类运动捕获（MOCAP）与场景相互作用是一个充满挑战的研究主题，与扩展现实，机器人技术和虚拟头像生成有关。由于单眼环境的固有深度歧义，使用现有方法捕获的3D运动通常包含严重的人工制品，例如不正确的身体场景互穿，抖动和身体漂浮。为了解决这些问题，我们提出了HULC，这是一种新的3D人类MOCAP方法，它知道场景几何形状。 HULC估计3D姿势和密集的身体环境表面接触，以改善3D定位以及受试者的绝对尺度。此外，我们基于新的姿势歧管采样，引入了3D姿势轨迹优化，该采样解决了错误的身体环境互穿。尽管所提出的方法与现有场景感知的单眼MOCAP算法相比需要较少的结构化输入，但它会产生更加可行的姿势：HULC显着且一致地在各种实验和不同指标上都优于现有方法。项目页面：https：//vcai.mpi-inf.mpg.de/projects/hulc/。

基于回归的方法可以通过直接以馈送方式将原始像素直接映射到模型参数来估算从单眼图像的身体，手甚至全身模型。但是，参数的微小偏差可能导致估计的网格和输入图像之间的明显未对准，尤其是在全身网格恢复的背景下。为了解决这个问题，我们建议在我们的回归网络中进行锥体网状对准反馈（PYMAF）循环，以进行良好的人类网格恢复，并将其扩展到PYMAF-X，以恢复表达全身模型。 PYMAF的核心思想是利用特征金字塔并根据网格图像对准状态明确纠正预测参数。具体而言，给定当前预测的参数，将相应地从更优质的特征中提取网格对准的证据，并将其送回以进行参数回流。为了增强一致性的看法，采用辅助密集的监督来提供网格图像对应指南，同时引入了空间对齐的注意，以使我们的网络对全球环境的认识。当扩展PYMAF以进行全身网状恢复时，PYMAF-X中提出了一种自适应整合策略来调整肘部扭转旋转，该旋转会产生自然腕部姿势，同时保持部分特定估计的良好性能。我们的方法的功效在几个基准数据集上得到了验证，以实现身体和全身网状恢复，在该数据集中，PYMAF和PYMAF-X有效地改善了网格图像的对准并实现了新的最新结果。具有代码和视频结果的项目页面可以在https://www.liuyebin.com/pymaf-x上找到。

在这项工作中，我们探索在野外重建手对象交互。这个问题的核心挑战是缺乏适当的3D标记数据。为了克服这个问题，我们提出了一种基于优化的程序，该过程不需要直接的3D监督。我们采用的一般策略是利用所有可用的相关数据（2D边界框，2D手键盘，2D实例掩码，3D对象模型，实验室Mocap）为3D重建提供约束。我们不是单独优化手和对象，我们共同优化它们，这使我们能够基于手动对象触点，碰撞和遮挡来施加额外的约束。我们的方法在史诗厨房和100天的手中数据集中产生令人信服的重建，跨越一系列对象类别。定量地，我们证明我们的方法对现有的实验室设置中的现有方法有利地进行了比较，其中地面真理3D注释提供。

在这项工作中，我们解决了共同跟踪手对象姿势并从野外深度点云序列重建形状的具有挑战性，HandTrackNet，以估计框架间的手动运动。我们的HandTrackNet提出了一个新型的手姿势构成典型化模块，以简化跟踪任务，从而产生准确且稳健的手工关节跟踪。然后，我们的管道通过将预测的手关节转换为基于模板的参数手模型mano来重建全手。对于对象跟踪，我们设计了一个简单而有效的模块，该模块从第一帧估算对象SDF并执行基于优化的跟踪。最后，采用联合优化步骤执行联合手和物体推理，从而减轻了闭塞引起的歧义并进一步完善了手姿势。在训练过程中，整个管道仅看到纯粹的合成数据，这些数据与足够的变化并通过深度模拟合成，以易于概括。整个管道与概括差距有关，因此可以直接传输到真实的野外数据。我们在两个真实的手对象交互数据集上评估我们的方法，例如HO3D和DEXYCB，没有任何填充。我们的实验表明，所提出的方法显着优于先前基于深度的手和对象姿势估计和跟踪方法，以9 fps的帧速率运行。

为了获取3D注释，我们仅限于受控环境或合成数据集，导致我们到3D数据集，其概括为现实世界方案。为了在半监督3D手形状和姿势估计的上下文中解决这个问题，我们提出了姿势对齐网络，以将标记帧传播到附近的稀疏注释视频中的附近未标记帧的3D注释。我们表明，在标记 - 未标记的帧对对对准监控允许我们提高姿态估计精度。此外，我们表明所提出的姿势对齐网络可以有效地传播在不良稀疏的视频上的注释而无需微调。

Fine-grained capturing of 3D HOI boosts human activity understanding and facilitates downstream visual tasks, including action recognition, holistic scene reconstruction, and human motion synthesis. Despite its significance, existing works mostly assume that humans interact with rigid objects using only a few body parts, limiting their scope. In this paper, we address the challenging problem of f-AHOI, wherein the whole human bodies interact with articulated objects, whose parts are connected by movable joints. We present CHAIRS, a large-scale motion-captured f-AHOI dataset, consisting of 16.2 hours of versatile interactions between 46 participants and 81 articulated and rigid sittable objects. CHAIRS provides 3D meshes of both humans and articulated objects during the entire interactive process, as well as realistic and physically plausible full-body interactions. We show the value of CHAIRS with object pose estimation. By learning the geometrical relationships in HOI, we devise the very first model that leverage human pose estimation to tackle the estimation of articulated object poses and shapes during whole-body interactions. Given an image and an estimated human pose, our model first reconstructs the pose and shape of the object, then optimizes the reconstruction according to a learned interaction prior. Under both evaluation settings (e.g., with or without the knowledge of objects' geometries/structures), our model significantly outperforms baselines. We hope CHAIRS will promote the community towards finer-grained interaction understanding. We will make the data/code publicly available.

3D手形状和姿势估计从单一深度地图是一种新的和具有挑战性的计算机视觉问题，具有许多应用。现有方法通过2D卷积神经网络直接回归手网，这导致由于图像中的透视失真导致人工制品。为了解决现有方法的局限性，我们开发HandvoxNet ++，即基于体素的深网络，其3D和图形卷轴以完全监督的方式训练。对我们网络的输入是基于截短的符号距离函数（TSDF）的3D Voxelized-Depth-Map。 handvoxnet ++依赖于两只手形状表示。第一个是手工形状的3D体蛋白化网格，它不保留网状拓扑，这是最准确的表示。第二个表示是保留网状拓扑的手表面。我们通过用基于新的神经图卷曲的网格登记（GCN-Meshreg）或典型的段 - 明智的非刚性重力方法（NRGA ++）来将手表面与Voxelized手形状对齐，通过将手表面对准依靠培训数据。在三个公共基准的广泛评估中，即Synhand5M，基于深度的Hands19挑战和HO-3D，所提出的Handvoxnet ++实现了最先进的性能。在本杂志中，我们在CVPR 2020呈现的先前方法的延伸中，我们分别在Synhand5M和17分数据集上获得41.09％和13.7％的形状对准精度。我们的方法在2020年8月将结果提交到门户网站时，首先在Hands19挑战数据集（任务1：基于深度3D手姿势估计）上排名。

This paper presents an approach that reconstructs a hand-held object from a monocular video. In contrast to many recent methods that directly predict object geometry by a trained network, the proposed approach does not require any learned prior about the object and is able to recover more accurate and detailed object geometry. The key idea is that the hand motion naturally provides multiple views of the object and the motion can be reliably estimated by a hand pose tracker. Then, the object geometry can be recovered by solving a multi-view reconstruction problem. We devise an implicit neural representation-based method to solve the reconstruction problem and address the issues of imprecise hand pose estimation, relative hand-object motion, and insufficient geometry optimization for small objects. We also provide a newly collected dataset with 3D ground truth to validate the proposed approach.

与关节位置相比，在皮肤多人线性模型（SMPL）基于多视图图像的基于皮肤的多人线性模型（SMPL）的人网格重建中，关节旋转和形状估计的准确性相对较少。该领域的工作大致分为两类。第一种方法执行关节估计，然后通过将SMPL拟合到最终的接头来产生SMPL参数。第二种方法通过基于卷积神经网络（CNN）模型直接从输入图像中回归SMPL参数。但是，这些方法缺乏解决联合旋转和形状重建和网络学习难度的歧义的信息。为了解决上述问题，我们提出了一种两阶段的方法。提出的方法首先通过从输入图像中的基于CNN的模型估算网格顶点的坐标，并通过将SMPL模型拟合到估计的顶点来获取SMPL参数。估计的网格顶点提供了足够的信息来确定关节旋转和形状，并且比SMPL参数更容易学习。根据使用Human3.6M和MPI-INF-3DHP数据集的实验，所提出的方法在关节旋转和形状估计方面显着优于先前的作品，并在关节位置估计方面实现了竞争性能。

大多数现有的动物姿势和形状估计方法用参数模型重建动物网格。这是因为Smal模型的低维姿势和形状参数使得深网络更容易学习高维动物网。然而，Smal模型从具有限制和形状变化的玩具动物的扫描学习，因此可能无法良好地代表高度不同的真实动物。这可能导致估计网格的差，例如2D证据的差。 2d关键点或剪影。为了缓解此问题，我们提出了一种从单个图像重建3D动物网格的粗细方法。粗略估计阶段首先估计Smal模型的姿势，形状和翻译参数。然后将估计的网格用作图表卷积网络（GCN）的起点，以预测细化阶段的每顶顶点变形。基于SMAL和基于顶点的表示的这种组合来自参数和非参数表示。我们将网眼细化GCN（MRGCN）设计为具有分层特征表示的编码器解码器结构，以克服传统GCN的有限接收领域。此外，我们观察到，现有动物网格重建工作所使用的全局图像特征无法捕获用于网格细化的详细形状信息。因此，我们引入了本地特征提取器来检索顶点级别功能，并将其与全局功能一起用作MRGCN的输入。我们在Stanfordextra DataSet上测试我们的方法，实现最先进的结果。此外，我们在动物姿势和BADJA数据集中测试我们方法的泛化能力。我们的代码可在项目网站上获得。

从单个RGB图像中估算3D相互作用的手姿势对于理解人类行为至关重要。与大多数直接预测两只相互作用手的3D姿势的先前作品不同，我们建议分解具有挑战性的相互作用姿势估计任务并分别估算每只手的姿势。这样，就可以直接利用单手姿势估计系统的最新研究进度。然而，由于（1）严重的手部阻塞和（2）手的歧义性，手动姿势估计在相互作用的情况下非常具有挑战性。为了应对这两个挑战，我们提出了一种新型的手部划分和去除（HDR）框架，以执行手部斜切和脱离分散术的去除。我们还提出了第一个称为Amodal intredhand数据集（AIH）的大规模合成Amodal手数据集，以促进模型培训并促进相关研究的开发。实验表明，所提出的方法显着优于先前的最新相互作用姿势估计方法。代码和数据可在https://github.com/menghao666/hdr上找到。

我们提出了一种可自行的方法Mask2Hand，该方法学会了解决从2D二进制式掩护的手动剪影/阴影中预测3D手姿势和形状的具有挑战性的任务，而无需其他手动注释的数据。鉴于摄像机空间中的固有摄像头参数和参数手模型，我们采用可区分的渲染技术将3D估计投影到2D二进制轮廓空间上。通过在渲染的轮廓和输入二进制面膜之间应用量身定制的损失组合，我们能够将自我借记机制集成到我们的端到端优化过程中，以限制全球网格注册和手部姿势估计。实验表明，我们的方法将单个二进制掩码作为输入，可以在不对齐和对齐设置作为需要RGB或深度输入的最新方法上实现可比的预测准确性。我们的代码可在https://github.com/lijenchang/mask2hand上找到。

了解来自第一人称观点的社交互动对于许多应用来说至关重要，从辅助机器人到AR / VR。谈论相互作用的第一步是理解人类的姿势和形状。但是，该领域的研究目前受到数据缺乏的阻碍。现有数据集根据大小，注释，地面真实捕获方式或相互作用的多样性有限。我们通过提出EGOBODY来解决这一缺点，这是一个用于复杂3D场景中的社交交互的新型大规模数据集。我们采用Microsoft Hololens2耳机来记录富裕的EGEntric数据流（包括RGB，深度，眼睛凝视，头部和手动跟踪）。为了获得准确的3D地面真理，我们将耳机用多kinect钻机校准并配合富有呈现的SMPL-X体网格到多视图RGB-D帧，重建3D人类姿势和相对于场景的形状。我们收集68个序列，跨越不同的社会学互动类别，并提出了从自我监视视图的3D全体姿态和形状估计的第一个基准。我们的数据集和代码将在https://sanweiliti.github.io/egobody/egobody.html中进行研究。

3D从单眼RGB图像中的人类姿势和形状恢复是一个具有挑战性的任务。基于现有的基于学习的方法高度依赖于弱监管信号，例如， 2D和3D联合位置，由于缺乏野外配对的3D监督。然而，考虑到这些弱监管标签中存在的2D-3D模糊，网络在用此类标签培训时容易在本地最佳状态下卡。在本文中，我们通过优化多个初始化来减少势措施。具体而言，我们提出了一个名为多初始化优化网络（MION）的三级框架。在第一阶段，我们策略性地选择与输入样本的2D关键点兼容的不同粗略的3D重建候选。每个粗略重建可以被视为初始化导致一个优化分支。在第二阶段，我们设计网格精制变压器（MRT）以分别通过自我关注机制来优化每个粗略重建结果。最后，提出了一种一致性估计网络（CEN）来通过评估RGB图像中的视觉证据与给定的3D重建匹配，以通过评估来查找来自候选的最佳结果。实验表明，我们的多初始化优化网络优于多个公共基准上的现有3D网格的方法。

自上而下的方法主导了3D人类姿势和形状估计的领域，因为它们与人类的检测脱钩，并使研究人员能够专注于核心问题。但是，裁剪是他们的第一步，从一开始就丢弃了位置信息，这使自己无法准确预测原始摄像机坐标系中的全局旋转。为了解决此问题，我们建议将完整框架（悬崖）的位置信息携带到此任务中。具体而言，我们通过将裁剪图像功能与其边界盒信息连接在一起来养活更多的整体功能来悬崖。我们通过更广泛的全帧视图来计算2D再投影损失，进行了类似于图像中投射的人的投影过程。克里夫（Cliff）通过全球态度感知信息进行了喂养和监督，直接预测全球旋转以及更准确的明确姿势。此外，我们提出了一个基于Cliff的伪基真实注释，该注释为野外2D数据集提供了高质量的3D注释，并为基于回归的方法提供了至关重要的全面监督。对流行基准测试的广泛实验表明，悬崖的表现要超过先前的艺术，并在Agora排行榜上获得了第一名（SMPL-Algorithms曲目）。代码和数据可在https://github.com/huawei-noah/noah-research/tree/master/cliff中获得。