在3D人类姿势估计任务中存在挑战性问题，例如由遮挡和自我封闭引起的性能差。最近，IMU-Vision传感器融合被认为对于解决这些问题很有价值。但是，先前关于IMU和视觉数据的融合的研究（异质性）无法充分利用IMU原始数据或可靠的高级视觉功能。为了促进更有效的传感器融合，在这项工作中，我们提出了一个在参数人运动模型下的框架，称为\ emph {fusepose}。具体而言，我们汇总了IMU或视觉数据的不同信息，并引入了三种独特的传感器融合方法：NaiveFuse，Kinefuse和AdadeEpfuse。 NaiveFuse服务器是一种基本方法，仅融合简化的IMU数据并估计欧几里得空间中的3D姿势。在运动学空间中，KineFuse能够将校准和对齐的IMU原始数据与转换后的3D姿势参数集成在一起。 AdadeEpfuse进一步将这种运动学融合过程发展为一种适应性和端到端的训练方式。进行消融研究的综合实验表明了所提出的框架的合理性和优越性。与基线结果相比，3D人姿势估计的性能得到了提高。在Total Capture数据集上，KineFuse超过了先前的最新技术，该最新仅用于测试8.6 \％。 AdadeEpfuse超过了最新的，该技术使用IMU进行培训和测试的最新时间为8.5 \％。此外，我们通过对人类360万数据集的实验来验证框架的概括能力。

多个摄像机制造的视频录制的可用性越来越多，为姿势和运动重建方法中的减少和深度歧义提供了新的方法。然而，多视图算法强烈依赖于相机参数;特别地，相机之间的相对介绍。在不受控制的设置中，这种依赖变为一旦转移到动态捕获一次。我们介绍Flex（免费多视图重建），一个端到端的无参数多视图模型。 Flex是无意义的参数，即它不需要任何相机参数，都不是内在的也不是外在的。我们的关键思想是骨架部件和骨长之间的3D角度是不变的相机位置。因此，学习3D旋转和骨长而不是位置允许预测所有相机视图的公共值。我们的网络采用多个视频流，学习通过新型多视图融合层的融合深度特征，并重建单一一致的骨架，其具有时间上相干的关节旋转。我们展示了人类3.6M和KTH多视图足球II数据集的定量和定性结果，以及动态摄像头捕获的合成多人视频流。我们将模型与最先进的方法进行比较，这些方法没有参与参数，并在没有相机参数的情况下显示，我们在获得相机参数可用时获取可比结果的同时优于较大的余量。我们的项目页面上可以使用代码，培训的模型，视频示例和更多材料。

大多数实时人类姿势估计方法都基于检测接头位置。使用检测到的关节位置，可以计算偏差和肢体的俯仰。然而，由于这种旋转轴仍然不观察，因此不能计算沿着肢体沿着肢体至关重要的曲折，这对于诸如体育分析和计算机动画至关重要。在本文中，我们引入了方向关键点，一种用于估计骨骼关节的全位置和旋转的新方法，仅使用单帧RGB图像。灵感来自Motion-Capture Systems如何使用一组点标记来估计全骨骼旋转，我们的方法使用虚拟标记来生成足够的信息，以便准确地推断使用简单的后处理。旋转预测改善了接头角度最佳报告的平均误差48％，并且在15个骨骼旋转中实现了93％的精度。该方法还通过MPJPE在原理数据集上测量，通过MPJPE测量，该方法还改善了当前的最新结果14％，并概括为野外数据集。

本文提出了一个称为多视图和时间熔断变压器（MTF-Transformer）的统一框架，以适应不同的视图数字和视频长度，而无需在3D人体姿势估计中（HPE）进行摄像机校准。它由特征提取器，多视图融合变压器（MFT）和时间融合变压器（TFT）组成。特征提取器估计每个图像的2D姿势，并根据置信度融合预测。它提供以姿势为中心的功能嵌入，并使随后的模块计算轻量级。 MFT融合了不同数量的视图与新颖的相对注意区块的特征。它适应性地测量了每对视图之间的隐式相对关系，并重建更有信息的特征。 TFT聚集了整个序列的特征，并通过变压器预测3D姿势。它适应地处理任意长度的视频，并将时间信息完全统计。变压器的迁移使我们的模型能够更好地学习空间几何形状，并为不同的应用方案保留鲁棒性。我们报告了360万人类，综合赛和KTH Multiview Football II的定量和定性结果。与带有摄像头参数的最新方法相比，MTF-Transformer获得竞争结果，并以任意数量的看不见的视图良好地概括为动态捕获。

In this work, we propose a method that combines a single hand-held camera and a set of Inertial Measurement Units (IMUs) attached at the body limbs to estimate accurate 3D poses in the wild. This poses many new challenges: the moving camera, heading drift, cluttered background, occlusions and many people visible in the video. We associate 2D pose detections in each image to the corresponding IMUequipped persons by solving a novel graph based optimization problem that forces 3D to 2D coherency within a frame and across long range frames. Given associations, we jointly optimize the pose of a statistical body model, the camera pose and heading drift using a continuous optimization framework. We validated our method on the TotalCapture dataset, which provides video and IMU synchronized with ground truth. We obtain an accuracy of 26mm, which makes it accurate enough to serve as a benchmark for image-based 3D pose estimation in the wild. Using our method, we recorded 3D Poses in the Wild (3DPW ), a new dataset consisting of more than 51, 000 frames with accurate 3D pose in challenging sequences, including walking in the city, going up-stairs, having coffee or taking the bus. We make the reconstructed 3D poses, video, IMU and 3D models available for research purposes at http://virtualhumans.mpi-inf.mpg.de/3DPW.

当今的混合现实头戴式显示器显示了用户在世界空间中的头部姿势以及用户的手，以在增强现实和虚拟现实场景中进行互动。尽管这足以支持用户输入，但不幸的是，它仅限于用户的虚拟表示形式。因此，当前的系统诉诸于浮动化身，其限制在协作环境中尤为明显。为了估算稀疏输入源的全身姿势，先前的工作已在骨盆或下半身中融合了其他跟踪器和传感器，从而增加了设置的复杂性并限制了移动设置中的实际应用。在本文中，我们提出了AvatarPoser，这是第一个基于学习的方法，该方法仅使用用户头和手中的运动输入来预测世界坐标中的全身姿势。我们的方法建立在变压器编码器上，以从输入信号中提取深度特征，并将全局运动从学到的局部关节取向中解脱出来，以指导姿势估计。为了获得类似于运动捕获动画的准确全身运动，我们使用具有逆运动学的优化程序来完善臂关节位置，以匹配原始跟踪输入。在我们的评估中，AvatarPoser实现了新的最新最新结果，从而对大型运动捕获数据集（Amass）进行了评估。同时，我们的方法的推理速度支持实时操作，提供了一个实用的接口，以支持整体化的头像控制和元应用的表示形式。

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

基于回归的方法可以通过直接以馈送方式将原始像素直接映射到模型参数来估算从单眼图像的身体，手甚至全身模型。但是，参数的微小偏差可能导致估计的网格和输入图像之间的明显未对准，尤其是在全身网格恢复的背景下。为了解决这个问题，我们建议在我们的回归网络中进行锥体网状对准反馈（PYMAF）循环，以进行良好的人类网格恢复，并将其扩展到PYMAF-X，以恢复表达全身模型。 PYMAF的核心思想是利用特征金字塔并根据网格图像对准状态明确纠正预测参数。具体而言，给定当前预测的参数，将相应地从更优质的特征中提取网格对准的证据，并将其送回以进行参数回流。为了增强一致性的看法，采用辅助密集的监督来提供网格图像对应指南，同时引入了空间对齐的注意，以使我们的网络对全球环境的认识。当扩展PYMAF以进行全身网状恢复时，PYMAF-X中提出了一种自适应整合策略来调整肘部扭转旋转，该旋转会产生自然腕部姿势，同时保持部分特定估计的良好性能。我们的方法的功效在几个基准数据集上得到了验证，以实现身体和全身网状恢复，在该数据集中，PYMAF和PYMAF-X有效地改善了网格图像的对准并实现了新的最新结果。具有代码和视频结果的项目页面可以在https://www.liuyebin.com/pymaf-x上找到。

尽管最近的进步，但是，尽管最近的进展，但是从单个图像中的人类姿势的全3D估计仍然是一个具有挑战性的任务。在本文中，我们探讨了关于场景几何体的强先前信息的假设可用于提高姿态估计精度。为了主弱地解决这个问题，我们已经组装了一种新的$ \ textbf {几何姿势提供} $ DataSet，包括与各种丰富的3D环境交互的人员的多视图图像。我们利用商业运动捕获系统来收集场景本身的姿势和构造精确的几何3D CAD模型的金标估计。要将对现有框架的现有框架注入图像的现有框架，我们介绍了一种新颖的，基于视图的场景几何形状，一个$ \ textbf {多层深度图} $，它采用了多次射线跟踪到简明地编码沿着每种相机视图光线方向的多个表面入口和退出点。我们提出了两种不同的机制，用于集成多层深度信息姿势估计：输入作为升降2D姿势的编码光线特征，其次是促进学习模型以支持几何一致姿态估计的可差异损失。我们通过实验展示这些技术可以提高3D姿势估计的准确性，特别是在遮挡和复杂场景几何形状的存在中。

人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

自上而下的方法主导了3D人类姿势和形状估计的领域，因为它们与人类的检测脱钩，并使研究人员能够专注于核心问题。但是，裁剪是他们的第一步，从一开始就丢弃了位置信息，这使自己无法准确预测原始摄像机坐标系中的全局旋转。为了解决此问题，我们建议将完整框架（悬崖）的位置信息携带到此任务中。具体而言，我们通过将裁剪图像功能与其边界盒信息连接在一起来养活更多的整体功能来悬崖。我们通过更广泛的全帧视图来计算2D再投影损失，进行了类似于图像中投射的人的投影过程。克里夫（Cliff）通过全球态度感知信息进行了喂养和监督，直接预测全球旋转以及更准确的明确姿势。此外，我们提出了一个基于Cliff的伪基真实注释，该注释为野外2D数据集提供了高质量的3D注释，并为基于回归的方法提供了至关重要的全面监督。对流行基准测试的广泛实验表明，悬崖的表现要超过先前的艺术，并在Agora排行榜上获得了第一名（SMPL-Algorithms曲目）。代码和数据可在https://github.com/huawei-noah/noah-research/tree/master/cliff中获得。

Fine-grained capturing of 3D HOI boosts human activity understanding and facilitates downstream visual tasks, including action recognition, holistic scene reconstruction, and human motion synthesis. Despite its significance, existing works mostly assume that humans interact with rigid objects using only a few body parts, limiting their scope. In this paper, we address the challenging problem of f-AHOI, wherein the whole human bodies interact with articulated objects, whose parts are connected by movable joints. We present CHAIRS, a large-scale motion-captured f-AHOI dataset, consisting of 16.2 hours of versatile interactions between 46 participants and 81 articulated and rigid sittable objects. CHAIRS provides 3D meshes of both humans and articulated objects during the entire interactive process, as well as realistic and physically plausible full-body interactions. We show the value of CHAIRS with object pose estimation. By learning the geometrical relationships in HOI, we devise the very first model that leverage human pose estimation to tackle the estimation of articulated object poses and shapes during whole-body interactions. Given an image and an estimated human pose, our model first reconstructs the pose and shape of the object, then optimizes the reconstruction according to a learned interaction prior. Under both evaluation settings (e.g., with or without the knowledge of objects' geometries/structures), our model significantly outperforms baselines. We hope CHAIRS will promote the community towards finer-grained interaction understanding. We will make the data/code publicly available.

尽管近年来3D人姿势和形状估计方法的性能显着提高，但是现有方法通常在相机或以人为本的坐标系中定义的3D姿势。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种用于预测世界坐标系中定义的3D人姿势和网格的相机运动不可知论方法。所提出的方法的核心思想是估计不变选择坐标系的两个相邻的全局姿势（即全局运动）之间的差异，而不是耦合到相机运动的全局姿势。为此，我们提出了一种基于双向门控复发单元（GRUS）的网络，该单元从局部姿势序列预测全局运动序列，由称为全局运动回归（GMR）的关节相对旋转组成。我们使用3DPW和合成数据集，该数据集在移动相机环境中构建，进行评估。我们进行广泛的实验，并经验证明了提出的方法的有效性。代码和数据集可在https://github.com/seonghyunkim1212/gmr获得

本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。

全面监督的人类网格恢复方法是渴望数据的，由于3D规定基准数据集的可用性有限和多样性，因此具有较差的概括性。使用合成数据驱动的训练范例，已经从合成配对的2D表示（例如2D关键点和分段掩码）和3D网格中训练了模型的最新进展，其中已使用合成数据驱动的训练范例和3D网格进行了训练。但是，由于合成训练数据和实际测试数据之间的域间隙很难解决2D密集表示，因此很少探索合成密集的对应图（即IUV）。为了减轻IUV上的这个领域差距，我们提出了使用可靠但稀疏表示的互补信息（2D关键点）提出的交叉代理对齐。具体而言，初始网格估计和两个2D表示之间的比对误差将转发为回归器，并在以下网格回归中动态校正。这种适应性的交叉代理对准明确地从偏差和捕获互补信息中学习：从稀疏的表示和浓郁的浓度中的稳健性。我们对多个标准基准数据集进行了广泛的实验，并展示了竞争结果，帮助减少在人类网格估计中生产最新模型所需的注释工作。

实时3D人姿势估计对于人类计算机相互作用至关重要。仅从单眼视频中估算3D人类姿势是便宜且实用的。然而，最近基于骨剪接的3D人姿势估计方法带来了累积错误的问题。在本文中，提出了虚拟骨头的概念来解决这一挑战。虚拟骨头是非粘合关节之间的虚骨。它们在现实中并不存在，但它们为3D人类关节的估计带来了新的循环限制。本文提出的网络同时预测了真实的骨骼和虚拟骨骼。由预测的真实骨骼和虚拟骨骼构造的环的最终长度受到限制和学习。此外，考虑了连续帧中关节的运动约束。提议将网络预测的2D投影位置位移与摄像机捕获的真实2D位移之间的一致性是用于学习3D人姿势的新投影一致性损失。人类360万数据集的实验证明了该方法的良好性能。消融研究证明了拟议的框架间投影一致性约束和框内循环约束的有效性。

在这项工作中，我们解决了共同跟踪手对象姿势并从野外深度点云序列重建形状的具有挑战性，HandTrackNet，以估计框架间的手动运动。我们的HandTrackNet提出了一个新型的手姿势构成典型化模块，以简化跟踪任务，从而产生准确且稳健的手工关节跟踪。然后，我们的管道通过将预测的手关节转换为基于模板的参数手模型mano来重建全手。对于对象跟踪，我们设计了一个简单而有效的模块，该模块从第一帧估算对象SDF并执行基于优化的跟踪。最后，采用联合优化步骤执行联合手和物体推理，从而减轻了闭塞引起的歧义并进一步完善了手姿势。在训练过程中，整个管道仅看到纯粹的合成数据，这些数据与足够的变化并通过深度模拟合成，以易于概括。整个管道与概括差距有关，因此可以直接传输到真实的野外数据。我们在两个真实的手对象交互数据集上评估我们的方法，例如HO3D和DEXYCB，没有任何填充。我们的实验表明，所提出的方法显着优于先前基于深度的手和对象姿势估计和跟踪方法，以9 fps的帧速率运行。

一组稀疏（例如六个）可穿戴的IMU提供的实时人类运动重建提供了一种非侵入性和经济的运动捕获方法。没有直接从IMU中获取位置信息的能力，最近的作品采用了数据驱动的方法，这些方法利用大型人类运动数据集解决了这一不确定的问题。尽管如此，挑战仍然存在，例如时间一致性，全球和关节动作的漂移以及各种地形上运动类型的各种覆盖范围。我们提出了一种同时估计全身运动的新方法，并实时从六个IMU传感器中产生合理的访问地形。我们的方法包含1.有条件的变压器解码器模型通过明确推理预测历史记录提供一致的预测，2。一个简单而通用的学习目标，称为“固定体点”（SBP），可以由变压器模型稳定地预测并通过分析例程使用要纠正关节和全球漂移，以及3.算法从嘈杂的SBP预测产生正则地形高度图，进而可以纠正嘈杂的全球运动估计。我们对合成和真实的IMU数据以及实时实时演示进行了广泛的评估框架，并显示出优于强基线方法的性能。

计算机视觉/基于深度学习的3D人体姿势估计方法旨在从图像和视频中定位人类关节。姿势表示通常限制为3D联合位置/平移自由度（3DOF），但是，许多潜在的生物力学应用需要另外三个旋转DOF（6DOF）。位置DOF不足以分析求解3D人类骨骼模型中的关节旋转DOF。因此，我们提出了一种时间反向运动学（IK）优化技术，以推断整个生物力学知情和特定于主体的运动链中的关节取向。为此，我们从基于位置的3D姿势估计的链接方向开出链接方向。顺序最小二乘二次编程用于解决最小化问题，涉及基于框架的姿势术语和时间术语。使用关节DOF和运动范围（ROM）约束溶液空间。我们生成3D姿势运动序列，以评估IK方法的一般准确性和在边界情况下的准确性。我们的时间算法以平均每个关节角分离（MPJAS）误差（3.7 {\ deg}/关节总体，＆1.6 {\ deg}/关节，下肢的平均值平均值（MPJAS）误差平均值较低。但是，在弯曲的肘部和膝盖的情况下，我们会获得低误差，但是，具有延伸/直肢阶段的运动序列会导致扭曲角度模棱两可。使用颞IK，我们减少了这些姿势的歧义，从而导致平均错误较低。

We propose a CNN-based approach for 3D human body pose estimation from single RGB images that addresses the issue of limited generalizability of models trained solely on the starkly limited publicly available 3D pose data. Using only the existing 3D pose data and 2D pose data, we show state-of-the-art performance on established benchmarks through transfer of learned features, while also generalizing to in-the-wild scenes. We further introduce a new training set for human body pose estimation from monocular images of real humans that has the ground truth captured with a multi-camera marker-less motion capture system. It complements existing corpora with greater diversity in pose, human appearance, clothing, occlusion, and viewpoints, and enables an increased scope of augmentation. We also contribute a new benchmark that covers outdoor and indoor scenes, and demonstrate that our 3D pose dataset shows better in-the-wild performance than existing annotated data, which is further improved in conjunction with transfer learning from 2D pose data. All in all, we argue that the use of transfer learning of representations in tandem with algorithmic and data contributions is crucial for general 3D body pose estimation.