我们的目标是填充数字环境，其中数字人类具有多样化的身体形状，永久地行动，并具有合理的身体场景接触。核心挑战是为多元化的3D体产生逼真，可控和无限长的动作。为此，我们通过体表标记提出生成的运动原语，缩短为伽马。在我们的解决方案中，我们将长期运动分解为运动原语的时间序列。我们利用身体表面标记和条件变化自动码器来模拟每个运动原语，并通过递归地实现生成模型来产生长期运动。为了控制达到目标的动作，我们应用一个策略网络来探索模型潜像，并使用基于树的搜索来保留测试期间的运动质量。实验表明，我们的方法可以产生比最先进的数据驱动方法产生更现实和可控的运动。利用常规路径发现算法，产生的人体可以在场景中长时间地实际地移动长距离。代码将用于研究目的：\ url {https://yz-cnsdqz.github.io/eigenmotion/gamma/}

人类抓握合成具有许多应用，包括AR / VR，视频游戏和机器人。虽然已经提出了一些方法来为对象抓握和操纵产生现实的手对象交互，但通常只考虑手动与对象交互。在这项工作中，我们的目标是综合全身掌握运动。鉴于3D对象，我们的目标是产生多样化和自然的全身人类动作，方法和掌握物体。这项任务是具有挑战性的，因为它需要建模全身动态和灵巧的手指运动。为此，我们提出了由两个关键部件组成的Saga（随机全身抓取）：（a）静态全身抓取姿势。具体地，我们提出了一种多任务生成模型，共同学习静态全身抓姿和人对象触点。 （b）抓住运动infilling。鉴于初始姿势和产生的全身抓握姿势作为运动的起始和结束姿势，我们设计了一种新的联络感知生成运动infilling模块，以产生各种掌握的掌握运动。我们展示了我们方法是第一代生物和表达全身运动的第一代框架，该方法是随机放置并掌握未经看的对象的逼真和表达全身运动。代码和视频可用于：https：//jiahaoplus.github.io/saga/saga.html。

生成数字人类，现实地具有许多应用，并且被广泛研究，但现有的方法专注于身体的主要肢体，忽略了手和头部。手已经分开研究，但重点是在产生现实的静态爪子上。要综合与世界互动的虚拟字符，我们需要同时生成全身运动和现实手掌。两个子问题都是挑战自己，在一起，姿势的状态空间显着更大，手和身体运动的尺度不同，而且整体姿势和手柄必须同意，满足身体限制，以及是合理的。此外，头部涉及，因为化身必须查看对象与它交互。我们第一次解决了生成一个抓住未知物体的头像的全身，手和头部运动的问题。作为输入，我们的方法，称为目标，采用3D对象，其位置和起始3D身体姿势和形状。目标使用两种新颖的网络输出一系列全身姿势。首先，GNET通过现实的身体，头部，臂和手姿势产生目标全体掌握，以及手对象接触。其次，MNET生成起始和目标姿势之间的运动。这是具有挑战性的，因为它需要头像与脚踏接触朝向物体走向物体，将头部向朝向它朝向它，伸出伸展，并用现实的手姿势和手工触点抓住它。为了实现这一网络，网络利用组合SMPL-X身体参数和3D顶点偏移的表示。我们在标准数据集上培训和评估目标，定性和定量。结果表明，目标概括了不佳的对象，表现优于基线。目标是迈向综合现实的全身对象掌握。

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes as input textual instructions specifying the objects and the associated intentions of the virtual characters and outputs diverse sequences of full-body motions. This is in contrast to existing work, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven full-body motion generator, which uses a pair of decoupled conditional variational autoencoders (CVAE) to learn the motion of the body parts in an autoregressive manner. We also optimize for the positions of the objects with six degrees of freedom (6DoF) such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis. Through a user study, we further show that our synthesized full-body motions appear more realistic to the participants in more than 80% of scenarios compared to the current state-of-the-art methods, and are perceived to be as good as the ground truth on several occasions.

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

综合虚拟人类及其3D环境之间的自然相互作用对于众多应用程序（例如计算机游戏和AR/VR体验）至关重要。我们的目标是使人类与给定的3D场景进行互动，该场景由高级语义规格控制为动作类别和对象实例，例如“坐在椅子上”。将相互作用语义纳入生成框架中的主要挑战是学习一个共同表示，该表示有效地捕获了异质信息，包括人体的关节，3D对象几何以及相互作用的意图。为了应对这一挑战，我们设计了一种基于变压器的新型生成模型，其中铰接的3D人体表面点和3D对象共同编码在统一的潜在空间中，并且人与物体之间的相互作用语义是通过嵌入的。位置编码。此外，受到人类可以同时与多个对象相互作用的相互作用的组成性质的启发，我们将相互作用语义定义为不同原子动作对象对的组成。我们提出的生成模型自然可以结合不同数量的原子相互作用，从而无需复合相互作用数据即可合成组成的人类习惯相互作用。我们使用交互语义标签和场景实例分割扩展了Prox数据集，以评估我们的方法，并证明我们的方法可以通过语义控制生成现实的人类场景相互作用。我们的感知研究表明，我们合成的虚拟人类可以自然与3D场景相互作用，从而超过现有方法。我们将方法硬币命名，用于与语义控制的组成相互作用合成。代码和数据可在https://github.com/zkf1997/coins上获得。

自动设计虚拟人和类人动物在帮助游戏，电影和机器人中的角色创作过程中具有巨大的潜力。在某些情况下，角色创建者可能希望设计针对某些动作（例如空手道踢和跑酷跳跃）定制的类人体身体。在这项工作中，我们提出了一个人形设计框架，以自动生成以预先指定的人体运动为条件的身体有效的人形体。首先，我们学习了一个广义的类人动物控制器，该控制器在大型人体运动数据集上进行了训练，该数据集具有多样化的人体运动和身体形状。其次，我们使用设计与控制框架来优化类人动物的物理属性，以找到可以更好地模仿预先指定的人类运动序列的身体设计。我们的方法利用预先训练的类人动物控制器和物理模拟作为指导，能够发现经过定制以执行预先指定的人类运动的新类型类人体设计。

我们提出了一种对象感知的3D自我监测姿势估计方法，其紧密地集成了运动学建模，动力学建模和场景对象信息。与使用两种组件的现有运动学或基于动态的方法不同，我们通过动态调节培训协同两种方法。在每个时间步骤中，用于使用视频证据和仿真状态提供目标姿势的运动模型。然后，预先注释的动力学模型试图模拟物理模拟器中的运动姿势。通过比较由动态模型对动态模型产生的姿势指示的姿势，我们可以使用它们的未对准来进一步改善运动模型。通过在场景中的6DOF姿势（例如，椅子，盒子）中，我们首次展示了使用单个可佩戴相机估计物理合理的3D人体相互作用的能力。我们在受控实验室设置和现实世界场景中评估我们的Egentric姿势估计方法。

人类运动合成是机器人技术的图形，游戏和仿真环境中应用的重要问题。现有方法需要准确的运动捕获数据进行培训，这是昂贵的。取而代之的是，我们为直接从单眼RGB视频中训练物理上合理的人类运动的生成模型提出了一个框架，该模型更广泛地可用。我们方法的核心是一种新颖的优化公式，该公式通过以可区分的方式执行物理限制和有关接触的原因来纠正不完美的基于图像的姿势估计。该优化得出校正后的3D姿势和运动及其相应的接触力。结果表明，我们的物理校正运动在姿势估计上显着优于先前的工作。然后，我们可以使用它们来训练生成模型来综合未来的运动。与先前的基于运动学和物理学的方法相比，我们在人类36m数据集中〜\ cite {H36M_P​​AMI}实现了定性和定量改进的运动估计，合成质量和物理合理性。通过从视频中学习运动合成，我们的方法为大规模，现实和多样化的运动合成铺平了道路。项目页面：\ url {https://nv-tlabs.github.io/publication/iccv_2021_physics/}

我们提出了体面意识的人类姿势估计，我们根据模拟代理的本体感受和场景意识以及外部第三人称观察来估计3D构成。与经常诉诸多阶段优化的先前方法不同，非因果推理和复杂的接触建模以估计人类姿势和人类场景的相互作用，我们的方法是一个阶段，因果关系，并在模拟环境中恢复全局3D人类姿势。由于2D第三人称观察与相机姿势结合在一起，我们建议解开相机姿势，并使用在全球坐标框架中定义的多步投影梯度作为我们体现的代理的运动提示。利用物理模拟和预先的场景（例如3D网格），我们在日常环境（库，办公室，卧室等）中模拟代理，并为我们的代理配备环境传感器，以智能导航和与场景的几何形状进行智能导航和互动。我们的方法还仅依靠2D关键点，并且可以在来自流行人类运动数据库的合成数据集上进行培训。为了评估，我们使用流行的H36M和Prox数据集，并首次在具有挑战性的Prox数据集中获得96.7％的成功率，而无需使用Prox运动序列进行培训。

我们提出了一种新颖的方法，可以将3D人类动画放入3D场景中，同时保持动画中的任何人类场景相互作用。我们使用计算动画中最重要的网格的概念，以与场景进行交互，我们称之为“键框”。这些关键框架使我们能够更好地优化动画在场景中的位置，从而使动画中的互动（站立，铺设，坐着等）与场景的负担相匹配（例如，站在地板上或躺在床上）。我们将我们称为PAAK的方法与先前的方法进行了比较，包括POSA，Prox地面真理和运动合成方法，并通过感知研究突出了我们方法的好处。人类评估者更喜欢我们的PAAK方法，而不是Prox地面真相数据64.6 \％。此外，在直接比较中，与POSA相比，评估者比竞争方法比包括61.5％的竞争方法更喜欢PAAK。

我们人类正在进入虚拟时代，确实想将动物带到虚拟世界中。然而，计算机生成的（CGI）毛茸茸的动物受到乏味的离线渲染的限制，更不用说交互式运动控制了。在本文中，我们提出了Artemis，这是一种新型的神经建模和渲染管道，用于生成具有外观和运动合成的清晰神经宠物。我们的Artemis可以实现互动运动控制，实时动画和毛茸茸的动物的照片真实渲染。我们的Artemis的核心是神经生成的（NGI）动物引擎，该动物发动机采用了有效的基于OCTREE的动物动画和毛皮渲染的代表。然后，该动画等同于基于显式骨骼翘曲的体素级变形。我们进一步使用快速的OCTREE索引和有效的体积渲染方案来生成外观和密度特征地图。最后，我们提出了一个新颖的阴影网络，以在外观和密度特征图中生成外观和不透明度的高保真细节。对于Artemis中的运动控制模块，我们将最新动物运动捕获方法与最近的神经特征控制方案相结合。我们引入了一种有效的优化方案，以重建由多视图RGB和Vicon相机阵列捕获的真实动物的骨骼运动。我们将所有捕获的运动馈送到神经角色控制方案中，以生成具有运动样式的抽象控制信号。我们将Artemis进一步整合到支持VR耳机的现有引擎中，提供了前所未有的沉浸式体验，用户可以与各种具有生动动作和光真实外观的虚拟动物进行紧密互动。我们可以通过https://haiminluo.github.io/publication/artemis/提供我们的Artemis模型和动态毛茸茸的动物数据集。

我们解决了从文本描述中产生不同3D人类动作的问题。这项具有挑战性的任务需要两种方式的联合建模：从文本中理解和提取有用的人类以人为中心的信息，然后产生人类姿势的合理和现实序列。与大多数以前的工作相反，该作品着重于从文本描述中产生单一的，确定性的动作，我们设计了一种可以产生多种人类动作的变异方法。我们提出了Temos，这是一种具有人体运动数据的变异自动编码器（VAE）训练的文本生成模型，并结合了与VAE潜在空间兼容的文本编码器结合使用的文本编码器。我们显示Temos框架可以像先前的工作一样产生基于骨架的动画，以及更具表现力的SMPL身体运动。我们在套件运动语言基准上评估了我们的方法，尽管相对简单，但对艺术的状态表现出显着改善。代码和模型可在我们的网页上找到。

Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).

人体运动的实时跟踪对于AR/VR中的互动和沉浸式体验至关重要。但是，有关人体的传感器数据非常有限，可以从独立的可穿戴设备（例如HMD（头部安装设备）或AR眼镜）获得。在这项工作中，我们提出了一个强化学习框架，该框架从HMD和两个控制器中获取稀疏信号，并模拟合理且身体上有效的全身运动。在训练过程中，使用高质量的全身运动作为密集的监督，一个简单的策略网络可以学会为角色，步行和慢跑的角色输出适当的扭矩，同时紧随输入信号。我们的结果表明，即使输入仅是HMD的6D变换，也没有对下半身进行任何观察到的地面真理的惊人相似的腿部运动。我们还表明，单一政策可以对各种运动风格，不同的身体尺寸和新颖的环境都有坚固的态度。

我们为物理模拟字符进行了简单而直观的互动控制方法。我们的工作在生成的对抗网络（GAN）和加强学习时构建，并介绍了一个模仿学习框架，其中分类器的集合和仿制策略训练在给定预处理的参考剪辑中训练。分类器受过培训，以区分从模仿政策产生的运动中的参考运动，而策略是为了欺骗歧视者而获得奖励。使用我们的GaN的方法，可以单独培训多个电机控制策略以模仿不同的行为。在运行时，我们的系统可以响应用户提供的外部控制信号，并在不同策略之间交互式切换。与现有方法相比，我们所提出的方法具有以下有吸引力的特性：1）在不手动设计和微调奖励功能的情况下实现最先进的模仿性能; 2）直接控制字符，而无需明确地或隐含地通过相位状态跟踪任何目标参考姿势; 3）支持交互式策略切换，而无需任何运动生成或运动匹配机制。我们突出了我们在一系列模仿和互动控制任务中的方法的适用性，同时还证明了其抵御外部扰动以及恢复平衡的能力。总的来说，我们的方法产生高保真运动，运行时的运行时间低，并且可以轻松地集成到交互式应用程序和游戏中。

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

我们提出了一个隐式神经表示，以学习运动运动运动的时空空间。与以前代表运动为离散顺序样本的工作不同，我们建议将广泛的运动空间随着时间的流逝表达为连续函数，因此名称为神经运动场（NEMF）。具体来说，我们使用神经网络来学习此功能，以用于杂项运动集，该动作旨在以时间坐标为$ t $的生成模型和用于控制样式的随机矢量$ z $。然后，将模型作为变异自动编码器（VAE）进行训练，并带有运动编码器来采样潜在空间。我们使用多样化的人类运动数据集和四倍的数据集训练模型，以证明其多功能性，并最终将其部署为通用运动，然后再解决任务 - 静态问题，并在不同的运动生成和编辑应用中显示出优势，例如运动插值，例如运动插值，例如 - 上映和重新散布。可以在我们的项目页面上找到更多详细信息：https：//cs.yale.edu/homes/che/projects/nemf/

之前在为人类运动提供合理的限制方面发挥着重要作用。以前的作品在不同情况下遵循各种范式的运动前锋，导致缺乏多功能性。在本文中，我们首先总结了先前运动的不可或缺的特性，并因此设计了一种学习多功能运动的框架，其模拟人类运动的固有概率分布。具体地，对于有效的先前表示学习，我们提出了全局方向归一化，以在原始运动数据空间中删除冗余环境信息。此外，将基于序列的基于段的频率引导引入编码阶段。然后，我们采用去噪培训方案以可学习的方式从输入运动数据中解散环境信息，以产生一致和可区分的表示。在三个不同的任务中嵌入我们的运动前嵌入我们的运动，我们进行了广泛的实验，并且定量和定性结果均表现出我们之前运动的多功能性和有效性。我们的型号和代码可在https://github.com/jchenxu/human-motion-porion -prior上获得。

我们提出了一个基于神经网络的系统，用于长期，多动能人类运动合成。该系统被称为神经木偶，可以从简单的用户输入中平稳过渡，包括带有预期动作持续时间的动作标签，以及如果用户指定的话，则可以产生高质量和有意义的动作。我们系统的核心是一种基于变压器的新型运动生成模型，即Marionet，它可以在给定的动作标签给定不同的动作。与现有运动生成模型不同，Marionet利用了过去的运动剪辑和未来动作标签的上下文信息，专门用于生成可以平稳融合历史和未来动作的动作。具体而言，Marionet首先将目标动作标签和上下文信息编码为动作级潜在代码。该代码通过时间展开模块将代码展开为帧级控制信号，然后可以将其与其他帧级控制信号（如目标轨迹）结合使用。然后以自动回归方式生成运动帧。通过依次应用木偶，系统神经木偶可以借助两个简单的方案（即“影子开始”和“动作修订”）来稳健地产生长期的多动作运动。与新型系统一起，我们还提供了一个专门针对多动运动综合任务的新数据集，其中包含动作标签及其上下文信息。进行了广泛的实验，以研究我们系统产生的动作的动作准确性，自然主义和过渡平滑度。