给定一系列自然语言描述，我们的任务是生成与文本相对应的3D人类动作，并遵循指令的时间顺序。特别是，我们的目标是实现一系列动作的综合，我们将其称为时间动作组成。文本条件运动合成中的艺术现状仅采用单个动作或单个句子作为输入。这部分是由于缺乏包含动作序列的合适训练数据，但这也是由于其非自动进取模型公式的计算复杂性，该计算的规模不能很好地扩展到长序列。在这项工作中，我们解决了这两个问题。首先，我们利用了最近的Babel运动文本集合，该收藏品具有广泛的标记作用，其中许多作用以它们之间的过渡为顺序。接下来，我们设计了一种基于变压器的方法，该方法在动作中进行非自动打击，但在动作序列中进行自动加工。与多个基线相比，这种层次配方在我们的实验中被证明有效。我们的方法被称为“为人类动作的时间动作组成”教授，为各种各样的动作和语言描述中的时间构成产生了现实的人类动作。为了鼓励从事这项新任务的工作，我们将代码用于研究目的，以$ \ href {toch.is.tue.mpg.de} {\ textrm {我们的网站}} $。

我们解决了从文本描述中产生不同3D人类动作的问题。这项具有挑战性的任务需要两种方式的联合建模：从文本中理解和提取有用的人类以人为中心的信息，然后产生人类姿势的合理和现实序列。与大多数以前的工作相反，该作品着重于从文本描述中产生单一的，确定性的动作，我们设计了一种可以产生多种人类动作的变异方法。我们提出了Temos，这是一种具有人体运动数据的变异自动编码器（VAE）训练的文本生成模型，并结合了与VAE潜在空间兼容的文本编码器结合使用的文本编码器。我们显示Temos框架可以像先前的工作一样产生基于骨架的动画，以及更具表现力的SMPL身体运动。我们在套件运动语言基准上评估了我们的方法，尽管相对简单，但对艺术的状态表现出显着改善。代码和模型可在我们的网页上找到。

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes as input textual instructions specifying the objects and the associated intentions of the virtual characters and outputs diverse sequences of full-body motions. This is in contrast to existing work, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven full-body motion generator, which uses a pair of decoupled conditional variational autoencoders (CVAE) to learn the motion of the body parts in an autoregressive manner. We also optimize for the positions of the objects with six degrees of freedom (6DoF) such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis. Through a user study, we further show that our synthesized full-body motions appear more realistic to the participants in more than 80% of scenarios compared to the current state-of-the-art methods, and are perceived to be as good as the ground truth on several occasions.

We tackle the problem of generating long-term 3D human motion from multiple action labels. Two main previous approaches, such as action- and motion-conditioned methods, have limitations to solve this problem. The action-conditioned methods generate a sequence of motion from a single action. Hence, it cannot generate long-term motions composed of multiple actions and transitions between actions. Meanwhile, the motion-conditioned methods generate future motions from initial motion. The generated future motions only depend on the past, so they are not controllable by the user's desired actions. We present MultiAct, the first framework to generate long-term 3D human motion from multiple action labels. MultiAct takes account of both action and motion conditions with a unified recurrent generation system. It repetitively takes the previous motion and action label; then, it generates a smooth transition and the motion of the given action. As a result, MultiAct produces realistic long-term motion controlled by the given sequence of multiple action labels. The code will be released.

我们提出了一个基于神经网络的系统，用于长期，多动能人类运动合成。该系统被称为神经木偶，可以从简单的用户输入中平稳过渡，包括带有预期动作持续时间的动作标签，以及如果用户指定的话，则可以产生高质量和有意义的动作。我们系统的核心是一种基于变压器的新型运动生成模型，即Marionet，它可以在给定的动作标签给定不同的动作。与现有运动生成模型不同，Marionet利用了过去的运动剪辑和未来动作标签的上下文信息，专门用于生成可以平稳融合历史和未来动作的动作。具体而言，Marionet首先将目标动作标签和上下文信息编码为动作级潜在代码。该代码通过时间展开模块将代码展开为帧级控制信号，然后可以将其与其他帧级控制信号（如目标轨迹）结合使用。然后以自动回归方式生成运动帧。通过依次应用木偶，系统神经木偶可以借助两个简单的方案（即“影子开始”和“动作修订”）来稳健地产生长期的多动作运动。与新型系统一起，我们还提供了一个专门针对多动运动综合任务的新数据集，其中包含动作标签及其上下文信息。进行了广泛的实验，以研究我们系统产生的动作的动作准确性，自然主义和过渡平滑度。

人类运动建模对于许多现代图形应用非常重要，这些应用通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接产生以自然语言为条件的人类动作。但是，通过各种文本输入，实现多样化和细粒度的运动产生，仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是第一个基于基于文本模型的基于文本驱动的运动生成框架，该框架证明了现有方法的几种期望属性。 1）概率映射。 MotionDiffuse不是确定性的语言映射，而是通过一系列注入变化的步骤生成动作。 2）现实的综合。 MotionDiffuse在建模复杂的数据分布和生成生动的运动序列方面表现出色。 3）多级操作。 Motion-Diffuse响应有关身体部位的细粒度指示，以及随时间变化的文本提示，任意长度运动合成。我们的实验表明，Motion-Diffuse通过说服文本驱动运动产生和动作条件运动的运动来优于现有的SOTA方法。定性分析进一步证明了MotionDiffuse对全面运动产生的可控性。主页：https：//mingyuan-zhang.github.io/projects/motiondiffuse.html

“我们怎样才能通过简单地告诉他们，从动画电影剧本或移动机器人的3D角色我们希望他们做什么？” “我们如何非结构化和复杂的可以造一个句子，仍然从其生成合理的运动？”这些都是需要在长期得到回答，因为领域仍然处于起步阶段的问题。通过这些问题的启发，我们提出了产生成分操作的新技术，它可以处理复杂的输入句子。我们的产量是描绘在输入句子中的动作三维姿态序列。我们提出了一个分级二流顺序模型，探讨对应于给定的运动自然语言中的句子和三维姿态序列之间的精细联合级映射。我们学习运动的两个集管表示 - 每一个上半身下半身动作。我们的模型可以生成简短的句子描述单个动作以及长组成的句子描述多个连续叠加行动似是而非的姿势序列。我们评估的公开可用的KIT运动语言数据集含有与人类标注的句子3D姿势数据我们提出的模型。实验结果表明，我们的模型以50％的余量前进的状态的最先进的在客观评价基于文本的运动的合成。基于用户研究定性评价表明我们的合成运动被认为是最接近地面实况动作捕捉短期和组成句子。

We study a challenging task, conditional human motion generation, which produces plausible human motion sequences according to various conditional inputs, such as action classes or textual descriptors. Since human motions are highly diverse and have a property of quite different distribution from conditional modalities, such as textual descriptors in natural languages, it is hard to learn a probabilistic mapping from the desired conditional modality to the human motion sequences. Besides, the raw motion data from the motion capture system might be redundant in sequences and contain noises; directly modeling the joint distribution over the raw motion sequences and conditional modalities would need a heavy computational overhead and might result in artifacts introduced by the captured noises. To learn a better representation of the various human motion sequences, we first design a powerful Variational AutoEncoder (VAE) and arrive at a representative and low-dimensional latent code for a human motion sequence. Then, instead of using a diffusion model to establish the connections between the raw motion sequences and the conditional inputs, we perform a diffusion process on the motion latent space. Our proposed Motion Latent-based Diffusion model (MLD) could produce vivid motion sequences conforming to the given conditional inputs and substantially reduce the computational overhead in both the training and inference stages. Extensive experiments on various human motion generation tasks demonstrate that our MLD achieves significant improvements over the state-of-the-art methods among extensive human motion generation tasks, with two orders of magnitude faster than previous diffusion models on raw motion sequences.

受到远见与语言之间的牢固联系的启发，我们的论文旨在探索文本中的3D人类全身动作的产生，以及其互惠任务，分别用于文本2Motion和Motion2Text， 。为了应对现有的挑战，尤其是为了使同一文本产生多个不同的动作，并避免了不良生产的琐碎的静止姿势序列，我们提出了使用运动令牌（一种离散和紧凑的运动表示）的使用。当将动作和文本信号视为运动和文本令牌时，这提供了一个级别的游戏地面。此外，我们的Motion2Text模块被整合到我们的文本2Motion训练管道的反对准过程中，在该管道中，合成文本与输入文本的显着偏差将受到较大的培训损失的惩罚；从经验上讲，这证明可以有效地提高性能。最后，通过将神经模型调整为机器翻译（NMT）的两种动作方式和文本之间的映射，可以促进。离散运动令牌上分布的这种自回归建模进一步使来自输入文本的姿势序列（可变长度）的非确定性产生。我们的方法是灵活的，可以用于Text2Motion和Motion2Text任务。在两个基准数据集上进行的经验评估证明了我们在这两个任务上的卓越性能在各种最新方法上。项目页面：https：//ericguo5513.github.io/tm2t/

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

我们提出了一种使用变异隐式神经表示（INR）的动作条件人类运动产生方法。变分形式主义可以使INR的动作条件分布，从中可以轻松地采样表示形式以产生新的人类运动序列。我们的方法通过构造提供可变的长度序列生成，因为INR的一部分已针对随时间嵌入的整个任意长度进行了优化。相反，以前的作品报告了建模可变长度序列的困难。我们证实，使用变压器解码器的方法优于人类Act12，NTU-RGBD和UESTC数据集的所有相关方法，从现实主义和生成动作的多样性方面。令人惊讶的是，即使我们使用MLP解码器的方法也始终优于最先进的基于变压器的自动编码器。特别是，我们表明，在现实主义和多样性方面，我们方法生成的可变长度运动比最先进方法产生的固定长度运动更好。 https://github.com/pacerv/implicitmotion上的代码。

We introduce Action-GPT, a plug and play framework for incorporating Large Language Models (LLMs) into text-based action generation models. Action phrases in current motion capture datasets contain minimal and to-the-point information. By carefully crafting prompts for LLMs, we generate richer and fine-grained descriptions of the action. We show that utilizing these detailed descriptions instead of the original action phrases leads to better alignment of text and motion spaces. Our experiments show qualitative and quantitative improvement in the quality of synthesized motions produced by recent text-to-motion models. Code, pretrained models and sample videos will be made available at https://actiongpt.github.io

Generating controllable and editable human motion sequences is a key challenge in 3D Avatar generation. It has been labor-intensive to generate and animate human motion for a long time until learning-based approaches have been developed and applied recently. However, these approaches are still task-specific or modality-specific\cite {ahuja2019language2pose}\cite{ghosh2021synthesis}\cite{ferreira2021learning}\cite{li2021ai}. In this paper, we propose ``UDE", the first unified driving engine that enables generating human motion sequences from natural language or audio sequences (see Fig.~\ref{fig:teaser}). Specifically, UDE consists of the following key components: 1) a motion quantization module based on VQVAE that represents continuous motion sequence as discrete latent code\cite{van2017neural}, 2) a modality-agnostic transformer encoder\cite{vaswani2017attention} that learns to map modality-aware driving signals to a joint space, and 3) a unified token transformer (GPT-like\cite{radford2019language}) network to predict the quantized latent code index in an auto-regressive manner. 4) a diffusion motion decoder that takes as input the motion tokens and decodes them into motion sequences with high diversity. We evaluate our method on HumanML3D\cite{Guo_2022_CVPR} and AIST++\cite{li2021learn} benchmarks, and the experiment results demonstrate our method achieves state-of-the-art performance. Project website: \url{https://github.com/zixiangzhou916/UDE/

基于文本的运动生成模型正在引起人们对它们在游戏，动画或机器人行业中自动化运动过程的潜力的兴趣激增。在本文中，我们提出了一种基于扩散的运动合成和名为Flame的编辑模型。受扩散模型中最新成功的启发，我们将基于扩散的生成模型集成到运动域中。火焰可以产生与给定文本很好地对齐的高保真动作。此外，它可以编辑运动的各个部分，无论是在框架和联合方面，而无需进行任何微调。火焰涉及我们设计的新的基于变压器的架构，以更好地处理运动数据，这对于管理可变长度运动和良好的自由形式文本至关重要。在实验中，我们表明火焰在三个文本数据集上实现了最新的一代表演：HumanML3D，Babel和Kit。我们还证明，火焰的编辑能力可以扩展到其他任务，例如运动预测或运动内部，这些任务先前已被专用模型涵盖。

之前在为人类运动提供合理的限制方面发挥着重要作用。以前的作品在不同情况下遵循各种范式的运动前锋，导致缺乏多功能性。在本文中，我们首先总结了先前运动的不可或缺的特性，并因此设计了一种学习多功能运动的框架，其模拟人类运动的固有概率分布。具体地，对于有效的先前表示学习，我们提出了全局方向归一化，以在原始运动数据空间中删除冗余环境信息。此外，将基于序列的基于段的频率引导引入编码阶段。然后，我们采用去噪培训方案以可学习的方式从输入运动数据中解散环境信息，以产生一致和可区分的表示。在三个不同的任务中嵌入我们的运动前嵌入我们的运动，我们进行了广泛的实验，并且定量和定性结果均表现出我们之前运动的多功能性和有效性。我们的型号和代码可在https://github.com/jchenxu/human-motion-porion -prior上获得。

我们提出了一个隐式神经表示，以学习运动运动运动的时空空间。与以前代表运动为离散顺序样本的工作不同，我们建议将广泛的运动空间随着时间的流逝表达为连续函数，因此名称为神经运动场（NEMF）。具体来说，我们使用神经网络来学习此功能，以用于杂项运动集，该动作旨在以时间坐标为$ t $的生成模型和用于控制样式的随机矢量$ z $。然后，将模型作为变异自动编码器（VAE）进行训练，并带有运动编码器来采样潜在空间。我们使用多样化的人类运动数据集和四倍的数据集训练模型，以证明其多功能性，并最终将其部署为通用运动，然后再解决任务 - 静态问题，并在不同的运动生成和编辑应用中显示出优势，例如运动插值，例如运动插值，例如 - 上映和重新散布。可以在我们的项目页面上找到更多详细信息：https：//cs.yale.edu/homes/che/projects/nemf/

综合虚拟人类及其3D环境之间的自然相互作用对于众多应用程序（例如计算机游戏和AR/VR体验）至关重要。我们的目标是使人类与给定的3D场景进行互动，该场景由高级语义规格控制为动作类别和对象实例，例如“坐在椅子上”。将相互作用语义纳入生成框架中的主要挑战是学习一个共同表示，该表示有效地捕获了异质信息，包括人体的关节，3D对象几何以及相互作用的意图。为了应对这一挑战，我们设计了一种基于变压器的新型生成模型，其中铰接的3D人体表面点和3D对象共同编码在统一的潜在空间中，并且人与物体之间的相互作用语义是通过嵌入的。位置编码。此外，受到人类可以同时与多个对象相互作用的相互作用的组成性质的启发，我们将相互作用语义定义为不同原子动作对象对的组成。我们提出的生成模型自然可以结合不同数量的原子相互作用，从而无需复合相互作用数据即可合成组成的人类习惯相互作用。我们使用交互语义标签和场景实例分割扩展了Prox数据集，以评估我们的方法，并证明我们的方法可以通过语义控制生成现实的人类场景相互作用。我们的感知研究表明，我们合成的虚拟人类可以自然与3D场景相互作用，从而超过现有方法。我们将方法硬币命名，用于与语义控制的组成相互作用合成。代码和数据可在https://github.com/zkf1997/coins上获得。

我们介绍了程序化运动概念，这是人类行为的层次运动表示形式，可捕获低级运动和高级描述作为运动概念。这种表示可以使人类运动描述，交互式编辑以及单个框架中新型视频序列的受控合成。我们介绍了一个体系结构，该体系结构以半监督的方式从配对的视频和动作序列中学习此概念表示。我们代表的紧凑性还使我们能够提出一个低资源的培训配方，以进行数据效率学习。通过超越建立的基线，尤其是在小型数据制度中，我们证明了我们框架对多个应用程序的效率和有效性。

合理和可控3D人类运动动画的创建是一个长期存在的问题，需要对技术人员艺术家进行手动干预。目前的机器学习方法可以半自动化该过程，然而，它们以显着的方式受到限制：它们只能处理预期运动的单个轨迹，该轨迹排除了对输出的细粒度控制。为了缓解该问题，我们在多个轨迹表示为具有缺失关节的姿势的空间和时间内将未来姿态预测的问题重构为姿势完成。我们表明这种框架可以推广到设计用于未来姿态预测的其他神经网络。曾经在该框架中培训，模型能够从任何数量的轨迹预测序列。我们提出了一种新颖的变形金刚架构，Trajevae，在这个想法上建立了一个，为3D人类动画提供了一个多功能框架。我们展示了Trajevae提供比基于轨迹的参考方法和方法基于过去的姿势。我们还表明，即使仅提供初始姿势，它也可以预测合理的未来姿势。

Conventional methods for human motion synthesis are either deterministic or struggle with the trade-off between motion diversity and motion quality. In response to these limitations, we introduce MoFusion, i.e., a new denoising-diffusion-based framework for high-quality conditional human motion synthesis that can generate long, temporally plausible, and semantically accurate motions based on a range of conditioning contexts (such as music and text). We also present ways to introduce well-known kinematic losses for motion plausibility within the motion diffusion framework through our scheduled weighting strategy. The learned latent space can be used for several interactive motion editing applications -- like inbetweening, seed conditioning, and text-based editing -- thus, providing crucial abilities for virtual character animation and robotics. Through comprehensive quantitative evaluations and a perceptual user study, we demonstrate the effectiveness of MoFusion compared to the state of the art on established benchmarks in the literature. We urge the reader to watch our supplementary video and visit https://vcai.mpi-inf.mpg.de/projects/MoFusion.