“我们怎样才能通过简单地告诉他们，从动画电影剧本或移动机器人的3D角色我们希望他们做什么？” “我们如何非结构化和复杂的可以造一个句子，仍然从其生成合理的运动？”这些都是需要在长期得到回答，因为领域仍然处于起步阶段的问题。通过这些问题的启发，我们提出了产生成分操作的新技术，它可以处理复杂的输入句子。我们的产量是描绘在输入句子中的动作三维姿态序列。我们提出了一个分级二流顺序模型，探讨对应于给定的运动自然语言中的句子和三维姿态序列之间的精细联合级映射。我们学习运动的两个集管表示 - 每一个上半身下半身动作。我们的模型可以生成简短的句子描述单个动作以及长组成的句子描述多个连续叠加行动似是而非的姿势序列。我们评估的公开可用的KIT运动语言数据集含有与人类标注的句子3D姿势数据我们提出的模型。实验结果表明，我们的模型以50％的余量前进的状态的最先进的在客观评价基于文本的运动的合成。基于用户研究定性评价表明我们的合成运动被认为是最接近地面实况动作捕捉短期和组成句子。

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes as input textual instructions specifying the objects and the associated intentions of the virtual characters and outputs diverse sequences of full-body motions. This is in contrast to existing work, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven full-body motion generator, which uses a pair of decoupled conditional variational autoencoders (CVAE) to learn the motion of the body parts in an autoregressive manner. We also optimize for the positions of the objects with six degrees of freedom (6DoF) such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis. Through a user study, we further show that our synthesized full-body motions appear more realistic to the participants in more than 80% of scenarios compared to the current state-of-the-art methods, and are perceived to be as good as the ground truth on several occasions.

我们解决了从文本描述中产生不同3D人类动作的问题。这项具有挑战性的任务需要两种方式的联合建模：从文本中理解和提取有用的人类以人为中心的信息，然后产生人类姿势的合理和现实序列。与大多数以前的工作相反，该作品着重于从文本描述中产生单一的，确定性的动作，我们设计了一种可以产生多种人类动作的变异方法。我们提出了Temos，这是一种具有人体运动数据的变异自动编码器（VAE）训练的文本生成模型，并结合了与VAE潜在空间兼容的文本编码器结合使用的文本编码器。我们显示Temos框架可以像先前的工作一样产生基于骨架的动画，以及更具表现力的SMPL身体运动。我们在套件运动语言基准上评估了我们的方法，尽管相对简单，但对艺术的状态表现出显着改善。代码和模型可在我们的网页上找到。

给定一系列自然语言描述，我们的任务是生成与文本相对应的3D人类动作，并遵循指令的时间顺序。特别是，我们的目标是实现一系列动作的综合，我们将其称为时间动作组成。文本条件运动合成中的艺术现状仅采用单个动作或单个句子作为输入。这部分是由于缺乏包含动作序列的合适训练数据，但这也是由于其非自动进取模型公式的计算复杂性，该计算的规模不能很好地扩展到长序列。在这项工作中，我们解决了这两个问题。首先，我们利用了最近的Babel运动文本集合，该收藏品具有广泛的标记作用，其中许多作用以它们之间的过渡为顺序。接下来，我们设计了一种基于变压器的方法，该方法在动作中进行非自动打击，但在动作序列中进行自动加工。与多个基线相比，这种层次配方在我们的实验中被证明有效。我们的方法被称为“为人类动作的时间动作组成”教授，为各种各样的动作和语言描述中的时间构成产生了现实的人类动作。为了鼓励从事这项新任务的工作，我们将代码用于研究目的，以$ \ href {toch.is.tue.mpg.de} {\ textrm {我们的网站}} $。

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

用全球性结构（例如编织）合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中，我们提出了一种音乐驱动的运动综合框架，其产生与输入节拍同步的人类运动的长期序列，并共同形成尊重特定舞蹈类型的全局结构。此外，我们的框架可以实现由音乐内容控制的不同运动，而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统，包括三个层次：姿势，图案和编排。姿势水平由LSTM组件组成，该组件产生时间相干的姿势。图案级别引导一组连续姿势，形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序，并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性，以在各种舞蹈类型上产生自然和一致的运动，控制合成运动的内容，并尊重舞蹈的整体结构。

我们提出了一个基于神经网络的系统，用于长期，多动能人类运动合成。该系统被称为神经木偶，可以从简单的用户输入中平稳过渡，包括带有预期动作持续时间的动作标签，以及如果用户指定的话，则可以产生高质量和有意义的动作。我们系统的核心是一种基于变压器的新型运动生成模型，即Marionet，它可以在给定的动作标签给定不同的动作。与现有运动生成模型不同，Marionet利用了过去的运动剪辑和未来动作标签的上下文信息，专门用于生成可以平稳融合历史和未来动作的动作。具体而言，Marionet首先将目标动作标签和上下文信息编码为动作级潜在代码。该代码通过时间展开模块将代码展开为帧级控制信号，然后可以将其与其他帧级控制信号（如目标轨迹）结合使用。然后以自动回归方式生成运动帧。通过依次应用木偶，系统神经木偶可以借助两个简单的方案（即“影子开始”和“动作修订”）来稳健地产生长期的多动作运动。与新型系统一起，我们还提供了一个专门针对多动运动综合任务的新数据集，其中包含动作标签及其上下文信息。进行了广泛的实验，以研究我们系统产生的动作的动作准确性，自然主义和过渡平滑度。

本文提出了运动拼图，这是一个新型的运动风格转移网络，在几个重要方面都可以提高最先进的方式。运动难题是第一个可以控制各个身体部位运动样式的动作，从而可以进行本地样式编辑并大大增加风格化运动的范围。我们的框架旨在保持人的运动学结构，从多种样式运动中提取了风格的特征，用于不同的身体部位，并将其本地转移到目标身体部位。另一个主要优点是，它可以通过整合自适应实例正常化和注意力模块，同时保持骨骼拓扑结构，从而传递全球和本地运动风格的特征。因此，它可以捕获动态运动所表现出的样式，例如拍打和惊人，比以前的工作要好得多。此外，我们的框架允许使用样式标签或运动配对的数据集进行任意运动样式传输，从而使许多公开的运动数据集可用于培训。我们的框架可以轻松地与运动生成框架集成，以创建许多应用程序，例如实时运动传输。我们通过许多示例和以前的工作比较来证明我们的框架的优势。

受到远见与语言之间的牢固联系的启发，我们的论文旨在探索文本中的3D人类全身动作的产生，以及其互惠任务，分别用于文本2Motion和Motion2Text， 。为了应对现有的挑战，尤其是为了使同一文本产生多个不同的动作，并避免了不良生产的琐碎的静止姿势序列，我们提出了使用运动令牌（一种离散和紧凑的运动表示）的使用。当将动作和文本信号视为运动和文本令牌时，这提供了一个级别的游戏地面。此外，我们的Motion2Text模块被整合到我们的文本2Motion训练管道的反对准过程中，在该管道中，合成文本与输入文本的显着偏差将受到较大的培训损失的惩罚；从经验上讲，这证明可以有效地提高性能。最后，通过将神经模型调整为机器翻译（NMT）的两种动作方式和文本之间的映射，可以促进。离散运动令牌上分布的这种自回归建模进一步使来自输入文本的姿势序列（可变长度）的非确定性产生。我们的方法是灵活的，可以用于Text2Motion和Motion2Text任务。在两个基准数据集上进行的经验评估证明了我们在这两个任务上的卓越性能在各种最新方法上。项目页面：https：//ericguo5513.github.io/tm2t/

Generating controllable and editable human motion sequences is a key challenge in 3D Avatar generation. It has been labor-intensive to generate and animate human motion for a long time until learning-based approaches have been developed and applied recently. However, these approaches are still task-specific or modality-specific\cite {ahuja2019language2pose}\cite{ghosh2021synthesis}\cite{ferreira2021learning}\cite{li2021ai}. In this paper, we propose ``UDE", the first unified driving engine that enables generating human motion sequences from natural language or audio sequences (see Fig.~\ref{fig:teaser}). Specifically, UDE consists of the following key components: 1) a motion quantization module based on VQVAE that represents continuous motion sequence as discrete latent code\cite{van2017neural}, 2) a modality-agnostic transformer encoder\cite{vaswani2017attention} that learns to map modality-aware driving signals to a joint space, and 3) a unified token transformer (GPT-like\cite{radford2019language}) network to predict the quantized latent code index in an auto-regressive manner. 4) a diffusion motion decoder that takes as input the motion tokens and decodes them into motion sequences with high diversity. We evaluate our method on HumanML3D\cite{Guo_2022_CVPR} and AIST++\cite{li2021learn} benchmarks, and the experiment results demonstrate our method achieves state-of-the-art performance. Project website: \url{https://github.com/zixiangzhou916/UDE/

在本文中，我们为音乐驱动的舞蹈运动综合构成了一个新颖的框架，并具有可控的关键姿势约束。与仅基于音乐生成舞蹈运动序列的方法相反，该工作的目标是综合由音乐驱动的高质量舞蹈运动以及用户执行的定制姿势。我们的模型涉及两个用于音乐和运动表示形式的单模式变压器编码器，以及用于舞蹈动作生成的跨模式变压器解码器。跨模式变压器解码器可以通过引入局部邻居位置嵌入来使其合成平滑舞蹈运动序列合成平滑舞蹈运动序列的能力。这种机制使解码器对关键姿势和相应位置更加敏感。我们的舞蹈合成模型通过广泛的实验在定量和定性评估上取得了令人满意的表现，这证明了我们提出的方法的有效性。

合理和可控3D人类运动动画的创建是一个长期存在的问题，需要对技术人员艺术家进行手动干预。目前的机器学习方法可以半自动化该过程，然而，它们以显着的方式受到限制：它们只能处理预期运动的单个轨迹，该轨迹排除了对输出的细粒度控制。为了缓解该问题，我们在多个轨迹表示为具有缺失关节的姿势的空间和时间内将未来姿态预测的问题重构为姿势完成。我们表明这种框架可以推广到设计用于未来姿态预测的其他神经网络。曾经在该框架中培训，模型能够从任何数量的轨迹预测序列。我们提出了一种新颖的变形金刚架构，Trajevae，在这个想法上建立了一个，为3D人类动画提供了一个多功能框架。我们展示了Trajevae提供比基于轨迹的参考方法和方法基于过去的姿势。我们还表明，即使仅提供初始姿势，它也可以预测合理的未来姿势。

人类运动建模对于许多现代图形应用非常重要，这些应用通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接产生以自然语言为条件的人类动作。但是，通过各种文本输入，实现多样化和细粒度的运动产生，仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是第一个基于基于文本模型的基于文本驱动的运动生成框架，该框架证明了现有方法的几种期望属性。 1）概率映射。 MotionDiffuse不是确定性的语言映射，而是通过一系列注入变化的步骤生成动作。 2）现实的综合。 MotionDiffuse在建模复杂的数据分布和生成生动的运动序列方面表现出色。 3）多级操作。 Motion-Diffuse响应有关身体部位的细粒度指示，以及随时间变化的文本提示，任意长度运动合成。我们的实验表明，Motion-Diffuse通过说服文本驱动运动产生和动作条件运动的运动来优于现有的SOTA方法。定性分析进一步证明了MotionDiffuse对全面运动产生的可控性。主页：https：//mingyuan-zhang.github.io/projects/motiondiffuse.html

人类姿势预测是一个充满挑战的问题，涉及复杂的人体运动和姿势动态。在环境中有多个人的情况下，一个人的运动也可能受到他人的运动和动态运动的影响。尽管以前有一些针对多人动态姿势预测问题的作品，但它们通常将整个姿势序列作为时间序列（忽略关节之间的基本关系）建模，或者仅一次输出一个人的未来姿势序列。在本文中，我们提出了一种新方法，称为社会运动变压器（SOM形态），用于多人3D姿势预测。我们的变压器架构独特地将人类运动输入作为关节序列而不是时间序列建模，从而使我们能够对关节进行注意，同时预测并联每个关节的整个未来运动序列。我们表明，通过这种问题重新进行，Somoformer自然会通过使用场景中所有人的关节作为输入查询来扩展到多人场景。我们的模型使用学识渊博的嵌入来表示关节，人身份和全球地位的类型，了解关节之间和人之间的关系，更强烈地参加了来自同一或附近的人的关节。 Somoformer的表现优于SOMOF基准以及CMU-MOCAP和MUPOTS-3D数据集的长期运动预测的最先进方法。出版后将提供代码。

现有的基于密钥帧的运动合成主要集中于循环动作或短期运动的产生，例如步行，跑步和近距离姿势之间的过渡。但是，这些方法将在处理复杂和即兴运动时，例如舞蹈表演和武术时会大大降低合成运动的自然性和多样性。此外，当前的研究缺乏对生成的运动的细粒度控制，这对于智能的人类计算机互动和动画创作至关重要。在本文中，我们提出了一个基于多个约束的新型基于关键的运动生成网络，该网络可以通过学习的知识来实现​​多样化的舞蹈综合。具体而言，该算法主要基于复发性神经网络（RNN）和变压器体系结构制定。我们网络的骨干是由两个长期记忆（LSTM）单元组成的层次RNN模块，其中第一个LSTM用于将历史框架的姿势信息嵌入潜在空间中，第二个LSTM用于使用第二个LSTM，并且使用了第二个LSTM。预测下一帧的人类姿势。此外，我们的框架包含两个基于变压器的控制器，这些控制器分别用于建模根轨迹和速度因子的约束，以更好地利用框架的时间上下文并实现细粒度的运动控制。我们在包含各种现代舞蹈的舞蹈数据集上验证了拟议的方法。三个定量分析的结果验证了我们算法的优势。视频和定性实验结果表明，我们算法产生的复杂运动序列即使是长期合成，也可以在关键帧之间实现多种和平滑的运动过渡。

由于字符之间的复杂和多样化的交互作用，合成的多字符交互是一项艰巨的任务。特别是，在产生诸如舞蹈和战斗之类的紧密互动时，需要精确的时空对齐。现有的生成多字符相互作用的工作集中在给定序列中生成单一类型的反应运动，从而导致缺乏各种结果动作。在本文中，我们提出了一种新颖的方式来创建现实的人类反应动作，通过混合和匹配不同类型的紧密相互作用，在给定数据集中未呈现。我们提出了一个有条件的层次生成对抗网络，具有多热的类嵌入，以从领导者的给定运动序列中生成追随者的混合和匹配反应性运动。实验是对嘈杂（基于深度）和高质量（基于MOCAP）的交互数据集进行的。定量和定性结果表明，我们的方法的表现优于给定数据集上的最新方法。我们还提供了一个增强数据集，具有逼真的反应动作，以刺激该领域的未来研究。该代码可从https://github.com/aman-goel1/imm获得

长期人体运动预测对于安全关键应用是必不可少的，例如人机互动和自主驾驶。在本文中，我们展示了实现长期预测，预测每次瞬间的人类姿势是不必要的。相反，通过线性地插入键盘来预测几个小折叠和近似中间组更有效。我们将证明我们的方法使我们能够在未来预测最多5秒的现实运动，远远大于文献中遇到的典型1秒。此外，由于我们模拟了未来的重叠概率，因此我们可以通过在推理时间采样来产生多种合理的未来动作。在这个延长的时间内，我们的预测更加现实，更多样化，更好地保护运动动力学而不是那些最先进的方法产量。

用行为方式对虚拟试剂进行建模是个性化人类代理相互作用的一个因素。我们提出了一种有效但有效的机器学习方法，以综合由韵律特征和文本以不同扬声器风格驱动的手势，包括在培训期间看不见的手势。我们的模型执行零镜头多模式样式转移，该样式由包含各种扬声器视频的PATS数据库的多模式数据驱动。我们认为风格在说话时是普遍的，它使交流行为表现出色，而语音内容则由多模式信号和文本携带。这种内容和样式的解开方案使我们能够直接推断出数据的样式嵌入，即使数据不属于培训阶段，而无需进行任何进一步的培训或微调。我们模型的第一个目标是根据两个音频和文本模式的内容生成源扬声器的手势。第二个目标是调节源扬声器预测目标扬声器的多模式行为样式的手势。第三个目标是允许在训练期间看不见的扬声器的零射击样式转移，而不会重新培训模型。我们的系统包括：（1）扬声器样式编码器网络，该网络学会从目标扬声器多模式数据中生成固定的尺寸扬声器嵌入样式，以及（2）序列综合网络的序列，该序列基于输入方式的内容合成手势源扬声器，并以扬声器风格的嵌入为条件。我们评估我们的模型可以综合源说话者的手势，并将目标扬声器样式变异性的知识转移到零拍摄设置中的手势生成任务中。我们将2D手势转换为3D姿势并产生3D动画。我们进行客观和主观评估以验证我们的方法并将其与基线进行比较。

我们提出了一种新颖的基于变压器的架构，用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型，考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明，频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述，从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入，以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息，并明确捕获结构和时间依赖项。我们凭经验显示，这有效地了解潜在的运动动态，并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。

神经网络的出现彻底改变了运动合成领域。然而，学会从给定的分布中无条件合成动作仍然是一项具有挑战性的任务，尤其是当动作高度多样化时。我们提出了Modi，这是一种无条件的生成模型，可以合成各种动作。我们的模型在完全无监督的环境中训练，从多样化，非结构化和未标记的运动数据集中进行了训练，并产生了一个行为良好，高度语义的潜在空间。我们的模型的设计遵循StyleGAN的多产架构，并将其两个关键技术组件调整为运动域：一组样式编码，这些样式编码注入了生成器层次结构的每个级别和映射功能，并形成了一个学习和形成一个分离的潜在空间。我们表明，尽管数据集中缺乏任何结构，但潜在空间可以在语义上聚集，并促进语义编辑和运动插值。此外，我们提出了一种将未见动作转向潜在空间的技术，并展示了基于潜在的运动编辑操作，否则这些动作无法通过天真地操纵明确的运动表示无法实现。我们的定性和定量实验表明，我们的框架达到了最新的合成质量，可以遵循高度多样化的运动数据集的分布。代码和训练有素的模型将在https://sigal-raab.github.io/modi上发布。