神经网络的出现彻底改变了运动合成领域。然而，学会从给定的分布中无条件合成动作仍然是一项具有挑战性的任务，尤其是当动作高度多样化时。我们提出了Modi，这是一种无条件的生成模型，可以合成各种动作。我们的模型在完全无监督的环境中训练，从多样化，非结构化和未标记的运动数据集中进行了训练，并产生了一个行为良好，高度语义的潜在空间。我们的模型的设计遵循StyleGAN的多产架构，并将其两个关键技术组件调整为运动域：一组样式编码，这些样式编码注入了生成器层次结构的每个级别和映射功能，并形成了一个学习和形成一个分离的潜在空间。我们表明，尽管数据集中缺乏任何结构，但潜在空间可以在语义上聚集，并促进语义编辑和运动插值。此外，我们提出了一种将未见动作转向潜在空间的技术，并展示了基于潜在的运动编辑操作，否则这些动作无法通过天真地操纵明确的运动表示无法实现。我们的定性和定量实验表明，我们的框架达到了最新的合成质量，可以遵循高度多样化的运动数据集的分布。代码和训练有素的模型将在https://sigal-raab.github.io/modi上发布。

我们提出了一个隐式神经表示，以学习运动运动运动的时空空间。与以前代表运动为离散顺序样本的工作不同，我们建议将广泛的运动空间随着时间的流逝表达为连续函数，因此名称为神经运动场（NEMF）。具体来说，我们使用神经网络来学习此功能，以用于杂项运动集，该动作旨在以时间坐标为$ t $的生成模型和用于控制样式的随机矢量$ z $。然后，将模型作为变异自动编码器（VAE）进行训练，并带有运动编码器来采样潜在空间。我们使用多样化的人类运动数据集和四倍的数据集训练模型，以证明其多功能性，并最终将其部署为通用运动，然后再解决任务 - 静态问题，并在不同的运动生成和编辑应用中显示出优势，例如运动插值，例如运动插值，例如 - 上映和重新散布。可以在我们的项目页面上找到更多详细信息：https：//cs.yale.edu/homes/che/projects/nemf/

本文提出了运动拼图，这是一个新型的运动风格转移网络，在几个重要方面都可以提高最先进的方式。运动难题是第一个可以控制各个身体部位运动样式的动作，从而可以进行本地样式编辑并大大增加风格化运动的范围。我们的框架旨在保持人的运动学结构，从多种样式运动中提取了风格的特征，用于不同的身体部位，并将其本地转移到目标身体部位。另一个主要优点是，它可以通过整合自适应实例正常化和注意力模块，同时保持骨骼拓扑结构，从而传递全球和本地运动风格的特征。因此，它可以捕获动态运动所表现出的样式，例如拍打和惊人，比以前的工作要好得多。此外，我们的框架允许使用样式标签或运动配对的数据集进行任意运动样式传输，从而使许多公开的运动数据集可用于培训。我们的框架可以轻松地与运动生成框架集成，以创建许多应用程序，例如实时运动传输。我们通过许多示例和以前的工作比较来证明我们的框架的优势。

用全球性结构（例如编织）合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中，我们提出了一种音乐驱动的运动综合框架，其产生与输入节拍同步的人类运动的长期序列，并共同形成尊重特定舞蹈类型的全局结构。此外，我们的框架可以实现由音乐内容控制的不同运动，而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统，包括三个层次：姿势，图案和编排。姿势水平由LSTM组件组成，该组件产生时间相干的姿势。图案级别引导一组连续姿势，形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序，并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性，以在各种舞蹈类型上产生自然和一致的运动，控制合成运动的内容，并尊重舞蹈的整体结构。

多个摄像机制造的视频录制的可用性越来越多，为姿势和运动重建方法中的减少和深度歧义提供了新的方法。然而，多视图算法强烈依赖于相机参数;特别地，相机之间的相对介绍。在不受控制的设置中，这种依赖变为一旦转移到动态捕获一次。我们介绍Flex（免费多视图重建），一个端到端的无参数多视图模型。 Flex是无意义的参数，即它不需要任何相机参数，都不是内在的也不是外在的。我们的关键思想是骨架部件和骨长之间的3D角度是不变的相机位置。因此，学习3D旋转和骨长而不是位置允许预测所有相机视图的公共值。我们的网络采用多个视频流，学习通过新型多视图融合层的融合深度特征，并重建单一一致的骨架，其具有时间上相干的关节旋转。我们展示了人类3.6M和KTH多视图足球II数据集的定量和定性结果，以及动态摄像头捕获的合成多人视频流。我们将模型与最先进的方法进行比较，这些方法没有参与参数，并在没有相机参数的情况下显示，我们在获得相机参数可用时获取可比结果的同时优于较大的余量。我们的项目页面上可以使用代码，培训的模型，视频示例和更多材料。

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

Giving machines the ability to imagine possible new objects or scenes from linguistic descriptions and produce their realistic renderings is arguably one of the most challenging problems in computer vision. Recent advances in deep generative models have led to new approaches that give promising results towards this goal. In this paper, we introduce a new method called DiCoMoGAN for manipulating videos with natural language, aiming to perform local and semantic edits on a video clip to alter the appearances of an object of interest. Our GAN architecture allows for better utilization of multiple observations by disentangling content and motion to enable controllable semantic edits. To this end, we introduce two tightly coupled networks: (i) a representation network for constructing a concise understanding of motion dynamics and temporally invariant content, and (ii) a translation network that exploits the extracted latent content representation to actuate the manipulation according to the target description. Our qualitative and quantitative evaluations demonstrate that DiCoMoGAN significantly outperforms existing frame-based methods, producing temporally coherent and semantically more meaningful results.

我们解决了从文本描述中产生不同3D人类动作的问题。这项具有挑战性的任务需要两种方式的联合建模：从文本中理解和提取有用的人类以人为中心的信息，然后产生人类姿势的合理和现实序列。与大多数以前的工作相反，该作品着重于从文本描述中产生单一的，确定性的动作，我们设计了一种可以产生多种人类动作的变异方法。我们提出了Temos，这是一种具有人体运动数据的变异自动编码器（VAE）训练的文本生成模型，并结合了与VAE潜在空间兼容的文本编码器结合使用的文本编码器。我们显示Temos框架可以像先前的工作一样产生基于骨架的动画，以及更具表现力的SMPL身体运动。我们在套件运动语言基准上评估了我们的方法，尽管相对简单，但对艺术的状态表现出显着改善。代码和模型可在我们的网页上找到。

人类运动建模对于许多现代图形应用非常重要，这些应用通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接产生以自然语言为条件的人类动作。但是，通过各种文本输入，实现多样化和细粒度的运动产生，仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是第一个基于基于文本模型的基于文本驱动的运动生成框架，该框架证明了现有方法的几种期望属性。 1）概率映射。 MotionDiffuse不是确定性的语言映射，而是通过一系列注入变化的步骤生成动作。 2）现实的综合。 MotionDiffuse在建模复杂的数据分布和生成生动的运动序列方面表现出色。 3）多级操作。 Motion-Diffuse响应有关身体部位的细粒度指示，以及随时间变化的文本提示，任意长度运动合成。我们的实验表明，Motion-Diffuse通过说服文本驱动运动产生和动作条件运动的运动来优于现有的SOTA方法。定性分析进一步证明了MotionDiffuse对全面运动产生的可控性。主页：https：//mingyuan-zhang.github.io/projects/motiondiffuse.html

We study a challenging task, conditional human motion generation, which produces plausible human motion sequences according to various conditional inputs, such as action classes or textual descriptors. Since human motions are highly diverse and have a property of quite different distribution from conditional modalities, such as textual descriptors in natural languages, it is hard to learn a probabilistic mapping from the desired conditional modality to the human motion sequences. Besides, the raw motion data from the motion capture system might be redundant in sequences and contain noises; directly modeling the joint distribution over the raw motion sequences and conditional modalities would need a heavy computational overhead and might result in artifacts introduced by the captured noises. To learn a better representation of the various human motion sequences, we first design a powerful Variational AutoEncoder (VAE) and arrive at a representative and low-dimensional latent code for a human motion sequence. Then, instead of using a diffusion model to establish the connections between the raw motion sequences and the conditional inputs, we perform a diffusion process on the motion latent space. Our proposed Motion Latent-based Diffusion model (MLD) could produce vivid motion sequences conforming to the given conditional inputs and substantially reduce the computational overhead in both the training and inference stages. Extensive experiments on various human motion generation tasks demonstrate that our MLD achieves significant improvements over the state-of-the-art methods among extensive human motion generation tasks, with two orders of magnitude faster than previous diffusion models on raw motion sequences.

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes as input textual instructions specifying the objects and the associated intentions of the virtual characters and outputs diverse sequences of full-body motions. This is in contrast to existing work, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven full-body motion generator, which uses a pair of decoupled conditional variational autoencoders (CVAE) to learn the motion of the body parts in an autoregressive manner. We also optimize for the positions of the objects with six degrees of freedom (6DoF) such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis. Through a user study, we further show that our synthesized full-body motions appear more realistic to the participants in more than 80% of scenarios compared to the current state-of-the-art methods, and are perceived to be as good as the ground truth on several occasions.

由于字符之间的复杂和多样化的交互作用，合成的多字符交互是一项艰巨的任务。特别是，在产生诸如舞蹈和战斗之类的紧密互动时，需要精确的时空对齐。现有的生成多字符相互作用的工作集中在给定序列中生成单一类型的反应运动，从而导致缺乏各种结果动作。在本文中，我们提出了一种新颖的方式来创建现实的人类反应动作，通过混合和匹配不同类型的紧密相互作用，在给定数据集中未呈现。我们提出了一个有条件的层次生成对抗网络，具有多热的类嵌入，以从领导者的给定运动序列中生成追随者的混合和匹配反应性运动。实验是对嘈杂（基于深度）和高质量（基于MOCAP）的交互数据集进行的。定量和定性结果表明，我们的方法的表现优于给定数据集上的最新方法。我们还提供了一个增强数据集，具有逼真的反应动作，以刺激该领域的未来研究。该代码可从https://github.com/aman-goel1/imm获得

视频显示连续事件，但大多数 - 如果不是全部 - 视频综合框架及时酌情对待它们。在这项工作中，我们想到它们应该是连续的信号的视频，并扩展神经表示的范式以构建连续时间视频发生器。为此，我们首先通过位置嵌入的镜头设计连续运动表示。然后，我们探讨了在非常稀疏的视频上培训问题，并证明可以使用每剪辑的少数为2帧来学习良好的发电机。之后，我们重新思考传统的图像和视频鉴别器对并建议使用基于Hypernetwork的一个。这降低了培训成本并向发电机提供了更丰富的学习信号，使得可以首次直接培训1024美元$ ^ 2 $视频。我们在Stylegan2的顶部构建我们的模型，并且在同样的分辨率下培训速度速度较高5％，同时实现几乎相同的图像质量。此外，我们的潜在空间具有类似的属性，使我们的方法可以及时传播的空间操纵。我们可以在任意高帧速率下任意长的视频，而现有工作努力以固定速率生成均匀的64个帧。我们的模型在四个现代256美元$ ^ 2 $视频综合基准测试中实现最先进的结果，一个1024美元$ ^ 2 $ state。视频和源代码在项目网站上提供：https://universome.github.io/stylegan-v。

Conventional methods for human motion synthesis are either deterministic or struggle with the trade-off between motion diversity and motion quality. In response to these limitations, we introduce MoFusion, i.e., a new denoising-diffusion-based framework for high-quality conditional human motion synthesis that can generate long, temporally plausible, and semantically accurate motions based on a range of conditioning contexts (such as music and text). We also present ways to introduce well-known kinematic losses for motion plausibility within the motion diffusion framework through our scheduled weighting strategy. The learned latent space can be used for several interactive motion editing applications -- like inbetweening, seed conditioning, and text-based editing -- thus, providing crucial abilities for virtual character animation and robotics. Through comprehensive quantitative evaluations and a perceptual user study, we demonstrate the effectiveness of MoFusion compared to the state of the art on established benchmarks in the literature. We urge the reader to watch our supplementary video and visit https://vcai.mpi-inf.mpg.de/projects/MoFusion.

我们表明，如果基于深度学习的插值器使用球形线性插值器作为基线，可以更准确，有效地求解在一组关键帧上进行人类运动的任务。我们从经验上证明了我们在实现最新性能的公开数据集上的方法的实力。我们通过证明$ \ delta $ - 优势相对于最后已知帧（也称为零速度模型）的参考，进一步概括了这些结果。这支持了一个更一般的结论，即在参考框架本地对输入帧的工作比以前的工作中主张的全球（世界）参考框架更准确，更强大。我们的代码可在https://github.com/boreshkinai/delta-interpolator上公开获取。

数据驱动的字符动画技术依赖于存在正确建立的运动模型，能够描述其丰富的上下文。然而，常用的运动表示通常不能准确地编码运动的完全铰接，或者存在伪影。在这项工作中，我们解决了寻找运动建模的强大姿势表示的根本问题，适用于深色字符动画，可以更好地限制姿势和忠实地捕获与骨骼特征相关的细微差别。我们的表示基于双季度，具有明确定义的操作的数学抽象，它同时编码旋转和位置方向，使得能够围绕根居中的层次结构感知编码。我们证明我们的代表克服了普通的运动伪影，并与其他流行的表现相比评估其性能。我们进行消融研究，以评估可以在学习期间融入的各种损失的影响。利用我们的表示隐含地编码骨架运动属性，我们在包含具有不同比例的数据集上培训一个数据集，而无需将它们重新排列到通用骨架上，这导致待忽略的微妙运动元素。我们表明可以实现光滑和自然的姿势，为迷人的应用铺平道路。

近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型，即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中，我们专注于视频预测的任务，其中给出了从视频中提取的一系列帧，目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后，我们分析发电机中的复发单元，并提出了一种新的复发单元，其根据预测的运动样本来改变其过去的隐藏状态，并改进它以处理DIS闭塞，场景变化和其他复杂行为。我们表明，这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃，从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7，下降到69.2。

生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中，我们探索了学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知歧视器相结合，我们开发了一个GAN框架，该框架仅通过单眼视频进行监督的3D视频。我们表明，我们的方法学习了可分解的3D结构和动作的丰富嵌入，这些结构和动作可以使时空渲染的新视觉效果，同时以与现有3D或视频gan相当的质量产生图像。

我们提出了一个新颖的框架，按需运动产生（ODMO），用于生成现实和多样化的长期3D人体运动序列，该序列仅以具有额外的自定义能力的动作类型为条件。 ODMO在三个公共数据集（HumanAct12，UESTC和MOCAP）上进行评估时，对所有传统运动评估指标的SOTA方法显示了改进。此外，我们提供定性评估和定量指标，这些指标证明了我们框架提供的几种首要的自定义功能，包括模式发现，插值和轨迹自定义。这些功能大大扩大了此类运动产生模型的潜在应用的范围。编码器和解码器体系结构中的创新启用了新颖的按需生成能力：（i）编码器：在低维的潜在空间中利用对比度学习来创建运动序列的层次结构嵌入，不仅是不同动作的代码，类型形成不同的组，但在动作类型中，类似的固有模式（运动样式）聚集在一起的代码，使它们容易发现； （ii）解码器：使用层次解码策略，该策略首先重建运动轨迹，然后用于重建整个运动序列。这样的架构可以有效地控制轨迹控制。我们的代码发布在GitHub页面：https：//github.com/roychowdhuryresearch/odmo