我们提出了Dance2Music-Gan（D2M-GAN），这是一种新颖的对抗性多模式框架，生成了以舞蹈视频为条件的复杂音乐样品。我们提出的框架将舞蹈视频框架和人体运动作为输入，并学会生成合理伴随相应输入的音乐样本。与大多数现有的有条件音乐的作品不同，它们使用符号音频表示（例如MIDI）生成特定类型的单乐器声音，并且通常依赖于预定义的音乐合成器，在这项工作中，我们以复杂风格（例如，例如，通过使用量化矢量（VQ）音频表示形式，并利用其符号和连续对应物的高抽象能力来利用POP，BREAKING等）。通过在多个数据集上执行广泛的实验，并遵循全面的评估协议，我们评估了建议针对替代方案的生成品质。所达到的定量结果衡量音乐一致性，击败了对应和音乐多样性，证明了我们提出的方法的有效性。最后但并非最不重要的一点是，我们策划了一个充满挑战的野生式Tiktok视频的舞蹈音乐数据集，我们用来进一步证明我们在现实世界中的方法的功效 - 我们希望它能作为起点进行相关的未来研究。

扩散概率模型（DPM）由于其有希望的结果和对跨模式合成的支持，已成为有条件产生的流行方法。条件合成中的一个关键逃亡者是在条件输入和生成的输出之间实现高对应。大多数现有方法通过将先验纳入变异下限中，隐含地学习了这种关系。在这项工作中，我们采用了另一条路线 - 我们通过使用对比度学习来最大化其共同信息来增强输入输出连接。为此，我们引入了有条件的离散对比扩散（CDCD）损失，并设计了两种对比扩散机制，以有效地将其纳入剥离过程中。我们通过将CDCD与传统的变分目标联系起来来制定CDCD。我们证明了我们的方法在三种多种多样的条件合成任务中的评估中的功效：舞蹈到音乐的生成，文本到图像综合和班级调节图像综合。在每个方面，我们达到最新的或更高的合成质量并提高输入输出对应关系。此外，提出的方法改善了扩散模型的收敛性，将所需扩散步骤的数量减少了两个基准的35％以上，从而大大提高了推理速度。

Achieving multiple genres and long-term choreography sequences from given music is a challenging task, due to the lack of a multi-genre dataset. To tackle this problem,we propose a Multi Art Genre Intelligent Choreography Dataset (MagicDance). The data of MagicDance is captured from professional dancers assisted by motion capture technicians. It has a total of 8 hours 3D motioncapture human dances with paired music, and 16 different dance genres. To the best of our knowledge, MagicDance is the 3D dance dataset with the most genres. In addition, we find that the existing two types of methods (generation-based method and synthesis-based method) can only satisfy one of the diversity and duration, but they can complement to some extent. Based on this observation, we also propose a generation-synthesis choreography network (MagicNet), which cascades a Diffusion-based 3D Diverse Dance fragments Generation Network (3DGNet) and a Genre&Coherent aware Retrieval Module (GCRM). The former can generate various dance fragments from only one music clip. The latter is utilized to select the best dance fragment generated by 3DGNet and switch them into a complete dance according to the genre and coherent matching score. Quantitative and qualitative experiments demonstrate the quality of MagicDance, and the state-of-the-art performance of MagicNet.

Previous works (Donahue et al., 2018a;Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.

舞蹈需要熟练的复杂动作，遵循音乐的节奏，音调和音色特征。正式地，在一段音乐上产生的舞蹈可以表达为建模高维连续运动信号的问题，该信号以音频信号为条件。在这项工作中，我们为解决这个问题做出了两项贡献。首先，我们提出了一种新颖的概率自回归体系结构，该体系结构使用多模式变压器编码器以先前的姿势和音乐背景为条件，以正常的流程为标准化姿势。其次，我们介绍了目前最大的3D舞蹈动机数据集，该数据集通过各种运动捕捉技术获得，包括专业和休闲舞者。使用此数据集，我们通过客观指标和一个用户研究将新模型与两个基准进行比较，并表明建模概率分布的能力以及能够通过大型运动和音乐背景进行的能力是必要的产生与音乐相匹配的有趣，多样和现实的舞蹈。

用全球性结构（例如编织）合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中，我们提出了一种音乐驱动的运动综合框架，其产生与输入节拍同步的人类运动的长期序列，并共同形成尊重特定舞蹈类型的全局结构。此外，我们的框架可以实现由音乐内容控制的不同运动，而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统，包括三个层次：姿势，图案和编排。姿势水平由LSTM组件组成，该组件产生时间相干的姿势。图案级别引导一组连续姿势，形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序，并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性，以在各种舞蹈类型上产生自然和一致的运动，控制合成运动的内容，并尊重舞蹈的整体结构。

Current audio-visual separation methods share a standard architecture design where an audio encoder-decoder network is fused with visual encoding features at the encoder bottleneck. This design confounds the learning of multi-modal feature encoding with robust sound decoding for audio separation. To generalize to a new instrument: one must finetune the entire visual and audio network for all musical instruments. We re-formulate visual-sound separation task and propose Instrument as Query (iQuery) with a flexible query expansion mechanism. Our approach ensures cross-modal consistency and cross-instrument disentanglement. We utilize "visually named" queries to initiate the learning of audio queries and use cross-modal attention to remove potential sound source interference at the estimated waveforms. To generalize to a new instrument or event class, drawing inspiration from the text-prompt design, we insert an additional query as an audio prompt while freezing the attention mechanism. Experimental results on three benchmarks demonstrate that our iQuery improves audio-visual sound source separation performance.

This work addresses the problem of generating 3D holistic body motions from human speech. Given a speech recording, we synthesize sequences of 3D body poses, hand gestures, and facial expressions that are realistic and diverse. To achieve this, we first build a high-quality dataset of 3D holistic body meshes with synchronous speech. We then define a novel speech-to-motion generation framework in which the face, body, and hands are modeled separately. The separated modeling stems from the fact that face articulation strongly correlates with human speech, while body poses and hand gestures are less correlated. Specifically, we employ an autoencoder for face motions, and a compositional vector-quantized variational autoencoder (VQ-VAE) for the body and hand motions. The compositional VQ-VAE is key to generating diverse results. Additionally, we propose a cross-conditional autoregressive model that generates body poses and hand gestures, leading to coherent and realistic motions. Extensive experiments and user studies demonstrate that our proposed approach achieves state-of-the-art performance both qualitatively and quantitatively. Our novel dataset and code will be released for research purposes at https://talkshow.is.tue.mpg.de.

我们提出了循环式的舞蹈风格转移系统，该系统将以一种舞蹈方式将现有的运动剪辑转换为另一种舞蹈风格的运动剪辑，同时试图保留舞蹈的运动背景。我们的方法扩展了现有的自行车结构，用于建模音频序列，并集成多模式变压器编码器以说明音乐上下文。我们采用基于序列长度的课程学习来稳定培训。我们的方法捕获了运动框架之间丰富而长期的内部关系，这是运动转移和合成工作中的普遍挑战。我们进一步介绍了在舞蹈运动的背景下衡量转移力量和内容保存的新指标。我们进行了一项广泛的消融研究以及一项人类研究，其中包括30名具有5年或更长时间的舞蹈经验的参与者。结果表明，循环量会以目标样式产生逼真的运动，从而在自然性，传递强度和内容保存上明显优于基线周期。

Generating controllable and editable human motion sequences is a key challenge in 3D Avatar generation. It has been labor-intensive to generate and animate human motion for a long time until learning-based approaches have been developed and applied recently. However, these approaches are still task-specific or modality-specific\cite {ahuja2019language2pose}\cite{ghosh2021synthesis}\cite{ferreira2021learning}\cite{li2021ai}. In this paper, we propose ``UDE", the first unified driving engine that enables generating human motion sequences from natural language or audio sequences (see Fig.~\ref{fig:teaser}). Specifically, UDE consists of the following key components: 1) a motion quantization module based on VQVAE that represents continuous motion sequence as discrete latent code\cite{van2017neural}, 2) a modality-agnostic transformer encoder\cite{vaswani2017attention} that learns to map modality-aware driving signals to a joint space, and 3) a unified token transformer (GPT-like\cite{radford2019language}) network to predict the quantized latent code index in an auto-regressive manner. 4) a diffusion motion decoder that takes as input the motion tokens and decodes them into motion sequences with high diversity. We evaluate our method on HumanML3D\cite{Guo_2022_CVPR} and AIST++\cite{li2021learn} benchmarks, and the experiment results demonstrate our method achieves state-of-the-art performance. Project website: \url{https://github.com/zixiangzhou916/UDE/

快速和用户控制的音乐生成可以实现创作或表演音乐的新颖方法。但是，最先进的音乐生成系统需要大量的数据和计算资源来培训，并且推断很慢。这使它们对于实时交互式使用不切实际。在这项工作中，我们介绍了Musika，Musika是一种音乐发电系统，可以使用单个消费者GPU在数百小时的音乐上进行培训，并且比消费者CPU上有任意长度的音乐的实时生成速度要快得多。我们首先学习具有对抗性自动编码器的光谱图和相位的紧凑型可逆表示，然后在此表示上训练生成性对抗网络（GAN）为特定的音乐领域训练。潜在坐标系可以并行生成任意长的摘录序列，而全局上下文向量使音乐可以在时间上保持风格连贯。我们执行定量评估，以评估生成的样品的质量，并展示钢琴和技术音乐生成的用户控制选项。我们在github.com/marcoppasini/musika上发布源代码和预估计的自动编码器重量，使得可以在几个小时内使用单个GPU的新音乐域中对GAN进行培训。

我们介绍了视觉匹配任务，其中音频剪辑被转换为听起来像是在目标环境中记录的。鉴于目标环境的图像和源音频的波形，目标是重新合成音频，以匹配目标室声音的可见几何形状和材料所建议的。为了解决这一新颖的任务，我们提出了一个跨模式变压器模型，该模型使用视听注意力将视觉属性注入音频并生成真实的音频输出。此外，我们设计了一个自我监督的训练目标，尽管他们缺乏声学上不匹配的音频，但可以从野外网络视频中学习声学匹配。我们证明，我们的方法成功地将人类的言语转化为图像中描绘的各种现实环境，表现优于传统的声学匹配和更严格的监督基线。

Stylegan最近的成功表明，预训练的Stylegan潜在空间对现实的视频生成很有用。但是，由于难以确定stylegan潜在空间的方向和幅度，因此视频中产生的运动通常在语义上没有意义。在本文中，我们提出了一个框架来通过利用多模式（声音图像文本）嵌入空间来生成现实视频。由于声音提供了场景的时间上下文，因此我们的框架学会了生成与声音一致的视频。首先，我们的声音反演模块将音频直接映射到Stylegan潜在空间中。然后，我们结合了基于夹子的多模式嵌入空间，以进一步提供视听关系。最后，提出的帧发电机学会在潜在空间中找到轨迹，该空间与相应的声音相干，并以层次结构方式生成视频。我们为声音引导的视频生成任务提供新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型在视频质量方面优于最新方法。我们进一步显示了几种应用程序，包括图像和视频编辑，以验证我们方法的有效性。

音频条件的舞蹈运动合成图的生成模型音乐特征到舞蹈运动。训练模型将运动模式与音频模式相关联，通常没有明确的人体知识。这种方法取决于一些假设：强烈的音乐舞蹈相关性，受控运动数据和相对简单的姿势和运动。在所有现有的舞蹈运动合成数据集中都可以找到这些特征，并且实际上最近的方法可以取得良好的结果。我们引入了一个新的数据集，旨在挑战这些常见的假设，并编译了一组动态舞蹈序列，显示出复杂的人类姿势。我们专注于具有杂技动作和纠结姿势的脱节。我们从红牛BC One竞赛视频中获取数据。由于舞蹈的复杂性以及多个移动的相机录制设置，因此很难从这些视频中估算人类关键点。我们采用混合标签管道利用深度估计模型以及手动注释，以降低的成本获得高质量的关键点序列。我们的努力生产了支架数据集，该数据集包含3个小时30分钟的密集注释姿势。我们在支撑上测试了最新方法，在复杂序列上评估时显示了它们的局限性。我们的数据集可以很容易地促进舞蹈运动合成。有了复杂的姿势和迅速的动作，模型被迫超越学习方式与理性之间的映射，以更有效地了解身体结构和运动。

人类运动建模对于许多现代图形应用非常重要，这些应用通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接产生以自然语言为条件的人类动作。但是，通过各种文本输入，实现多样化和细粒度的运动产生，仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是第一个基于基于文本模型的基于文本驱动的运动生成框架，该框架证明了现有方法的几种期望属性。 1）概率映射。 MotionDiffuse不是确定性的语言映射，而是通过一系列注入变化的步骤生成动作。 2）现实的综合。 MotionDiffuse在建模复杂的数据分布和生成生动的运动序列方面表现出色。 3）多级操作。 Motion-Diffuse响应有关身体部位的细粒度指示，以及随时间变化的文本提示，任意长度运动合成。我们的实验表明，Motion-Diffuse通过说服文本驱动运动产生和动作条件运动的运动来优于现有的SOTA方法。定性分析进一步证明了MotionDiffuse对全面运动产生的可控性。主页：https：//mingyuan-zhang.github.io/projects/motiondiffuse.html

我们提出了Styletalker，这是一种新颖的音频驱动的会说话的头部生成模型，可以从单个参考图像中综合一个会说话的人的视频，并具有准确的音频同步的唇形，逼真的头姿势和眼睛眨眼。具体而言，通过利用预验证的图像生成器和图像编码器，我们估计了会说话的头视频的潜在代码，这些代码忠实地反映了给定的音频。通过几个新设计的组件使这成为可能：1）一种用于准确唇部同步的对比性唇部同步鉴别剂，2）一种条件顺序的连续变异自动编码器，该差异自动编码器了解从唇部运动中解散的潜在运动空间，以便我们可以独立地操纵运动运动的运动。和唇部运动，同时保留身份。 3）自动回归事先增强，并通过标准化流量来学习复杂的音频到运动多模式潜在空间。配备了这些组件，Styletalker不仅可以在给出另一个运动源视频时以动作控制的方式生成说话的头视频，而且还可以通过从输入音频中推断出现实的动作，以完全由音频驱动的方式生成。通过广泛的实验和用户研究，我们表明我们的模型能够以令人印象深刻的感知质量合成会说话的头部视频，这些视频与输入音频相符，可以准确地唇部同步，这在很大程度上要优于先进的基线。

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

我们考虑了自动生成音乐文本描述的新颖任务。与其他完善的文本生成任务（例如图像标题）相比，富裕的音乐和文本数据集的稀缺性使其成为更具挑战性的任务。在本文中，我们利用众包音乐评论来构建一个新的数据集，并提出一个序列到序列模型以生成音乐的文本描述。更具体地说，我们将扩张的卷积层用作编码器的基本组成部分，基于内存的复发性神经网络作为解码器。为了增强生成文本的真实性和主题，我们进一步建议用歧视者和新的主题评估者微调模型。为了衡量生成的文本的质量，我们还提出了两个新的评估指标，它们比人类评估比传统指标（例如BLEU）更加一致。实验结果验证了我们的模型能够在包含原始音乐的主题和内容信息的同时产生流利而有意义的评论。

不受限制的口红到语音综合旨在从无声的面孔视频中产生相应的演讲，而无需限制头部姿势或词汇。当前的作品主要使用序列到序列模型来解决此问题，无论是自动回归体系结构还是基于流动的非自动回忆架构。但是，这些模型遭受了几个缺点：1）而不是直接生成音频，而是使用两阶段的管道，该管道首先生成MEL-SPECTROGRAM，然后从频谱图中重建音频。这会导致繁琐的部署和由于错误传播引起的语音质量的退化； 2）这些模型使用的音频重建算法限制了推理速度和音频质量，而这些模型的神经声码器不可用，因为它们的输出谱图不够准确； 3）自回旋模型具有很高的推理延迟，而基于流的模型具有很高的内存占用：它们在时间和内存使用方面都没有足够的效率。为了解决这些问题，我们提出了FASTLTs，这是一种非自动回调的端到端模型，可以直接从延迟低的不受约束的会话视频中直接合成高质量的语音音频，并且模型大小相对较小。此外，与广泛使用的3D-CNN视觉前端用于唇部运动编码，我们首次为此任务提出了基于变压器的视觉前端。实验表明，与当前的3秒输入序列上的当前自动回归模型相比，我们的模型可实现音频波形的$ 19.76 \ times $加速，并获得了卓越的音频质量。

我们介绍Audiolm，这是具有长期一致性高质量音频产生的框架。 Audiolm将输入音频映射到一系列离散令牌，并将音频生成作为此表示空间中的语言建模任务。我们展示了现有的音频令牌如何在重建质量和长期结构之间提供不同的权衡，我们提出了一个混合代币化计划来实现这两个目标。也就是说，我们利用在音频中预先训练的蒙版语言模型的离散激活来捕获长期结构和神经音频编解码器产生的离散代码，以实现高质量的合成。通过培训大型原始音频波形，Audiolm学会了在简短的提示下产生自然和连贯的连续性。当接受演讲训练时，没有任何笔录或注释，Audiolm会在句法和语义上产生可行的语音连续性，同时还为看不见的说话者保持说话者身份和韵律。此外，我们演示了我们的方法如何通过产生连贯的钢琴音乐连续性来超越语音，尽管受过训练而没有任何象征性的音乐代表。