许多社交媒体用户更喜欢以视频​​而不是文本的形式消耗内容。但是，为了使内容创建者以高点击率生成视频，需要许多编辑才能将素材与音乐匹配。这员发出了更多适合业余视频制造商的额外挑战。因此，我们提出了一种新的基于关注的VMT（视频音乐变压器），它自动生成来自视频帧的钢琴分数。使用模型生成的音乐还可以防止潜在的版权侵权，这些版权往复使用现有音乐。据我们所知，除了拟议的VMT之外，没有任何工作，旨在为视频撰写音乐。此外，还缺少具有对齐视频和符号音乐的数据集。我们释放了一个由7小时超过7小时的钢琴分数组成的新数据集，在流行音乐视频和MIDI文件之间进行精细对齐。我们对VMT，SEQSEQ模型（我们的基线）和原始钢琴版原声带进行人体评估进行实验。 VMT通过对音乐平滑度和视频相关性的基线实现一致的改进。特别是，通过相关性分数和我们的案例研究，我们的模型已经显示了多模对帧级演员的音乐生成运动的能力。我们的VMT模型以及新数据集具有有希望的研究方向，旨在为视频进行匹配的匹配原声。我们在https://github.com/linchintung/vmt发布了我们的代码

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long pop piano pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.

我们提出了Dance2Music-Gan（D2M-GAN），这是一种新颖的对抗性多模式框架，生成了以舞蹈视频为条件的复杂音乐样品。我们提出的框架将舞蹈视频框架和人体运动作为输入，并学会生成合理伴随相应输入的音乐样本。与大多数现有的有条件音乐的作品不同，它们使用符号音频表示（例如MIDI）生成特定类型的单乐器声音，并且通常依赖于预定义的音乐合成器，在这项工作中，我们以复杂风格（例如，例如，通过使用量化矢量（VQ）音频表示形式，并利用其符号和连续对应物的高抽象能力来利用POP，BREAKING等）。通过在多个数据集上执行广泛的实验，并遵循全面的评估协议，我们评估了建议针对替代方案的生成品质。所达到的定量结果衡量音乐一致性，击败了对应和音乐多样性，证明了我们提出的方法的有效性。最后但并非最不重要的一点是，我们策划了一个充满挑战的野生式Tiktok视频的舞蹈音乐数据集，我们用来进一步证明我们在现实世界中的方法的功效 - 我们希望它能作为起点进行相关的未来研究。

现有的使用变压器模型生成多功能音乐的方法仅限于一小部分乐器或简短的音乐片段。这部分是由于MultiTrack Music的现有表示形式所需的冗长输入序列的内存要求。在这项工作中，我们提出了一个紧凑的表示，该表示可以允许多种仪器，同时保持短序列长度。使用我们提出的表示形式，我们介绍了MultiTrack Music Transformer（MTMT），用于学习多领音乐中的长期依赖性。在主观的听力测试中，我们提出的模型针对两个基线模型实现了无条件生成的竞争质量。我们还表明，我们提出的模型可以生成样品，这些样品的长度是基线模型产生的样品，此外，可以在推理时间的一半中进行样本。此外，我们提出了一项新的措施，以分析音乐自我展示，并表明训练有素的模型学会更少注意与当前音符形成不和谐间隔的注释，但更多地却更多地掌握了与当前相距4N节奏的音符。最后，我们的发现为未来的工作提供了一个新颖的基础，探索了更长形式的多音阶音乐生成并改善音乐的自我吸引力。所有源代码和音频样本均可在https://salu133445.github.io/mtmt/上找到。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

在本文中，我们为音乐驱动的舞蹈运动综合构成了一个新颖的框架，并具有可控的关键姿势约束。与仅基于音乐生成舞蹈运动序列的方法相反，该工作的目标是综合由音乐驱动的高质量舞蹈运动以及用户执行的定制姿势。我们的模型涉及两个用于音乐和运动表示形式的单模式变压器编码器，以及用于舞蹈动作生成的跨模式变压器解码器。跨模式变压器解码器可以通过引入局部邻居位置嵌入来使其合成平滑舞蹈运动序列合成平滑舞蹈运动序列的能力。这种机制使解码器对关键姿势和相应位置更加敏感。我们的舞蹈合成模型通过广泛的实验在定量和定性评估上取得了令人满意的表现，这证明了我们提出的方法的有效性。

现有的语音克隆（VC）任务旨在将段落文本转换为具有参考音频指定的所需语音的语音。这显着提高了人工语音应用的发展。然而，也存在许多情景，这些方案不能被这些VC任务更好地反映，例如电影配音，这需要语音与与电影图一致的情绪。为了填补这个差距，在这项工作中，我们提出了一个名为Visual Voice Cloning（V2C）的新任务，该任务试图将文本段落转换为具有由参考视频指定的参考音频和所需情绪指定的所需语音的语音。为了促进该领域的研究，我们构建数据集，V2C动画，并根据现有的最先进（SOTA）VC技术提出强大的基线。我们的数据集包含10,217个动画电影剪辑，覆盖各种类型的类型（例如，喜剧，幻想）和情感（例如，快乐，悲伤）。我们进一步设计了一组名为MCD-DTW-SL的评估度量，这有助于评估地面真理语音和合成的相似性。广泛的实验结果表明，即使是SOTA VC方法也不能为我们的V2C任务产生令人满意的演讲。我们希望拟议的新任务与建设的数据集和评估度量一起将促进语音克隆领域的研究和更广泛的视野和语言社区。

自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。

在这项工作中，我们提出了一个置换不变的语言模型Symphonynet，作为象征性交响音乐生成的解决方案。我们建议使用基于变压器的自动回归语言模型具有特定的3-D位置嵌入的新型多通道可重复的多磁场（MMR）表示，并模拟音乐序列。为了克服长度溢出在建模超长的交响令牌时，我们还提出了一对经过修改的字节对编码算法（音乐bpe）用于音乐令牌，并引入了一种新颖的线性变压器解码器架构作为骨干。同时，我们通过从输入中掩盖仪器信息来训练解码器将自动编排作为联合任务学习。我们还引入了一个大规模的符号交响数据集，以进行交响曲生成研究的发展。经验结果表明，所提出的方法可以产生连贯，新颖，复杂和和谐的交响曲，作为多轨多训练符号音乐生成的先驱解决方案。

Achieving multiple genres and long-term choreography sequences from given music is a challenging task, due to the lack of a multi-genre dataset. To tackle this problem,we propose a Multi Art Genre Intelligent Choreography Dataset (MagicDance). The data of MagicDance is captured from professional dancers assisted by motion capture technicians. It has a total of 8 hours 3D motioncapture human dances with paired music, and 16 different dance genres. To the best of our knowledge, MagicDance is the 3D dance dataset with the most genres. In addition, we find that the existing two types of methods (generation-based method and synthesis-based method) can only satisfy one of the diversity and duration, but they can complement to some extent. Based on this observation, we also propose a generation-synthesis choreography network (MagicNet), which cascades a Diffusion-based 3D Diverse Dance fragments Generation Network (3DGNet) and a Genre&Coherent aware Retrieval Module (GCRM). The former can generate various dance fragments from only one music clip. The latter is utilized to select the best dance fragment generated by 3DGNet and switch them into a complete dance according to the genre and coherent matching score. Quantitative and qualitative experiments demonstrate the quality of MagicDance, and the state-of-the-art performance of MagicNet.

视频过渡效果被广泛用于视频编辑中，以连接镜头，以创建凝聚力和视觉上吸引人的视频。但是，由于缺乏摄影知识和设计技能，非专业人士选择最佳过渡是一个挑战。在本文中，我们介绍了执行自动视频过渡建议（VTR）的主要工作：给定一系列原始视频镜头和伴侣音频，建议每对相邻拍摄的视频过渡。为了解决此任务，我们使用有关编辑软件的公开视频模板收集了一个大规模的视频过渡数据集。然后，我们将VTR作为从视觉/音频到视频过渡的多模式检索问题，并提出了一个新型的多模式匹配框架，由两个部分组成。首先，我们通过视频过渡分类任务了解视频过渡的嵌入。然后，我们提出了一个模型，以学习从视觉/音频输入到视频过渡的匹配对应关系。具体而言，所提出的模型采用多模式变压器来融合视觉和音频信息，并捕获顺序过渡输出中的上下文提示。通过定量和定性实验，我们清楚地证明了我们方法的有效性。值得注意的是，在综合用户研究中，我们的方法获得了与专业编辑者相比的可比分数，同时通过\ textbf {300 \ scalebox {1.25} {$ \ times $}}提高视频编辑效率。我们希望我们的工作能够激发其他研究人员从事这项新任务。数据集和代码在\ url {https://github.com/acherstyx/autotransition}上公开。

The field of Automatic Music Generation has seen significant progress thanks to the advent of Deep Learning. However, most of these results have been produced by unconditional models, which lack the ability to interact with their users, not allowing them to guide the generative process in meaningful and practical ways. Moreover, synthesizing music that remains coherent across longer timescales while still capturing the local aspects that make it sound ``realistic'' or ``human-like'' is still challenging. This is due to the large computational requirements needed to work with long sequences of data, and also to limitations imposed by the training schemes that are often employed. In this paper, we propose a generative model of symbolic music conditioned by data retrieved from human sentiment. The model is a Transformer-GAN trained with labels that correspond to different configurations of the valence and arousal dimensions that quantitatively represent human affective states. We try to tackle both of the problems above by employing an efficient linear version of Attention and using a Discriminator both as a tool to improve the overall quality of the generated music and its ability to follow the conditioning signals.

我们考虑了自动生成音乐文本描述的新颖任务。与其他完善的文本生成任务（例如图像标题）相比，富裕的音乐和文本数据集的稀缺性使其成为更具挑战性的任务。在本文中，我们利用众包音乐评论来构建一个新的数据集，并提出一个序列到序列模型以生成音乐的文本描述。更具体地说，我们将扩张的卷积层用作编码器的基本组成部分，基于内存的复发性神经网络作为解码器。为了增强生成文本的真实性和主题，我们进一步建议用歧视者和新的主题评估者微调模型。为了衡量生成的文本的质量，我们还提出了两个新的评估指标，它们比人类评估比传统指标（例如BLEU）更加一致。实验结果验证了我们的模型能够在包含原始音乐的主题和内容信息的同时产生流利而有意义的评论。

舞蹈需要熟练的复杂动作，遵循音乐的节奏，音调和音色特征。正式地，在一段音乐上产生的舞蹈可以表达为建模高维连续运动信号的问题，该信号以音频信号为条件。在这项工作中，我们为解决这个问题做出了两项贡献。首先，我们提出了一种新颖的概率自回归体系结构，该体系结构使用多模式变压器编码器以先前的姿势和音乐背景为条件，以正常的流程为标准化姿势。其次，我们介绍了目前最大的3D舞蹈动机数据集，该数据集通过各种运动捕捉技术获得，包括专业和休闲舞者。使用此数据集，我们通过客观指标和一个用户研究将新模型与两个基准进行比较，并表明建模概率分布的能力以及能够通过大型运动和音乐背景进行的能力是必要的产生与音乐相匹配的有趣，多样和现实的舞蹈。

自动音乐转录（AMT），从原始音频推断出音符，是音乐理解核心的具有挑战性的任务。与通常专注于单个扬声器的单词的自动语音识别（ASR）不同，AMT通常需要同时转换多个仪器，同时保留微量间距和定时信息。此外，许多AMT数据集是“低资源”，甚至甚至专家音乐家发现音乐转录困难和耗时。因此，事先工作专注于任务特定的架构，对每个任务的个体仪器量身定制。在这项工作中，通过对低资源自然语言处理（NLP）的序列到序列转移学习的有前途的结果，我们证明了通用变压器模型可以执行多任务AMT，共同转录音乐的任意组合跨几个转录数据集的仪器。我们展示了统一培训框架在一系列数据集中实现了高质量的转录结果，大大提高了低资源仪器（如吉他）的性能，同时为丰富的仪器（如钢琴）保持了强大的性能。最后，通过扩大AMT的范围，我们揭示了更加一致的评估指标和更好的数据集对齐，并为这个新的多任务AMT的新方向提供了强的基线。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

Given a piece of text, a video clip and a reference audio, the movie dubbing (also known as visual voice clone V2C) task aims to generate speeches that match the speaker's emotion presented in the video using the desired speaker voice as reference. V2C is more challenging than conventional text-to-speech tasks as it additionally requires the generated speech to exactly match the varying emotions and speaking speed presented in the video. Unlike previous works, we propose a novel movie dubbing architecture to tackle these problems via hierarchical prosody modelling, which bridges the visual information to corresponding speech prosody from three aspects: lip, face, and scene. Specifically, we align lip movement to the speech duration, and convey facial expression to speech energy and pitch via attention mechanism based on valence and arousal representations inspired by recent psychology findings. Moreover, we design an emotion booster to capture the atmosphere from global video scenes. All these embeddings together are used to generate mel-spectrogram and then convert to speech waves via existing vocoder. Extensive experimental results on the Chem and V2C benchmark datasets demonstrate the favorable performance of the proposed method. The source code and trained models will be released to the public.

配音是重新录制演员对话的后期生产过程，广泛用于电影制作和视频制作。它通常由专业的语音演员手动进行，他用适当的韵律读取行，以及与预先录制的视频同步。在这项工作中，我们提出了神经翻译，第一个神经网络模型来解决新型自动视频配音（AVD）任务：合成与来自文本给定视频同步的人类语音。神经杜布斯是一种多模态文本到语音（TTS）模型，它利用视频中的唇部运动来控制所生成的语音的韵律。此外，为多扬声器设置开发了一种基于图像的扬声器嵌入（ISE）模块，这使得神经Dubber能够根据扬声器的脸部产生具有合理的Timbre的语音。化学讲座的实验单扬声器数据集和LRS2多扬声器数据集显示，神经杜布斯可以在语音质量方面产生与最先进的TTS模型的语音声音。最重要的是，定性和定量评估都表明，神经杜布斯可以通过视频控制综合演讲的韵律，并产生与视频同步的高保真语音。

该项目涉及参加DCASE 2022竞赛（任务6），该竞赛具有两个子任务：（1）自动化音频字幕和（2）基于语言的音频检索。第一个子任务涉及对音频样本的文本描述的生成，而第二个目标是在匹配给定描述的固定数据集中找到音频样本。对于两个子任务，都使用了Clotho数据集。在BLEU1，BLEU2，BLEU3，ROGEL，Meteor，Cider，Spice和Spider评分上评估了这些模型，用于音频字幕，R1，R5，R10和MARP10分数用于音频检索。我们进行了一些实验，以修改这些任务的基线模型。我们用于自动音频字幕的最终体系结构接近基线性能，而我们的基于语言的音频检索模型已超过其对应方。

用全球性结构（例如编织）合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中，我们提出了一种音乐驱动的运动综合框架，其产生与输入节拍同步的人类运动的长期序列，并共同形成尊重特定舞蹈类型的全局结构。此外，我们的框架可以实现由音乐内容控制的不同运动，而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统，包括三个层次：姿势，图案和编排。姿势水平由LSTM组件组成，该组件产生时间相干的姿势。图案级别引导一组连续姿势，形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序，并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性，以在各种舞蹈类型上产生自然和一致的运动，控制合成运动的内容，并尊重舞蹈的整体结构。