符号音乐分割是将符号旋律分为较小有意义的群体（例如旋律短语）的过程。我们提出了一种无监督的方法来分割符号音乐。提出的模型基于时间预测误差模型的合奏。在训练过程中，每个模型都预测了下一个令牌，以识别音乐短语变化。在测试时，我们执行峰值检测算法以选择候选段。最后，我们汇总了参与合奏的每个模型以预测最终分割的预测。结果表明，在考虑F-SCORE和R-VALUE时，建议的方法在无监督的设置下达到了Essen Folksong数据集的最先进性能。我们还提供消融研究，以更好地评估每个模型组件对最终结果的贡献。正如预期的那样，提出的方法不如监督环境，这为未来的研究提供了改善的空间，考虑到无监督和监督方法之间的差距。

音乐包含超出节拍和措施的层次结构。尽管层次结构注释有助于音乐信息检索和计算机音乐学，但在当前的数字音乐数据库中，这种注释很少。在本文中，我们探讨了一种数据驱动的方法，以自动从分数中提取分层的度量结构。我们提出了一个具有时间卷积网络条件随机字段（TCN-CRF）体系结构的新模型。给定符号音乐得分，我们的模型以良好的形式采用任意数量的声音，并预测了从偏低级别到截面级别的4级层次级别结构。我们还使用RWC-POP MIDI文件来注释数据集，以促进培​​训和评估。我们通过实验表明，在不同的编排设置下，提出的方法的性能优于基于规则的方法。我们还对模型预测进行了一些简单的音乐分析。所有演示，数据集和预培训模型均在GitHub上公开可用。

音乐作品结构的分析是一项任务，对人工智能仍然是一个挑战，特别是在深度学习领域。它需要先前识别音乐件的结构范围。最近通过无监督的方法和\ Texit {端到端}技术研究了这种结构边界分析，例如使用熔融缩放的对数级阶段特征（MLS），自相似性矩阵（SSM）等卷积神经网络（CNN）或自我相似性滞后矩阵（SSLM）作为输入和用人的注释培训。已发布几项研究分为无监督和\ yexit {端到端}方法，其中使用不同的距离度量和音频特性以不同方式进行预处理，因此通过计算模型输入的广义预处理方法是丢失的。这项工作的目的是通过比较来自不同池策略，距离度量和音频特性的输入来建立预处理这些输入的一般方法，也考虑到计算时间来获得它们。我们还建立了要交付给CNN的最有效的投入结合，以便建立最有效的方法来提取音乐件结构的限制。通过对输入矩阵和池策略的充分组合，我们获得了0.411的测量精度$ 0.411优于在相同条件下获得的目前。

实时音乐伴奏的生成在音乐行业（例如音乐教育和现场表演）中具有广泛的应用。但是，自动实时音乐伴奏的产生仍在研究中，并且经常在逻辑延迟和暴露偏见之间取决于权衡。在本文中，我们提出了Song Driver，这是一种无逻辑延迟或暴露偏见的实时音乐伴奏系统。具体而言，Songdriver将一个伴奏的生成任务分为两个阶段：1）安排阶段，其中变压器模型首先安排了和弦，以实时进行输入旋律，并在下一阶段加速了和弦，而不是播放它们。 2）预测阶段，其中CRF模型基于先前缓存的和弦生成了即将到来的旋律的可播放的多轨伴奏。通过这种两相策略，歌手直接生成即将到来的旋律的伴奏，从而达到了零逻辑延迟。此外，在预测时间步的和弦时，歌手是指第一阶段的缓存和弦，而不是其先前的预测，这避免了暴露偏见问题。由于输入长度通常在实时条件下受到限制，因此另一个潜在的问题是长期顺序信息的丢失。为了弥补这一缺点，我们在当前时间步骤作为全球信息之前从长期音乐作品中提取了四个音乐功能。在实验中，我们在一些开源数据集上训练歌手，以及由中国风格的现代流行音乐得分构建的原始\```````'''aisong数据集。结果表明，歌手在客观和主观指标上均优于现有的SOTA（最先进）模型，同时大大降低了物理潜伏期。

长期以来，流行音乐的一代一直是音乐家和科学家的吸引力。但是，以令人满意的结构自动编写流行音乐仍然是一个具有挑战性的问题。在本文中，我们建议利用和谐学习的学习来获得结构增强的流行音乐。一方面，和谐，和弦的参与者之一代表了多个音符的谐波集，该音符与音乐的空间结构紧密整合在一起。另一方面，另一个和谐，和弦进步的参与者通常伴随音乐的发展，从而促进了音乐的时间结构。此外，当和弦演变成和弦发展时，质地和形式可以由和谐自然地桥接，这有助于两种结构的共同学习。此外，我们提出了和谐感知的等级音乐变压器（帽子），可以从音乐中适应结构，并使音乐令牌在层次上进行层次相互作用，以增强多层音乐元素的结构。实验结果表明，与现有方法相比，HAT对结构有更好的了解，并且还可以提高产生的音乐的质量，尤其是形式和质地。

创造像音乐这样的复杂艺术作品需要深刻的创造力。随着深度学习和强大模型（例如变形金刚）的最新进展，自动音乐生成取得了巨大进展。在伴奏的生成环境中，在歌曲中的适当位置创建一个连贯的鼓模式，即使对于经验丰富的鼓手来说，在歌曲中的适当位置也是一项艰巨的任务。鼓节拍倾向于通过填充或即兴表演的节遵循重复的模式。在这项工作中，我们解决了鼓模式产生的任务，该任务是根据四种旋律乐器演奏的音乐来解决的：钢琴，吉他，贝斯和弦乐。我们将变压器序列用于序列模型来生成在旋律伴奏下进行的基本鼓模式，以发现即兴创作在很大程度上不存在，这可能归因于其在训练数据中的预期相对较低的表示。我们提出了一种新颖的功能，以捕获相对于其邻居的标准中即兴创作的程度。我们训练一个模型，以预测旋律伴奏曲目的即兴位置。最后，我们使用一种小说的伯特（Bert）启发的填充体系结构，以学习鼓和旋律的结构，以实现即兴音乐的填充元素。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

现有的使用变压器模型生成多功能音乐的方法仅限于一小部分乐器或简短的音乐片段。这部分是由于MultiTrack Music的现有表示形式所需的冗长输入序列的内存要求。在这项工作中，我们提出了一个紧凑的表示，该表示可以允许多种仪器，同时保持短序列长度。使用我们提出的表示形式，我们介绍了MultiTrack Music Transformer（MTMT），用于学习多领音乐中的长期依赖性。在主观的听力测试中，我们提出的模型针对两个基线模型实现了无条件生成的竞争质量。我们还表明，我们提出的模型可以生成样品，这些样品的长度是基线模型产生的样品，此外，可以在推理时间的一半中进行样本。此外，我们提出了一项新的措施，以分析音乐自我展示，并表明训练有素的模型学会更少注意与当前音符形成不和谐间隔的注释，但更多地却更多地掌握了与当前相距4N节奏的音符。最后，我们的发现为未来的工作提供了一个新颖的基础，探索了更长形式的多音阶音乐生成并改善音乐的自我吸引力。所有源代码和音频样本均可在https://salu133445.github.io/mtmt/上找到。

确保适当的标点符号和字母外壳是朝向应用复杂的自然语言处理算法的关键预处理步骤。这对于缺少标点符号和壳体的文本源，例如自动语音识别系统的原始输出。此外，简短的短信和微博的平台提供不可靠且经常错误的标点符号和套管。本调查概述了历史和最先进的技术，用于恢复标点符号和纠正单词套管。此外，突出了当前的挑战和研究方向。

自动音乐转录（AMT），从原始音频推断出音符，是音乐理解核心的具有挑战性的任务。与通常专注于单个扬声器的单词的自动语音识别（ASR）不同，AMT通常需要同时转换多个仪器，同时保留微量间距和定时信息。此外，许多AMT数据集是“低资源”，甚至甚至专家音乐家发现音乐转录困难和耗时。因此，事先工作专注于任务特定的架构，对每个任务的个体仪器量身定制。在这项工作中，通过对低资源自然语言处理（NLP）的序列到序列转移学习的有前途的结果，我们证明了通用变压器模型可以执行多任务AMT，共同转录音乐的任意组合跨几个转录数据集的仪器。我们展示了统一培训框架在一系列数据集中实现了高质量的转录结果，大大提高了低资源仪器（如吉他）的性能，同时为丰富的仪器（如钢琴）保持了强大的性能。最后，通过扩大AMT的范围，我们揭示了更加一致的评估指标和更好的数据集对齐，并为这个新的多任务AMT的新方向提供了强的基线。

我们可以根据流行歌曲的音频自动推导钢琴伴奏的分数吗？这是我们在本文中解决的音频到符号排列问题。一个良好的安排模型不仅要考虑音频内容，还要先前了解钢琴组成（使得生成“听起来像”音频且同时保持音乐性。）到目前为止，我们贡献了跨模型表示学习模型，其中1）从音频提取和弦和旋律信息，2）从音频和损坏的地面真理安排中了解纹理表示。我们进一步介绍了定制的培训策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后部减少到标准的正态分布，并且只需要音频进行推断。实验表明，我们的模型捕获了主要音频信息和优于代质量的基线。

最近已显示ASR最近取得了出色的性能。但是，他们中的大多数都依靠大量的配对数据，这对于全球低资源语言是不可行的。本文研究了如何直接从未配对的电话序列和语音话语中学习。我们设计了两个阶段的迭代框架。 GAN培训在第一阶段被采用，以找到未配对的语音和电话序列之间的映射关系。在第二阶段，引入了另一个HMM模型以从发电机的输出中训练，从而提高了性能，并为下一次迭代提供了更好的细分。在实验中，我们首先研究模型设计的不同选择。然后，我们将框架与不同类型的基准进行比较：（i）受监督的方法（ii）基于声学单元发现的方法（III）方法从未配对的数据中学习。我们的框架的表现始终如一，比所有基于TIMIT数据集从未配对数据中学习的所有声学单元发现方法和以前的方法更好。

即使具有像变形金刚这样的强序模型，使用远程音乐结构产生表现力的钢琴表演仍然具有挑战性。同时，构成结构良好的旋律或铅片（Melody + Chords）的方法，即更简单的音乐形式，获得了更大的成功。在观察上面的情况下，我们设计了一个基于两阶段变压器的框架，该框架首先构成铅片，然后用伴奏和表达触摸来修饰它。这种分解还可以预处理非钢琴数据。我们的客观和主观实验表明，构成和装饰会缩小当前最新状态和真实表演之间的结构性差异，并改善了其他音乐方面，例如丰富性和连贯性。

The potential for agents, whether embodied or software, to learn by observing other agents performing procedures involving objects and actions is rich. Current research on automatic procedure learning heavily relies on action labels or video subtitles, even during the evaluation phase, which makes them infeasible in real-world scenarios. This leads to our question: can the human-consensus structure of a procedure be learned from a large set of long, unconstrained videos (e.g., instructional videos from YouTube) with only visual evidence? To answer this question, we introduce the problem of procedure segmentation-to segment a video procedure into category-independent procedure segments. Given that no large-scale dataset is available for this problem, we collect a large-scale procedure segmentation dataset with procedure segments temporally localized and described; we use cooking videos and name the dataset YouCook2. We propose a segment-level recurrent network for generating procedure segments by modeling the dependencies across segments. The generated segments can be used as pre-processing for other tasks, such as dense video captioning and event parsing. We show in our experiments that the proposed model outperforms competitive baselines in procedure segmentation.

参与者反复产生音节的Diadochokinetic语音任务（DDK）通常用作评估语音运动障碍的一部分。这些研究依赖于时间密集型，主观的手动分析，并且仅提供粗略的语音图片。本文介绍了两个深度神经网络模型，这些模型会自动从未注释，未转录的语音中分割辅音和元音。两种模型都在原始波形上工作，并使用卷积层进行特征提取。第一个模型基于LSTM分类器，然后是完全连接的层，而第二个模型则添加了更多的卷积层，然后是完全连接的层。这些模型预测的这些分割用于获得语音速率和声音持续时间的度量。年轻健康个体数据集的结果表明，我们的LSTM模型的表现优于当前的最新系统，并且与受过训练的人类注释相当。此外，在对帕金森氏病数据集的看不见的老年人进行评估时，LSTM模型还与受过训练的人类注释者相当。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

声带煎炸或吱吱作响的声音是指以不规则的发光开口和低音为特征的语音质量。它以各种语言发生，并且在美国英语中很普遍，不仅可以标记词组结局，还用于社会语言因素和影响。由于其不规则的周期性，吱吱作响的声音挑战自动语音处理和识别系统，尤其是对于经常使用吱吱作响的语言。本文提出了一个深度学习模型，以检测流利的语音中的吱吱作响的声音。该模型由编码器和经过训练的分类器组成。编码器采用原始波形，并使用卷积神经网络学习表示。分类器被实现为多头完全连接的网络，该网络训练有素，可检测吱吱作响的声音，发声和音调，最后两个用于完善吱吱作响的预测。该模型经过对美国英语说话者的言语的培训和测试，并由训练有素的语音家注释。我们使用两个编码器评估了系统的性能：一个是为任务量身定制的，另一个是基于最新的无监督表示。结果表明，与看不见的数据相比，我们表现最佳的系统的回忆和F1得分有所改善。

在本文中，我们介绍了联合主义者，这是一种能够感知的多仪器框架，能够转录，识别和识别和将多种乐器与音频剪辑分开。联合主义者由调节其他模块的仪器识别模块组成：输出仪器特异性钢琴卷的转录模块以及利用仪器信息和转录结果的源分离模块。仪器条件设计用于明确的多仪器功能，而转录和源分离模块之间的连接是为了更好地转录性能。我们具有挑战性的问题表述使该模型在现实世界中非常有用，因为现代流行音乐通常由多种乐器组成。但是，它的新颖性需要关于如何评估这种模型的新观点。在实验过程中，我们从各个方面评估了模型，为多仪器转录提供了新的评估观点。我们还认为，转录模型可以用作其他音乐分析任务的预处理模块。在几个下游任务的实验中，我们的转录模型提供的符号表示有助于解决降低检测，和弦识别和关键估计的频谱图。

古本（Guzheng）是一种具有多种演奏技巧的传统中国乐器。乐器演奏技术（IPT）在音乐表演中起着重要作用。但是，大多数现有的IPT检测作品显示出可变长度音频的效率低下，并且在概括方面没有保证，因为它们依靠单个声音库进行训练和测试。在这项研究中，我们建议使用可应用于可变长度音频的完全卷积网络提出了一个端到端的古兴游戏检测系统。由于每种古季的演奏技术都应用于音符，因此对专用的发作探测器进行了训练，可以将音频分为几个音符，并将其预测与框架IPT的预测融合在一起。在融合过程中，我们在每个音符内部添加IPT预测框架，并在每个音符中获得最高概率的IPT作为该注释的最终输出。我们创建了一个来自多个声音银行的名为GZ_ISOTECH的新数据集，并创建了Guzheng性能分析的现实世界录制。我们的方法在框架级准确性和80.76％的笔记级F1得分方面达到了87.97％，超过了现有的作品，这表明我们提出的方法在IPT检测中的有效性。

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long pop piano pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.