音频数据增强是培训深度神经网络以解决音频分类任务的关键步骤。在本文中，我们在Matlab中引入了一个新型音频数据增强库的录音机。我们为RAW音频数据提供了15种不同的增强算法，8用于频谱图。我们有效地实施了几种增强技术，其有用性在文献中被广泛证明。据我们所知，这是最大的Matlab音频数据增强图书馆可自由使用。我们验证了我们在ESC-50数据集上评估它们的算法的效率。可以在https://github.com/lorisnanni/audiogmenter下载工具箱及其文档。

Audio sound recognition and classification is used for many tasks and applications including human voice recognition, music recognition and audio tagging. In this paper we apply Mel Frequency Cepstral Coefficients (MFCC) in combination with a range of machine learning models to identify (Australian) birds from publicly available audio files of their birdsong. We present approaches used for data processing and augmentation and compare the results of various state of the art machine learning models. We achieve an overall accuracy of 91% for the top-5 birds from the 30 selected as the case study. Applying the models to more challenging and diverse audio files comprising 152 bird species, we achieve an accuracy of 58%

Music discovery services let users identify songs from short mobile recordings. These solutions are often based on Audio Fingerprinting, and rely more specifically on the extraction of spectral peaks in order to be robust to a number of distortions. Few works have been done to study the robustness of these algorithms to background noise captured in real environments. In particular, AFP systems still struggle when the signal to noise ratio is low, i.e when the background noise is strong. In this project, we tackle this problematic with Deep Learning. We test a new hybrid strategy which consists of inserting a denoising DL model in front of a peak-based AFP algorithm. We simulate noisy music recordings using a realistic data augmentation pipeline, and train a DL model to denoise them. The denoising model limits the impact of background noise on the AFP system's extracted peaks, improving its robustness to noise. We further propose a novel loss function to adapt the DL model to the considered AFP system, increasing its precision in terms of retrieved spectral peaks. To the best of our knowledge, this hybrid strategy has not been tested before.

随着我们的社会年龄的增长，痴呆症是一个日益严重的问题，检测方法通常是侵入性且昂贵的。最近的深度学习技术可以提供更快的诊断，并显示出令人鼓舞的结果。但是，它们需要大量标记的数据，这些数据不容易用于痴呆检测任务。稀疏数据问题的一个有效解决方案是数据扩展，尽管需要仔细选择确切的方法。迄今为止，尚无对NLP和语音处理的阿尔茨海默氏病（AD）数据集的数据增强的实证研究。在这项工作中，我们研究了针对AD检测任务的数据增强技术，并对文本和音频域的两种模型上的不同方法进行经验评估。我们分别为两个域，SVM和随机森林模型使用基于变压器的模型，分别为文本和音频域。我们使用传统和基于深度学习的方法生成其他样本，并表明数据增强改善了基于文本和音频的模型的性能，并且此类结果可与流行的Adress集合中的最新结果相媲美，具有精心制作的架构和功能。

由生物声监测设备组成的无线声传感器网络运行的专家系统的部署，从声音中识别鸟类物种将使许多生态价值任务自动化，包括对鸟类种群组成的分析或濒危物种的检测在环境感兴趣的地区。由于人工智能的最新进展，可以将这些设备具有准确的音频分类功能，其中深度学习技术出色。但是，使生物声音设备负担得起的一个关键问题是使用小脚印深神经网络，这些神经网络可以嵌入资源和电池约束硬件平台中。因此，这项工作提供了两个重型和大脚印深神经网络（VGG16和RESNET50）和轻量级替代方案MobilenetV2之间的批判性比较分析。我们的实验结果表明，MobileNetV2的平均F1得分低于RESNET50（0.789 vs. 0.834）的5 \％，其性能优于VGG16，其足迹大小近40倍。此外，为了比较模型，我们创建并公开了西部地中海湿地鸟类数据集，其中包括201.6分钟和5,795个音频摘录，摘录了20种特有鸟类的aiguamolls de l'empord \ e empord \`一个自然公园。

尽管已经提出了有效的体系结构和大量用于端到端图像分类任务的增强，并进行了大量研究，但针对音频分类的最新技术仍然依赖于音频信号的众多表示，以及大型体系结构，罚款，罚款 - 从大型数据集中调整。通过利用音频和新颖音频增强的继承的轻质性质，我们能够提出具有强大概括能力的有效端到端网络。在各种声音分类集的实验中，通过在各种环境中实现最先进的结果来证明我们方法的有效性和鲁棒性。公共代码可在：\ href {https://github.com/alibaba-miil/audioclassfication} {此http url} {

注释音乐节拍在繁琐的过程中是很长的。为了打击这个问题，我们为节拍跟踪和下拍估算提出了一种新的自我监督的学习借口任务。这项任务利用SPLEETER，一个音频源分离模型，将歌曲的鼓从其其余的信号分开。第一组信号用作阳性，并通过延长否定，用于对比学习预培训。另一方面，鼓的信号用作锚点。使用此借口任务进行全卷积和复发模型时，学习了一个开始功能。在某些情况下，发现此功能被映射到歌曲中的周期元素。我们发现，当一个节拍跟踪训练集非常小（少于10个示例）时，预先训练的模型随机初始化模型表现优于随机初始化的模型。当不是这种情况时，预先训练导致了一个学习速度，导致模型过度训练集。更一般地说，这项工作定义了音乐自我监督学习领域的新观点。尤其是使用音频源分离作为自我监督的基本分量的作品之一。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

在这项工作中，我们提出了一种基于有条件的WaseStein生成对抗网络的临床音频数据集的新型数据增强方法，该网络具有梯度惩罚（CWGAN-GP），并在日志频谱图上运行。为了验证我们的方法，我们创建了一个临床音频数据集，该数据集在总髋关节置换术（THA）过程中记录在现实世界手术室中，并包含典型的声音，类似于干预的不同阶段。我们证明了所提出的方法从数据集分布中生成现实的类调节样品的能力，并表明使用生成的增强样品训练在分类精度方面优于经典音频增强方法。使用RESNET-18分类器评估了性能，该分类器在使用建议的增强方法的5倍交叉验证实验中显示了平均每类准确性提高1.70％。由于临床数据通常是昂贵的，因此实际的和高质量的数据增强方法的开发对于提高基于学习的算法的鲁棒性和概括能力至关重要，这对于安全至关重要的医学应用尤其重要。因此，提出的数据增强方法是改善基于临床音频的机器学习系统的数据瓶颈的重要一步。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

学龄前评估至关重要，因为它为教师和父母提供了有关儿童成长和成长的关键知识。冠状病毒大流行强调了在线评估学龄前儿童的必要性。这种在线测试需要各种技术，从Web应用程序开发到各种标准（例如语音识别）的各种人工智能模型。由于声学的波动和儿童和成人之间语音频率的差异，因此很难采用自动语音识别（ASR）系统，因为它们是在成年人的声音上预先训练的。此外，培训新模型需要大量数据。为了解决此问题，我们使用具有新的预训练目标的WAV2VEC 2.0模型为认知测试系统构建了ASR，称为随机频率音调（RFP），而我们的新数据集则在无意义的单词（MW）和New DataSet上进行了测试（MW）和快速自动命名（RAN）测试。由于这两个测试的特殊性，我们探索了许多模型，包括卷积神经网络（CNN）和WAV2VEC 2.0模型。我们的新方法在CommonVoice数据集的波斯部分上达到6.45的单词错误率（WER）。此外，我们的新方法在零和少数场景中产生积极的结果。

在本文中，我们评估了基于对抗示例的深度学习的AED系统。我们测试多个安全性关键任务的稳健性，实现为CNNS分类器，以及由Google制造的现有第三方嵌套设备，该模型运行自己的黑盒深度学习模型。我们的对抗示例使用由白色和背景噪声制成的音频扰动。这种干扰易于创建，以执行和再现，并且可以访问大量潜在的攻击者，甚至是非技术精明的攻击者。我们表明，对手可以专注于音频对抗性投入，使AED系统分类，即使我们使用少量给定类型的嘈杂干扰，也能实现高成功率。例如，在枪声课堂的情况下，我们在采用少于0.05白噪声水平时达到近100％的成功率。类似于以前通过工作的工作侧重于来自图像域以及语音识别域的对抗示例。然后，我们寻求通过对策提高分类器的鲁棒性。我们雇用了对抗性培训和音频去噪。我们表明，当应用于音频输入时，这些对策可以是分离或组合的，在攻击时，可以成功地产生近50％的近50％。

In recent years, Speech Emotion Recognition (SER) has been investigated mainly transforming the speech signal into spectrograms that are then classified using Convolutional Neural Networks pretrained on generic images and fine tuned with spectrograms. In this paper, we start from the general idea above and develop a new learning solution for SER, which is based on Compact Convolutional Transformers (CCTs) combined with a speaker embedding. With CCTs, the learning power of Vision Transformers (ViT) is combined with a diminished need for large volume of data as made possible by the convolution. This is important in SER, where large corpora of data are usually not available. The speaker embedding allows the network to extract an identity representation of the speaker, which is then integrated by means of a self-attention mechanism with the features that the CCT extracts from the spectrogram. Overall, the solution is capable of operating in real-time showing promising results in a cross-corpus scenario, where training and test datasets are kept separate. Experiments have been performed on several benchmarks in a cross-corpus setting as rarely used in the literature, with results that are comparable or superior to those obtained with state-of-the-art network architectures. Our code is available at https://github.com/JabuMlDev/Speaker-VGG-CCT.

该方法不仅挑战了到目前为止在同一趋势的早期实验中使用的一些基本数学技术，而且还为有趣的结果引入了新的范围和新的视野。在该项目中已经优化了物理控制谱图，以及探索它如何处理手头的问题的强烈要求。通过该项目在光线下提出的主要贡献和发展涉及使用更好的数学技术和特定于问题的机器学习方法。在项目中使用频率掩蔽和随机频率时间拉伸等音频数据集的简易数据分析和数据增强，因此在本文中解释。在使用的方法中，还尝试和探索了音频转换原理，实际上，所获得的见解是建设性地使用的项目的后期阶段。使用深度学习原则肯定是其中之一。此外，在本文中，已经提出了潜在的范围和即将到来的时间隧道隧道。虽然所获得的大部分结果是目前的域名，但它们肯定有效地在不同背景的各种不同域中生产新的解决方案。

呼吸声分类中的问题已在去年的临床科学家和医学研究员团体中获得了良好的关注，以诊断Covid-19疾病。迄今为止，各种模型的人工智能（AI）进入了现实世界，从人类生成的声音等人生成的声音中检测了Covid-19疾病，例如语音/言语，咳嗽和呼吸。实现卷积神经网络（CNN）模型，用于解决基于人工智能（AI）的机器上的许多真实世界问题。在这种情况下，建议并实施一个维度（1D）CNN，以诊断Covid-19的呼吸系统疾病，例如语音，咳嗽和呼吸。应用基于增强的机制来改善Covid-19声音数据集的预处理性能，并使用1D卷积网络自动化Covid-19疾病诊断。此外，使用DDAE（数据去噪自动编码器）技术来产生诸如输入功能的深声特征，而不是采用MFCC（MEL频率跳跃系数）的标准输入，并且它更好地执行比以前的型号的准确性和性能。

音频分割和声音事件检测是机器聆听中的关键主题，旨在检测声学类别及其各自的边界。它对于音频分析，语音识别，音频索引和音乐信息检索非常有用。近年来，大多数研究文章都采用分类。该技术将音频分为小帧，并在这些帧上单独执行分类。在本文中，我们提出了一种新颖的方法，叫您只听一次（Yoho），该方法受到计算机视觉中普遍采用的Yolo算法的启发。我们将声学边界的检测转换为回归问题，而不是基于框架的分类。这是通过具有单独的输出神经元来检测音频类的存在并预测其起点和终点来完成的。与最先进的卷积复发性神经网络相比，Yoho的F量的相对改善范围从多个数据集中的1％到6％不等，以进行音频分段和声音事件检测。由于Yoho的输出更端到端，并且可以预测的神经元更少，因此推理速度的速度至少比逐个分类快6倍。另外，由于这种方法可以直接预测声学边界，因此后处理和平滑速度约为7倍。

音频标记是一个活跃的研究区，具有广泛的应用。自发布以来，在推进模型性能方面取得了很大进展，主要来自新颖的模型架构和注意力模块。但是，我们发现适当的培训技术对于使用音频构建音频标记模型同样重要，但没有得到他们应得的关注。为了填补差距，在这项工作中，我们呈现PSLA，一系列培训技术，可以明显增强模型准确性，包括想象成预测，平衡采样，数据增强，标签增强，模型聚集和其设计选择。通过使用这些技术培训效率，我们可以分别获得单个型号（具有13.6M参数）和一个集合模型，分别实现Audioset的平均平均精度（MAP）分数为0.444和0.474，优于81米的先前最佳系统0.439参数。此外，我们的型号还在FSD50K上实现了0.567的新型地图。

合成器是一种电子乐器，现在已在现代音乐制作和声音设计中广泛使用。合成器的每个参数配置都会产生独特的音色，可以看作是独特的仪器。估计一组最能恢复声音音色的参数配置的问题是一个重要但复杂的问题，即：合成器参数估计问题。我们提出了一个基于多模式的深度学习管道Sound2syth，以及一个专门设计用于解决此问题的网络结构原始卷积（PDC）。我们的方法不仅实现了SOTA，而且还获得了第一个现实世界中的第一个适用于Dexed合成器（一种流行的FM合成器）。

开发语音技术是对低资源语言的挑战，其中注释和原始语音数据稀疏。马耳他是一种这样的语言。近年来，对马耳他的计算处理有所增加，包括语音技术，但后者的资源仍然稀疏。在本文中，我们考虑提高这些语言的语音识别的数据增强技术，专注于马耳他作为测试用例。我们考虑三种不同类型的数据增强：无监督的培训，多语言培训和合成演讲的使用作为培训数据。目标是确定这些技术或它们的组合，是改善起始点是大约7小时转录语音的语言的语言的最有效。我们的结果表明，在这里研究了三种数据增强技术，导致我们在不使用语言模型的情况下实现15％的绝对增长。

卷积神经网络（CNN）的一个问题是，它们需要大型数据集来获得足够的鲁棒性。在小型数据集上，它们容易过度拟合。已经提出了许多方法来克服CNN的缺点。如果无法轻易收集其他样本，则一种常见的方法是使用增强技术从现有数据中生成更多数据点。在图像分类中，许多增强方法都使用简单的图像操纵算法。在这项工作中，我们通过添加通过组合14种增强方法生成的图像来构建合奏，其中第一次提出了其中三种。这些新型方法基​​于傅立叶变换（FT），ra transform（RT）和离散余弦变换（DCT）。预处理的RESNET50网络在训练集上进行了填充，其中包括从每种增强方法中得出的图像。这些网络和几个融合均在11个基准测试中进行了评估和比较。结果表明，通过组合不同的数据增强方法来产生分类器，这些分类器不仅可以与最新技术竞争，而且经常超过文献中报告的最佳方法，从而在数据级上建立合奏。