Audio sound recognition and classification is used for many tasks and applications including human voice recognition, music recognition and audio tagging. In this paper we apply Mel Frequency Cepstral Coefficients (MFCC) in combination with a range of machine learning models to identify (Australian) birds from publicly available audio files of their birdsong. We present approaches used for data processing and augmentation and compare the results of various state of the art machine learning models. We achieve an overall accuracy of 91% for the top-5 birds from the 30 selected as the case study. Applying the models to more challenging and diverse audio files comprising 152 bird species, we achieve an accuracy of 58%

由生物声监测设备组成的无线声传感器网络运行的专家系统的部署，从声音中识别鸟类物种将使许多生态价值任务自动化，包括对鸟类种群组成的分析或濒危物种的检测在环境感兴趣的地区。由于人工智能的最新进展，可以将这些设备具有准确的音频分类功能，其中深度学习技术出色。但是，使生物声音设备负担得起的一个关键问题是使用小脚印深神经网络，这些神经网络可以嵌入资源和电池约束硬件平台中。因此，这项工作提供了两个重型和大脚印深神经网络（VGG16和RESNET50）和轻量级替代方案MobilenetV2之间的批判性比较分析。我们的实验结果表明，MobileNetV2的平均F1得分低于RESNET50（0.789 vs. 0.834）的5 \％，其性能优于VGG16，其足迹大小近40倍。此外，为了比较模型，我们创建并公开了西部地中海湿地鸟类数据集，其中包括201.6分钟和5,795个音频摘录，摘录了20种特有鸟类的aiguamolls de l'empord \ e empord \`一个自然公园。

为了保护热带森林生物多样性，我们需要能够可靠，便宜地和规模地检测它。通过机器学习方法从被动录制的SoundScapes检测自动化物种是对此目标的有希望的技术，但它受到大型训练数据集的必要性。在婆罗洲的热带森林中使用Soundcapes和通过转移学习创建的卷积神经网络模型（CNN），我们调查I）最低可行训练数据集规模，用于准确预测呼叫类型（'Sonotypes'）和II）的程度数据增强可以克服小型训练数据集的问题。我们发现甚至相对较高的样本尺寸（每个呼叫类型）导致平庸的精度，然而，无论分类学组或呼叫特征如何，数据增强都会显着提高。我们的研究结果表明，即使对于具有许多罕见物种的小型Sountscape的项目，转移学习和数据增强可以使用CNN来分类物种的发声。我们的开源方法有可能使节约计划能够通过在生物多样性的自适应管理中使用Soundscape数据来实现更有证据。

音频数据增强是培训深度神经网络以解决音频分类任务的关键步骤。在本文中，我们在Matlab中引入了一个新型音频数据增强库的录音机。我们为RAW音频数据提供了15种不同的增强算法，8用于频谱图。我们有效地实施了几种增强技术，其有用性在文献中被广泛证明。据我们所知，这是最大的Matlab音频数据增强图书馆可自由使用。我们验证了我们在ESC-50数据集上评估它们的算法的效率。可以在https://github.com/lorisnanni/audiogmenter下载工具箱及其文档。

我们提出了一个新的基准数据集，即Sapsucker Woods 60（SSW60），用于推进视听细颗粒分类的研究。尽管我们的社区在图像上的细粒度视觉分类方面取得了长足的进步，但音频和视频细颗粒分类的对应物相对尚未探索。为了鼓励在这个领域的进步，我们已经仔细构建了SSW60数据集，以使研究人员能够以三种不同的方式对相同的类别进行分类：图像，音频和视频。该数据集涵盖了60种鸟类，由现有数据集以及全新的专家策划音频和视频数据集组成。我们通过使用最先进的变压器方法进行了彻底基准的视听分类性能和模态融合实验。我们的发现表明，视听融合方法的性能要比仅使用基于图像或音频的方法来进行视频分类任务要好。我们还提出了有趣的模态转移实验，这是由SSW60的独特构造所涵盖的三种不同模态所实现的。我们希望SSW60数据集和伴随的基线在这个迷人的地区进行研究。

听到鸟比看到它们要容易得多。但是，它们仍然在自然界中起着至关重要的作用，并且是恶化环境质量和污染的极好指标。机器学习和卷积神经网络的最新进展使我们能够处理连续的音频数据以检测和对鸟类的声音进行分类。该技术可以帮助研究人员监测鸟类种群的状态和趋势和生态系统的生物多样性。我们提出了一个声音检测和分类管道，以分析复杂的音景记录并识别背景中的鸟类。我们的方法从弱标签和很少的数据中学习，声学上可以识别鸟类。我们的解决方案在Kaggle举办的Birdclef 2022挑战赛中获得了807支球队的第18位。

呼吸声分类中的问题已在去年的临床科学家和医学研究员团体中获得了良好的关注，以诊断Covid-19疾病。迄今为止，各种模型的人工智能（AI）进入了现实世界，从人类生成的声音等人生成的声音中检测了Covid-19疾病，例如语音/言语，咳嗽和呼吸。实现卷积神经网络（CNN）模型，用于解决基于人工智能（AI）的机器上的许多真实世界问题。在这种情况下，建议并实施一个维度（1D）CNN，以诊断Covid-19的呼吸系统疾病，例如语音，咳嗽和呼吸。应用基于增强的机制来改善Covid-19声音数据集的预处理性能，并使用1D卷积网络自动化Covid-19疾病诊断。此外，使用DDAE（数据去噪自动编码器）技术来产生诸如输入功能的深声特征，而不是采用MFCC（MEL频率跳跃系数）的标准输入，并且它更好地执行比以前的型号的准确性和性能。

Covid-19大流行是人类的祸害，宣称全世界超过500万人的生活。虽然疫苗正在全世界分布，但表观需要实惠的筛选技术，以便为无法获得传统医学的世界服务。人工智能可以提供利用咳嗽声音作为主要筛选模式的解决方案。本文介绍了多种模型，这些模型在学术文献目前呈现的最大评估数据集上取得了相对尊敬的性能。此外，我们还显示性能随着培训数据规模而增加，表明世界各地的数据收集，以帮助使用非传统方式对抗Covid-19大流行。

基于音频的色情检测可以通过利用不同的光谱特征来实现有效的成人内容过滤。为了改善它，我们根据不同的神经体系结构和声学特征探索色情声音建模。我们发现，经过对数频谱图训练的CNN可以在色情800数据集上实现最佳性能。我们的实验结果还表明，对数MEL频谱图可以为模型识别色情声音提供更好的表示。最后，为了对整个音频波形进行分类，而不是段，我们采用了投票段到原告技术，从而产生最佳的音频级检测结果。

尽管只有几个兴趣类的示例，但很少有声音事件检测是检测声音事件的任务。该框架在生物声学中特别有用，在生物声学中，通常需要注释很长的录音，但是专家注释时间是有限的。本文概述了Dcase 2022 Challenge中包含的第二次发射生物声音事件检测任务的第二版。介绍了任务目标，数据集和基准的详细描述，以及所获得的主要结果以及提交系统的特征。该任务收到了15个不同团队的提交，其中13个得分高于基线。最高的F-评分在评估集中为60％，这对去年的版本有了巨大的进步。高度表现的方法利用了原型网络，转导学习，并解决了所有目标类别的事件长度。此外，通过分析每个子集的结果，我们可以确定系统面临的主要困难，并得出结论，很少有展示的生物声音事件检测仍然是一个开放的挑战。

深度学习（DL）算法在不同领域显示出令人印象深刻的性能。其中，由于一些有趣的模式，在过去的几十年中，音频吸引了许多研究人员 - 尤其是在音频数据的分类中。为了更好地执行音频分类，功能选择和组合起着关键作用，因为它们有可能制造或破坏任何DL模型的性能。为了调查这一角色，我们对具有各种最先进的音频特征的多种尖端DL模型（即卷积神经网络，Extricnet，Mobilenet，Supper Vector Machine和Multi-Pecceptron）的性能进行了广泛的评估。 （即MEL频谱图，MEL频率Cepstral系数和零交叉率）在三个不同的数据集上独立或作为组合（即通过结合）（即免费的口语数据集，音频urdu数据集和Audio Gujarati Digits Digaset数据集） ）。总体而言，结果建议特征选择取决于数据集和模型。但是，特征组合应仅限于单独使用时已经实现良好性能的唯一特征（即主要是MEL频谱图，MEL频率Cepstral系数）。这种功能组合/结合使我们能够胜过以前的最新结果，而与我们选择的DL模型无关。

大多数杂草物种都会通过竞争高价值作物所需的营养而产生对农业生产力的不利影响。手动除草对于大型种植区不实用。已经开展了许多研究，为农业作物制定了自动杂草管理系统。在这个过程中，其中一个主要任务是识别图像中的杂草。但是，杂草的认可是一个具有挑战性的任务。它是因为杂草和作物植物的颜色，纹理和形状类似，可以通过成像条件，当记录图像时的成像条件，地理或天气条件进一步加剧。先进的机器学习技术可用于从图像中识别杂草。在本文中，我们调查了五个最先进的深神经网络，即VGG16，Reset-50，Inception-V3，Inception-Resnet-V2和MobileNetv2，并评估其杂草识别的性能。我们使用了多种实验设置和多个数据集合组合。特别是，我们通过组合几个较小的数据集，通过数据增强构成了一个大型DataSet，缓解了类别不平衡，并在基于深度神经网络的基准测试中使用此数据集。我们通过保留预先训练的权重来调查使用转移学习技术来利用作物和杂草数据集的图像提取特征和微调它们。我们发现VGG16比小规模数据集更好地执行，而ResET-50比其他大型数据集上的其他深网络更好地执行。

双相情感障碍是一种心理健康障碍，导致情绪波动，从令人沮丧到狂热。双相障碍的诊断通常是根据患者访谈进行的，并从患者的护理人员获得的报告。随后，诊断取决于专家的经验，并且可以与其他精神障碍的疾病混淆。双极性障碍诊断中的自动化过程可以帮助提供定量指标，并让患者的更容易观察较长的时间。此外，在Covid-19大流行期间，对遥控和诊断的需求变得尤为重要。在本论文中，我们根据声学，语言和视觉方式的患者录制来创建一种多模态决策系统。该系统培养在双极障碍语料库上。进行综合分析单峰和多模式系统，以及各种融合技术。除了使用单向特征处理整个患者会话外，还研究了剪辑的任务级调查。在多模式融合系统中使用声学，语言和视觉特征，我们实现了64.8％的未加权平均召回得分，这提高了在该数据集上实现的最先进的性能。

音频分割和声音事件检测是机器聆听中的关键主题，旨在检测声学类别及其各自的边界。它对于音频分析，语音识别，音频索引和音乐信息检索非常有用。近年来，大多数研究文章都采用分类。该技术将音频分为小帧，并在这些帧上单独执行分类。在本文中，我们提出了一种新颖的方法，叫您只听一次（Yoho），该方法受到计算机视觉中普遍采用的Yolo算法的启发。我们将声学边界的检测转换为回归问题，而不是基于框架的分类。这是通过具有单独的输出神经元来检测音频类的存在并预测其起点和终点来完成的。与最先进的卷积复发性神经网络相比，Yoho的F量的相对改善范围从多个数据集中的1％到6％不等，以进行音频分段和声音事件检测。由于Yoho的输出更端到端，并且可以预测的神经元更少，因此推理速度的速度至少比逐个分类快6倍。另外，由于这种方法可以直接预测声学边界，因此后处理和平滑速度约为7倍。

机器学习（ML）是指根据大量数据预测有意义的输出或对复杂系统进行分类的计算机算法。 ML应用于各个领域，包括自然科学，工程，太空探索甚至游戏开发。本文的重点是在化学和生物海洋学领域使用机器学习。在预测全球固定氮水平，部分二氧化碳压力和其他化学特性时，ML的应用是一种有前途的工具。机器学习还用于生物海洋学领域，可从各种图像（即显微镜，流车和视频记录器），光谱仪和其他信号处理技术中检测浮游形式。此外，ML使用其声学成功地对哺乳动物进行了分类，在特定的环境中检测到濒临灭绝的哺乳动物和鱼类。最重要的是，使用环境数据，ML被证明是预测缺氧条件和有害藻华事件的有效方法，这是对环境监测的重要测量。此外，机器学习被用来为各种物种构建许多对其他研究人员有用的数据库，而创建新算法将帮助海洋研究界更好地理解海洋的化学和生物学。

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

鲜花在从环境中去除乏味的情况下起着至关重要的作用。开花植物的生命周期涉及授粉，受精，开花，种子形成，分散和发芽。 Honeybees授粉了所有开花植物的75％。环境污染，气候变化，自然景观拆除等等，威胁着自然栖息地，从而不断减少蜜蜂的数量。结果，一些研究人员试图解决这个问题。将声学分类应用于蜂巢声音的记录可能是检测其中的变化的一种方式。在这项研究中，我们在记录的声音上使用深度学习技术，即顺序神经网络，卷积神经网络和经常性的神经网络，以从非季节的声音中分类蜜蜂的声音。此外，我们在一些流行的非深度学习技术中进行了比较研究，即支持向量机，决策树，随机森林和na \“ ive bayes，以及深度学习技术。还在合并的记录中验证了这些技术声音（25-75％的噪音）。

音频标记是一个活跃的研究区，具有广泛的应用。自发布以来，在推进模型性能方面取得了很大进展，主要来自新颖的模型架构和注意力模块。但是，我们发现适当的培训技术对于使用音频构建音频标记模型同样重要，但没有得到他们应得的关注。为了填补差距，在这项工作中，我们呈现PSLA，一系列培训技术，可以明显增强模型准确性，包括想象成预测，平衡采样，数据增强，标签增强，模型聚集和其设计选择。通过使用这些技术培训效率，我们可以分别获得单个型号（具有13.6M参数）和一个集合模型，分别实现Audioset的平均平均精度（MAP）分数为0.444和0.474，优于81米的先前最佳系统0.439参数。此外，我们的型号还在FSD50K上实现了0.567的新型地图。

With big data becoming increasingly available, IoT hardware becoming widely adopted, and AI capabilities becoming more powerful, organizations are continuously investing in sensing. Data coming from sensor networks are currently combined with sensor fusion and AI algorithms to drive innovation in fields such as self-driving cars. Data from these sensors can be utilized in numerous use cases, including alerts in safety systems of urban settings, for events such as gun shots and explosions. Moreover, diverse types of sensors, such as sound sensors, can be utilized in low-light conditions or at locations where a camera is not available. This paper investigates the potential of the utilization of sound-sensor data in an urban context. Technically, we propose a novel approach of classifying sound data using the Wigner-Ville distribution and Convolutional Neural Networks. In this paper, we report on the performance of the approach on open-source datasets. The concept and work presented is based on my doctoral thesis, which was performed as part of the Engineering Doctorate program in Data Science at the University of Eindhoven, in collaboration with the Dutch National Police. Additional work on real-world datasets was performed during the thesis, which are not presented here due to confidentiality.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.