机器侦听中的声音事件检测（SED）需要识别音频文件中的不同声音，并识别音频中特定声音事件的开始和结束时间。 SED在多媒体数据库中发现了在各种应用中的应用，例如音频监控，语音识别和基于上下文的索引和检索数据。然而，在现实生活场景中，来自各种来源的声音很少没有任何干扰噪音或干扰。在本文中，我们在嘈杂的音频数据上测试您只听到一次（Yoho）算法的性能。由您的灵感仅仅看一次（YOLO）算法在计算机视觉中，yoho算法可以匹配数据集上各种最先进的算法的性能，如音乐语音检测数据集，TUT声音事件和城市 - SED数据集，但在较低的推理时间。在本文中，我们探讨了Yoho算法在包含不同声音噪声比（SNR）的噪声的音频文件的语音数据集的性能。 Yoho可以胜过或至少匹配语音数据集纸中的最佳性能SED算法，并在更短的时间内进行推断。

音频分割和声音事件检测是机器聆听中的关键主题，旨在检测声学类别及其各自的边界。它对于音频分析，语音识别，音频索引和音乐信息检索非常有用。近年来，大多数研究文章都采用分类。该技术将音频分为小帧，并在这些帧上单独执行分类。在本文中，我们提出了一种新颖的方法，叫您只听一次（Yoho），该方法受到计算机视觉中普遍采用的Yolo算法的启发。我们将声学边界的检测转换为回归问题，而不是基于框架的分类。这是通过具有单独的输出神经元来检测音频类的存在并预测其起点和终点来完成的。与最先进的卷积复发性神经网络相比，Yoho的F量的相对改善范围从多个数据集中的1％到6％不等，以进行音频分段和声音事件检测。由于Yoho的输出更端到端，并且可以预测的神经元更少，因此推理速度的速度至少比逐个分类快6倍。另外，由于这种方法可以直接预测声学边界，因此后处理和平滑速度约为7倍。

诸如“ uh”或“ um”之类的填充词是人们用来表示他们停下来思考的声音或词。从录音中查找和删除填充单词是媒体编辑中的一项常见和繁琐的任务。自动检测和分类填充单词可以极大地帮助这项任务，但是迄今为止，很少有关于此问题的研究。一个关键原因是缺少带有带注释的填充词的数据集用于模型培训和评估。在这项工作中，我们介绍了一个新颖的语音数据集，PodcastFillers，带有35K注释的填充单词和50k注释，这些声音通常会出现在播客中，例如呼吸，笑声和单词重复。我们提出了一条利用VAD和ASR来检测填充候选物和分类器以区分填充单词类型的管道。我们评估了有关播客填充器的拟议管道，与几个基线相比，并提供了一项详细的消融研究。特别是，我们评估了使用ASR的重要性以及它与类似于关键字发现的无转录方法的比较。我们表明，我们的管道获得了最新的结果，并且利用ASR强烈优于关键字斑点方法。我们公开播放播客，希望我们的工作是未来研究的基准。

声音事件检测（SED）和声学场景分类（ASC）是两项广泛研究的音频任务，构成了声学场景分析研究的重要组成部分。考虑声音事件和声学场景之间的共享信息，共同执行这两个任务是复杂的机器聆听系统的自然部分。在本文中，我们研究了几个空间音频特征在训练执行SED和ASC的关节深神经网络（DNN）模型中的有用性。对包含双耳记录和同步声音事件和声学场景标签的两个不同数据集进行了实验，以分析执行SED和ASC之间的差异。提出的结果表明，使用特定双耳特征，主要是与相变（GCC-PHAT）的广义交叉相关性以及相位差异的罪和余弦，从而在单独和关节任务中具有更好的性能模型，与基线方法相比仅基于logmel能量。

老年人的跌倒检测是一些经过深入研究的问题，其中包括多种拟议的解决方案，包括可穿戴和不可磨损的技术。尽管现有技术的检测率很高，但由于需要佩戴设备和用户隐私问题，因此缺乏目标人群的采用。我们的论文提供了一种新颖的，不可磨损的，不受欢迎的和可扩展的解决方案，用于秋季检测，该解决方案部署在配备麦克风的自主移动机器人上。所提出的方法使用人们在房屋中记录的环境声音输入。我们专门针对浴室环境，因为它很容易跌落，并且在不危害用户隐私的情况下无法部署现有技术。目前的工作开发了一种基于变压器体系结构的解决方案，该解决方案从浴室中获取嘈杂的声音输入，并将其分为秋季/禁止类别，准确性为0.8673。此外，提出的方法可扩展到其他室内环境，除了浴室外，还适合在老年家庭，医院和康复设施中部署，而无需用户佩戴任何设备或不断受到传感器的“观察”。

Synthetic voice and splicing audio clips have been generated to spoof Internet users and artificial intelligence (AI) technologies such as voice authentication. Existing research work treats spoofing countermeasures as a binary classification problem: bonafide vs. spoof. This paper extends the existing Res2Net by involving the recent Conformer block to further exploit the local patterns on acoustic features. Experimental results on ASVspoof 2019 database show that the proposed SE-Res2Net-Conformer architecture is able to improve the spoofing countermeasures performance for the logical access scenario. In addition, this paper also proposes to re-formulate the existing audio splicing detection problem. Instead of identifying the complete splicing segments, it is more useful to detect the boundaries of the spliced segments. Moreover, a deep learning approach can be used to solve the problem, which is different from the previous signal processing techniques.

由生物声监测设备组成的无线声传感器网络运行的专家系统的部署，从声音中识别鸟类物种将使许多生态价值任务自动化，包括对鸟类种群组成的分析或濒危物种的检测在环境感兴趣的地区。由于人工智能的最新进展，可以将这些设备具有准确的音频分类功能，其中深度学习技术出色。但是，使生物声音设备负担得起的一个关键问题是使用小脚印深神经网络，这些神经网络可以嵌入资源和电池约束硬件平台中。因此，这项工作提供了两个重型和大脚印深神经网络（VGG16和RESNET50）和轻量级替代方案MobilenetV2之间的批判性比较分析。我们的实验结果表明，MobileNetV2的平均F1得分低于RESNET50（0.789 vs. 0.834）的5 \％，其性能优于VGG16，其足迹大小近40倍。此外，为了比较模型，我们创建并公开了西部地中海湿地鸟类数据集，其中包括201.6分钟和5,795个音频摘录，摘录了20种特有鸟类的aiguamolls de l'empord \ e empord \`一个自然公园。

基于音频的色情检测可以通过利用不同的光谱特征来实现有效的成人内容过滤。为了改善它，我们根据不同的神经体系结构和声学特征探索色情声音建模。我们发现，经过对数频谱图训练的CNN可以在色情800数据集上实现最佳性能。我们的实验结果还表明，对数MEL频谱图可以为模型识别色情声音提供更好的表示。最后，为了对整个音频波形进行分类，而不是段，我们采用了投票段到原告技术，从而产生最佳的音频级检测结果。

在本文中，我们评估了基于对抗示例的深度学习的AED系统。我们测试多个安全性关键任务的稳健性，实现为CNNS分类器，以及由Google制造的现有第三方嵌套设备，该模型运行自己的黑盒深度学习模型。我们的对抗示例使用由白色和背景噪声制成的音频扰动。这种干扰易于创建，以执行和再现，并且可以访问大量潜在的攻击者，甚至是非技术精明的攻击者。我们表明，对手可以专注于音频对抗性投入，使AED系统分类，即使我们使用少量给定类型的嘈杂干扰，也能实现高成功率。例如，在枪声课堂的情况下，我们在采用少于0.05白噪声水平时达到近100％的成功率。类似于以前通过工作的工作侧重于来自图像域以及语音识别域的对抗示例。然后，我们寻求通过对策提高分类器的鲁棒性。我们雇用了对抗性培训和音频去噪。我们表明，当应用于音频输入时，这些对策可以是分离或组合的，在攻击时，可以成功地产生近50％的近50％。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

该方法不仅挑战了到目前为止在同一趋势的早期实验中使用的一些基本数学技术，而且还为有趣的结果引入了新的范围和新的视野。在该项目中已经优化了物理控制谱图，以及探索它如何处理手头的问题的强烈要求。通过该项目在光线下提出的主要贡献和发展涉及使用更好的数学技术和特定于问题的机器学习方法。在项目中使用频率掩蔽和随机频率时间拉伸等音频数据集的简易数据分析和数据增强，因此在本文中解释。在使用的方法中，还尝试和探索了音频转换原理，实际上，所获得的见解是建设性地使用的项目的后期阶段。使用深度学习原则肯定是其中之一。此外，在本文中，已经提出了潜在的范围和即将到来的时间隧道隧道。虽然所获得的大部分结果是目前的域名，但它们肯定有效地在不同背景的各种不同域中生产新的解决方案。

在许多临床情况下，迫切需要具有自动呼吸声分析能力的可靠，遥远，连续的实时呼吸声监测仪，例如在监测2019年冠状病毒疾病的疾病进展中，以用手持式听觉仪替换常规的听诊。但是，在实际应用中尚未验证强大的计算机呼吸道声音分析算法。 In this study, we developed a lung sound database (HF_Lung_V1) comprising 9,765 audio files of lung sounds (duration of 15 s each), 34,095 inhalation labels, 18,349 exhalation labels, 13,883 continuous adventitious sound (CAS) labels (comprising 8,457 wheeze labels, 686个Stridor标签和4,740个Rhonchi标签）和15,606个不连续的不定声标签（所有crack带）。我们进行了长期短期记忆（LSTM），门控复发单元（GRU），双向LSTM（BILSTM），双向GRU（BIGRU），卷积神经网络（CNN）-LSTM，CNN-GRU，CNN-BILSTM，CNN-BILSTM，CNN-BILSTM，CNN-BILSTM，CNN-GRU，我们进行了基准测试。和CNN-BIGRU模型用于呼气阶段检测和不定声检测。我们还对基于LSTM的模型，单向模型和双向模型以及带有CNN和CNN的模型之间进行了性能比较。结果表明，这些模型在肺部声音分析中表现出足够的性能。在大多数定义任务中，基于GRU的模型在接收器操作特征曲线下的F1分数和区域上优于基于LSTM的模型。此外，所有双向模型的表现都优于其单向对应物。最后，添加CNN提高了肺部声音分析的准确性，尤其是在CAS检测任务中。

Music discovery services let users identify songs from short mobile recordings. These solutions are often based on Audio Fingerprinting, and rely more specifically on the extraction of spectral peaks in order to be robust to a number of distortions. Few works have been done to study the robustness of these algorithms to background noise captured in real environments. In particular, AFP systems still struggle when the signal to noise ratio is low, i.e when the background noise is strong. In this project, we tackle this problematic with Deep Learning. We test a new hybrid strategy which consists of inserting a denoising DL model in front of a peak-based AFP algorithm. We simulate noisy music recordings using a realistic data augmentation pipeline, and train a DL model to denoise them. The denoising model limits the impact of background noise on the AFP system's extracted peaks, improving its robustness to noise. We further propose a novel loss function to adapt the DL model to the considered AFP system, increasing its precision in terms of retrieved spectral peaks. To the best of our knowledge, this hybrid strategy has not been tested before.

Gait has been used in clinical and healthcare applications to assess the physical and cognitive health of older adults. Acoustic based gait detection is a promising approach to collect gait data of older adults passively and non-intrusively. However, there has been limited work in developing acoustic based gait detectors that can operate in noisy polyphonic acoustic scenes of homes and care homes. We attribute this to the lack of good quality gait datasets from the real-world to train a gait detector on. In this paper, we put forward a novel machine learning based filter which can triage gait audio samples suitable for training machine learning models for gait detection. The filter achieves this by eliminating noisy samples at an f(1) score of 0.85 and prioritising gait samples with distinct spectral features and minimal noise. To demonstrate the effectiveness of the filter, we train and evaluate a deep learning model on gait datasets collected from older adults with and without applying the filter. The model registers an increase of 25 points in its f(1) score on unseen real-word gait data when trained with the filtered gait samples. The proposed filter will help automate the task of manual annotation of gait samples for training acoustic based gait detection models for older adults in indoor environments.

声音事件检测（SED）在监控，视频索引等中的广泛应用程序上获得了越来越长的关注。SED中的现有模型主要产生帧级预测，将其转换为序列多标签分类问题。基于帧的模型的一个关键问题是它追求最佳的帧级预测而不是最佳的事件级预测。此外，它需要后处理，无法以端到端的方式培训。本文首先介绍了一维检测变压器（1D-DETR），受到图像对象检测的检测变压器的启发。此外，鉴于SED的特征，音频查询分支和用于微调的一对多匹配策略将模型添加到1D-DETR以形成声音事件检测变压器（SEDT）。据我们所知，Sedt是第一个基于事件和最终的SED模型。实验在城市 - SED数据集和DCES2019任务4数据集上进行，两者都表明席克可以实现竞争性能。

自从几十年前的频谱分析开创性工作以来，已经研究了提取音频和语音特征的方法。最近的努力以开发通用音频表示的雄心为指导。例如，如果深度神经网络在大型音频数据集上进行了培训，则可以提取最佳的嵌入。这项工作扩展了基于自我监督的学习，通过引导，提出各种编码器体系结构，并探索使用不同的预训练数据集的效果。最后，我们提出了一个新颖的培训框架，以提出一个混合音频表示，该框架结合了手工制作和数据驱动的学习音频功能。在HEAR NEURIPS 2021挑战中，对听觉场景分类和时间戳检测任务进行了评估。我们的结果表明，在大多数听到挑战任务中，带有卷积变压器的混合模型都会产生卓越的性能。

The marine ecosystem is changing at an alarming rate, exhibiting biodiversity loss and the migration of tropical species to temperate basins. Monitoring the underwater environments and their inhabitants is of fundamental importance to understand the evolution of these systems and implement safeguard policies. However, assessing and tracking biodiversity is often a complex task, especially in large and uncontrolled environments, such as the oceans. One of the most popular and effective methods for monitoring marine biodiversity is passive acoustics monitoring (PAM), which employs hydrophones to capture underwater sound. Many aquatic animals produce sounds characteristic of their own species; these signals travel efficiently underwater and can be detected even at great distances. Furthermore, modern technologies are becoming more and more convenient and precise, allowing for very accurate and careful data acquisition. To date, audio captured with PAM devices is frequently manually processed by marine biologists and interpreted with traditional signal processing techniques for the detection of animal vocalizations. This is a challenging task, as PAM recordings are often over long periods of time. Moreover, one of the causes of biodiversity loss is sound pollution; in data obtained from regions with loud anthropic noise, it is hard to separate the artificial from the fish sound manually. Nowadays, machine learning and, in particular, deep learning represents the state of the art for processing audio signals. Specifically, sound separation networks are able to identify and separate human voices and musical instruments. In this work, we show that the same techniques can be successfully used to automatically extract fish vocalizations in PAM recordings, opening up the possibility for biodiversity monitoring at a large scale.

使用麦克风阵列的扬声器定位取决于准确的时间延迟估计技术。几十年来，基于与相变的广义跨相关性（GCC-PHAT）的方法已被广泛用于此目的。最近，GCC-PHAT也已用于为神经网络提供输入特征，以消除噪声和混响的影响，但以无噪声条件下的理论保证为代价。我们提出了一种新的方法来扩展GCC-PHAT，其中使用移位模糊的神经网络过滤接收的信号，该神经网络保留信号中包含的时序信息。通过广泛的实验，我们表明我们的模型始终减少不利环境中GCC-PHAT的误差，并保证在理想条件下确切的时间延迟恢复。

呼吸声分类中的问题已在去年的临床科学家和医学研究员团体中获得了良好的关注，以诊断Covid-19疾病。迄今为止，各种模型的人工智能（AI）进入了现实世界，从人类生成的声音等人生成的声音中检测了Covid-19疾病，例如语音/言语，咳嗽和呼吸。实现卷积神经网络（CNN）模型，用于解决基于人工智能（AI）的机器上的许多真实世界问题。在这种情况下，建议并实施一个维度（1D）CNN，以诊断Covid-19的呼吸系统疾病，例如语音，咳嗽和呼吸。应用基于增强的机制来改善Covid-19声音数据集的预处理性能，并使用1D卷积网络自动化Covid-19疾病诊断。此外，使用DDAE（数据去噪自动编码器）技术来产生诸如输入功能的深声特征，而不是采用MFCC（MEL频率跳跃系数）的标准输入，并且它更好地执行比以前的型号的准确性和性能。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.