With big data becoming increasingly available, IoT hardware becoming widely adopted, and AI capabilities becoming more powerful, organizations are continuously investing in sensing. Data coming from sensor networks are currently combined with sensor fusion and AI algorithms to drive innovation in fields such as self-driving cars. Data from these sensors can be utilized in numerous use cases, including alerts in safety systems of urban settings, for events such as gun shots and explosions. Moreover, diverse types of sensors, such as sound sensors, can be utilized in low-light conditions or at locations where a camera is not available. This paper investigates the potential of the utilization of sound-sensor data in an urban context. Technically, we propose a novel approach of classifying sound data using the Wigner-Ville distribution and Convolutional Neural Networks. In this paper, we report on the performance of the approach on open-source datasets. The concept and work presented is based on my doctoral thesis, which was performed as part of the Engineering Doctorate program in Data Science at the University of Eindhoven, in collaboration with the Dutch National Police. Additional work on real-world datasets was performed during the thesis, which are not presented here due to confidentiality.

本文在资源受限边缘设备中阐明了声学单音和多音分类的模型。所提出的模型是最先进的快速准确稳定的微小门控复发性神经网络。通过使用较低的参数，通过使用更高的效率和降噪算法的参数，该模型与先前的假设方法相比，该模型改善了性能度量和较低尺寸。该模型实现为声学AI模块，专注于应用声音识别，本地化和部署，如自主汽车的AI系统。此外，包括本地化技术的潜力将新的维度添加到自动车辆中存在的多色分类器，因为它未来城市城市和发展中国家的需求增加。

音频分割和声音事件检测是机器聆听中的关键主题，旨在检测声学类别及其各自的边界。它对于音频分析，语音识别，音频索引和音乐信息检索非常有用。近年来，大多数研究文章都采用分类。该技术将音频分为小帧，并在这些帧上单独执行分类。在本文中，我们提出了一种新颖的方法，叫您只听一次（Yoho），该方法受到计算机视觉中普遍采用的Yolo算法的启发。我们将声学边界的检测转换为回归问题，而不是基于框架的分类。这是通过具有单独的输出神经元来检测音频类的存在并预测其起点和终点来完成的。与最先进的卷积复发性神经网络相比，Yoho的F量的相对改善范围从多个数据集中的1％到6％不等，以进行音频分段和声音事件检测。由于Yoho的输出更端到端，并且可以预测的神经元更少，因此推理速度的速度至少比逐个分类快6倍。另外，由于这种方法可以直接预测声学边界，因此后处理和平滑速度约为7倍。

由生物声监测设备组成的无线声传感器网络运行的专家系统的部署，从声音中识别鸟类物种将使许多生态价值任务自动化，包括对鸟类种群组成的分析或濒危物种的检测在环境感兴趣的地区。由于人工智能的最新进展，可以将这些设备具有准确的音频分类功能，其中深度学习技术出色。但是，使生物声音设备负担得起的一个关键问题是使用小脚印深神经网络，这些神经网络可以嵌入资源和电池约束硬件平台中。因此，这项工作提供了两个重型和大脚印深神经网络（VGG16和RESNET50）和轻量级替代方案MobilenetV2之间的批判性比较分析。我们的实验结果表明，MobileNetV2的平均F1得分低于RESNET50（0.789 vs. 0.834）的5 \％，其性能优于VGG16，其足迹大小近40倍。此外，为了比较模型，我们创建并公开了西部地中海湿地鸟类数据集，其中包括201.6分钟和5,795个音频摘录，摘录了20种特有鸟类的aiguamolls de l'empord \ e empord \`一个自然公园。

听觉对于自动驾驶汽车（AV）至关重要，以更好地感知其周围环境。尽管相机，激光雷达和雷达等AV的视觉传感器有助于看到其周围环境，但AV无法看到这些传感器的视线。另一方面，视线无法阻碍AV的听力感。例如，即使紧急车辆不在AV的视线之内，AV也可以通过音频分类识别紧急车辆的警笛。因此，听觉感知与相机，激光雷达和基于雷达的感知系统互补。本文提出了一个基于深度学习的强大音频分类框架，旨在提高对AV的环境感知。提出的框架利用深度卷积神经网络（CNN）来对不同的音频类进行分类。 Urbansound8K是一个城市环境数据集，用于训练和测试开发的框架。七个音频课程，即空调，汽车喇叭，儿童播放，狗皮，发动机空闲，枪声和警报器，是从urbansound8k数据集中识别的，因为它们与AVS相关。我们的框架可以以97.82％的精度对不同的音频类别进行分类。此外，介绍了所有十个类的音频分类精度，这证明，与现有的音频分类框架相比，在与AV相关的声音的情况下，我们的框架的性能更好。

我们提出了一个新的基准数据集，即Sapsucker Woods 60（SSW60），用于推进视听细颗粒分类的研究。尽管我们的社区在图像上的细粒度视觉分类方面取得了长足的进步，但音频和视频细颗粒分类的对应物相对尚未探索。为了鼓励在这个领域的进步，我们已经仔细构建了SSW60数据集，以使研究人员能够以三种不同的方式对相同的类别进行分类：图像，音频和视频。该数据集涵盖了60种鸟类，由现有数据集以及全新的专家策划音频和视频数据集组成。我们通过使用最先进的变压器方法进行了彻底基准的视听分类性能和模态融合实验。我们的发现表明，视听融合方法的性能要比仅使用基于图像或音频的方法来进行视频分类任务要好。我们还提出了有趣的模态转移实验，这是由SSW60的独特构造所涵盖的三种不同模态所实现的。我们希望SSW60数据集和伴随的基线在这个迷人的地区进行研究。

We consider the question: what can be learnt by looking at and listening to a large number of unlabelled videos? There is a valuable, but so far untapped, source of information contained in the video itself -the correspondence between the visual and the audio streams, and we introduce a novel "Audio-Visual Correspondence" learning task that makes use of this. Training visual and audio networks from scratch, without any additional supervision other than the raw unconstrained videos themselves, is shown to successfully solve this task, and, more interestingly, result in good visual and audio representations. These features set the new state-of-the-art on two sound classification benchmarks, and perform on par with the state-of-the-art selfsupervised approaches on ImageNet classification. We also demonstrate that the network is able to localize objects in both modalities, as well as perform fine-grained recognition tasks.

在为城市声音分类构建深度神经网络之后，这项工作侧重于辅助驾驶员遭受听力损失的敏感应用。因此，清晰的病因证明和解释模型预测包括强的要求。为此，我们使用了两个不同的音频信号表示，即MEL和常数Q谱图，而深度神经网络所做的决定是通过层明智的相关性传播来解释的。同时，在两个特征集中分配高相关性的频率内容，表示非常辨别的信息表征本发明的分类任务。总的来说，我们为理解深层城市声音分类提供了解释的AI框架。

多媒体异常数据集在自动监视中发挥着至关重要的作用。它们具有广泛的应用程序，从异常对象/情况检测到检测危及生命事件的检测。该字段正在接收大量的1.5多年的巨大研究兴趣，因此，已经创建了越来越多地专用于异常动作和对象检测的数据集。点击这些公共异常数据集使研究人员能够生成和比较具有相同输入数据的各种异常检测框架。本文介绍了各种视频，音频以及基于异常检测的应用的综合调查。该调查旨在解决基于异常检测的多媒体公共数据集缺乏全面的比较和分析。此外，它可以帮助研究人员选择最佳可用数据集，用于标记框架。此外，我们讨论了现有数据集和未来方向洞察中开发多峰异常检测数据集的差距。

Audio sound recognition and classification is used for many tasks and applications including human voice recognition, music recognition and audio tagging. In this paper we apply Mel Frequency Cepstral Coefficients (MFCC) in combination with a range of machine learning models to identify (Australian) birds from publicly available audio files of their birdsong. We present approaches used for data processing and augmentation and compare the results of various state of the art machine learning models. We achieve an overall accuracy of 91% for the top-5 birds from the 30 selected as the case study. Applying the models to more challenging and diverse audio files comprising 152 bird species, we achieve an accuracy of 58%

在本文中，我们评估了基于对抗示例的深度学习的AED系统。我们测试多个安全性关键任务的稳健性，实现为CNNS分类器，以及由Google制造的现有第三方嵌套设备，该模型运行自己的黑盒深度学习模型。我们的对抗示例使用由白色和背景噪声制成的音频扰动。这种干扰易于创建，以执行和再现，并且可以访问大量潜在的攻击者，甚至是非技术精明的攻击者。我们表明，对手可以专注于音频对抗性投入，使AED系统分类，即使我们使用少量给定类型的嘈杂干扰，也能实现高成功率。例如，在枪声课堂的情况下，我们在采用少于0.05白噪声水平时达到近100％的成功率。类似于以前通过工作的工作侧重于来自图像域以及语音识别域的对抗示例。然后，我们寻求通过对策提高分类器的鲁棒性。我们雇用了对抗性培训和音频去噪。我们表明，当应用于音频输入时，这些对策可以是分离或组合的，在攻击时，可以成功地产生近50％的近50％。

Accurate speed estimation of road vehicles is important for several reasons. One is speed limit enforcement, which represents a crucial tool in decreasing traffic accidents and fatalities. Compared with other research areas and domains, the number of available datasets for vehicle speed estimation is still very limited. We present a dataset of on-road audio-video recordings of single vehicles passing by a camera at known speeds, maintained stable by the on-board cruise control. The dataset contains thirteen vehicles, selected to be as diverse as possible in terms of manufacturer, production year, engine type, power and transmission, resulting in a total of $ 400 $ annotated audio-video recordings. The dataset is fully available and intended as a public benchmark to facilitate research in audio-video vehicle speed estimation. In addition to the dataset, we propose a cross-validation strategy which can be used in a machine learning model for vehicle speed estimation. Two approaches to training-validation split of the dataset are proposed.

该方法不仅挑战了到目前为止在同一趋势的早期实验中使用的一些基本数学技术，而且还为有趣的结果引入了新的范围和新的视野。在该项目中已经优化了物理控制谱图，以及探索它如何处理手头的问题的强烈要求。通过该项目在光线下提出的主要贡献和发展涉及使用更好的数学技术和特定于问题的机器学习方法。在项目中使用频率掩蔽和随机频率时间拉伸等音频数据集的简易数据分析和数据增强，因此在本文中解释。在使用的方法中，还尝试和探索了音频转换原理，实际上，所获得的见解是建设性地使用的项目的后期阶段。使用深度学习原则肯定是其中之一。此外，在本文中，已经提出了潜在的范围和即将到来的时间隧道隧道。虽然所获得的大部分结果是目前的域名，但它们肯定有效地在不同背景的各种不同域中生产新的解决方案。

随着最近自动驾驶的进步，语音控制系统越来越多地被用作人车相互作用方法。该技术使驱动程序能够使用语音命令来控制车辆，并将在高级驾驶员辅助系统（ADA）中使用。前工作表明，Siri，Alexa和Cortana非常容易受到听不及的指挥攻击。这可以扩展到现实世界应用中的ADA，并且由于麦克风非线性，难以检测这种听不到的指挥威胁。在本文中，我们旨在通过使用相机视图来开发更实用的解决方案，以防御ADA通过多传感器检测其环境的声明命令攻击。为此，我们提出了一种新的多模式深度学习分类系统，以防御听不及的指挥攻击。我们的实验结果证实了建议的防御方法的可行性，最佳分类精度达到89.2％。代码是在https://github.com/itseg-mq/sensor-fusion-against-voiceCommand-attacks上获得的。

音频数据增强是培训深度神经网络以解决音频分类任务的关键步骤。在本文中，我们在Matlab中引入了一个新型音频数据增强库的录音机。我们为RAW音频数据提供了15种不同的增强算法，8用于频谱图。我们有效地实施了几种增强技术，其有用性在文献中被广泛证明。据我们所知，这是最大的Matlab音频数据增强图书馆可自由使用。我们验证了我们在ESC-50数据集上评估它们的算法的效率。可以在https://github.com/lorisnanni/audiogmenter下载工具箱及其文档。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

注释音乐节拍在繁琐的过程中是很长的。为了打击这个问题，我们为节拍跟踪和下拍估算提出了一种新的自我监督的学习借口任务。这项任务利用SPLEETER，一个音频源分离模型，将歌曲的鼓从其其余的信号分开。第一组信号用作阳性，并通过延长否定，用于对比学习预培训。另一方面，鼓的信号用作锚点。使用此借口任务进行全卷积和复发模型时，学习了一个开始功能。在某些情况下，发现此功能被映射到歌曲中的周期元素。我们发现，当一个节拍跟踪训练集非常小（少于10个示例）时，预先训练的模型随机初始化模型表现优于随机初始化的模型。当不是这种情况时，预先训练导致了一个学习速度，导致模型过度训练集。更一般地说，这项工作定义了音乐自我监督学习领域的新观点。尤其是使用音频源分离作为自我监督的基本分量的作品之一。

自动检测飞行无人机是一个关键问题，其存在（特别是未经授权）可以造成风险的情况或损害安全性。在这里，我们设计和评估了多传感器无人机检测系统。结合常见的摄像机和麦克风传感器，我们探索了热红外摄像机的使用，指出是一种可行且有希望的解决方案，在相关文献中几乎没有解决。我们的解决方案还集成了鱼眼相机，以监视天空的更大部分，并将其他摄像机转向感兴趣的对象。传感溶液与ADS-B接收器，GPS接收器和雷达模块相辅相成，尽管由于其有限的检测范围，后者未包含在我们的最终部署中。即使此处使用的摄像机的分辨率较低，热摄像机也被证明是与摄像机一样好的可行解决方案。我们作品的另外两个新颖性是创建一个新的公共数据集的多传感器注释数据，该数据与现有的类别相比扩大了类的数量，以及对探测器性能的研究作为传感器到传感器的函数的研究目标距离。还探索了传感器融合，表明可以以这种方式使系统更强大，从而减轻对单个传感器的虚假检测

呼吸声分类中的问题已在去年的临床科学家和医学研究员团体中获得了良好的关注，以诊断Covid-19疾病。迄今为止，各种模型的人工智能（AI）进入了现实世界，从人类生成的声音等人生成的声音中检测了Covid-19疾病，例如语音/言语，咳嗽和呼吸。实现卷积神经网络（CNN）模型，用于解决基于人工智能（AI）的机器上的许多真实世界问题。在这种情况下，建议并实施一个维度（1D）CNN，以诊断Covid-19的呼吸系统疾病，例如语音，咳嗽和呼吸。应用基于增强的机制来改善Covid-19声音数据集的预处理性能，并使用1D卷积网络自动化Covid-19疾病诊断。此外，使用DDAE（数据去噪自动编码器）技术来产生诸如输入功能的深声特征，而不是采用MFCC（MEL频率跳跃系数）的标准输入，并且它更好地执行比以前的型号的准确性和性能。

古本（Guzheng）是一种具有多种演奏技巧的传统中国乐器。乐器演奏技术（IPT）在音乐表演中起着重要作用。但是，大多数现有的IPT检测作品显示出可变长度音频的效率低下，并且在概括方面没有保证，因为它们依靠单个声音库进行训练和测试。在这项研究中，我们建议使用可应用于可变长度音频的完全卷积网络提出了一个端到端的古兴游戏检测系统。由于每种古季的演奏技术都应用于音符，因此对专用的发作探测器进行了训练，可以将音频分为几个音符，并将其预测与框架IPT的预测融合在一起。在融合过程中，我们在每个音符内部添加IPT预测框架，并在每个音符中获得最高概率的IPT作为该注释的最终输出。我们创建了一个来自多个声音银行的名为GZ_ISOTECH的新数据集，并创建了Guzheng性能分析的现实世界录制。我们的方法在框架级准确性和80.76％的笔记级F1得分方面达到了87.97％，超过了现有的作品，这表明我们提出的方法在IPT检测中的有效性。