宽带音频波形评估网络（Wawenets）是直接在宽带音频波形上运行的卷积神经网络，以便对这些波形进行评估。在目前的工作中，这些评估赋予了电信语音的素质（例如嘈杂，清晰度，整体语音质量）。 Wawenets是无引用网络，因为它们不需要他们评估的波形的``参考''（原始或未经证实的）版本。我们最初的Wawenet出版物引入了四个Wawenets，并模拟了已建立的全参考语音质量或清晰度估计算法的输出。我们已经更新了Wawenet架构，以提高效率和有效性。在这里，我们提出了一个密切跟踪七个不同质量和可理解性值的单一Wawenet。我们创建了第二个网络，该网络还跟踪四个主观语音质量维度。我们提供第三个网络，专注于公正的质量分数并达到很高的共识。这项工作用13种语言利用了334小时的演讲，超过200万个全参考目标值和超过93,000个主观意见分数。我们还解释了Wawenets的操作，并使用信号处理的语言确定其操作的关键：Relus从战略上将光谱信息从非DC组件移动到DC组件中。 96输出信号的直流值在96-D潜在空间中定义了一个向量，然后将该向量映射到输入波形的质量或清晰度值。

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

我们研究了在不利环境中学习强大声学模型的问题，其特征是训练和测试条件之间存在显着不匹配。这个问题对于需要在看不见的环境中表现良好的语音识别系统的部署至关重要。首先，我们从理论上将数据增强表征为笼子风险最小化的实例，该实例旨在通过替换在输入空间上定义经验密度的三角洲函数来改善培训期间的风险估计，并具有近似值的近似值。培训样品。更具体地说，我们假设可以使用高斯人的混合物来近似以训练样品为中心的当地社区，并从理论上证明这可以将强大的电感偏置纳入学习过程。然后，我们通过数据增强方案隐式地指定各个混合物组件，旨在解决声学模型中伪造相关性的常见来源。为了避免由于信息丢失而引起的鲁棒性的潜在混杂影响，这与标准特征提取技术（例如Fbank和MFCC功能）有关，我们重点关注基于波形的设置。我们的经验结果表明，该方法可以推广到看不见的噪声条件，与使用标准风险最小化原则进行训练相比，分布外概括的相对改善150％。此外，结果证明了相对于使用旨在匹配测试话语特征的训练样本的模型，相对于模型的竞争性能。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

Music discovery services let users identify songs from short mobile recordings. These solutions are often based on Audio Fingerprinting, and rely more specifically on the extraction of spectral peaks in order to be robust to a number of distortions. Few works have been done to study the robustness of these algorithms to background noise captured in real environments. In particular, AFP systems still struggle when the signal to noise ratio is low, i.e when the background noise is strong. In this project, we tackle this problematic with Deep Learning. We test a new hybrid strategy which consists of inserting a denoising DL model in front of a peak-based AFP algorithm. We simulate noisy music recordings using a realistic data augmentation pipeline, and train a DL model to denoise them. The denoising model limits the impact of background noise on the AFP system's extracted peaks, improving its robustness to noise. We further propose a novel loss function to adapt the DL model to the considered AFP system, increasing its precision in terms of retrieved spectral peaks. To the best of our knowledge, this hybrid strategy has not been tested before.

第五代（5G）网络和超越设想巨大的东西互联网（物联网）推出，以支持延长现实（XR），增强/虚拟现实（AR / VR），工业自动化，自主驾驶和智能所有带来的破坏性应用一起占用射频（RF）频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战，这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术，可以与加密和零信任安全措施相结合，以确保无线网络中的数据隐私，机密性和完整性。在未来的通信网络中，在这项工作中，在未来的通信网络中的相关性，我们对RF指纹识别方法进行了全面的调查，从传统观点到最近的基于深度学习（DL）的算法。现有的调查大多专注于无线指纹方法的受限制呈现，然而，许多方面仍然是不可能的。然而，在这项工作中，我们通过解决信号智能（SIGINT），应用程序，相关DL算法，RF指纹技术的系统文献综述来缓解这一点，跨越过去二十年的RF指纹技术的系统文献综述，对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。

从语音音频中删除背景噪音一直是大量研究和努力的主题，尤其是由于虚拟沟通和业余声音录制的兴起，近年来。然而，背景噪声并不是唯一可以防止可理解性的不愉快干扰：混响，剪裁，编解码器工件，有问题的均衡，有限的带宽或不一致的响度同样令人不安且无处不在。在这项工作中，我们建议将言语增强的任务视为一项整体努力，并提出了一种普遍的语音增强系统，同时解决了55种不同的扭曲。我们的方法由一种使用基于得分的扩散的生成模型以及一个多分辨率调节网络，该网络通过混合密度网络进行增强。我们表明，这种方法在专家听众执行的主观测试中大大优于艺术状态。我们还表明，尽管没有考虑任何特定的快速采样策略，但它仅通过4-8个扩散步骤就可以实现竞争性的目标得分。我们希望我们的方法论和技术贡献都鼓励研究人员和实践者采用普遍的语音增强方法，可能将其作为一项生成任务。

在这项研究中，我们提出了一种跨域多目标语音评估模型，即MOSA-net，可以同时估算多个语音评估度量。更具体地，MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量，可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器（CNN-BLSTM）架构，以及每个评估度量的乘法注意层和完全连接的层。此外，来自自我监督学习模型的跨域特征（光谱和时域特征）和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入，以获得更准确的评估。实验结果表明，MOSA-Net可以精确地预测语音质量（PESQ），短时间客观可懂度（STOI）和语音失真指数（SDI）分数的感知评估，并且在噪声下进行了测试，并且在任何看法测试下都有增强的语音话语条件（测试扬声器和训练集中涉及的噪音类型）或看不见的测试条件（其中测试扬声器和噪声类型不参与训练集）。鉴于确认的预测能力，我们进一步采用了MOSA网的潜在表示来引导语音增强（SE）过程，并导出了质量清晰度（QI）-AWARE SE（QIA-SE）方法。实验结果表明，与客观评估指标和定性评估测试相比，QIA-SE与基线SE系统相比提供了卓越的增强性能。

鉴于无线频谱的有限性和对无线通信最近的技术突破产生的频谱使用不断增加的需求，干扰问题仍在继续持续存在。尽管最近解决干涉问题的进步，但干扰仍然呈现出有效使用频谱的挑战。这部分是由于Wi-Fi的无许可和管理共享乐队使用的升高，长期演进（LTE）未许可（LTE-U），LTE许可辅助访问（LAA），5G NR等机会主义频谱访问解决方案。因此，需要对干扰稳健的有效频谱使用方案的需求从未如此重要。在过去，通过使用避免技术以及非AI缓解方法（例如，自适应滤波器）来解决问题的大多数解决方案。非AI技术的关键缺陷是需要提取或开发信号特征的域专业知识，例如CycrationArity，带宽和干扰信号的调制。最近，研究人员已成功探索了AI / ML的物理（PHY）层技术，尤其是深度学习，可减少或补偿干扰信号，而不是简单地避免它。 ML基于ML的方法的潜在思想是学习来自数据的干扰或干扰特性，从而使需要对抑制干扰的域专业知识进行侧联。在本文中，我们审查了广泛的技术，这些技术已经深入了解抑制干扰。我们为干扰抑制中许多不同类型的深度学习技术提供比较和指导。此外，我们突出了在干扰抑制中成功采用深度学习的挑战和潜在的未来研究方向。

口语识别（SLR）是指用于确定语音样本中存在的语言的自动进程。例如，SLR是一个重要的任务，例如，作为分析或分类大量多语言数据的工具。此外，它也是用于在工作流中选择下游应用的必要工具，例如，选择适当的语音识别或机器转换模型。 SLR系统通常由两个阶段组成，其中提取表示音频样本的嵌入的一个阶段，并且第二个是计算每种语言的最终分数的次数。在这项工作中，我们将SLR任务接近作为检测问题，并实现第二阶段作为概率线性判别分析（PLDA）模型。我们表明，对PLDA参数的鉴别性培训相对于通常的生成培训提供了大的收益。此外，我们提出了一种新的分层方法是训练了两个PLDA模型，一个是生成高度相关语言的集群的分数，以及第二个是为每个群集产生分数的分数。最终的语言检测分数被计算为这两种分数的组合。完整的模型判别训练，以优化跨熵目标。我们表明，该层次方法始终如一地优于非等级化，以检测高度相关的语言，在许多情况下大幅度的边缘。我们培训我们的系统在包含100种语言的数据集合中，并在匹配和不匹配的条件下测试它们，表明增益是强大的状态不匹配。

我们介绍了第一个机器学习引力波搜索模拟数据挑战（MLGWSC-1）的结果。在这一挑战中，参与的小组必须从二进制黑洞合并中识别出复杂性和持续时间逐渐嵌入在逐渐更现实的噪声中的引力波信号。 4个提供的数据集中的决赛包含O3A观察的真实噪声，并发出了20秒的持续时间，其中包含进动效应和高阶模式。我们介绍了在提交前从参与者未知的1个月的测试数据中得出的6个输入算法的平均灵敏度距离和运行时。其中4个是机器学习算法。我们发现，最好的基于机器学习的算法能够以每月1个的错误警报率（FAR）的速度（FAR）实现基于匹配过滤的生产分析的敏感距离的95％。相反，对于真实的噪音，领先的机器学习搜索获得了70％。为了更高的范围，敏感距离缩小的差异缩小到某些数据集上选择机器学习提交的范围$ \ geq 200 $以优于传统搜索算法的程度。我们的结果表明，当前的机器学习搜索算法可能已经在有限的参数区域中对某些生产设置有用。为了改善最新的技术，机器学习算法需要降低他们能够检测信号并将其有效性扩展到参数空间区域的虚假警报率，在这些区域中，建模的搜索在计算上很昂贵。根据我们的发现，我们汇编了我们认为，将机器学习搜索提升到重力波信号检测中的宝贵工具，我们认为这是最重要的研究领域。

随着我们感知增强的能力，我们正在经历从数据贫困问题的过渡，其中中心问题是缺乏相关数据，即数据越来越多的问题，其中核心问题是确定一个中的一些相关功能海洋观察。通过在重力波天体物理学中应用的激励，我们研究了从检测器及其环境中丰富的测量值收集的引力波检测器中瞬时噪声伪影的存在。我们认为，功能学习 - 从数据中优化了哪些相关功能 - 对于实现高精度至关重要。我们引入的模型将错误率降低60％以上，而不是先前使用固定的手工制作功能的最新现状。功能学习不仅有用，因为它可以提高预测任务的性能；结果提供了有关与感兴趣现象相关的模式的宝贵信息，否则这些现象将是无法发现的。在我们的应用程序中，发现与瞬态噪声相关的功能提供了有关其起源的诊断信息，并建议缓解策略。在高维环境中学习具有挑战性。通过使用各种体系结构的实验，我们确定了成功模型中的两个关键因素：稀疏性，用于在高维观测中选择相关变量；和深度，这赋予了处理复杂相互作用和相对于时间变化的鲁棒性的灵活性。我们通过对实际检测器数据进行系统的实验来说明它们的意义。我们的结果提供了对机器学习社区中常见假设的实验性佐证，并具有直接适用于提高我们感知引力波的能力以及许多其他具有类似高维，嘈杂或部分无关数据的问题的问题。

自动扬声器识别算法通常使用预定义的过滤库，例如MEL频率和伽马酮滤波器，以表征语音音频。但是，已经观察到使用这些滤纸提取的功能对各种音频降解没有弹性。在这项工作中，我们提出了一种基于学习的技术，以从大量的语音音频中推断出滤纸设计。这种过滤库的目的是提取特征在非理想的音频条件下（例如退化，持续时间短和多语言语音）的功能。为此，1D卷积神经网络旨在直接从原始的语音音频中学习一个名为deepvox的时间域滤纸。其次，开发了一种自适应三重态挖掘技术，以有效地挖掘最适合训练过滤器的数据样本。第三，对DeepVox FilterBanks进行的详细消融研究揭示了提取特征中的声源和声带特征的存在。 Voxceleb2，NIST SRE 2008、2010和2018和Fisher Speech数据集的实验结果证明了DeepVox特征在各种退化，短期和多语言语音中的功效。 DeepVox的功能还显示出可提高现有说话者识别算法的性能，例如XVECTOR-PLDA和IVECTOR-PLDA。

我们提出了一种可扩展高效的神经波形编码系统，用于语音压缩。我们将语音编码问题作为一种自动汇总任务，其中卷积神经网络（CNN）在其前馈例程期间执行编码和解码作为神经波形编解码器（NWC）。所提出的NWC还将量化和熵编码定义为可培训模块，因此在优化过程期间处理编码伪像和比特率控制。通过将紧凑的模型组件引入NWC，如Gated Reseal Networks和深度可分离卷积，我们实现了效率。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖各种比特率。为此，我们采用残余编码概念来连接多个NWC自动汇总模块，其中每个NWC模块执行残差编码以恢复其上一模块已创建的任何重建损失。 CMRL也可以缩小以覆盖下比特率，因为它采用线性预测编码（LPC）模块作为其第一自动化器。混合设计通过将LPC的量化作为可分散的过程重新定义LPC和NWC集成，使系统培训端到端的方式。所提出的系统的解码器在低至中等比特率范围（12至20kbps）或高比特率（32kbps）中的两个NWC中的一个NWC（0.12百万个参数）。尽管解码复杂性尚不低于传统语音编解码器的复杂性，但是从其他神经语音编码器（例如基于WVENET的声码器）显着降低。对于宽带语音编码质量，我们的系统对AMR-WB的性能相当或卓越的性能，并在低和中等比特率下的速度试验话题上的表现。所提出的系统可以扩展到更高的比特率以实现近透明性能。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

关键字斑点（kWs）是一个重要的功能，使我们的周围环境中许多无处不在的智能设备进行交互，可以通过唤醒词或直接作为人机界面激活它们。对于许多应用程序，KWS是我们与设备交互的进入点，因此，始终是ON工作负载。许多智能设备都是移动的，并且它们的电池寿命受到持续运行的服务受到严重影响。因此，KWS和类似的始终如一的服务是在优化整体功耗时重点。这项工作解决了低成本微控制器单元（MCU）的KWS节能。我们将模拟二元特征提取与二元神经网络相结合。通过用拟议的模拟前端取代数字预处理，我们表明数据采集和预处理所需的能量可以减少29倍，将其份额从主导的85％的份额削减到仅为我们的整体能源消耗的16％参考KWS应用程序。语音命令数据集的实验评估显示，所提出的系统分别优于最先进的准确性和能效，在10级数据集中分别在10级数据集上达到1％和4.3倍，同时提供令人信服的精度 - 能源折衷包括71倍能量减少2％的精度下降。

本文介绍了一种无监督的基于分段的稳健语音活动检测方法（RVAD）。该方法包括两个去噪之后的传递，然后是语音活动检测（VAD）阶段。在第一通道中，通过使用后验信噪比（SNR）加权能量差来检测语音信号中的高能段，并且如果在段内没有检测到间距，则该段被认为是高能量噪声段并设置为零。在第二种通过中，语音信号由语音增强方法进行去噪，探索了几种方法。接下来，具有间距的相邻帧被分组在一起以形成音调段，并且基于语音统计，俯仰段进一步从两端延伸，以便包括浊音和发声声音和可能的非语音部分。最后，将后验SNR加权能量差应用于用于检测语音活动的去噪语音信号的扩展桨距片段。我们使用两个数据库，大鼠和极光-2评估所提出的方法的VAD性能，该方法包含大量噪声条件。在扬声器验证性能方面进一步评估RVAD方法，在Reddots 2016挑战数据库及其噪声损坏版本方面。实验结果表明，RVAD与许多现有方法有利地比较。此外，我们介绍了一种修改版的RVAD，其中通过计算有效的光谱平坦度计算替换计算密集的俯仰提取。修改的版本显着降低了适度较低的VAD性能成本的计算复杂性，这是在处理大量数据并在低资源设备上运行时的优势。 RVAD的源代码被公开可用。