我们研究了在不利环境中学习强大声学模型的问题，其特征是训练和测试条件之间存在显着不匹配。这个问题对于需要在看不见的环境中表现良好的语音识别系统的部署至关重要。首先，我们从理论上将数据增强表征为笼子风险最小化的实例，该实例旨在通过替换在输入空间上定义经验密度的三角洲函数来改善培训期间的风险估计，并具有近似值的近似值。培训样品。更具体地说，我们假设可以使用高斯人的混合物来近似以训练样品为中心的当地社区，并从理论上证明这可以将强大的电感偏置纳入学习过程。然后，我们通过数据增强方案隐式地指定各个混合物组件，旨在解决声学模型中伪造相关性的常见来源。为了避免由于信息丢失而引起的鲁棒性的潜在混杂影响，这与标准特征提取技术（例如Fbank和MFCC功能）有关，我们重点关注基于波形的设置。我们的经验结果表明，该方法可以推广到看不见的噪声条件，与使用标准风险最小化原则进行训练相比，分布外概括的相对改善150％。此外，结果证明了相对于使用旨在匹配测试话语特征的训练样本的模型，相对于模型的竞争性能。

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

本文介绍了一种无监督的基于分段的稳健语音活动检测方法（RVAD）。该方法包括两个去噪之后的传递，然后是语音活动检测（VAD）阶段。在第一通道中，通过使用后验信噪比（SNR）加权能量差来检测语音信号中的高能段，并且如果在段内没有检测到间距，则该段被认为是高能量噪声段并设置为零。在第二种通过中，语音信号由语音增强方法进行去噪，探索了几种方法。接下来，具有间距的相邻帧被分组在一起以形成音调段，并且基于语音统计，俯仰段进一步从两端延伸，以便包括浊音和发声声音和可能的非语音部分。最后，将后验SNR加权能量差应用于用于检测语音活动的去噪语音信号的扩展桨距片段。我们使用两个数据库，大鼠和极光-2评估所提出的方法的VAD性能，该方法包含大量噪声条件。在扬声器验证性能方面进一步评估RVAD方法，在Reddots 2016挑战数据库及其噪声损坏版本方面。实验结果表明，RVAD与许多现有方法有利地比较。此外，我们介绍了一种修改版的RVAD，其中通过计算有效的光谱平坦度计算替换计算密集的俯仰提取。修改的版本显着降低了适度较低的VAD性能成本的计算复杂性，这是在处理大量数据并在低资源设备上运行时的优势。 RVAD的源代码被公开可用。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

这项工作介绍了开发单声扬声器特定（即个性化）语音增强模型的自我监督学习方法。尽管通才模型必须广泛地解决许多扬声器，但专业模型可以将其增强功能调整到特定说话者的声音上，并希望解决狭窄的问题。因此，除了降低计算复杂性外，专家还能够实现更佳的性能。但是，幼稚的个性化方法可能需要目标用户的干净语音，这是不方便的，例如由于记录条件不足。为此，我们将个性化作为零拍的任务，其中不使用目标扬声器的其他干净演讲来培训，或者不使用几次学习任务，在该任务中，目标是最大程度地减少清洁的持续时间用于转移学习的语音。在本文中，我们提出了自我监督的学习方法，以解决零和少量个性化任务的解决方案。所提出的方法旨在从未知的无标记数据（即，来自目标用户的内在嘈杂录音）中学习个性化的语音功能，而无需知道相应的清洁资源。我们的实验研究了三种不同的自我监督学习机制。结果表明，使用较少的模型参数以及来自目标用户的较少的清洁数据实现了零拍摄的模型，从而实现了数据效率和模型压缩目标。

Diffusion models have shown a great ability at bridging the performance gap between predictive and generative approaches for speech enhancement. We have shown that they may even outperform their predictive counterparts for non-additive corruption types or when they are evaluated on mismatched conditions. However, diffusion models suffer from a high computational burden, mainly as they require to run a neural network for each reverse diffusion step, whereas predictive approaches only require one pass. As diffusion models are generative approaches they may also produce vocalizing and breathing artifacts in adverse conditions. In comparison, in such difficult scenarios, predictive models typically do not produce such artifacts but tend to distort the target speech instead, thereby degrading the speech quality. In this work, we present a stochastic regeneration approach where an estimate given by a predictive model is provided as a guide for further diffusion. We show that the proposed approach uses the predictive model to remove the vocalizing and breathing artifacts while producing very high quality samples thanks to the diffusion model, even in adverse conditions. We further show that this approach enables to use lighter sampling schemes with fewer diffusion steps without sacrificing quality, thus lifting the computational burden by an order of magnitude. Source code and audio examples are available online (https://uhh.de/inf-sp-storm).

在构建声学和现有房间的声学诊断的背景下，本文介绍了一种新方法，仅从房间脉冲响应（RIR）估计平均吸收系数。通过虚拟监督学习来解决该逆问题，即，使用人工神经网络对模拟数据集的回归隐式学习RIR-ob吸收映射。我们专注于基于良好的架构的简单模型。用于训练模型的几何，声学和仿真参数的关键选择是广泛讨论和研究的，同时在思想中，在思想中，旨在代表建筑物声学领域的条件。将学习的神经模型的估计误差与具有经典公式获得的那些，需要了解房间的几何形状和混响时间。在各种模拟测试集上进行了广泛的比较，突出了所学习模型可以克服这些公式下面弥漫声场假设的众所周知的众所周知的众所周知的不同条件。在声学可配置的房间测量的真实RIR上获得的结果表明，在1〜kHz及以上，当可以可靠地估计混响时间时，所提出的方法可相当于经典模型，即使在不能的情况下也继续工作。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

宽带音频波形评估网络（Wawenets）是直接在宽带音频波形上运行的卷积神经网络，以便对这些波形进行评估。在目前的工作中，这些评估赋予了电信语音的素质（例如嘈杂，清晰度，整体语音质量）。 Wawenets是无引用网络，因为它们不需要他们评估的波形的``参考''（原始或未经证实的）版本。我们最初的Wawenet出版物引入了四个Wawenets，并模拟了已建立的全参考语音质量或清晰度估计算法的输出。我们已经更新了Wawenet架构，以提高效率和有效性。在这里，我们提出了一个密切跟踪七个不同质量和可理解性值的单一Wawenet。我们创建了第二个网络，该网络还跟踪四个主观语音质量维度。我们提供第三个网络，专注于公正的质量分数并达到很高的共识。这项工作用13种语言利用了334小时的演讲，超过200万个全参考目标值和超过93,000个主观意见分数。我们还解释了Wawenets的操作，并使用信号处理的语言确定其操作的关键：Relus从战略上将光谱信息从非DC组件移动到DC组件中。 96输出信号的直流值在96-D潜在空间中定义了一个向量，然后将该向量映射到输入波形的质量或清晰度值。

用于计算机视觉任务的深度神经网络在越来越安全 - 严重和社会影响的应用中部署，激励需要在各种，天然存在的成像条件下关闭模型性能的差距。在包括对抗机器学习的多种上下文中尤为色难地使用的鲁棒性，然后指在自然诱导的图像损坏或改变下保持模型性能。我们进行系统审查，以识别，分析和总结当前定义以及对计算机愿景深度学习中的非对抗鲁棒性的进展。我们发现，该研究领域已经收到了相对于对抗机器学习的不成比例地注意力，但存在显着的稳健性差距，这些差距通常表现在性能下降中与对抗条件相似。为了在上下文中提供更透明的稳健性定义，我们引入了数据生成过程的结构因果模型，并将非对抗性鲁棒性解释为模型在损坏的图像上的行为，其对应于来自未纳入数据分布的低概率样本。然后，我们确定提高神经网络鲁棒性的关键架构，数据增强和优化策略。这种稳健性的这种因果观察表明，目前文献中的常见做法，关于鲁棒性策略和评估，对应于因果概念，例如软干预导致成像条件的决定性分布。通过我们的调查结果和分析，我们提供了对未来研究如何可能介意这种明显和显着的非对抗的鲁棒性差距的观点。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

最近，使用自动编码器（由使用神经网络建模的编码器，渠道和解码器组成）的通信系统的端到端学习问题最近被证明是一种有希望的方法。实际采用这种学习方法面临的挑战是，在变化的渠道条件（例如无线链接）下，它需要经常对自动编码器进行重新训练，以保持低解码错误率。由于重新培训既耗时又需要大量样本，因此当通道分布迅速变化时，它变得不切实际。我们建议使用不更改编码器和解码器网络的快速和样本（几射击）域的适应方法来解决此问题。不同于常规的训练时间无监督或半监督域的适应性，在这里，我们有一个训练有素的自动编码器，来自源分布，我们希望（在测试时间）使用仅使用一个小标记的数据集和无标记的数据来适应（测试时间）到目标分布。我们的方法着重于基于高斯混合物网络的通道模型，并根据类和组件条件仿射变换制定其适应性。学习的仿射转换用于设计解码器的最佳输入转换以补偿分布变化，并有效地呈现在接近源分布的解码器输入中。在实际MMWAVE FPGA设置以及无线设置共有的许多模拟分布变化上，使用非常少量的目标域样本来证明我们方法在适应时的有效性。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

自动扬声器识别算法通常使用预定义的过滤库，例如MEL频率和伽马酮滤波器，以表征语音音频。但是，已经观察到使用这些滤纸提取的功能对各种音频降解没有弹性。在这项工作中，我们提出了一种基于学习的技术，以从大量的语音音频中推断出滤纸设计。这种过滤库的目的是提取特征在非理想的音频条件下（例如退化，持续时间短和多语言语音）的功能。为此，1D卷积神经网络旨在直接从原始的语音音频中学习一个名为deepvox的时间域滤纸。其次，开发了一种自适应三重态挖掘技术，以有效地挖掘最适合训练过滤器的数据样本。第三，对DeepVox FilterBanks进行的详细消融研究揭示了提取特征中的声源和声带特征的存在。 Voxceleb2，NIST SRE 2008、2010和2018和Fisher Speech数据集的实验结果证明了DeepVox特征在各种退化，短期和多语言语音中的功效。 DeepVox的功能还显示出可提高现有说话者识别算法的性能，例如XVECTOR-PLDA和IVECTOR-PLDA。