语音覆盖通常是强大的语音处理任务中的重要要求。有监督的深度学习（DL）模型为单渠道语音消失提供了最先进的性能。时间卷积网络（TCN）通常用于语音增强任务中的序列建模。 TCN的一个功能是，它们具有依赖于特定模型配置的接收场（RF），该模型配置确定了可以观察到的输入框架的数量，以产生单个输出框架。已经表明，TCN能够对模拟语音数据进行编织，但是进行了彻底的分析，尤其是在文献中尚未关注RF。本文根据TCN的模型大小和RF分析了覆盖性能。使用WHAMR语料库进行的实验，该实验扩展到包括较大T60值的房间脉冲响应（RIR）表明，较大的RF在训练较小的TCN模型时可以显着改善性能。还可以证明，当用更大的RT60值解冻RIR时，TCN受益于更宽的RF。

在许多语音技术应用中，语音覆盖是一个重要阶段。该领域的最新工作已由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已在消除语音的任务中为序列建模而提出。在这项工作中，提出了加权多污染深度分离的卷积，以替代TCN模型中标准的深度可分离卷积。该提出的卷积使TCN能够在网络中每个卷积块的接收场中动态关注或多或少的本地信息。结果表明，这种加权的多污染时间卷积网络（WD-TCN）始终优于各种模型配置和使用WD-TCN模型的TCN，这是一种更有效的方法，可以提高模型的性能，而不是增加增加模型的性能。卷积块。基线TCN的最佳性能改进是0.55 dB标准不变的信噪比（SISDR），并且最佳性能WD-TCN模型在WHAMR数据集上达到12.26 dB SISDR。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

We propose to characterize and improve the performance of blind room impulse response (RIR) estimation systems in the context of a downstream application scenario, far-field automatic speech recognition (ASR). We first draw the connection between improved RIR estimation and improved ASR performance, as a means of evaluating neural RIR estimators. We then propose a GAN-based architecture that encodes RIR features from reverberant speech and constructs an RIR from the encoded features, and uses a novel energy decay relief loss to optimize for capturing energy-based properties of the input reverberant speech. We show that our model outperforms the state-of-the-art baselines on acoustic benchmarks (by 72% on the energy decay relief and 22% on an early-reflection energy metric), as well as in an ASR evaluation task (by 6.9% in word error rate).

隔离架构在语音分离中显示出非常好的结果。像其他学习的编码器模型一样，它使用了短帧，因为它们已被证明在这些情况下可以获得更好的性能。这导致输入处有大量帧，这是有问题的。由于隔离器是基于变压器的，因此其计算复杂性随着较长的序列而大大增加。在本文中，我们在语音增强任务中采用了隔离器，并表明，通过以短期傅立叶变换（STFT）表示替换学习式编码器的功能，我们可以使用长帧而不会损害感知增强性能。我们获得了同等的质量和清晰度评估得分，同时将10秒的话语减少了大约8倍。

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

当缺乏口头交流的范围时，例如，对于失去说话能力的患者，语言运动的产生和增强有助于沟通。尽管已经提出了各种技术，但电视学（EPG）是一种监测技术，记录了舌头和硬口感之间的接触，但尚未得到充分探索。本文中，我们提出了一种新型的多模式EPG到语音（EPG2S）系统，该系统利用EPG和语音信号进行语音产生和增强。研究了基于EPG和嘈​​杂语音信号的多种组合的不同融合策略，并研究了该方法的生存能力。实验结果表明，EPG2仅基于EPG信号实现了理想的语音产生结果。此外，观察到嘈杂的语音信号的添加以提高质量和清晰度。此外，观察到EPG2S仅基于音频信号实现高质量的语音增强，而添加EPG信号进一步改善了性能。晚期的融合策略被认为是同时言语产生和增强的最有效方法。

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

Objective: Despite numerous studies proposed for audio restoration in the literature, most of them focus on an isolated restoration problem such as denoising or dereverberation, ignoring other artifacts. Moreover, assuming a noisy or reverberant environment with limited number of fixed signal-to-distortion ratio (SDR) levels is a common practice. However, real-world audio is often corrupted by a blend of artifacts such as reverberation, sensor noise, and background audio mixture with varying types, severities, and duration. In this study, we propose a novel approach for blind restoration of real-world audio signals by Operational Generative Adversarial Networks (Op-GANs) with temporal and spectral objective metrics to enhance the quality of restored audio signal regardless of the type and severity of each artifact corrupting it. Methods: 1D Operational-GANs are used with generative neuron model optimized for blind restoration of any corrupted audio signal. Results: The proposed approach has been evaluated extensively over the benchmark TIMIT-RAR (speech) and GTZAN-RAR (non-speech) datasets corrupted with a random blend of artifacts each with a random severity to mimic real-world audio signals. Average SDR improvements of over 7.2 dB and 4.9 dB are achieved, respectively, which are substantial when compared with the baseline methods. Significance: This is a pioneer study in blind audio restoration with the unique capability of direct (time-domain) restoration of real-world audio whilst achieving an unprecedented level of performance for a wide SDR range and artifact types. Conclusion: 1D Op-GANs can achieve robust and computationally effective real-world audio restoration with significantly improved performance. The source codes and the generated real-world audio datasets are shared publicly with the research community in a dedicated GitHub repository1.

我们提出了一种可扩展高效的神经波形编码系统，用于语音压缩。我们将语音编码问题作为一种自动汇总任务，其中卷积神经网络（CNN）在其前馈例程期间执行编码和解码作为神经波形编解码器（NWC）。所提出的NWC还将量化和熵编码定义为可培训模块，因此在优化过程期间处理编码伪像和比特率控制。通过将紧凑的模型组件引入NWC，如Gated Reseal Networks和深度可分离卷积，我们实现了效率。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖各种比特率。为此，我们采用残余编码概念来连接多个NWC自动汇总模块，其中每个NWC模块执行残差编码以恢复其上一模块已创建的任何重建损失。 CMRL也可以缩小以覆盖下比特率，因为它采用线性预测编码（LPC）模块作为其第一自动化器。混合设计通过将LPC的量化作为可分散的过程重新定义LPC和NWC集成，使系统培训端到端的方式。所提出的系统的解码器在低至中等比特率范围（12至20kbps）或高比特率（32kbps）中的两个NWC中的一个NWC（0.12百万个参数）。尽管解码复杂性尚不低于传统语音编解码器的复杂性，但是从其他神经语音编码器（例如基于WVENET的声码器）显着降低。对于宽带语音编码质量，我们的系统对AMR-WB的性能相当或卓越的性能，并在低和中等比特率下的速度试验话题上的表现。所提出的系统可以扩展到更高的比特率以实现近透明性能。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

对语音增强系统的培训通常不会纳入人类感知的知识，因此可能导致不自然的声音结果。通过预测网络将精神上动机的语音感知指标纳入模型培训的一部分，最近引起了人们的兴趣。但是，此类预测因子的性能受到培训数据中出现的度量分数的分布的限制。在这项工作中，我们提出了Metricgan +/-（Metricgan+的扩展，一个这样的度量动机系统），该系统引入了一个额外的网络 - 一个“脱发器”，该网络试图改善预测网络的稳健性（并通过扩展。发电机）通过确保观察训练中更广泛的度量得分。VoiceBank数据集的实验结果显示，PESQ得分的相对改善为3.8％（3.05 vs 3.22 PESQ得分），以及更好地概括对看不见的噪音和语音。

从语音音频中删除背景噪音一直是大量研究和努力的主题，尤其是由于虚拟沟通和业余声音录制的兴起，近年来。然而，背景噪声并不是唯一可以防止可理解性的不愉快干扰：混响，剪裁，编解码器工件，有问题的均衡，有限的带宽或不一致的响度同样令人不安且无处不在。在这项工作中，我们建议将言语增强的任务视为一项整体努力，并提出了一种普遍的语音增强系统，同时解决了55种不同的扭曲。我们的方法由一种使用基于得分的扩散的生成模型以及一个多分辨率调节网络，该网络通过混合密度网络进行增强。我们表明，这种方法在专家听众执行的主观测试中大大优于艺术状态。我们还表明，尽管没有考虑任何特定的快速采样策略，但它仅通过4-8个扩散步骤就可以实现竞争性的目标得分。我们希望我们的方法论和技术贡献都鼓励研究人员和实践者采用普遍的语音增强方法，可能将其作为一项生成任务。

由于语音分离的表现非常适合两个说话者完全重叠的语音，因此研究的注意力已转移到处理更现实的场景。然而，由于因素，例如说话者，内容，渠道和环境等因素引起的训练/测试情况之间的领域不匹配仍然是言语分离的严重问题。演讲者和环境不匹配已在现有文献中进行了研究。然而，关于语音内容和渠道不匹配的研究很少。此外，这些研究中语言和渠道的影响大多是纠结的。在这项研究中，我们为各种实验创建了几个数据集。结果表明，与不同渠道的影响相比，不同语言的影响足以忽略。在我们的实验中，Android手机记录的数据培训可提供最佳的概括性。此外，我们通过评估投影提供了一种新的解决方案，以测量通道相似性并用于有效选择其他训练数据以提高野外测试数据的性能。

设备方向听到需要从给定方向的音频源分离，同时实现严格的人类难以察觉的延迟要求。虽然神经网络可以实现比传统的波束形成器的性能明显更好，但所有现有型号都缺乏对计算受限的可穿戴物的低延迟因果推断。我们展示了一个混合模型，将传统的波束形成器与定制轻质神经网络相结合。前者降低了后者的计算负担，并且还提高了其普遍性，而后者旨在进一步降低存储器和计算开销，以实现实时和低延迟操作。我们的评估显示了合成数据上最先进的因果推断模型的相当性能，同时实现了模型尺寸的5倍，每秒计算的4倍，处理时间减少5倍，更好地概括到真实的硬件数据。此外，我们的实时混合模型在为低功耗可穿戴设备设计的移动CPU上运行8毫秒，并实现17.5毫秒的端到端延迟。

来自双耳信号的非侵入式语音可懂度（SI）预测在许多应用中都很有用。然而，大多数现有的基于信号的措施被设计为应用于单通道信号。专门设计用于考虑信号的双耳属性的措施通常是侵扰的，其特征在于需要访问清洁语音信号 - 并且通常依赖于在进行预测之前将两个通道组合到单通道信号中。本文提出了一种非侵入式SI测量，其使用矢量量化（VQ）和对比预测编码（CPC）方法的组合计算来自双耳输入信号的特征。 VQ-CPC功能提取不依赖于听觉系统的任何模型，而是培训以最大化输入信号和输出功能之间的相互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测功能。本文考虑了两种预测功能。两个特征提取器和预测功能都接受了具有各向同性噪声的模拟双耳信号。它们在具有各向同性和真实噪声的模拟信号上进行测试。对于所有信号，地面真相分数是（侵入式）确定性化双耳stoi。结果以相关性和MSE提供给出，并证明VQ-CPC功能能够捕获与建模SI相关的信息，并且越优于所有被考虑的基准 - 即使在评估包括不同噪声场类型的数据时也是如此。