最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）和时间域语音增强（SE）中实现了有希望的表现，因为它可以捕获语音信号中的本地和全局依赖性。在本文中，我们在时间频率（TF）域中提出了SE的基于构型的度量生成对抗网络（CMGAN）。在发电机中，我们利用两阶段的构象体块来通过对时间和频率依赖性进行建模来汇总所有幅度和复杂的频谱图。大小和复杂谱图的估计在解码器阶段被解耦，然后共同掺入以重建增强的语音。此外，通过优化相应的评估评分，采用了度量歧视器来进一步提高增强估计语音的质量。语音库+需求数据集的定量分析表明，CMGAN在优于以前的模型的功能，即PESQ为3.41，SSNR为11.10 dB。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

课程学习开始在语音增强区中茁壮成长，使原始频谱估计任务将原始频谱估计任务分成多个更容易的子任务以实现更好的性能。由此，我们提出了一种双分支关注变压器，称为DB-Aiat，以并行地处理光谱的粗糙和细粒度。根据互补视角，提出了一种幅度掩蔽分支以粗略地估计整体幅度谱，并且同时设计复杂的精制分支，设计成补偿缺失的光谱细节和隐式导出的相位信息。在每个分支机构内，我们提出了一种新的注意力互感器的模块，以替换用于时间序列建模的传统RNN和时间卷积网络。具体地，提出的注意力变压器包括自适应时间 - 频率注意力变压器块和自适应分层关注模块，旨在捕获长期时间频率依赖性以及进一步聚合全局分层上下文信息。语音库+需求的实验结果表明，DB-AIAT在以前的高级系统上产生了最先进的性能（例如，3.31 PESQ，95.6％的STOI和10.79dB SSNR），其型号尺寸相对较小（2.81米）。

由于使用深度学习模型作为基本功能，语音增强（SE）的性能已大大提高。本文中，我们提出了一种感知对比度拉伸（PC）方法，以进一步提高SE性能。 PC是基于临界频带重要性函数得出的，并应用于修改SE模型的目标。具体而言，目标特征的对比是根据感知重要性拉伸的，从而提高了整体SE性能。与基于后处理的实现相比，将PC纳入培训阶段可以保留性能并减少在线计算。值得注意的是，PC可以与不同的SE模型架构和训练标准结合使用。此外，PC不影响SE模型训练的因果关系或收敛性。 VoiceBank按需数据集的实验结果表明，所提出的方法可以在因果关系（PESQ得分= 3.07）和非causal（PESQ分数= 3.35）SE任务上实现最先进的表现。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

基于深度学习（DL）的语音增强方法通常优化，以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善，但它们缺乏普遍化，并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战，研究人员已经探索了智能性（I-O）丢失函数和用于更强大的语音增强（SE）的视听（AV）信息的集成。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一种新颖且以前未开发的研究方向。具体而言，我们介绍了一个完全卷积的AV SE模型，它使用改进的短时客观可懂度（STOI）度量作为培训成本函数。据我们所知，这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明，我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频（AO）和AV模型，就标准客观的扬声器和噪声处理。

生成的对抗网络最近在神经声音中表现出了出色的表现，表现优于最佳自动回归和基于流动的模型。在本文中，我们表明这种成功可以扩展到有条件音频的其他任务。特别是，在HIFI Vocoders的基础上，我们为带宽扩展和语音增强的新型HIFI ++一般框架提出了新颖的一般框架。我们表明，通过改进的生成器体系结构和简化的多歧视培训，HIFI ++在这些任务中的最先进的情况下表现更好或与之相提并论，同时花费大量的计算资源。通过一系列广泛的实验，我们的方法的有效性得到了验证。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

人类脑中脑中的背景利用异质感官信息，以有效地执行包括视觉和听力的认知任务。例如，在鸡尾酒会党的情况下，人类听觉Cortex上下文中的视听（AV）提示才能更好地感知言论。最近的研究表明，与音频SE模型相比，AV语音增强（SE）模型可以显着提高信噪比（SNR）环境的极低信号的语音质量和可懂度。然而，尽管在AV SE的领域进行了显着的研究，但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中，我们为低延迟扬声器的独立AV SE提供了一种新颖的框架，可以概括一系列视觉和声学噪声。特别地，提出了一种生成的对抗性网络（GaN）来解决AV SE的视觉缺陷的实际问题。此外，我们提出了一种基于神经网络的深度神经网络的实时AV SE模型，考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明，我们的实时AV SE框架优于最先进的SE方法，包括最近的基于DNN的SE模型。

对语音增强系统的培训通常不会纳入人类感知的知识，因此可能导致不自然的声音结果。通过预测网络将精神上动机的语音感知指标纳入模型培训的一部分，最近引起了人们的兴趣。但是，此类预测因子的性能受到培训数据中出现的度量分数的分布的限制。在这项工作中，我们提出了Metricgan +/-（Metricgan+的扩展，一个这样的度量动机系统），该系统引入了一个额外的网络 - 一个“脱发器”，该网络试图改善预测网络的稳健性（并通过扩展。发电机）通过确保观察训练中更广泛的度量得分。VoiceBank数据集的实验结果显示，PESQ得分的相对改善为3.8％（3.05 vs 3.22 PESQ得分），以及更好地概括对看不见的噪音和语音。

Objective: Despite numerous studies proposed for audio restoration in the literature, most of them focus on an isolated restoration problem such as denoising or dereverberation, ignoring other artifacts. Moreover, assuming a noisy or reverberant environment with limited number of fixed signal-to-distortion ratio (SDR) levels is a common practice. However, real-world audio is often corrupted by a blend of artifacts such as reverberation, sensor noise, and background audio mixture with varying types, severities, and duration. In this study, we propose a novel approach for blind restoration of real-world audio signals by Operational Generative Adversarial Networks (Op-GANs) with temporal and spectral objective metrics to enhance the quality of restored audio signal regardless of the type and severity of each artifact corrupting it. Methods: 1D Operational-GANs are used with generative neuron model optimized for blind restoration of any corrupted audio signal. Results: The proposed approach has been evaluated extensively over the benchmark TIMIT-RAR (speech) and GTZAN-RAR (non-speech) datasets corrupted with a random blend of artifacts each with a random severity to mimic real-world audio signals. Average SDR improvements of over 7.2 dB and 4.9 dB are achieved, respectively, which are substantial when compared with the baseline methods. Significance: This is a pioneer study in blind audio restoration with the unique capability of direct (time-domain) restoration of real-world audio whilst achieving an unprecedented level of performance for a wide SDR range and artifact types. Conclusion: 1D Op-GANs can achieve robust and computationally effective real-world audio restoration with significantly improved performance. The source codes and the generated real-world audio datasets are shared publicly with the research community in a dedicated GitHub repository1.

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

为了解决单声道语音增强问题，已经进行了大量研究，以通过在语音混合物或时间域中学到的内域进行操作来增强语音，或者在时间域中 - 固定的全乐队短时间傅立叶的频率域变换（STFT）频谱图。最近，已经提出了一些关于基于子频段的语音增强的研究。通过通过子兰频谱图上的操作增强语音，这些研究表明了DNS2020基准数据集上的竞争性能。尽管有吸引力，但这个新的研究方向尚未得到充分探索，并且仍然有改进的余地。因此，在这项研究中，我们深入研究了最新的研究方向，并提出了一个基于子兰的语音增强系统，具有感知动机的优化和双重变换，称为PT-FSE。特别是，我们提出的PT-FSE模型通过三项努力改善了其主链（一种全频段和子融合模型）。首先，我们设计了一个旨在加强全局频率相关性的频率变换模块。然后引入时间转换以捕获远距离时间上下文。最后，提出了一种新的损失，具有人类听觉感知的性质杠杆作用，以促进该模型专注于低频增强。为了验证我们提出的模型的有效性，在DNS2020数据集上进行了广泛的实验。实验结果表明，我们的PT-FSE系统在其骨架上取得了重大改进，但也比当前的最新面积胜过，而比SOTA小27％。在基准数据集上，NB-PESQ平均为3.57，我们的系统提供了迄今报告的最佳语音增强结果。

Modern speech enhancement (SE) networks typically implement noise suppression through time-frequency masking, latent representation masking, or discriminative signal prediction. In contrast, some recent works explore SE via generative speech synthesis, where the system's output is synthesized by a neural vocoder after an inherently lossy feature-denoising step. In this paper, we propose a denoising vocoder (DeVo) approach, where a vocoder accepts noisy representations and learns to directly synthesize clean speech. We leverage rich representations from self-supervised learning (SSL) speech models to discover relevant features. We conduct a candidate search across 15 potential SSL front-ends and subsequently train our vocoder adversarially with the best SSL configuration. Additionally, we demonstrate a causal version capable of running on streaming audio with 10ms latency and minimal performance degradation. Finally, we conduct both objective evaluations and subjective listening studies to show our system improves objective metrics and outperforms an existing state-of-the-art SE model subjectively.

尽管基于深度学习的语音增强系统在提高语音信号的质量方面取得了迅速的进步，但它们仍然可以产生包含伪像且听起来不自然的输出。我们提出了一种新颖的语音增强方法，旨在通过优化言语的关键特征来提高增强信号的知觉质量和自然性。我们首先确定与语音质量良好相关的关键声学参数（例如抖动，微光和光谱通量），然后提出目标函数，旨在减少相对于这些功能的清洁语音和增强语音之间的差异。完整的声学特征是扩展的Geneva声学参数集（EGEMAPS），其中包括与语音感知相关的25种不同属性。考虑到这些功能计算的非差异性质，我们首先构建了EGEMAP的可区分估计器，然后使用它们来微调现有的语音增强系统。我们的方法是通用的，可以应用于任何现有的基于深度学习的增强系统，以进一步改善增强的语音信号。对深噪声抑制（DNS）挑战数据集进行的实验结果表明，我们的方法可以改善最新的基于深度学习的增强系统。

神经音频/语音编码表明其能力比最近的传统方法低得多的比特率。但是，现有的神经音频/语音编解码器采用声学特征或具有卷积神经网络的学术盲功能来编码，通过该特征，编码功能中仍有时间冗余。本文将潜在域预测性编码引入VQ-VAE框架中，以完全删除此类冗余，并以端到端的方式提出了低延迟神经语音编码的TF-CODEC。具体而言，提取的特征是根据过去量化潜在框架的预测进行编码的，以便进一步删除时间相关性。更重要的是，我们在时间频输入上引入了可学习的压缩，以适应对不同比特率的主要频率和细节的关注。提出了一种基于距离映射和Gumbel-softmax的可区分矢量量化方案，以更好地模拟具有速率约束的潜在分布。多语言语音数据集的主观结果表明，在40ms的潜伏期中，提议的1kbps的TF-Codec可以比Opus 9Kbps和3Kbps的TF-Codec取得更好的质量，而3Kbps的表现都优于EVS 9.6kbps和Opus 12kbps。进行了许多研究以显示这些技术的有效性。

最近的深度学习模型在言语增强方面已经达到了高性能。但是，获得快速和低复杂模型而没有明显的性能降解仍然是一项挑战。以前的知识蒸馏研究对言语增强无法解决这个问题，因为它们的输出蒸馏方法在某些方面不符合语音增强任务。在这项研究中，我们提出了基于特征的蒸馏多视图注意转移（MV-AT），以在时域中获得有效的语音增强模型。基于多视图功能提取模型，MV-AT将教师网络的多视图知识传输到学生网络，而无需其他参数。实验结果表明，所提出的方法始终提高瓦伦蒂尼和深噪声抑制（DNS）数据集的各种规模的学生模型的性能。与基线模型相比，使用我们提出的方法（一种用于有效部署的轻巧模型）分别使用了15.4倍和4.71倍（FLOPS），与具有相似性能的基线模型相比，Many-S-8.1GF分别达到了15.4倍和4.71倍。

本文介绍了一种新的鉴别器受约束的最佳运输网络（DOTN），其对语音增强（SE）执行无监督的域适应，这是语音处理中的重要回归任务。 DOTN旨在通过利用来自源域的知识来估计目标域中噪声语音的清洁参考。据报道，培训和测试数据之间的域移位是在不同领域中学习问题的障碍。虽然丰富的文献存在于对分类的无监督域适应上，但提出的方法，尤其是回归，仍然稀缺，并且通常取决于输入数据的附加信息。所提出的DOTN方法通过生成的对抗性框架来说，从数学分析中统治最佳运输（OT）理论，以帮助评估目标域中的连续标签。在两个SE任务上的实验结果表明，通过延长经典OT制剂，我们提出的DOTN以纯粹无监督的方式优于先前的对抗域适应框架。

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

在这项工作中，我们提出了清洁nunet，这是原始波形上的因果语音deno的模型。所提出的模型基于编码器架构，并结合了几个自我注意块，以完善其瓶颈表示，这对于获得良好的结果至关重要。该模型通过在波形和多分辨率光谱图上定义的一组损失进行了优化。所提出的方法在各种客观和主观评估指标中的言语质量方面优于最先进的模型。