Most speech enhancement (SE) models learn a point estimate, and do not make use of uncertainty estimation in the learning process. In this paper, we show that modeling heteroscedastic uncertainty by minimizing a multivariate Gaussian negative log-likelihood (NLL) improves SE performance at no extra cost. During training, our approach augments a model learning complex spectral mapping with a temporary submodel to predict the covariance of the enhancement error at each time-frequency bin. Due to unrestricted heteroscedastic uncertainty, the covariance introduces an undersampling effect, detrimental to SE performance. To mitigate undersampling, our approach inflates the uncertainty lower bound and weights each loss component with their uncertainty, effectively compensating severely undersampled components with more penalties. Our multivariate setting reveals common covariance assumptions such as scalar and diagonal matrices. By weakening these assumptions, we show that the NLL achieves superior performance compared to popular losses including the mean squared error (MSE), mean absolute error (MAE), and scale-invariant signal-to-distortion ratio (SI-SDR).

Single-channel deep speech enhancement approaches often estimate a single multiplicative mask to extract clean speech without a measure of its accuracy. Instead, in this work, we propose to quantify the uncertainty associated with clean speech estimates in neural network-based speech enhancement. Predictive uncertainty is typically categorized into aleatoric uncertainty and epistemic uncertainty. The former accounts for the inherent uncertainty in data and the latter corresponds to the model uncertainty. Aiming for robust clean speech estimation and efficient predictive uncertainty quantification, we propose to integrate statistical complex Gaussian mixture models (CGMMs) into a deep speech enhancement framework. More specifically, we model the dependency between input and output stochastically by means of a conditional probability density and train a neural network to map the noisy input to the full posterior distribution of clean speech, modeled as a mixture of multiple complex Gaussian components. Experimental results on different datasets show that the proposed algorithm effectively captures predictive uncertainty and that combining powerful statistical models and deep learning also delivers a superior speech enhancement performance.

基于深度学习（DL）的语音增强方法通常优化，以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善，但它们缺乏普遍化，并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战，研究人员已经探索了智能性（I-O）丢失函数和用于更强大的语音增强（SE）的视听（AV）信息的集成。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一种新颖且以前未开发的研究方向。具体而言，我们介绍了一个完全卷积的AV SE模型，它使用改进的短时客观可懂度（STOI）度量作为培训成本函数。据我们所知，这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明，我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频（AO）和AV模型，就标准客观的扬声器和噪声处理。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

尽管基于深度学习的语音增强系统在提高语音信号的质量方面取得了迅速的进步，但它们仍然可以产生包含伪像且听起来不自然的输出。我们提出了一种新颖的语音增强方法，旨在通过优化言语的关键特征来提高增强信号的知觉质量和自然性。我们首先确定与语音质量良好相关的关键声学参数（例如抖动，微光和光谱通量），然后提出目标函数，旨在减少相对于这些功能的清洁语音和增强语音之间的差异。完整的声学特征是扩展的Geneva声学参数集（EGEMAPS），其中包括与语音感知相关的25种不同属性。考虑到这些功能计算的非差异性质，我们首先构建了EGEMAP的可区分估计器，然后使用它们来微调现有的语音增强系统。我们的方法是通用的，可以应用于任何现有的基于深度学习的增强系统，以进一步改善增强的语音信号。对深噪声抑制（DNS）挑战数据集进行的实验结果表明，我们的方法可以改善最新的基于深度学习的增强系统。

本文提出了一种单通道语音增强方法，以减少低信噪比（SNR）水平和非平稳噪声条件下的噪声并增强语音。具体而言，我们专注于使用高斯混合模型（GMM）基于具有参数Wiener滤波器的多阶段过程来建模噪声。提出的噪声模型估计了更准确的噪声功率频谱密度（PSD），并且与传统的Wiener滤波方法相比，在各种噪声条件下可以更好地概括。模拟表明，所提出的方法可以在低SNR级别的语音质量（PESQ）和清晰度（Stoi）方面取得更好的性能。

基于分数的生成模型（SGM）最近显示了难以生成的任务的令人印象深刻的结果，例如自然图像和音频信号的无条件生成和条件生成。在这项工作中，我们将这些模型扩展到复杂的短时傅立叶变换（STFT）域，并提出了使用复杂值的深神经网络来增强语音的新型训练任务。我们在随机微分方程（SDE）的形式主义中得出了这项训练任务，从而实现了预测器 - 矫正器采样器的使用。我们提供了以前出版物启发的替代配方，以使用生成扩散模型来增强语音，从而避免了对噪声分布的任何先前假设的需求，并使训练任务纯粹是生成纯生成的，这是我们所显示的，从而改善了增强性能。

使用Denoisis扩散概率模型（DDPM）的神经声码器已通过适应给定的声学特征的扩散噪声分布来改善。在这项研究中，我们提出了适应扩散噪声的素描，以使其随时间变化的光谱包络变得接近条件对数 - 摩尔光谱图。随着时变的过滤这种适应可改善声音质量，尤其是在高频带中。它是在时频域中处理的，以使计算成本几乎与常规DDPM基于DDPM的神经声码器相同。实验结果表明，在分析合成和语音增强方案中，Specgrad比常规DDPM的神经声码器产生比常规DDPM的更高的语音波形。音频演示可在wavegrad.github.io/specgrad/上获得。

在这项研究中，我们提出了一种跨域多目标语音评估模型，即MOSA-net，可以同时估算多个语音评估度量。更具体地，MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量，可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器（CNN-BLSTM）架构，以及每个评估度量的乘法注意层和完全连接的层。此外，来自自我监督学习模型的跨域特征（光谱和时域特征）和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入，以获得更准确的评估。实验结果表明，MOSA-Net可以精确地预测语音质量（PESQ），短时间客观可懂度（STOI）和语音失真指数（SDI）分数的感知评估，并且在噪声下进行了测试，并且在任何看法测试下都有增强的语音话语条件（测试扬声器和训练集中涉及的噪音类型）或看不见的测试条件（其中测试扬声器和噪声类型不参与训练集）。鉴于确认的预测能力，我们进一步采用了MOSA网的潜在表示来引导语音增强（SE）过程，并导出了质量清晰度（QI）-AWARE SE（QIA-SE）方法。实验结果表明，与客观评估指标和定性评估测试相比，QIA-SE与基线SE系统相比提供了卓越的增强性能。

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

最近，基于深层神经网络（DNN）的物理层通信技术引起了极大的兴趣。尽管模拟实验已经验证了它们增强通信系统和出色性能的潜力，但对理论分析的关注很少。具体而言，物理层中的大多数研究都倾向于专注于DNN模型在无线通信问题上的应用，但理论上不了解DNN在通信系统中的工作方式。在本文中，我们旨在定量分析为什么DNN可以在物理层中与传统技术相比，并在计算复杂性方面提高其成本。为了实现这一目标，我们首先分析基于DNN的发射器的编码性能，并将其与传统发射器进行比较。然后，我们理论上分析了基于DNN的估计器的性能，并将其与传统估计器进行比较。第三，我们调查并验证在信息理论概念下基于DNN的通信系统中如何播放信息。我们的分析开发了一种简洁的方式，可以在物理层通信中打开DNN的“黑匣子”，可用于支持基于DNN的智能通信技术的设计，并有助于提供可解释的性能评估。

在本文中，提出了一种用于加权预测误差（WPE）方法的Kalman滤波变体的神经网络增强算法。滤波器随机变化是通过使用过滤器残留误差和信号特性端对端的深神经网络（DNN）预测的。提出的框架允许在类似于Whamr！的单渠道嘈杂的混响数据集上进行稳健的编织。当目标语音功率频谱密度不完全了解并且观察值嘈杂时，Kalman过滤WPE仅预测剩余误差的滤波器变化时，才会在增强信号中引入失真。提出的方法通过以数据驱动的方式纠正滤波器变化估计来避免这些扭曲，从而将方法的鲁棒性增加到噪声方案。此外，与DNN支持的递归最小二乘正方形变体相比，它产生了强烈的脊椎和脱氧性能，尤其是对于高度嘈杂的输入。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

这项工作介绍了开发单声扬声器特定（即个性化）语音增强模型的自我监督学习方法。尽管通才模型必须广泛地解决许多扬声器，但专业模型可以将其增强功能调整到特定说话者的声音上，并希望解决狭窄的问题。因此，除了降低计算复杂性外，专家还能够实现更佳的性能。但是，幼稚的个性化方法可能需要目标用户的干净语音，这是不方便的，例如由于记录条件不足。为此，我们将个性化作为零拍的任务，其中不使用目标扬声器的其他干净演讲来培训，或者不使用几次学习任务，在该任务中，目标是最大程度地减少清洁的持续时间用于转移学习的语音。在本文中，我们提出了自我监督的学习方法，以解决零和少量个性化任务的解决方案。所提出的方法旨在从未知的无标记数据（即，来自目标用户的内在嘈杂录音）中学习个性化的语音功能，而无需知道相应的清洁资源。我们的实验研究了三种不同的自我监督学习机制。结果表明，使用较少的模型参数以及来自目标用户的较少的清洁数据实现了零拍摄的模型，从而实现了数据效率和模型压缩目标。

扩散概率模型已经证明了通过配对的扩散和反向过程模拟自然图像和原始音频波形的出色能力。可以利用反向过程的唯一特性（即，从高斯噪声和噪声信号中消除非目标信号）来恢复清洁信号。基于此属性，我们提出了一种基于扩散的基于概率模型的语言增强（漫反射）模型，其旨在从嘈杂的信号中恢复清洁语音信号。所提出的漫射模型的基本架构类似于差异 - 一种具有相对低的计算成本和足迹的高质量音频波形生成模型。为了获得更好的增强性能，我们设计了先进的反向过程，称为支持性反向过程，在每个时间步骤到预测的语音，这会增加噪音。实验结果表明，漫反射率与标准化语音银行语料库SE任务上的相关音频生成模型相当的性能。此外，相对于普遍建议的完整采样时间表，所提出的支持逆过程特别改善了快速采样，采取了几个步骤，从而产生更好的增强，从而通过传统的完整步长推断过程。

由于使用深度学习模型作为基本功能，语音增强（SE）的性能已大大提高。本文中，我们提出了一种感知对比度拉伸（PC）方法，以进一步提高SE性能。 PC是基于临界频带重要性函数得出的，并应用于修改SE模型的目标。具体而言，目标特征的对比是根据感知重要性拉伸的，从而提高了整体SE性能。与基于后处理的实现相比，将PC纳入培训阶段可以保留性能并减少在线计算。值得注意的是，PC可以与不同的SE模型架构和训练标准结合使用。此外，PC不影响SE模型训练的因果关系或收敛性。 VoiceBank按需数据集的实验结果表明，所提出的方法可以在因果关系（PESQ得分= 3.07）和非causal（PESQ分数= 3.35）SE任务上实现最先进的表现。

通道不匹配和噪声干扰的补偿对于强大的自动语音识别至关重要。增强的语音已引入声学模型的多条件训练中，以提高其概括能力。在本文中，提出了一个基于两个级联神经结构的噪音感知训练框架，以共同优化语音增强和语音识别。功能增强模块由多任务自动编码器组成，嘈杂的语音被分解为干净的语音和噪声。通过将其增强的，吸引噪音的和嘈杂的特征连接起来，通过优化预测的无晶格最大互信息和预测状态序列之间的无晶格最大互助和交叉熵，声音模块将每个特征型仪表型映射到Triphone状态。除了分解时间延迟神经网络（TDNN-F）及其卷积变体（CNN-TDNNF），均具有Specaug，两个提议的系统的单词错误率（WER）分别为3.90％和3.55％ Aurora-4任务。与使用BigRAM和Trigram语言模型进行解码的最佳现有系统相比，拟议的基于CNN-TDNNF的系统的相对降低分别为15.20％和33.53％。此外，提出的基于CNN-TDNNF的系统还优于AMI任务上的基线CNN-TDNNF系统。

对于基于深度学习的语音增强（SE）系统，训练测试的声学不匹配会导致显着的性能降解。为了解决不匹配问题，已经得出了许多噪声适应策略。在本文中，我们提出了一种新颖的方法，称为“噪声自适应语音增强”，该方法具有目标条件重新采样（Nastar），该方法在目标环境中仅减少了一个样本（一次性）噪声语音的不匹配。 Nastar使用反馈机制通过噪声提取器和检索模型模拟自适应训练数据。噪声提取器估计了嘈杂语音的目标噪声，称为伪噪声。噪声检索模型根据噪音信号池从相关的语音中检索相关的噪声样品，称为相关 - 波霍特。伪噪声和相关的托架集共同采样并与源语音语料库混合，以准备模拟的训练数据以适应噪声。实验结果表明，Nastar可以有效地使用一个嘈杂的语音样本将SE模型适应目标条件。此外，噪声提取器和噪声检索模型均有助于模型适应。据我们所知，纳斯塔尔（Nastar）是第一项通过噪声提取和检索进行单发噪声适应的工作。