扩散概率模型已经证明了通过配对的扩散和反向过程模拟自然图像和原始音频波形的出色能力。可以利用反向过程的唯一特性（即，从高斯噪声和噪声信号中消除非目标信号）来恢复清洁信号。基于此属性，我们提出了一种基于扩散的基于概率模型的语言增强（漫反射）模型，其旨在从嘈杂的信号中恢复清洁语音信号。所提出的漫射模型的基本架构类似于差异 - 一种具有相对低的计算成本和足迹的高质量音频波形生成模型。为了获得更好的增强性能，我们设计了先进的反向过程，称为支持性反向过程，在每个时间步骤到预测的语音，这会增加噪音。实验结果表明，漫反射率与标准化语音银行语料库SE任务上的相关音频生成模型相当的性能。此外，相对于普遍建议的完整采样时间表，所提出的支持逆过程特别改善了快速采样，采取了几个步骤，从而产生更好的增强，从而通过传统的完整步长推断过程。

In this work, we propose DiffWave, a versatile diffusion probabilistic model for conditional and unconditional waveform generation. The model is non-autoregressive, and converts the white noise signal into structured waveform through a Markov chain with a constant number of steps at synthesis. It is efficiently trained by optimizing a variant of variational bound on the data likelihood. DiffWave produces high-fidelity audio in different waveform generation tasks, including neural vocoding conditioned on mel spectrogram, class-conditional generation, and unconditional generation. We demonstrate that DiffWave matches a strong WaveNet vocoder in terms of speech quality (MOS: 4.44 versus 4.43), while synthesizing orders of magnitude faster. In particular, it significantly outperforms autoregressive and GAN-based waveform models in the challenging unconditional generation task in terms of audio quality and sample diversity from various automatic and human evaluations. 1 * Contributed to the work during an internship at Baidu Research, USA. 1 Audio samples are in: https://diffwave-demo.github.io/

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

Diffusion models have shown a great ability at bridging the performance gap between predictive and generative approaches for speech enhancement. We have shown that they may even outperform their predictive counterparts for non-additive corruption types or when they are evaluated on mismatched conditions. However, diffusion models suffer from a high computational burden, mainly as they require to run a neural network for each reverse diffusion step, whereas predictive approaches only require one pass. As diffusion models are generative approaches they may also produce vocalizing and breathing artifacts in adverse conditions. In comparison, in such difficult scenarios, predictive models typically do not produce such artifacts but tend to distort the target speech instead, thereby degrading the speech quality. In this work, we present a stochastic regeneration approach where an estimate given by a predictive model is provided as a guide for further diffusion. We show that the proposed approach uses the predictive model to remove the vocalizing and breathing artifacts while producing very high quality samples thanks to the diffusion model, even in adverse conditions. We further show that this approach enables to use lighter sampling schemes with fewer diffusion steps without sacrificing quality, thus lifting the computational burden by an order of magnitude. Source code and audio examples are available online (https://uhh.de/inf-sp-storm).

基于分数的生成模型（SGM）最近显示了难以生成的任务的令人印象深刻的结果，例如自然图像和音频信号的无条件生成和条件生成。在这项工作中，我们将这些模型扩展到复杂的短时傅立叶变换（STFT）域，并提出了使用复杂值的深神经网络来增强语音的新型训练任务。我们在随机微分方程（SDE）的形式主义中得出了这项训练任务，从而实现了预测器 - 矫正器采样器的使用。我们提供了以前出版物启发的替代配方，以使用生成扩散模型来增强语音，从而避免了对噪声分布的任何先前假设的需求，并使训练任务纯粹是生成纯生成的，这是我们所显示的，从而改善了增强性能。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

Diffusion-based generative models have had a high impact on the computer vision and speech processing communities these past years. Besides data generation tasks, they have also been employed for data restoration tasks like speech enhancement and dereverberation. While discriminative models have traditionally been argued to be more powerful e.g. for speech enhancement, generative diffusion approaches have recently been shown to narrow this performance gap considerably. In this paper, we systematically compare the performance of generative diffusion models and discriminative approaches on different speech restoration tasks. For this, we extend our prior contributions on diffusion-based speech enhancement in the complex time-frequency domain to the task of bandwith extension. We then compare it to a discriminatively trained neural network with the same network architecture on three restoration tasks, namely speech denoising, dereverberation and bandwidth extension. We observe that the generative approach performs globally better than its discriminative counterpart on all tasks, with the strongest benefit for non-additive distortion models, like in dereverberation and bandwidth extension. Code and audio examples can be found online at https://uhh.de/inf-sp-sgmsemultitask

在这项研究中，我们提出了一种跨域多目标语音评估模型，即MOSA-net，可以同时估算多个语音评估度量。更具体地，MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量，可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器（CNN-BLSTM）架构，以及每个评估度量的乘法注意层和完全连接的层。此外，来自自我监督学习模型的跨域特征（光谱和时域特征）和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入，以获得更准确的评估。实验结果表明，MOSA-Net可以精确地预测语音质量（PESQ），短时间客观可懂度（STOI）和语音失真指数（SDI）分数的感知评估，并且在噪声下进行了测试，并且在任何看法测试下都有增强的语音话语条件（测试扬声器和训练集中涉及的噪音类型）或看不见的测试条件（其中测试扬声器和噪声类型不参与训练集）。鉴于确认的预测能力，我们进一步采用了MOSA网的潜在表示来引导语音增强（SE）过程，并导出了质量清晰度（QI）-AWARE SE（QIA-SE）方法。实验结果表明，与客观评估指标和定性评估测试相比，QIA-SE与基线SE系统相比提供了卓越的增强性能。

降级扩散概率模型（DDPM）最近在许多生成任务中都取得了领先的性能。但是，继承的迭代采样过程成本阻碍了他们的应用程序到文本到语音部署。通过有关扩散模型参数化的初步研究，我们发现以前基于梯度的TTS模型需要数百或数千个迭代以保证高样本质量，这对加速采样带来了挑战。在这项工作中，我们提出了Prodiff的建议，以用于高质量文本到语音的渐进快速扩散模型。与以前的估计数据密度梯度的工作不同，Prodiff通过直接预测清洁数据来避免在加速采样时避免明显的质量降解来参数化denoising模型。为了通过减少扩散迭代来应对模型收敛挑战，Prodiff通过知识蒸馏减少目标位点的数据差异。具体而言，Denoising模型使用N-Step DDIM教师的生成的MEL光谱图作为训练目标，并将行为提炼成具有N/2步的新模型。因此，它允许TTS模型做出尖锐的预测，并通过数量级进一步减少采样时间。我们的评估表明，Prodiff仅需要两次迭代即可合成高保真性MEL光谱图，同时使用数百个步骤保持样本质量和多样性与最先进的模型竞争。 Prodiff在单个NVIDIA 2080TI GPU上的采样速度比实时快24倍，这使得扩散模型实际上是第一次适用于文本到语音综合部署。我们广泛的消融研究表明，Prodiff中的每种设计都是有效的，我们进一步表明，Prodiff可以轻松扩展到多扬声器设置。音频样本可在\ url {https://prodiff.github.io/。}上找到

使用Denoisis扩散概率模型（DDPM）的神经声码器已通过适应给定的声学特征的扩散噪声分布来改善。在这项研究中，我们提出了适应扩散噪声的素描，以使其随时间变化的光谱包络变得接近条件对数 - 摩尔光谱图。随着时变的过滤这种适应可改善声音质量，尤其是在高频带中。它是在时频域中处理的，以使计算成本几乎与常规DDPM基于DDPM的神经声码器相同。实验结果表明，在分析合成和语音增强方案中，Specgrad比常规DDPM的神经声码器产生比常规DDPM的更高的语音波形。音频演示可在wavegrad.github.io/specgrad/上获得。

目的：心电图（ECG）信号通常会遭受噪声干扰，例如基线徘徊。心电图信号的高质量和高保真重建对于诊断心血管疾病具有重要意义。因此，本文提出了一种新型的心电图基线徘徊和降噪技术。方法：我们以特定于心电图信号的条件方式扩展模型，即心电图基线徘徊和噪声去除（Descod-ECG）的基于深度分数的扩散模型。此外，我们部署了一个多拍的平均策略，以改善信号重建。我们在QT数据库和MIT-BIH噪声应力测试数据库上进行了实验，以验证该方法的可行性。采用基线方法进行比较，包括传统的基于数字过滤器和基于深度学习的方法。结果：数量评估结果表明，所提出的方法在四个基于距离的相似性指标（平方距离的总和，最大绝对正方形，根距离的百分比和余弦相似性）上获得了出色的性能，并具有3.771 $ \ pm $ 5.713 au，$ 5.713 au， 0.329 $ \ pm $ 0.258 au，40.527 $ \ pm $ 26.258 \％和0.926 $ \ pm $ 0.087。与最佳基线方法相比，这至少导致了至少20％的总体改进。结论：本文证明了Descod-ECG的最新性能用于ECG噪声，该噪声可以更好地近似真实的数据分布和在极端噪声腐败下较高的稳定性。意义：这项研究是最早扩展基于条件扩散的生成模型以去除ECG噪声的研究之一，并且Descod-ECG具有广泛用于生物医学应用的潜力。

从语音音频中删除背景噪音一直是大量研究和努力的主题，尤其是由于虚拟沟通和业余声音录制的兴起，近年来。然而，背景噪声并不是唯一可以防止可理解性的不愉快干扰：混响，剪裁，编解码器工件，有问题的均衡，有限的带宽或不一致的响度同样令人不安且无处不在。在这项工作中，我们建议将言语增强的任务视为一项整体努力，并提出了一种普遍的语音增强系统，同时解决了55种不同的扭曲。我们的方法由一种使用基于得分的扩散的生成模型以及一个多分辨率调节网络，该网络通过混合密度网络进行增强。我们表明，这种方法在专家听众执行的主观测试中大大优于艺术状态。我们还表明，尽管没有考虑任何特定的快速采样策略，但它仅通过4-8个扩散步骤就可以实现竞争性的目标得分。我们希望我们的方法论和技术贡献都鼓励研究人员和实践者采用普遍的语音增强方法，可能将其作为一项生成任务。

Diffusion probabilistic models have been recently used in a variety of tasks, including speech enhancement and synthesis. As a generative approach, diffusion models have been shown to be especially suitable for imputation problems, where missing data is generated based on existing data. Phase retrieval is inherently an imputation problem, where phase information has to be generated based on the given magnitude. In this work we build upon previous work in the speech domain, adapting a speech enhancement diffusion model specifically for STFT phase retrieval. Evaluation using speech quality and intelligibility metrics shows the diffusion approach is well-suited to the phase retrieval task, with performance surpassing both classical and modern methods.

通常，音频超分辨率模型固定了初始采样率和目标采样率，这需要对每对采样率进行训练的模型。我们介绍了NU-WAVE 2，这是一种用于神经音频上采样的扩散模型，该模型可以通过单个模型从各种采样率的输入中生成48 kHz音频信号。基于Nu-Wave的架构，NU-WAVE 2使用短时傅立叶卷积（STFC）生成谐波来解决NU-WAVE的主要故障模式，并结合带宽光谱特征变换（BSFT）来调节带宽的带宽频域中的输入。我们在实验上证明，NU-WAVE 2可产生高分辨率音频，而不论输入的采样率如何，同时需要的参数少于其他模型。官方代码和音频样本可在https://mindslab-ai.github.io/nuwave2上找到。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

基于深度学习（DL）的语音增强方法通常优化，以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善，但它们缺乏普遍化，并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战，研究人员已经探索了智能性（I-O）丢失函数和用于更强大的语音增强（SE）的视听（AV）信息的集成。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一种新颖且以前未开发的研究方向。具体而言，我们介绍了一个完全卷积的AV SE模型，它使用改进的短时客观可懂度（STOI）度量作为培训成本函数。据我们所知，这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明，我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频（AO）和AV模型，就标准客观的扬声器和噪声处理。

由于使用深度学习模型作为基本功能，语音增强（SE）的性能已大大提高。本文中，我们提出了一种感知对比度拉伸（PC）方法，以进一步提高SE性能。 PC是基于临界频带重要性函数得出的，并应用于修改SE模型的目标。具体而言，目标特征的对比是根据感知重要性拉伸的，从而提高了整体SE性能。与基于后处理的实现相比，将PC纳入培训阶段可以保留性能并减少在线计算。值得注意的是，PC可以与不同的SE模型架构和训练标准结合使用。此外，PC不影响SE模型训练的因果关系或收敛性。 VoiceBank按需数据集的实验结果表明，所提出的方法可以在因果关系（PESQ得分= 3.07）和非causal（PESQ分数= 3.35）SE任务上实现最先进的表现。

产生人类想要的声音效果是一个重要的话题。但是，在这一领域，很少有研究声音发电。在这项研究中，我们调查了以文本提示为条件的声音，并提出了一个新型的文本对生成框架，该框架由文本编码器组成，矢量量化了变异自动编码器（VQ-VAE），解码器和歌手。该框架首先使用解码器将从文本编码器提取的文本特征传递到借助VQ-VAE的MEL光谱图中，然后使用Vocoder将生成的MEL光谱图转换为波形。我们发现，解码器显着影响发电性能。因此，我们专注于在这项研究中设计一个好的解码器。我们从传统的自动回解码器开始，该解码器已被证明是以前的Sound Generation Works中的最先进方法。但是，AR解码器始终按顺序预测MEL-SPECTROGIN图令牌，这引入了单向偏见和错误问题的积累。此外，使用AR解码器，声音生成时间随着声音持续时间线性增加。为了克服AR解码器引入的缺点，我们提出了一个基于离散扩散模型的非自动回形解码器，称为DiffSound。具体而言，DIFFSOUND可以在一个步骤中预测所有MEL光谱图令牌，然后在下一步中完善预测的令牌，因此可以在几个步骤后获得最优于预测的结果。我们的实验表明，与AR解码器相比，我们提出的差异不仅产生更好的文本到单一生成结果，而且还具有更快的生成速度，例如MOS：3.56 \ textit {v.s} 2.786，并且生成速度为五个比AR解码器快的时间。

Binaural audio plays a significant role in constructing immersive augmented and virtual realities. As it is expensive to record binaural audio from the real world, synthesizing them from mono audio has attracted increasing attention. This synthesis process involves not only the basic physical warping of the mono audio, but also room reverberations and head/ear related filtrations, which, however, are difficult to accurately simulate in traditional digital signal processing. In this paper, we formulate the synthesis process from a different perspective by decomposing the binaural audio into a common part that shared by the left and right channels as well as a specific part that differs in each channel. Accordingly, we propose BinauralGrad, a novel two-stage framework equipped with diffusion models to synthesize them respectively. Specifically, in the first stage, the common information of the binaural audio is generated with a single-channel diffusion model conditioned on the mono audio, based on which the binaural audio is generated by a two-channel diffusion model in the second stage. Combining this novel perspective of two-stage synthesis with advanced generative models (i.e., the diffusion models),the proposed BinauralGrad is able to generate accurate and high-fidelity binaural audio samples. Experiment results show that on a benchmark dataset, BinauralGrad outperforms the existing baselines by a large margin in terms of both object and subject evaluation metrics (Wave L2: 0.128 vs. 0.157, MOS: 3.80 vs. 3.61). The generated audio samples (https://speechresearch.github.io/binauralgrad) and code (https://github.com/microsoft/NeuralSpeech/tree/master/BinauralGrad) are available online.

人类脑中脑中的背景利用异质感官信息，以有效地执行包括视觉和听力的认知任务。例如，在鸡尾酒会党的情况下，人类听觉Cortex上下文中的视听（AV）提示才能更好地感知言论。最近的研究表明，与音频SE模型相比，AV语音增强（SE）模型可以显着提高信噪比（SNR）环境的极低信号的语音质量和可懂度。然而，尽管在AV SE的领域进行了显着的研究，但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中，我们为低延迟扬声器的独立AV SE提供了一种新颖的框架，可以概括一系列视觉和声学噪声。特别地，提出了一种生成的对抗性网络（GaN）来解决AV SE的视觉缺陷的实际问题。此外，我们提出了一种基于神经网络的深度神经网络的实时AV SE模型，考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明，我们的实时AV SE框架优于最先进的SE方法，包括最近的基于DNN的SE模型。