在这项研究中,我们提出了一种跨域多目标语音评估模型,即MOSA-net,可以同时估算多个语音评估度量。更具体地,MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量,可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器(CNN-BLSTM)架构,以及每个评估度量的乘法注意层和完全连接的层。此外,来自自我监督学习模型的跨域特征(光谱和时域特征)和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入,以获得更准确的评估。实验结果表明,MOSA-Net可以精确地预测语音质量(PESQ),短时间客观可懂度(STOI)和语音失真指数(SDI)分数的感知评估,并且在噪声下进行了测试,并且在任何看法测试下都有增强的语音话语条件(测试扬声器和训练集中涉及的噪音类型)或看不见的测试条件(其中测试扬声器和噪声类型不参与训练集)。鉴于确认的预测能力,我们进一步采用了MOSA网的潜在表示来引导语音增强(SE)过程,并导出了质量清晰度(QI)-AWARE SE(QIA-SE)方法。实验结果表明,与客观评估指标和定性评估测试相比,QIA-SE与基线SE系统相比提供了卓越的增强性能。
translated by 谷歌翻译
最近,基于深度学习(DL)的非侵入性语音评估模型引起了极大的关注。许多研究报告说,这些基于DL的模型产生令人满意的评估性能和良好的灵活性,但是它们在看不见的环境中的性能仍然是一个挑战。此外,与质量分数相比,更少的研究详细阐述了深度学习模型以估计可理解性得分。这项研究提出了一个多任务语音可理解性预测模型,称为MTI-NET,用于同时预测人类和机器的可理解性度量。具体而言,鉴于语音话语,MTI-NET旨在预测人类的主观听力测试结果和单词错误率(WER)分数。我们还研究了几种可以改善MTI-NET预测性能的方法。首先,我们比较不同功能(包括自我监督学习(SSL)模型的低级功能和嵌入)和MTI-NET的预测目标。其次,我们探讨了转移学习和多任务学习对培训MTI-NET的影响。最后,我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征,多任务学习和微调SSL嵌入的有效性。此外,已经证实,MTI-NET预测的可理解性和WER得分与地面真实分数高度相关。
translated by 谷歌翻译
提高用户在嘈杂环境中理解语音的听力能力对于助听器设备的开发至关重要。为此,得出一个可以公平地预测HA用户语音清晰度的度量标准很重要。一种直接的方法是进行主观听力测试,并将测试结果用作评估度量。但是,进行大规模的听力测试是耗时且昂贵的。因此,将几个评估指标得出作为主观听力测试结果的替代物。在这项研究中,我们提出了一个多支链的语音可理解性预测模型(MBI-NET),以预测HA用户的主观可理解性评分。 MBI-NET由两个模型分支组成,每个分支由听力损失模型,跨域特征提取模块和语音可理解性预测模型组成,以从一个通道处理语音信号。两个分支的输出通过线性层融合,以获得预测的语音清晰度得分。实验结果证实了MBI-NET的有效性,MBI-NET的有效性比轨道1中的基线系统和轨道2在Clarity Preditation Challenge挑战2022数据集中产生的预测分数更高。
translated by 谷歌翻译
语音智能评估模型是研究人员的重要工具,用于评估和改进语音处理模型。在本研究中,我们提出了INQSS,一种语音智能性评估模型,它使用频谱图和散射系数作为输入特征。此外,INQSS使用了一个多任务学习网络,其中质量分数可以指导语音可智能性评估的培训。由此产生的模型可以预测智能性分数,而且可以预测演讲的质量评分。实验结果证实,散射系数和质量分数是信息性的。此外,我们释放了TMHINT-QI,这是一个中国语音数据集,记录了清洁,嘈杂和增强的演讲的质量和可懂度分数。
translated by 谷歌翻译
无需清洁参考,非侵入式语音评估方法对客观评估引起了很大的关注。最近,已经应用了深度神经网络(DNN)模型来构建非侵入式语音评估方法并确认提供了有希望的性能。但是,基于DNN的大多数方法都是针对正常听力侦听者设计的,而不考虑听力损失因素。在本研究中,我们提出了一种由双向长期内存(BLSTM)模型形成的DNN的助听器语音评估网络(HASA-Net),以根据输入语音信号和指定的同时预测语音质量和可懂度分数听力损失模式。据我们所知,Hasa-net是利用统一的DNN的非侵入性模型来融入质量和可智能性评估的第一项工作。实验结果表明,HASA-NET的预测语音质量和可智能性评分与两个公知的侵入性助听剂评估指标高度相关,助听器语音质量指数(HASQI)和助听器语音感知指数(HASPI)。
translated by 谷歌翻译
以前的研究已经证实了利用明晰度信息达到改善的语音增强(SE)性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征,可以引导SE过程考虑执行增强时输入语音的剖视特性。因此,我们认为关节属性的上下文信息应包括有用的信息,并可以进一步利用不同的语言。在这项研究中,我们提出了一个SE系统,通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别(E2E ASR)模型进行联合列车,预测广播序列(BPC)而不是单词序列的序列。同时,开发了两种培训策略,以基于基于BPC的ASR:多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统,以实现比传统声学模型(AM)更好的结果。此外,与用单声道ASR培训的另一SE系统相比,基于BPC的ASR(提供上下文化学信息)可以在不同的信噪比(SNR)下更有效地改善SE性能。
translated by 谷歌翻译
人类脑中脑中的背景利用异质感官信息,以有效地执行包括视觉和听力的认知任务。例如,在鸡尾酒会党的情况下,人类听觉Cortex上下文中的视听(AV)提示才能更好地感知言论。最近的研究表明,与音频SE模型相比,AV语音增强(SE)模型可以显着提高信噪比(SNR)环境的极低信号的语音质量和可懂度。然而,尽管在AV SE的领域进行了显着的研究,但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中,我们为低延迟扬声器的独立AV SE提供了一种新颖的框架,可以概括一系列视觉和声学噪声。特别地,提出了一种生成的对抗性网络(GaN)来解决AV SE的视觉缺陷的实际问题。此外,我们提出了一种基于神经网络的深度神经网络的实时AV SE模型,考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明,我们的实时AV SE框架优于最先进的SE方法,包括最近的基于DNN的SE模型。
translated by 谷歌翻译
Speech quality assessment has been a critical component in many voice communication related applications such as telephony and online conferencing. Traditional intrusive speech quality assessment requires the clean reference of the degraded utterance to provide an accurate quality measurement. This requirement limits the usability of these methods in real-world scenarios. On the other hand, non-intrusive subjective measurement is the ``golden standard" in evaluating speech quality as human listeners can intrinsically evaluate the quality of any degraded speech with ease. In this paper, we propose a novel end-to-end model structure called Convolutional Context-Aware Transformer (CCAT) network to predict the mean opinion score (MOS) of human raters. We evaluate our model on three MOS-annotated datasets spanning multiple languages and distortion types and submit our results to the ConferencingSpeech 2022 Challenge. Our experiments show that CCAT provides promising MOS predictions compared to current state-of-art non-intrusive speech assessment models with average Pearson correlation coefficient (PCC) increasing from 0.530 to 0.697 and average RMSE decreasing from 0.768 to 0.570 compared to the baseline model on the challenge evaluation test set.
translated by 谷歌翻译
基于深度学习(DL)的语音增强方法通常优化,以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善,但它们缺乏普遍化,并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战,研究人员已经探索了智能性(I-O)丢失函数和用于更强大的语音增强(SE)的视听(AV)信息的集成。在本文中,我们介绍了基于DL的I-O SE算法利用AV信息,这是一种新颖且以前未开发的研究方向。具体而言,我们介绍了一个完全卷积的AV SE模型,它使用改进的短时客观可懂度(STOI)度量作为培训成本函数。据我们所知,这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明,我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频(AO)和AV模型,就标准客观的扬声器和噪声处理。
translated by 谷歌翻译
最近在各种语音域应用中提出了卷积增强的变压器(构象异构体),例如自动语音识别(ASR)和语音分离,因为它们可以捕获本地和全球依赖性。在本文中,我们提出了一个基于构型的度量生成对抗网络(CMGAN),以在时间频率(TF)域中进行语音增强(SE)。发电机使用两阶段构象体块编码大小和复杂的频谱图信息,以模拟时间和频率依赖性。然后,解码器将估计分解为尺寸掩模的解码器分支,以滤除不需要的扭曲和复杂的细化分支,以进一步改善幅度估计并隐式增强相信息。此外,我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明,与三个语音增强任务(DeNoising,dereverberation和Super-Losity)中的最新方法相比,CMGAN能够表现出卓越的性能。例如,对语音库+需求数据集的定量降解分析表明,CMGAN的表现优于以前的差距,即PESQ为3.41,SSNR为11.10 dB。
translated by 谷歌翻译
对于基于深度学习的语音增强(SE)系统,训练测试的声学不匹配会导致显着的性能降解。为了解决不匹配问题,已经得出了许多噪声适应策略。在本文中,我们提出了一种新颖的方法,称为“噪声自适应语音增强”,该方法具有目标条件重新采样(Nastar),该方法在目标环境中仅减少了一个样本(一次性)噪声语音的不匹配。 Nastar使用反馈机制通过噪声提取器和检索模型模拟自适应训练数据。噪声提取器估计了嘈杂语音的目标噪声,称为伪噪声。噪声检索模型根据噪音信号池从相关的语音中检索相关的噪声样品,称为相关 - 波霍特。伪噪声和相关的托架集共同采样并与源语音语料库混合,以准备模拟的训练数据以适应噪声。实验结果表明,Nastar可以有效地使用一个嘈杂的语音样本将SE模型适应目标条件。此外,噪声提取器和噪声检索模型均有助于模型适应。据我们所知,纳斯塔尔(Nastar)是第一项通过噪声提取和检索进行单发噪声适应的工作。
translated by 谷歌翻译
本文介绍了一种新的鉴别器受约束的最佳运输网络(DOTN),其对语音增强(SE)执行无监督的域适应,这是语音处理中的重要回归任务。 DOTN旨在通过利用来自源域的知识来估计目标域中噪声语音的清洁参考。据报道,培训和测试数据之间的域移位是在不同领域中学习问题的障碍。虽然丰富的文献存在于对分类的无监督域适应上,但提出的方法,尤其是回归,仍然稀缺,并且通常取决于输入数据的附加信息。所提出的DOTN方法通过生成的对抗性框架来说,从数学分析中统治最佳运输(OT)理论,以帮助评估目标域中的连续标签。在两个SE任务上的实验结果表明,通过延长经典OT制剂,我们提出的DOTN以纯粹无监督的方式优于先前的对抗域适应框架。
translated by 谷歌翻译
通道不匹配和噪声干扰的补偿对于强大的自动语音识别至关重要。增强的语音已引入声学模型的多条件训练中,以提高其概括能力。在本文中,提出了一个基于两个级联神经结构的噪音感知训练框架,以共同优化语音增强和语音识别。功能增强模块由多任务自动编码器组成,嘈杂的语音被分解为干净的语音和噪声。通过将其增强的,吸引噪音的和嘈杂的特征连接起来,通过优化预测的无晶格最大互信息和预测状态序列之间的无晶格最大互助和交叉熵,声音模块将每个特征型仪表型映射到Triphone状态。除了分解时间延迟神经网络(TDNN-F)及其卷积变体(CNN-TDNNF),均具有Specaug,两个提议的系统的单词错误率(WER)分别为3.90%和3.55% Aurora-4任务。与使用BigRAM和Trigram语言模型进行解码的最佳现有系统相比,拟议的基于CNN-TDNNF的系统的相对降低分别为15.20%和33.53%。此外,提出的基于CNN-TDNNF的系统还优于AMI任务上的基线CNN-TDNNF系统。
translated by 谷歌翻译
在我们以前的工作中,我们提出了一个歧视性自动编码器(DCAE)进行语音识别。 DCAE将两个训练方案结合在一起。首先,由于DCAE的目标是学习编码器映射,因此重建语音和输入语音之间的平方误差被最小化。其次,在代码层中,基于框架的语音嵌入是通过最小化地面真相标签和预测的Triphone-State分数之间的分类跨熵来获得的。 DCAE是根据Kaldi工具包开发的,通过将各种TDNN模型视为编码器。在本文中,我们进一步提出了三个新版本的DCAE。首先,使用了一个新的目标函数,该函数使用了地面真相和预测的Triphone-State序列之间的分类跨膜和相互信息。所得的DCAE称为基于链的DCAE(C-DCAE)。为了应用于强大的语音识别,我们将C-DCAE进一步扩展到层次结构和平行结构,从而导致HC-DCAE和PC-DCAE。在这两个模型中,重建的嘈杂语音与输入嘈杂语音以及增强语音和参考清洁语音之间的误差之间的误差都归功于目标函数。 WSJ和Aurora-4 Corpora的实验结果表明,我们的DCAE模型优于基线系统。
translated by 谷歌翻译
Modern speech enhancement (SE) networks typically implement noise suppression through time-frequency masking, latent representation masking, or discriminative signal prediction. In contrast, some recent works explore SE via generative speech synthesis, where the system's output is synthesized by a neural vocoder after an inherently lossy feature-denoising step. In this paper, we propose a denoising vocoder (DeVo) approach, where a vocoder accepts noisy representations and learns to directly synthesize clean speech. We leverage rich representations from self-supervised learning (SSL) speech models to discover relevant features. We conduct a candidate search across 15 potential SSL front-ends and subsequently train our vocoder adversarially with the best SSL configuration. Additionally, we demonstrate a causal version capable of running on streaming audio with 10ms latency and minimal performance degradation. Finally, we conduct both objective evaluations and subjective listening studies to show our system improves objective metrics and outperforms an existing state-of-the-art SE model subjectively.
translated by 谷歌翻译
由于使用深度学习模型作为基本功能,语音增强(SE)的性能已大大提高。本文中,我们提出了一种感知对比度拉伸(PC)方法,以进一步提高SE性能。 PC是基于临界频带重要性函数得出的,并应用于修改SE模型的目标。具体而言,目标特征的对比是根据感知重要性拉伸的,从而提高了整体SE性能。与基于后处理的实现相比,将PC纳入培训阶段可以保留性能并减少在线计算。值得注意的是,PC可以与不同的SE模型架构和训练标准结合使用。此外,PC不影响SE模型训练的因果关系或收敛性。 VoiceBank按需数据集的实验结果表明,所提出的方法可以在因果关系(PESQ得分= 3.07)和非causal(PESQ分数= 3.35)SE任务上实现最先进的表现。
translated by 谷歌翻译
许多压缩和加速策略在各个领域的分类任务中取得了出色的结果,例如计算机视觉和语音信号处理。尽管如此,相同的策略在回归任务中产生了未展现的性能,因为这些和分类任务之间的性质不同。在本文中,提出了一种新的签名唯一浮点网络(SEOFP-Net)技术来压缩模型大小并加速语音增强的推理时间,是语音信号处理的回归任务。该方法通过在训练期间量化单精度浮点参数的分数比量来压缩深神经网络(DNN)的语音增强模型的大小。在推理实现之前,略微调整训练SEOFP-NET模型中的所有参数,以通过用整数加法器替换浮点乘法器来加速推理时间。为了概括,SEOFP-NET技术被引入到不同模特架构下的语音信号处理中的不同语音增强任务。实验结果表明,在没有明显降级其语音增强性能的情况下,SEOFP-Net模型的大小可以显着压缩,并且与基线模型相比,推理时间可以加速至1.212x。结果还验证建议的SEOFP-NET可以与其他效率策略合作,以实现模型压缩的协同效果。此外,仅适用于用户学习实验的刚刚明显的差异(JND),以统计分析语音增强对听力的影响。结果表明,听众不能轻松地区分基线模型处理的增强语音信号和所提出的SEOFP网之间。
translated by 谷歌翻译
扩散概率模型已经证明了通过配对的扩散和反向过程模拟自然图像和原始音频波形的出色能力。可以利用反向过程的唯一特性(即,从高斯噪声和噪声信号中消除非目标信号)来恢复清洁信号。基于此属性,我们提出了一种基于扩散的基于概率模型的语言增强(漫反射)模型,其旨在从嘈杂的信号中恢复清洁语音信号。所提出的漫射模型的基本架构类似于差异 - 一种具有相对低的计算成本和足迹的高质量音频波形生成模型。为了获得更好的增强性能,我们设计了先进的反向过程,称为支持性反向过程,在每个时间步骤到预测的语音,这会增加噪音。实验结果表明,漫反射率与标准化语音银行语料库SE任务上的相关音频生成模型相当的性能。此外,相对于普遍建议的完整采样时间表,所提出的支持逆过程特别改善了快速采样,采取了几个步骤,从而产生更好的增强,从而通过传统的完整步长推断过程。
translated by 谷歌翻译
这项工作介绍了开发单声扬声器特定(即个性化)语音增强模型的自我监督学习方法。尽管通才模型必须广泛地解决许多扬声器,但专业模型可以将其增强功能调整到特定说话者的声音上,并希望解决狭窄的问题。因此,除了降低计算复杂性外,专家还能够实现更佳的性能。但是,幼稚的个性化方法可能需要目标用户的干净语音,这是不方便的,例如由于记录条件不足。为此,我们将个性化作为零拍的任务,其中不使用目标扬声器的其他干净演讲来培训,或者不使用几次学习任务,在该任务中,目标是最大程度地减少清洁的持续时间用于转移学习的语音。在本文中,我们提出了自我监督的学习方法,以解决零和少量个性化任务的解决方案。所提出的方法旨在从未知的无标记数据(即,来自目标用户的内在嘈杂录音)中学习个性化的语音功能,而无需知道相应的清洁资源。我们的实验研究了三种不同的自我监督学习机制。结果表明,使用较少的模型参数以及来自目标用户的较少的清洁数据实现了零拍摄的模型,从而实现了数据效率和模型压缩目标。
translated by 谷歌翻译
自我监督学习(SSL)在语音识别方面取得了巨大的成功,而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息,包括说话者身份,副语言学,口语内容等,学习所有语音任务的通用表示都具有挑战性。为了解决该问题,我们提出了一个新的预培训模型WAVLM,以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式,WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力,而且还可以通过语音denoing来提高非ASR任务的潜力。此外,WAVLM还采用封闭式的变压器结构的封闭相对位置偏置,以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能,并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。
translated by 谷歌翻译