提高用户在嘈杂环境中理解语音的听力能力对于助听器设备的开发至关重要。为此，得出一个可以公平地预测HA用户语音清晰度的度量标准很重要。一种直接的方法是进行主观听力测试，并将测试结果用作评估度量。但是，进行大规模的听力测试是耗时且昂贵的。因此，将几个评估指标得出作为主观听力测试结果的替代物。在这项研究中，我们提出了一个多支链的语音可理解性预测模型（MBI-NET），以预测HA用户的主观可理解性评分。 MBI-NET由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可理解性预测模型组成，以从一个通道处理语音信号。两个分支的输出通过线性层融合，以获得预测的语音清晰度得分。实验结果证实了MBI-NET的有效性，MBI-NET的有效性比轨道1中的基线系统和轨道2在Clarity Preditation Challenge挑战2022数据集中产生的预测分数更高。

最近，基于深度学习（DL）的非侵入性语音评估模型引起了极大的关注。许多研究报告说，这些基于DL的模型产生令人满意的评估性能和良好的灵活性，但是它们在看不见的环境中的性能仍然是一个挑战。此外，与质量分数相比，更少的研究详细阐述了深度学习模型以估计可理解性得分。这项研究提出了一个多任务语音可理解性预测模型，称为MTI-NET，用于同时预测人类和机器的可理解性度量。具体而言，鉴于语音话语，MTI-NET旨在预测人类的主观听力测试结果和单词错误率（WER）分数。我们还研究了几种可以改善MTI-NET预测性能的方法。首先，我们比较不同功能（包括自我监督学习（SSL）模型的低级功能和嵌入）和MTI-NET的预测目标。其次，我们探讨了转移学习和多任务学习对培训MTI-NET的影响。最后，我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征，多任务学习和微调SSL嵌入的有效性。此外，已经证实，MTI-NET预测的可理解性和WER得分与地面真实分数高度相关。

在这项研究中，我们提出了一种跨域多目标语音评估模型，即MOSA-net，可以同时估算多个语音评估度量。更具体地，MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量，可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器（CNN-BLSTM）架构，以及每个评估度量的乘法注意层和完全连接的层。此外，来自自我监督学习模型的跨域特征（光谱和时域特征）和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入，以获得更准确的评估。实验结果表明，MOSA-Net可以精确地预测语音质量（PESQ），短时间客观可懂度（STOI）和语音失真指数（SDI）分数的感知评估，并且在噪声下进行了测试，并且在任何看法测试下都有增强的语音话语条件（测试扬声器和训练集中涉及的噪音类型）或看不见的测试条件（其中测试扬声器和噪声类型不参与训练集）。鉴于确认的预测能力，我们进一步采用了MOSA网的潜在表示来引导语音增强（SE）过程，并导出了质量清晰度（QI）-AWARE SE（QIA-SE）方法。实验结果表明，与客观评估指标和定性评估测试相比，QIA-SE与基线SE系统相比提供了卓越的增强性能。

无需清洁参考，非侵入式语音评估方法对客观评估引起了很大的关注。最近，已经应用了深度神经网络（DNN）模型来构建非侵入式语音评估方法并确认提供了有希望的性能。但是，基于DNN的大多数方法都是针对正常听力侦听者设计的，而不考虑听力损失因素。在本研究中，我们提出了一种由双向长期内存（BLSTM）模型形成的DNN的助听器语音评估网络（HASA-Net），以根据输入语音信号和指定的同时预测语音质量和可懂度分数听力损失模式。据我们所知，Hasa-net是利用统一的DNN的非侵入性模型来融入质量和可智能性评估的第一项工作。实验结果表明，HASA-NET的预测语音质量和可智能性评分与两个公知的侵入性助听剂评估指标高度相关，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI）。

Speech quality assessment has been a critical component in many voice communication related applications such as telephony and online conferencing. Traditional intrusive speech quality assessment requires the clean reference of the degraded utterance to provide an accurate quality measurement. This requirement limits the usability of these methods in real-world scenarios. On the other hand, non-intrusive subjective measurement is the ``golden standard" in evaluating speech quality as human listeners can intrinsically evaluate the quality of any degraded speech with ease. In this paper, we propose a novel end-to-end model structure called Convolutional Context-Aware Transformer (CCAT) network to predict the mean opinion score (MOS) of human raters. We evaluate our model on three MOS-annotated datasets spanning multiple languages and distortion types and submit our results to the ConferencingSpeech 2022 Challenge. Our experiments show that CCAT provides promising MOS predictions compared to current state-of-art non-intrusive speech assessment models with average Pearson correlation coefficient (PCC) increasing from 0.530 to 0.697 and average RMSE decreasing from 0.768 to 0.570 compared to the baseline model on the challenge evaluation test set.

语音智能评估模型是研究人员的重要工具，用于评估和改进语音处理模型。在本研究中，我们提出了INQSS，一种语音智能性评估模型，它使用频谱图和散射系数作为输入特征。此外，INQSS使用了一个多任务学习网络，其中质量分数可以指导语音可智能性评估的培训。由此产生的模型可以预测智能性分数，而且可以预测演讲的质量评分。实验结果证实，散射系数和质量分数是信息性的。此外，我们释放了TMHINT-QI，这是一个中国语音数据集，记录了清洁，嘈杂和增强的演讲的质量和可懂度分数。

在这项工作中，我们介绍了SOMOS数据集，这是第一个大规模的意见分数（MOS）数据集，该数据集由完全神经文本到语音（TTS）样本组成。它可以用于训练专注于现代合成器评估的自动MOS预测系统，并可以刺激声学模型评估的进步。它由LJ语音语音的20k合成话语组成，LJ语音是一个公共领域的语音数据集，是建立神经声学模型和声码器的常见基准。来自200 TTS系统（包括香草神经声学模型以及允许韵律变化的模型）产生的话语。 LPCNET VOCODER用于所有系统，因此样品的变化仅取决于声学模型。合成的话语提供了平衡，足够的域和长度覆盖范围。我们对3个英国亚马逊机械土耳其人地点进行了MOS自然评估，并共享实践，从而为这项任务提供可靠的人群注释。我们为SOMOS数据集上的最先进的MOS预测模型提供了基线结果，并显示了该模型在评估TTS话语时所面临的局限性。

基于深度学习（DL）的语音增强方法通常优化，以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善，但它们缺乏普遍化，并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战，研究人员已经探索了智能性（I-O）丢失函数和用于更强大的语音增强（SE）的视听（AV）信息的集成。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一种新颖且以前未开发的研究方向。具体而言，我们介绍了一个完全卷积的AV SE模型，它使用改进的短时客观可懂度（STOI）度量作为培训成本函数。据我们所知，这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明，我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频（AO）和AV模型，就标准客观的扬声器和噪声处理。

在情感文本到语音和语音转换之类的应用中，需要对语音的情绪分类和情感强度评估。提出了基于支持向量机（SVM）的情绪属性排名函数，以预测情绪语音语料库的情绪强度。但是，训练有素的排名函数并未推广到新的域，这限制了应用程序范围，尤其是对于室外或看不见的语音。在本文中，我们提出了一个数据驱动的深度学习模型，即PRENTECHNET，以改善对可见和看不见的语音的情绪强度评估的概括。这是通过来自各个领域的情绪数据融合来实现的。我们遵循多任务学习网络体系结构，其中包括声学编码器，强度预测指标和辅助情感预测指标。实验表明，所提出的强度网的预测情绪强度与可见和看不见的言语的地面真实分数高度相关。我们在以下位置发布源代码：https：//github.com/ttslr/strengthnet。

尽管最近的神经文本到语音（TTS）系统已经实现了高质量的语音合成，但存在TTS系统产生低质量语音的情况，主要是由知识蒸馏期间有限的训练数据或信息丢失引起的。因此，我们提出了一种新的方法，通过在感知损失的监督下通过培训TTS模型来改善语音质量，这测量了最大可能的语音质量分数和预测的距离。我们首先预先训练平均意见评分（MOS）预测模型，然后使用预先训练的MOS预测模型训练TTS模型以最大化合成语音的MOS。所提出的方法可以普遍应用（即，无论TTS模型架构还是语音质量校准的原因）和有效地应用（即，不增加推理时间或模型复杂性）。 MOS和手机错误率的评估结果表明，我们的建议方法在自然和可懂度方面提高了以前的模型。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

平均意见评分（MOS）是语音合成系统的典型主观评估指标。由于收集MOS是耗时的，因此如果有自动评估的准确MOS预测模型，那将是可取的。在这项工作中，我们提出了一个新型MOS预测模型DDOS。DDOS利用域自适应预训练来进一步预训练自制的学习模型，以进行合成语音。并添加了一个建议的模块来对每个话语的意见分数分布进行建模。使用提出的组件，DDOS在BVCC数据集上的表现优于先前的作品。BC2019数据集的零射击传输结果得到显着改善。DDO还以系统级别的分数在Interspeech 2022 Voicemos挑战中赢得了第二名。

已经研究了预测听众平均意见评分（MOS）的自动方法，以确保文本到语音系统的质量。许多先前的研究都集中在建筑进步（例如MBNET，LDNET等）上，以更有效的方式捕获光谱特征和MOS之间的关系，并获得了高精度。但是，从概括能力方面的最佳表示仍在很大程度上仍然未知。为此，我们比较了WAV2VEC框架获得的自我监督学习（SSL）特征与光谱特征（例如光谱图和Melspectrogron的幅度）的性能。此外，我们建议将SSL功能和功能结合起来，我们认为我们认为将基本信息保留到自动MOS上，以相互补偿其缺点。我们对从过去的暴风雪和语音转换挑战中收集的大规模听力测试语料库进行了全面的实验。我们发现，即使给定的地面真相并不总是可靠，WAV2VEC功能集也显示出最佳的概括。此外，我们发现组合表现最好，并分析了它们如何弥合光谱和WAV2VEC特征集之间的差距。

While human evaluation is the most reliable metric for evaluating speech generation systems, it is generally costly and time-consuming. Previous studies on automatic speech quality assessment address the problem by predicting human evaluation scores with machine learning models. However, they rely on supervised learning and thus suffer from high annotation costs and domain-shift problems. We propose SpeechLMScore, an unsupervised metric to evaluate generated speech using a speech-language model. SpeechLMScore computes the average log-probability of a speech signal by mapping it into discrete tokens and measures the average probability of generating the sequence of tokens. Therefore, it does not require human annotation and is a highly scalable framework. Evaluation results demonstrate that the proposed metric shows a promising correlation with human evaluation scores on different speech generation tasks including voice conversion, text-to-speech, and speech enhancement.

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

来自双耳信号的非侵入式语音可懂度（SI）预测在许多应用中都很有用。然而，大多数现有的基于信号的措施被设计为应用于单通道信号。专门设计用于考虑信号的双耳属性的措施通常是侵扰的，其特征在于需要访问清洁语音信号 - 并且通常依赖于在进行预测之前将两个通道组合到单通道信号中。本文提出了一种非侵入式SI测量，其使用矢量量化（VQ）和对比预测编码（CPC）方法的组合计算来自双耳输入信号的特征。 VQ-CPC功能提取不依赖于听觉系统的任何模型，而是培训以最大化输入信号和输出功能之间的相互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测功能。本文考虑了两种预测功能。两个特征提取器和预测功能都接受了具有各向同性噪声的模拟双耳信号。它们在具有各向同性和真实噪声的模拟信号上进行测试。对于所有信号，地面真相分数是（侵入式）确定性化双耳stoi。结果以相关性和MSE提供给出，并证明VQ-CPC功能能够捕获与建模SI相关的信息，并且越优于所有被考虑的基准 - 即使在评估包括不同噪声场类型的数据时也是如此。

当缺乏口头交流的范围时，例如，对于失去说话能力的患者，语言运动的产生和增强有助于沟通。尽管已经提出了各种技术，但电视学（EPG）是一种监测技术，记录了舌头和硬口感之间的接触，但尚未得到充分探索。本文中，我们提出了一种新型的多模式EPG到语音（EPG2S）系统，该系统利用EPG和语音信号进行语音产生和增强。研究了基于EPG和嘈​​杂语音信号的多种组合的不同融合策略，并研究了该方法的生存能力。实验结果表明，EPG2仅基于EPG信号实现了理想的语音产生结果。此外，观察到嘈杂的语音信号的添加以提高质量和清晰度。此外，观察到EPG2S仅基于音频信号实现高质量的语音增强，而添加EPG信号进一步改善了性能。晚期的融合策略被认为是同时言语产生和增强的最有效方法。

Modern speech enhancement (SE) networks typically implement noise suppression through time-frequency masking, latent representation masking, or discriminative signal prediction. In contrast, some recent works explore SE via generative speech synthesis, where the system's output is synthesized by a neural vocoder after an inherently lossy feature-denoising step. In this paper, we propose a denoising vocoder (DeVo) approach, where a vocoder accepts noisy representations and learns to directly synthesize clean speech. We leverage rich representations from self-supervised learning (SSL) speech models to discover relevant features. We conduct a candidate search across 15 potential SSL front-ends and subsequently train our vocoder adversarially with the best SSL configuration. Additionally, we demonstrate a causal version capable of running on streaming audio with 10ms latency and minimal performance degradation. Finally, we conduct both objective evaluations and subjective listening studies to show our system improves objective metrics and outperforms an existing state-of-the-art SE model subjectively.

生成的对抗网络最近在神经声音中表现出了出色的表现，表现优于最佳自动回归和基于流动的模型。在本文中，我们表明这种成功可以扩展到有条件音频的其他任务。特别是，在HIFI Vocoders的基础上，我们为带宽扩展和语音增强的新型HIFI ++一般框架提出了新颖的一般框架。我们表明，通过改进的生成器体系结构和简化的多歧视培训，HIFI ++在这些任务中的最先进的情况下表现更好或与之相提并论，同时花费大量的计算资源。通过一系列广泛的实验，我们的方法的有效性得到了验证。

通道不匹配和噪声干扰的补偿对于强大的自动语音识别至关重要。增强的语音已引入声学模型的多条件训练中，以提高其概括能力。在本文中，提出了一个基于两个级联神经结构的噪音感知训练框架，以共同优化语音增强和语音识别。功能增强模块由多任务自动编码器组成，嘈杂的语音被分解为干净的语音和噪声。通过将其增强的，吸引噪音的和嘈杂的特征连接起来，通过优化预测的无晶格最大互信息和预测状态序列之间的无晶格最大互助和交叉熵，声音模块将每个特征型仪表型映射到Triphone状态。除了分解时间延迟神经网络（TDNN-F）及其卷积变体（CNN-TDNNF），均具有Specaug，两个提议的系统的单词错误率（WER）分别为3.90％和3.55％ Aurora-4任务。与使用BigRAM和Trigram语言模型进行解码的最佳现有系统相比，拟议的基于CNN-TDNNF的系统的相对降低分别为15.20％和33.53％。此外，提出的基于CNN-TDNNF的系统还优于AMI任务上的基线CNN-TDNNF系统。