演讲者的适应性对于建立强大的自动语音识别（ASR）系统很重要。在这项工作中，我们根据基于配置符号的声学模型（AM）在300H数据集中的功能空间方法研究了扬声器自适应训练（SAT）的各种方法。我们提出了一种称为加权简单添加的方法，该方法将加权的说话者信息向量添加到构象异构体AM的多头自发动模块的输入中。使用此方法用于SAT，我们在HUB5'00和HUB5'01的Callhome部分方面取得了3.5％和4.5％的相对改善。此外，我们以先前的作品为基础，在此基础上，我们为基于构象异构体的混合动力AM提出了一种新颖的竞争培训配方。我们扩展并改善了此食谱，在该配方中，我们在打电筒300H HUB5'00数据集上的单词误差（WER）方面取得了11％的相对改善。我们还通过将参数总数减少34％，从而使该配方有效。
translated by 谷歌翻译
最近提出的符合者架构已成功用于实现在不同数据集上实现最先进性能的端到端自动语音识别（ASR）架构。为了我们的最佳知识，没有研究使用适用物声学模型对混合ASR的影响。在本文中，我们展示并评估了竞争的基于统一体的混合模型训练配方。我们研究了不同的培训方面和方法，以提高字差率以及提高训练速度。我们应用时间下采样方法以实现有效的培训，并使用转换卷积再次上置输出序列。我们在交换机300H数据集中进行实验，与其他架构相比，我们的符合子的混合模型实现了竞争力。它在Hub5'01测试集上概括并显着优于BLSTM的混合模型。
translated by 谷歌翻译
端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。
translated by 谷歌翻译
混合动力和端到端（E2E）自动语音识别（ASR）系统之间的基本建模差异在其中创造了巨大的多样性和互补性。本文研究了混合TDNN和构型E2E ASR系统的基于多通的逆转和交叉适应系统组合方法。在多通恢复中，最先进的混合动力LF-MMI训练有素的CNN-TDNN系统具有速度扰动，规格和贝叶斯学习隐藏单元供款（LHUC）扬声器的适应器，以在被恢复之前产生初始的N-tesk输出由扬声器适应构象异构体系统，使用2向跨系统得分插值。在交叉适应中，混合CNN-TDNN系统适用于构象异构体系统的1好的输出，反之亦然。在300小时的总机语料库上进行的实验表明，使用两种系统组合方法中的任何一个得出的组合系统都超过了单个系统。在NIST HUB5'00，RT03和RT03和RT02评估数据。
translated by 谷歌翻译
基于变压器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至比常规混合框架表现出卓越的性能。变形金刚的主要思想是通过自我发挥层来捕捉话语中的远程全球背景。但是，对于诸如对话演讲之类的场景，这种话语级建模将忽略跨越话语的上下文依赖性。在本文中，我们建议在基于变压器的端到端体系结构中明确模拟索语中的索引信息，以进行对话性语音识别。具体而言，对于编码器网络，我们捕获了先前语音的上下文，并将此类历史信息纳入了通过上下文感知的残余注意机制中的当前输入。对于解码器而言，当前话语的预测还可以通过有条件的解码器框架在历史性的语言信息上进行条件。我们展示了我们提出的方法在几个开源对话中心的有效性，而拟议的方法始终提高了基于话语级变压器的ASR模型的性能。
translated by 谷歌翻译
Recently Transformer and Convolution neural network (CNN) based models have shown promising results in Automatic Speech Recognition (ASR), outperforming Recurrent neural networks (RNNs). Transformer models are good at capturing content-based global interactions, while CNNs exploit local features effectively. In this work, we achieve the best of both worlds by studying how to combine convolution neural networks and transformers to model both local and global dependencies of an audio sequence in a parameter-efficient way. To this regard, we propose the convolution-augmented transformer for speech recognition, named Conformer. Conformer significantly outperforms the previous Transformer and CNN based models achieving state-of-the-art accuracies. On the widely used LibriSpeech benchmark, our model achieves WER of 2.1%/4.3% without using a language model and 1.9%/3.9% with an external language model on test/testother. We also observe competitive performance of 2.7%/6.3% with a small model of only 10M parameters.
translated by 谷歌翻译
最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）中显示出令人鼓舞的结果，表现优于先前发表的最佳变压器传感器。在这项工作中，我们认为编码器和解码器中每个块的输出信息并不完全包容，换句话说，它们的输出信息可能是互补的。我们研究如何以参数效率的方式利用每个块的互补信息，并且可以预期这可能会导致更强的性能。因此，我们提出了刻板的变压器以进行语音识别，名为BlockFormer。我们已经实现了两个块集合方法：块输出的基本加权总和（基本WSBO），以及挤压和激气模块到块输出的加权总和（SE-WSBO）。实验已经证明，阻滞剂在Aishell-1上大大优于基于最新的构象模型，我们的模型在不使用语言模型的情况下达到了4.35 \％的CER，并且在4.10 \％上具有外部语言模型的4.10 \％测试集。
translated by 谷歌翻译
尽管针对正常语音的自动语音识别（ASR）技术取得了迅速的进展，但迄今为止，准确认识违反障碍和老年语音仍然是高度挑战的任务。由于这些用户中经常发现的移动性问题，很难为ASR系统开发收集大量此类数据。为此，数据增强技术起着至关重要的作用。与现有的数据增强技术相反，仅修改光谱轮廓的说话速率或整体形状，使用一组新颖的扬声器依赖（SD）生成对抗网络（Gan ）本文基于数据增强方法。这些既可以灵活地允许：a）在可用的语音数据可用时修改时间或速度的正常语音光谱，并更接近受损说话者的扬声器； b）对于非平行数据，SVD分解了正常语音频谱基础特征，要转换为目标老年人说话者的特征，然后再与时间基础重组以生成最先进的TDNN的增强数据和构象体ASR系统培训。实验是针对四个任务进行的：英语Uapseech和Torgo违反语音语音Corpora；英国痴呆症皮特和广东话JCCOCC MOCA老年语音数据集。所提出的基于GAN的数据增强方法始终优于基线速度扰动方法，最多可在Torgo和Dementiabank数据上降低4.91％和3.0％的绝对速度（相对相对9.61％和6.4％）。应用基于LHUC的扬声器适应后，保留了一致的性能改进。
translated by 谷歌翻译
作为语音识别的最流行的序列建模方法之一，RNN-Transducer通过越来越复杂的神经网络模型，以增长的规模和增加训练时代的增长，实现了不断发展的性能。尽管强大的计算资源似乎是培训卓越模型的先决条件，但我们试图通过仔细设计更有效的培训管道来克服它。在这项工作中，我们提出了一条高效的三阶段渐进式训练管道，以在合理的短时间内从头开始建立具有非常有限的计算资源的高效神经传感器模型。每个阶段的有效性在LibrisPeech和Convebobly Corpora上都经过实验验证。拟议的管道能够在短短2-3周内以单个GPU接近最先进的性能来训练换能器模型。我们最好的构型传感器在Librispeech测试中获得4.1％的速度，仅使用35个训练时代。
translated by 谷歌翻译
本文介绍了在自动语音识别（ASR）的语境中的声学模型的新型深度学习架构，称为MixNet。除了在LSTM-HMM中的DNN-HMM和存储器单元中的完全连接层之外，该模型使用基于专家（MOE）的混合的两个附加层。在输入时操作的第一个Moe层基于预定义的广义语音类，并且在倒数第二层操作的第二层基于自动学习的声学类。在自然语音中，不同声学类的分布在分布中是不可避免的，这导致帧间错误分类。如果经过修改的传统架构，则预期ASR精度将改进，以使其更适合于占这种重叠。 MixNet正在开发牢记这一点。通过散点图进行的分析验证了MOE确实改善了转化为更好ASR精度的类之间的分离。实验在大型词汇ASR任务上进行，表明，与传统模型，即DNN和LSTM分别提供了13.6％和10.0％的单词误差速率，即使用SMBR标准训练。与用于电话分类的现有方法相比（由EIGEN等人），我们所提出的方法产生了显着的改善。
translated by 谷歌翻译
ASR can be improved by multi-task learning (MTL) with domain enhancing or domain adversarial training, which are two opposite objectives with the aim to increase/decrease domain variance towards domain-aware/agnostic ASR, respectively. In this work, we study how to best apply these two opposite objectives with speaker labels to improve conformer-based ASR. We also propose a novel adaptive gradient reversal layer for stable and effective adversarial training without tuning effort. Detailed analysis and experimental verification are conducted to show the optimal positions in the ASR neural network (NN) to apply speaker enhancing and adversarial training. We also explore their combination for further improvement, achieving the same performance as i-vectors plus adversarial training. Our best speaker-based MTL achieves 7\% relative improvement on the Switchboard Hub5'00 set. We also investigate the effect of such speaker-based MTL w.r.t. cleaner dataset and weaker ASR NN.
translated by 谷歌翻译
最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。
translated by 谷歌翻译
去识别用于自动语音识别建模的数据是保护隐私的关键组成部分，尤其是在医疗领域。但是，只需将所有个人身份信息（PII）从端到端模型培训数据中删除，尤其是在识别类似类别的名称，日期，位置和单词的情况下会导致重大的性能退化。我们建议并评估一种两步方法，以部分回收这一损失。首先，识别PII，并用同一类别的随机单词序列代替每种发生。然后，通过文本到语音或将匹配从语料库提取的音频片段拼接在一起产生相应的音频。这些人造音频/标签对以及来自没有PII的原始数据的扬声器转向训练模型。我们评估了该方法在医疗对话内部数据上的性能，并观察到一般单词错误率中几乎整个性能降解的恢复，同时仍保持强劲的诊断性能。我们的主要重点是改善与PII相关单词的识别中的回忆和精度。根据PII类别，可以使用我们建议的方法在$ 50 \％-90 \％$之间降解。
translated by 谷歌翻译
自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。
translated by 谷歌翻译
最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。
translated by 谷歌翻译
在自动语音识别（ASR）研究中，歧视性标准在DNN-HMM系统中取得了出色的性能。鉴于这一成功，采用判别标准是有望提高端到端（E2E）ASR系统的性能。有了这一动机，以前的作品将最小贝叶斯风险（MBR，歧视性标准之一）引入了E2E ASR系统中。但是，基于MBR的方法的有效性和效率受到损害：MBR标准仅用于系统培训，这在训练和解码之间造成了不匹配；基于MBR的方法中的直接解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中提出了新的算法，以整合另一种广泛使用的判别标准，无晶格的最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。提出的LF-MI训练和解码方法显示了它们对两个广泛使用的E2E框架的有效性：基于注意力的编码器解码器（AEDS）和神经传感器（NTS）。与基于MBR的方法相比，提出的LF-MMI方法：保持训练和解码之间的一致性；避开直立的解码过程；来自具有卓越训练效率的随机初始化模型的火车。实验表明，LF-MI方法的表现优于其MBR对应物，并始终导致各种框架和数据集从30小时到14.3k小时上的统计学意义改进。所提出的方法在Aishell-1（CER 4.10％）和Aishell-2（CER 5.02％）数据集上实现了最先进的结果（SOTA）。代码已发布。
translated by 谷歌翻译
关节特征本质上是声信号失真的不变，并且已成功地纳入了为正常语音设计的自动语音识别（ASR）系统。它们在非典型任务领域（例如老年人和跨语言的言语无序）的实际应用通常受到从目标扬声器收集此类专家数据的困难。本文介绍了一种跨域和跨语性A2A反演方法，该方法利用了A2A模型中24小时TAL Corpus的平行音频，视觉和超声舌成像（UTI）数据，然后进行交叉训练和交叉训练。语言适用于两种语言的三个数据集：英语dementiabank pitt和antonese JCCOCC MOCA老年演讲Corpora;以及英语Torgo违反语音数据，以产生基于UTI的发音特征。 Experiments conducted on three tasks suggested incorporating the generated articulatory features consistently outperformed the baseline hybrid TDNN and Conformer based end-to-end systems constructed using acoustic features only by statistically significant word error rate or character error rate reductions up to 2.64%, 1.92% and数据增强和说话者适应后，绝对4.17％，7.89％和13.28％相对1.21％。
translated by 谷歌翻译
由长期记忆复发网络（LSTM-RNN）和变压器代表的最先进的神经网络语言模型（NNLMS）和变压器变得非常复杂。当获得有限的培训数据时，它们容易过度拟合和泛化。为此，本文提出了一个总体完整的贝叶斯学习框架，其中包含三种方法，以说明LSTM-RNN和Transformer LMS的潜在不确定性。分别使用贝叶斯，高斯过程和变异LSTM-RNN或变压器LMS对其模型参数，神经激活的选择和隐藏输出表示的不确定性。有效的推理方法被用来自动选择使用神经体系结构搜索的最佳网络内部组件作为贝叶斯学习。还使用了最少数量的蒙特卡洛参数样本。这些允许贝叶斯NNLM培训和评估中产生的计算成本最小化。实验是针对两项任务进行的：AMI符合转录和牛津-BBC唇读句子2（LRS2）使用最先进的LF-MMI培训的有效的TDNN系统重叠的语音识别，具有数据增强，扬声器的适应和多种音频，频道横梁成形以进行重叠的语音。基线LSTM-RNN和Transformer LMS具有估计的模型参数和辍学正则化的一致性改进，就困惑性和单词错误率（WER）获得了两项任务。特别是，在LRS2数据上，在基线LSTM-RNN和Transformer LMS中，在贝叶斯NNLMS及其各自的Baselines之间的模型组合后，在基线LSTM-RNN和Transferes LMS上分别获得了最高1.3％和1.2％的绝对降低（相对12.1％和11.3％）。 。
translated by 谷歌翻译
Neural transducer is now the most popular end-to-end model for speech recognition, due to its naturally streaming ability. However, it is challenging to adapt it with text-only data. Factorized neural transducer (FNT) model was proposed to mitigate this problem. The improved adaptation ability of FNT on text-only adaptation data came at the cost of lowered accuracy compared to the standard neural transducer model. We propose several methods to improve the performance of the FNT model. They are: adding CTC criterion during training, adding KL divergence loss during adaptation, using a pre-trained language model to seed the vocabulary predictor, and an efficient adaptation approach by interpolating the vocabulary predictor with the n-gram language model. A combination of these approaches results in a relative word-error-rate reduction of 9.48\% from the standard FNT model. Furthermore, n-gram interpolation with the vocabulary predictor improves the adaptation speed hugely with satisfactory adaptation performance.
translated by 谷歌翻译
通过利用变形金刚捕获基于内容的全球互动和卷积神经网络对本地特征的利用，Condormer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在构象异构体中，两个具有一半剩余连接的马卡龙状进料层将多头的自我注意和卷积模块夹在一起，然后是后层的归一化。我们在两个方向上提高了构象异构器的长序列能力，\ emph {sparser}和\ emph {更深层次}。我们使用$ \ Mathcal {o}（l \ text {log} l）$在时间复杂性和内存使用情况下调整稀疏的自我发挥机制。在执行剩余连接时，将使用深层的归一化策略，以确保我们对一百级构象体块的培训。在日本CSJ-500H数据集上，这种深稀疏的构象异构体分别达到5.52 \％，4.03 \％和4.50 \％在三个评估集上和4.16 \％，2.84 \％\％和3.20 \％时，当结合五个深度稀疏的稀疏配置符号时从12到16、17、50，最后100个编码器层的变体。
translated by 谷歌翻译