端到端模型正在成为误用检测和诊断（MDD）的流行方法。许多实际应用要求的流MDD框架仍然是一个挑战。本文提出了一种名为CCA-MDD的流端到端MDD框架。CCA-MDD支持在线处理，并且能够实时运行。CCA-MDD的编码器包括基于Conv变压器网络的流式声学编码器，并改善了命名的耦合横向（CCA）的改进的横向关注。耦合的横向于预先编码的语言特征集成了编码的声学特征。应用从多任务学习培训的解码器的集合用于最终MDD决策。公开的Corpora实验表明，CCA-MDD可实现可比性的性能，以发布离线端到端MDD模型。
translated by 谷歌翻译
端到端（E2E）神经建模已成为开发计算机辅助语言培训（CAPT）系统的一个主要思想，对基于传统发音评分的方法表示竞争性能。然而，所需的当前E2E神经方法面临至少两个关键挑战。一方面，大多数E2E方法以自回归方式使用左右波束搜索操作，以指示L2学习者的发音。然而，这导致推理速度非常慢，这不可避免地阻碍了他们的实际用途。另一方面，E2E神经方法通常是数据贪婪，同时，非训练数据量不足通常会降低误用检测和诊断（MD＆D）的疗效。作为回应，我们提出了一种新的MD＆D方法，利用非归共（NAR）E2E神经建模，以大大加速推理时间，同时通过传统的E2E神经方法保持性能。此外，我们设计并开发了堆叠在我们的方法的NAR E2E模型之上的发音建模网络，以进一步提高MD＆D的有效性。与某些直接的E2E模型和基于DNN-HMM声学模型构建的基于ICONIC发音评分的方法相比，在L2-arctic英语数据集上进行的经验实验似乎验证了我们方法的可行性。
translated by 谷歌翻译
错位检测和诊断（MDD）技术是计算机辅助发音训练系统（CAPT）的关键组成部分。在评估受约束语音的发音质量的领域中，给定的转录可以扮演教师的角色。常规方法已充分利用了模型构建或改善系统性能的先前文本，例如强制对准和扩展识别网络。最近，一些基于端到端的方法试图将先前的文本纳入模型训练中，并初步显示出有效性。但是，先前的研究主要考虑将原始注意力机制与文本表示融合，而无需考虑可能的文本 - 概述不匹配。在本文中，我们提出了一种门控策略，该策略在抑制无关的文本信息的同时，对相关音频功能更为重要。此外，鉴于转录，我们设计了额外的对比损失，以减少音素识别和MDD的学习目标之间的差距。我们使用两个公共可用数据集（Timit和L2-极）进行了实验，而我们的最佳模型将F1分数从57.51美元\％$ $ $ $ $ 61.75 \％\％\％提高。此外，我们提供了详细的分析，以阐明门控机制和对MDD的对比度学习的有效性。
translated by 谷歌翻译
最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。
translated by 谷歌翻译
本文介绍了流媒体和非流定向晶体翻译的统一端到端帧工作。虽然非流媒体语音翻译的培训配方已经成熟，但尚未建立流媒体传播的食谱。在这项工作中，WEFOCUS在开发一个统一的模型（UNIST），它从基本组成部分的角度支持流媒体和非流媒体ST，包括培训目标，注意机制和解码政策。对最流行的语音到文本翻译基准数据集，MERE-C的实验表明，与媒体ST的BLEU评分和延迟度量有更好的折衷和液化标准端到端基线和级联模型。我们将公开提供我们的代码和评估工具。
translated by 谷歌翻译
In this work we propose a novel token-based training strategy that improves Transformer-Transducer (T-T) based speaker change detection (SCD) performance. The conventional T-T based SCD model loss optimizes all output tokens equally. Due to the sparsity of the speaker changes in the training data, the conventional T-T based SCD model loss leads to sub-optimal detection accuracy. To mitigate this issue, we use a customized edit-distance algorithm to estimate the token-level SCD false accept (FA) and false reject (FR) rates during training and optimize model parameters to minimize a weighted combination of the FA and FR, focusing the model on accurately predicting speaker changes. We also propose a set of evaluation metrics that align better with commercial use cases. Experiments on a group of challenging real-world datasets show that the proposed training method can significantly improve the overall performance of the SCD model with the same number of parameters.
translated by 谷歌翻译
最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。
translated by 谷歌翻译
口语理解（SLU）系统提取文本成绩单和语义与意图和插槽相关的语言。 SLU系统通常由（1）自动语音识别（ASR）模块组成，（2）接口来自ASR相关输出的接口模块，以及（3）自然语言理解（NLU）模块。 SLU系统中的接口随附文本转录或更丰富的信息（例如从ASR到NLU）的信息。在本文中，我们研究界面如何影响与口语理解的联合培训。最值得注意的是，我们在公开可用的50小时SLURP数据集中获得了最新结果。我们首先利用通过文本界面连接的大型ASR和NLU模型，然后通过序列损耗函数共同训练这两个模型。对于未利用预位模型的场景，使用更丰富的神经界面通过联合序列损失训练获得了最佳结果。最后，我们显示了利用预期模型随培训数据规模增加的总体减少影响。
translated by 谷歌翻译
最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）中显示出令人鼓舞的结果，表现优于先前发表的最佳变压器传感器。在这项工作中，我们认为编码器和解码器中每个块的输出信息并不完全包容，换句话说，它们的输出信息可能是互补的。我们研究如何以参数效率的方式利用每个块的互补信息，并且可以预期这可能会导致更强的性能。因此，我们提出了刻板的变压器以进行语音识别，名为BlockFormer。我们已经实现了两个块集合方法：块输出的基本加权总和（基本WSBO），以及挤压和激气模块到块输出的加权总和（SE-WSBO）。实验已经证明，阻滞剂在Aishell-1上大大优于基于最新的构象模型，我们的模型在不使用语言模型的情况下达到了4.35 \％的CER，并且在4.10 \％上具有外部语言模型的4.10 \％测试集。
translated by 谷歌翻译
研究界长期以来一直在非本地语音中研究了计算机辅助的发音训练（上尉）方法。研究人员致力于研究各种模型架构，例如贝叶斯网络和深度学习方法，以及分析语音信号的不同表示。尽管近年来取得了重大进展，但现有的CAPT方法仍无法以高精度检测发音误差（在40 \％-80 \％召回时只有60 \％精度）。关键问题之一是发音错误检测模型的可靠培训所需的语音错误的可用性较低。如果我们有一个可以模仿非本地语音并产生任何数量的训练数据的生成模型，那么检测发音错误的任务将容易得多。我们介绍了基于音素到音量（P2P），文本到语音（T2S）以及语音到语音（S2S）转换的三种创新技术，以生成正确发音和错误发音的合成语音。我们表明，这些技术不仅提高了三个机器学习模型的准确性，以检测发音错误，而且还有助于在现场建立新的最新技术。早期的研究使用了简单的语音生成技术，例如P2P转换，但仅是提高发音误差检测准确性的附加机制。另一方面，我们认为语音生成是检测发音误差的第一类方法。这些技术的有效性在检测发音和词汇应力误差的任务中进行了评估。评估中使用了非本地英语言语语料库。与最先进的方法相比，最佳提出的S2S技术将AUC度量误差的准确性从41 \％提高到41 \％从0.528提高到0.749。
translated by 谷歌翻译
这项工作旨在自动评估儿童的语言发展是否适合年龄。经过验证的语音和语言测试用于此目的测试听觉记忆。在这项工作中，任务是确定是否正确说出了口语非单词。我们比较有动机来建模特定语言结构的不同方法：低水平特征（FFT），扬声器嵌入（ECAPA-TDNN），素化 - 动机的嵌入（WAV2VEC 2.0）和语音嵌入Senones（ASR ASR ACOSTIC模型）形式。每种方法都提供了类似VGG的5层CNN分类器的输入。我们还检查了每个非单词的适应性。使用来自口头非单词的不同幼儿园的录音进行了对拟议系统的评估。 ECAPA-TDNN和低级FFT特征不会明确模型语音信息； WAV2VEC2.0经过素数标签训练，我们的ASR声学模型包含（子）语音信息。我们发现，语音建模越颗粒状，达到的识别率就越高。在ASR声学模型特征上训练的最佳系统的精度为89.4％，在ROC（接收器操作特征）曲线（AUC）下的面积为0.923。与FFT-BASELINE相比，这对应于20.2％和AUC相对0.309的改善。
translated by 谷歌翻译
以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。
translated by 谷歌翻译
已知历史和未来的上下文信息对于准确的声学建模很重要。但是，获取未来的上下文会带来流式ASR的延迟。在本文中，我们提出了一个新的框架 - 块，模拟未来的上下文和解码（Cuside）以进行流语言识别。引入了一个新的仿真模块，以递归地模拟未来的上下文帧，而无需等待未来的上下文。使用自我监督的损失与ASR模型共同训练模拟模块；ASR模型通过通常的ASR损失（例如我们实验中使用的CTC-CRF）进行了优化。实验表明，与使用真实的未来框架作为正确的上下文相比，使用模拟的未来上下文可以大大降低延迟，同时保持识别精度。使用Cuside，我们在Aishell-1数据集上获得了新的最新流媒体ASR结果。
translated by 谷歌翻译
最近，语音表示学习改善了许多与语音有关的任务，例如语音识别，语音分类和语音到文本翻译。但是，以上所有任务都朝着语音理解的方向发展，但是对于反向方向，言语综合，由于产生高质量语音的挑战性质，代表性学习的潜力尚未实现。为了解决这个问题，我们提出了我们的框架，对准的声音文本预处理（$^3 $ t），该框架在培训期间重建了带有文本输入和声学文本对齐的蒙面声信号。通过这种方式，预处理的模型可以生成高质量的重建频谱图，可以直接应用于语音编辑和看不见的扬声器tts。实验显示了$^3 $ t在语音编辑上的SOTA模型，并在没有外部说话者验证模型的情况下改善了多扬声器语音综合。
translated by 谷歌翻译
尽管流媒体助手系统已在许多应用中使用，但该系统通常集中于不自然的单次交互，假设来自单个语音查询的输入毫不犹豫地或不足。但是，除了反弹之外，常见的对话说法通常涉及多个转弯的查询。这些疏远包括暂停思考，犹豫，延长单词，填补的停顿和重复的短语。这使得通过对话演讲进行语音识别，其中包括有多个查询，这是一项具有挑战性的任务。为了更好地建模对话互动，至关重要的是，歧视汇率和查询的结束至关重要，以使用户能够在用户完成时，同时使系统尽快做出响应，以使用户保持地板的折衷。在本文中，我们提出了一个基于端到端（E2E）语音识别器的转折预测指标。我们的最佳系统是通过共同优化ASR任务并检测用户何时停止思考或完成口语来获得的。所提出的方法显示，在预测真正的转弯率的97％以上的召回率和85％的精度率中，在设计集中仅100毫秒延迟，设计了4种类型的对话说法中插入4种散布。
translated by 谷歌翻译
当前的领先错误发音检测和诊断（MDD）系统通过端到端音素识别实现有希望的性能。这种端到端解决方案的一个挑战是在自然L2语音上缺乏人类注销的音素。在这项工作中，我们通过伪标记（PL）程序利用未标记的L2语音，并扩展基于预先训练的自我监督学习（SSL）模型的微调方法。具体而言，我们使用WAV2VEC 2.0作为我们的SSL模型，并使用原始标记的L2语音样本以及创建的伪标记的L2语音样本进行微调。我们的伪标签是动态的，是由在线模型的合奏生成的，这确保了我们的模型对伪标签的噪声具有强大的功能。我们表明，使用伪标签进行微调可实现5.35％的音素错误率降低和2.48％的MDD F1得分在仅标签样本的基线基线。提出的PL方法还显示出优于常规的离线PL方法。与最先进的MDD系统相比，我们的MDD解决方案会产生更准确，一致的语音误差诊断。此外，我们对单独的UTD-4ACCENTS数据集进行了开放测试，在该数据集中，我们的系统识别输出基于重音和清晰度，与人类感知有着密切的相关性。
translated by 谷歌翻译
代码转换是关于在通信过程中处理替代语言。训练端到端（E2E）自动语音识别（ASR）系统用于代码开关是一个充满挑战的问题，因为由于存在多种语言，因此缺乏增加语言上下文混乱的数据加剧的数据。在本文中，我们提出了一种与语言相关的注意机制，以减少基于等价约束理论（EC）的E2E代码转换ASR模型的多语言上下文混乱。语言理论要求在代码转换句子中发生的任何单语片段都必须发生在一个单语句子中。它在单语言数据和代码转换数据之间建立了一个桥梁。通过计算多种语言的各自注意力，我们的方法可以从丰富的单语言数据中有效地传输语言知识。我们在ASRU 2019-English代码转换挑战数据集上评估我们的方法。与基线模型相比，提出的方法可实现11.37％的相对混合错误率降低。
translated by 谷歌翻译
声学和语言特征是口语识别（LID）任务的重要提示。最近的高级盖系统主要使用缺乏明确语言特征编码的声学特征。在本文中，我们通过将RNN换能器模型集成到语言嵌入框架中，提出了一种基于换能器的新型语言嵌入方法，用于盖子任务。从RNN传感器的语言表示能力的优势中受益，该方法可以利用语音感知的声学特征和盖子任务的明确语言特征。实验是在大规模的多语言Librispeech和Voxlingua107数据集上进行的。实验结果表明，所提出的方法显着提高了盖子任务的性能，分别对内域和跨域数据集的相对改善为12％至59％和16％至24％。
translated by 谷歌翻译
本文介绍了语音（TTS）系统的Microsoft端到端神经文本：暴风雪挑战2021。这一挑战的目标是从文本中综合自然和高质量的演讲，并在两个观点中接近这一目标：首先是直接模型，并在48 kHz采样率下产生波形，这比以前具有16 kHz或24 kHz采样率的先前系统带来更高的感知质量;第二个是通过系统设计来模拟语音中的变化信息，从而提高了韵律和自然。具体而言，对于48 kHz建模，我们预测声学模型中的16 kHz熔点 - 谱图，并提出称为HIFINET的声码器直接从预测的16kHz MEL谱图中产生48kHz波形，这可以更好地促进培训效率，建模稳定性和语音。质量。我们从显式（扬声器ID，语言ID，音高和持续时间）和隐式（话语级和音素级韵律）视角系统地模拟变化信息：1）对于扬声器和语言ID，我们在培训和推理中使用查找嵌入; 2）对于音高和持续时间，我们在训练中提取来自成对的文本语音数据的值，并使用两个预测器来预测推理中的值; 3）对于话语级和音素级韵律，我们使用两个参考编码器来提取训练中的值，并使用两个单独的预测器来预测推理中的值。此外，我们介绍了一个改进的符合子块，以更好地模拟声学模型中的本地和全局依赖性。对于任务SH1，DelightFultts在MOS测试中获得4.17均匀分数，4.35在SMOS测试中，表明我们所提出的系统的有效性
translated by 谷歌翻译
使用未知数量的扬声器数量的单通道远场录制的自动语音识别（ASR）传统上由级联模块解决。最近的研究表明，与模块化系统相比，端到端（E2E）多扬声器ASR模型可以实现卓越的识别准确性。但是，这些模型不会确保由于其对完整音频上下文的依赖性而实时适用性。这项工作采用实时适用性，作为模型设计的第一优先级，并解决了以前的多扬声器经常性神经网络传感器（MS-RNN-T）的几个挑战。首先，我们在训练期间介绍一般的重叠言论模拟，在LibrisPeechMix测试集上产生14％的相对字错误率（WER）改进。其次，我们提出了一种新的多转RNN-T（MT-RNN-T）模型，其具有基于重叠的目标布置策略，其概括为任意数量的扬声器，而没有模型架构的变化。我们调查在Liblics测试集上培训训练期间看到的最大扬声器数量的影响，并在两位扬声器MS-RNN-T上报告28％的相对加速。第三，我们试验丰富的转录战略，共同承认和分割多方言论。通过深入分析，我们讨论所提出的系统的潜在陷阱以及未来的未来研究方向。
translated by 谷歌翻译