在本文中，我们在多方会议场景中对说话者的自动语音识别（SA-ASR）进行了比较研究，这一主题越来越关注丰富的转录。具体而言，本研究评估了三种方法。第一种方法，即FD-SOT，由框架级诊断模型组成，以识别说话者和多对话者ASR以识别话语。通过对齐诊断结果和公认的假设，可以获得说话者归因的转录。但是，由于模块化的独立性，这种对齐策略可能会遭受错误的时间戳，从而严重阻碍了模型性能。因此，我们提出了第二种方法WD-SOT，以通过引入单词水平诊断模型来解决对齐误差，从而可以摆脱这种时间戳对齐依赖性。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，该方法可以训练目标扬声器分离模块和ASR模块。通过比较每种SA-ASR方法的各种策略，对真实会议场景语料库的实验结果，AlimeTing，表明WD-SOT方法可在平均扬声器依赖性角色错误率（SD-CER）相对降低10.7％，与之相比FD-SOT方法。此外，TS-ASR方法还优于FD-SOT方法，并带来16.5％的相对平均SD-CER减少。
translated by 谷歌翻译
本文介绍了流式扬声器的自动语音识别（SA-ASR）模型，该模型可以识别``即使多个人同时讲话，谁说'谁说什么”。我们的模型基于令牌级的序列化输出培训（T-SOT），该培训最近提议以流媒体方式转录多对词的演讲。为了进一步认识说话者的身份，我们提出了一个基于编码器的扬声器嵌入提取器，该扬声器可以估算每个公认的代币的说话者表示，不仅是从非重叠的语音中，而且还来自重叠的语音。所提出的扬声器嵌入为T-vector，与T-SOT ASR模型同步提取，从而可以通过低潜伏期的多词器转录来联合执行说话者识别（SID）或说话者诊断（SD）。我们通过使用LibrisPeechMix和Libralics Corpora评估了ASR和SID/SD联合任务的建议模型。所提出的模型比以前的流媒体模型获得了更高的准确性，并且与最新的离线SA-ASR模型显示出可比甚至更高的结果。
translated by 谷歌翻译
言语分离的许多最近进步主要针对具有高重叠程度的短音频话语的合成混合物。这些数据集与真实的会话数据显着不同，因此，在这些数据集上培训和评估的模型不会概括到真实的会话方案。使用大多数这些模型用于长形式语音的另一个问题是由于时间频率掩模或置换不变训练（PIT）损耗的无监督聚类，因此是分离的语音段的非明确顺序。这导致准确地缝合用于自动语音识别（ASR）的下游任务的均匀扬声器段。在本文中，我们提出了一种扬声器调节分离器，在直接从混合信号中提取的扬声器嵌入物上训练。我们使用定向丢失训练此模型，该丢失调节分离的段的顺序。使用此模型，我们对真实会话数据的单词错误率（WER）进行了重大改进，而无需额外的重新拼接步骤。
translated by 谷歌翻译
重叠的言语日期始终被视为多标签分类问题。在本文中，通过使用电源集编码多扬声器标签，我们将此任务重新格式化为单个标签预测问题。具体地，我们提出了扬声器嵌入感知的神经日复日复速节（发送）方法，其根据语音特征和给定扬声器嵌入的相似性预测电力集编码标签。我们的方法通过利用之前的文献中未能很好地研究，进一步扩展并与下游任务集成在一起。实验结果表明，我们的方法达到了比目标扬声器语音活动检测更低的日益缓释误差率。当涉及文本信息时，可以进一步降低日复速度误差。对于真正的会议场景，与基于贝叶斯隐马尔可夫模型的聚类算法相比，我们的方法可以实现相对改进34.11％。
translated by 谷歌翻译
使用未知数量的扬声器数量的单通道远场录制的自动语音识别（ASR）传统上由级联模块解决。最近的研究表明，与模块化系统相比，端到端（E2E）多扬声器ASR模型可以实现卓越的识别准确性。但是，这些模型不会确保由于其对完整音频上下文的依赖性而实时适用性。这项工作采用实时适用性，作为模型设计的第一优先级，并解决了以前的多扬声器经常性神经网络传感器（MS-RNN-T）的几个挑战。首先，我们在训练期间介绍一般的重叠言论模拟，在LibrisPeechMix测试集上产生14％的相对字错误率（WER）改进。其次，我们提出了一种新的多转RNN-T（MT-RNN-T）模型，其具有基于重叠的目标布置策略，其概括为任意数量的扬声器，而没有模型架构的变化。我们调查在Liblics测试集上培训训练期间看到的最大扬声器数量的影响，并在两位扬声器MS-RNN-T上报告28％的相对加速。第三，我们试验丰富的转录战略，共同承认和分割多方言论。通过深入分析，我们讨论所提出的系统的潜在陷阱以及未来的未来研究方向。
translated by 谷歌翻译
扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。
translated by 谷歌翻译
本文提出了代币级别的序列化输出训练（T-SOT），这是流式传输多对话者自动语音识别（ASR）的新型框架。与使用多个输出分支的现有流媒体多对话者ASR模型不同，T-SOT模型只有一个单个输出分支，该分支基于其排放时间生成多个扬声器的识别令牌（例如，单词，子字）。引入了指示“虚拟”输出通道更改的特殊令牌，以跟踪重叠的话语。与先前的流媒体ASR模型相比，T-SOT模型具有较低的推理成本和更简单的模型体系结构的优点。此外，在我们对LibrisPeechMix和Librics数据集的实验中，基于T-SOT的变压器换能器模型可实现最新的单词错误率，从而有很大的差距。对于非重叠的语音，T-SOT模型在精度和计算成本方面与单调的ASR模型相提并论，为单个单词和多对话者方案部署一个模型打开了大门。
translated by 谷歌翻译
本文介绍了使用变压器基于目标扬声器语音活动检测（TS-VAD）的扬声器诊断模型。为了克服原始的TS-VAD模型无法处理任意数量的扬声器的缺点，我们研究了使用具有可变长度时间和扬声器尺寸的输入张量的模型架构。将变压器层应用于扬声器轴，以使模型输出对提供给TS-VAD模型的扬声器配置文件的顺序不敏感。时间顺序层插入了这些说话者的变压器层之间，以允许捕获输入语音信号的时间和跨语言器相关性。我们还使用基于编码器的吸引子（EEND-EDA）将基于端到端神经诊断的诊断模型通过基于变压器的TS-VAD替换其基于DOT的扬声器检测层，从而扩展了基于端到端的神经腹泻。 VoxConverse上的实验结果表明，使用变压器进行跨言扬声器建模可将TS-VAD的诊断错误率（DER）降低10.9％，从而使新的最先进（SOTA）DER达到4.74％。此外，我们的扩展eDa-eda在呼叫者数据集上相对于原始eend-eda的模型大小将6.9％降低了6.9％，在广泛使用的培训数据设置下，新的SOTA DER为11.18％。
translated by 谷歌翻译
基于变压器的模型已经证明了它们在自动语音识别（ASR）任务中的有效性，甚至比常规混合框架表现出卓越的性能。变形金刚的主要思想是通过自我发挥层来捕捉话语中的远程全球背景。但是，对于诸如对话演讲之类的场景，这种话语级建模将忽略跨越话语的上下文依赖性。在本文中，我们建议在基于变压器的端到端体系结构中明确模拟索语中的索引信息，以进行对话性语音识别。具体而言，对于编码器网络，我们捕获了先前语音的上下文，并将此类历史信息纳入了通过上下文感知的残余注意机制中的当前输入。对于解码器而言，当前话语的预测还可以通过有条件的解码器框架在历史性的语言信息上进行条件。我们展示了我们提出的方法在几个开源对话中心的有效性，而拟议的方法始终提高了基于话语级变压器的ASR模型的性能。
translated by 谷歌翻译
自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。
translated by 谷歌翻译
最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。
translated by 谷歌翻译
In this work we propose a novel token-based training strategy that improves Transformer-Transducer (T-T) based speaker change detection (SCD) performance. The conventional T-T based SCD model loss optimizes all output tokens equally. Due to the sparsity of the speaker changes in the training data, the conventional T-T based SCD model loss leads to sub-optimal detection accuracy. To mitigate this issue, we use a customized edit-distance algorithm to estimate the token-level SCD false accept (FA) and false reject (FR) rates during training and optimize model parameters to minimize a weighted combination of the FA and FR, focusing the model on accurately predicting speaker changes. We also propose a set of evaluation metrics that align better with commercial use cases. Experiments on a group of challenging real-world datasets show that the proposed training method can significantly improve the overall performance of the SCD model with the same number of parameters.
translated by 谷歌翻译
端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。
translated by 谷歌翻译
多通道多扬声器的自动语音识别（ASR）重叠的语音仍然是语音社区最具挑战性的任务之一。在本文中，我们首次利用3D空间中的目标扬声器的位置信息来研究挑战。为了探讨所提出的3D空间特征的强度，研究了两个范例。 1）带有多通道语音分离模块的流水线系统，后跟最先进的单通道ASR模块; 2）3D空间特征直接用作无明确分离模块的ASR系统的输入的“一体化”模型。它们都是完全可分辨的，并且可以回到倒端的端到端。我们在模拟重叠的语音和实际录音上测试它们。实验结果表明，1）所提出的一体化模型对流水线系统实现了类似的误码率，同时将推理时间减少一半; 2）所提出的3D空间特征显着优于（31 \％CERR）所有先前的应用程序在两个范例中使用的所有先前作品。
translated by 谷歌翻译
本文介绍了一个新型的流媒体自动语音识别（ASR）框架，用于由带有任意几何形状的遥远麦克风阵列捕获的多对话者重叠语音。我们的名为T-Sot-VA的框架在独立开发了两种最近的技术上。基于令牌级别的序列化输出训练（T-SOT），数量几何形状 - 反应连续的语音分离或VARARRARY和流媒体多对话者ASR。为了结合两种技术的最佳，我们新设计了一个基于T-SOT的ASR模型，该模型基于Vararray的两个分离的语音信号生成序列化的多对话者转录。我们还为这种ASR模型提出了一种预训练方案，我们基于单膜单键式ASR训练数据来模拟Vararray的输出信号。使用AMI会议语料库的对话转录实验表明，基于提议的框架的系统大大优于常规的框架。我们的系统分别在保留流媒体推理能力的同时，在多远离微米频道设置中分别实现了AMI开发和评估集的最新单词错误率为13.7％和15.5％。
translated by 谷歌翻译
虽然现代自动语音识别（ASR）系统可以实现高性能，但它们可能会产生削弱读者体验并对下游任务造成伤害的错误。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模型后处理系统，其中1）熔断来自不同方式的声学特征和文本特征，2）接合置信度估计器和多个误差校正器任务学习时尚和3）统一纠错和话语抑制模块。与单模或单任务模型相比，我们提出的系统被证明更有效和高效。实验结果表明，我们的后处理系统导致对工业ASR系统的单扬声器和多扬声器语音相对降低的10％相对减少，每个令牌约为1.7ms延迟确保在流语音识别中可以接受后处理引入的额外延迟。
translated by 谷歌翻译
尽管针对正常语音的自动语音识别（ASR）技术取得了迅速的进展，但迄今为止，准确认识违反障碍和老年语音仍然是高度挑战的任务。由于这些用户中经常发现的移动性问题，很难为ASR系统开发收集大量此类数据。为此，数据增强技术起着至关重要的作用。与现有的数据增强技术相反，仅修改光谱轮廓的说话速率或整体形状，使用一组新颖的扬声器依赖（SD）生成对抗网络（Gan ）本文基于数据增强方法。这些既可以灵活地允许：a）在可用的语音数据可用时修改时间或速度的正常语音光谱，并更接近受损说话者的扬声器； b）对于非平行数据，SVD分解了正常语音频谱基础特征，要转换为目标老年人说话者的特征，然后再与时间基础重组以生成最先进的TDNN的增强数据和构象体ASR系统培训。实验是针对四个任务进行的：英语Uapseech和Torgo违反语音语音Corpora；英国痴呆症皮特和广东话JCCOCC MOCA老年语音数据集。所提出的基于GAN的数据增强方法始终优于基线速度扰动方法，最多可在Torgo和Dementiabank数据上降低4.91％和3.0％的绝对速度（相对相对9.61％和6.4％）。应用基于LHUC的扬声器适应后，保留了一致的性能改进。
translated by 谷歌翻译
利用上下文信息是提高对话自动语音识别（ASR）的性能的直观想法。以前的作品通常采用公认的历史话语假设作为前面的背景，这可能会偏向于由于不可避免的历史认可错误而导致的当前公认假设。为了避免此问题，我们提出了一个音频文本跨模式表示器，以直接从先前的语音中学习上下文表示。具体而言，它由两个与模态相关的编码器组成，从语音和相应的文本中提取高级潜在特征，以及一个跨模式编码器，旨在学习语音和文本之间的相关性。我们随机掩盖每种模式的一些输入令牌和输入序列。然后，在交叉模式编码器上使用模态级别的CTC损失进行令牌错失或模态失误预测。因此，该模型不仅捕获了特定模式中的双向上下文依赖性，还捕获了不同模态之间的关系。然后，在训练对话ASR系统的训练期间，提取器将被冻结以提取上述语音的文本表示，而该表示形式则用作通过注意机制将其作为供应给ASR解码器的上下文。拟议方法的有效性在几个普通话对话中得到了验证，并且在MagicData数据集中，达到了最高的字符错误率（CER）最高16％。
translated by 谷歌翻译
我们为基于语义信息（称为ConceptBeam的语义信息）提出了一个新颖的框架。目标语音提取意味着在混合物中提取目标扬声器的语音。典型的方法一直在利用音频信号的性能，例如谐波结构和到达方向。相反，ConceptBeam通过语义线索解决了问题。具体来说，我们使用概念规范（例如图像或语音）提取说话者谈论概念的演讲，即感兴趣的主题。解决这个新颖的问题将为对话中讨论的特定主题等创新应用打开门。与关键字不同，概念是抽象的概念，使直接代表目标概念的挑战。在我们的方案中，通过将概念规范映射到共享的嵌入空间，将概念编码为语义嵌入。可以使用由图像及其口语字幕组成的配对数据进行深度度量学习来构建这种独立的空间。我们使用它来桥接模式依赖性信息，即混合物中的语音段以及指定的，无模式的概念。作为我们方案的证明，我们使用与口语标题相关的一组图像进行了实验。也就是说，我们从这些口语字幕中产生了语音混合物，并将图像或语音信号用作概念指定符。然后，我们使用已识别段的声学特征提取目标语音。我们将ConceptBeam与两种方法进行比较：一种基于从识别系统获得的关键字，另一个基于声音源分离。我们表明，概念束明显优于基线方法，并根据语义表示有效提取语音。
translated by 谷歌翻译
可以通过组合自动语音识别（ASR）和文本摘要（TS）来实现来自语音的文本摘要的语音摘要。通过这种级联方法，我们可以利用最先进的模型和大型训练数据集，用于两个子任务，即变压器和TS的ASR和双向编码器表示的变压器。但是，ASR错误直接影响级联方法的输出概要的质量。我们提出了一个级联语音摘要模型，它对ASR错误具有强大，并且利用ASR生成的多个假设来衰减摘要摘要的效果。我们调查了几个方案来组合ASR假设。首先，我们建议使用由ASR系统提供的其后部值作为基于BERT的TS系统的输入来加权的子字嵌入向量的总和。然后，我们介绍了一种更一般的方案，它使用添加到预先训练的BERT模块的关注的融合模块来对齐并组合几个ASR假设。最后，我们在How2 DataSet上执行语音摘要实验和我们将使用本文发布的新组合的基于TED的数据集。这些实验表明，通过这些方案再培训基于伯特的TS系统可以改善总结性能，并且基于注意的熔融模块特别有效。
translated by 谷歌翻译