已经提出了语音转换（VC）以通过使用它来增强有限培训数据来改进低资源语言的语音识别系统。但直到最近，计算速度等实际问题限制了VC为此目的的使用。此外，尚不清楚在一个资源良好的语言上培训的VC模型是否可以从其他低资源语言应用于数据增强的目的。在这项工作中，我们评估VC系统是否可以在凌乱上使用，以改善低资源语音识别。具体地，我们将最近的几种技术与英语一起设计和培训实用的VC系统，然后使用该系统以几种低资源语言培训语音识别模型的数据。我们发现，当使用合理量的增强数据时，所有四种低资源语言都有改进了语音识别性能。
translated by 谷歌翻译
在本文中，我们提出了GLOWVC：一种基于多语言的多语言流程模型，用于与语言无关的语音转换。我们建立在Glow-TTS上，该架构提供了一个架构，该体系结构可以在训练过程中使用语言特征，而无需将其用于VC推理。我们考虑了我们的模型的两个版本：glowVC条件和glowVC阐释。 GLOWVC条件模拟具有扬声器条件流的旋光图的分布，并将Mel-Spectrogragron空间置于内容和音高相关的尺寸中，而GlowVC-Plapic-Plapic-Plocific-Plocific opplicit over opplicit of the SughtliciT模型，无条件的流量和删除空间表示空间 - 内容 - 音调和与扬声器相关的维度。我们根据可见语言和看不见的语言的内部和跨语性转换来评估我们的模型，说话者的相似性和自然性。 GlowVC在清晰度方面的模型大大优于AutoVC基线，同时在语言内VC中获得了高扬声器的相似性，并且在跨语言环境中稍差。此外，我们证明了glowvc-suplicic在自然性方面超过了glowvc条件和自动vc。
translated by 谷歌翻译
我们提出了一项对基于自我监督的语音表示（S3R）语音转换（VC）的大规模比较研究。在识别合成VC的背景下，S3RS由于其替代昂贵的监督表示的潜力，例如语音后验（PPG），因此很有吸引力，这些表示是由最先进的VC系统采用的。使用先前开发的开源VC软件S3PRL-VC，我们在三种VC设置下提供了一系列深入的目标和主观分析：内部/跨语义的任何一对一（A2O）和任何对象 - 使用语音转换挑战2020（VCC2020）数据集。我们在各个方面研究了基于S3R的VC，包括模型类型，多语言和监督。我们还研究了通过K-均值聚类的滴定过程的效果，并展示了其在A2A设置中的改进。最后，与最先进的VC系统的比较证明了基于S3R的VC的竞争力，并阐明了可能的改进方向。
translated by 谷歌翻译
自动语音识别（ASR）需要对说话者的差异很强。语音转换（VC）修改了输入语音的扬声器特征。这是ASR数据增强的吸引人功能。在本文中，我们证明了语音转换可以用作数据增强技术，即使在包含2,456位扬声器的LibrisPeech上，也可以用作提高ASR性能。对于ASR增强，有必要对广泛的输入语音稳健。这激发了使用非自动回旋，非并行VC模型的使用，并在VC模型中使用了预验证的ASR编码器。这项工作表明，尽管包括许多演讲者，但演讲者的多样性可能仍然是ASR质量的限制。最后，对我们的风险投资性能的审讯为客观评估VC质量提供了有用的指标。
translated by 谷歌翻译
只有单个目标扬声器的语音供参考的单发语音转换（VC）已成为一个热门研究主题。现有作品通常会散布音色，而有关音高，节奏和内容的信息仍然混合在一起。为了进一步删除这些语音组件，有效地执行一声VC，我们采用随机重新采样用于音高和内容编码器，并使用互信息的各种对比对数比率上限和基于梯度反向层的对抗性相互信息学习来确保不同部分在训练过程中仅包含所需的分离表示的潜在空间。 VCTK数据集的实验显示该模型就自然性和智能性方面实现了一声VC的最新性能。此外，我们可以通过语音表示分离分别传递音色，音调和节奏的单发VC的特征。我们的代码，预训练的模型和演示可在https://im1eon.github.io/is2022-Srdvc/上获得。
translated by 谷歌翻译
非平行的多与众不同的语音转换仍然是一项有趣但具有挑战性的语音处理任务。最近，基于有条件的自动编码器的方法AutoVC通过使用信息限制的瓶颈来删除说话者身份和语音内容，从而实现了出色的转换结果。但是，由于纯粹的自动编码器训练方法，很难评估内容和说话者身份的分离效果。在本文中，一个新颖的语音转换框架，名为$ \ boldsymbol t $ ext $ \ boldsymbol g $ uided $ \ boldsymbol a $ utovc（tgavc），提议更有效地将内容和音色与语音分开，其中预期的内容嵌入其中根据文本转录生产的旨在指导语音内容的提取。此外，对对抗性训练将用于消除从语音中提取的估计内容中的说话者身份信息。在预期内容嵌入和对抗培训的指导下，对内容编码器进行了培训，以从语音中提取嵌入说话者的内容。 Aishell-3数据集的实验表明，所提出的模型在自然性和转换语音的相似性方面优于AUTOVC。
translated by 谷歌翻译
我们探索跨语性多演讲者语音综合，并将跨语性语音转换应用于自动语音识别（ASR）系统的数据增强。通过广泛的实验，我们表明我们的方法允许语音合成和语音转换的应用，以在模型培训期间仅使用一个目标语言使用者在目标语言上改善ASR系统。与使用许多讲话者的其他作品相比，我们设法缩小了经过合成的与人类语音训练的ASR模型之间的差距。最后，我们表明，只使用目标语言的单个真实扬声器，可以通过我们的数据增强方法获得有希望的ASR培训结果。
translated by 谷歌翻译
由于少量转录的音频数据，为低资源语言开发自动语音识别（ASR）是一个挑战。对于许多这样的语言，音频和文本可单独使用，但没有带有抄录的音频。使用文本，可以通过文本到语音（TTS）系统综合生产语音。但是，许多低资源语言也没有质量的TTS系统。我们提出了一种替代方案：通过通过训练有素的TTS系统运行来自目标语言的文本来制作综合音频，用于高资源枢轴语言。我们研究了该技术在低资源环境中最有效的何时以及如何有效。在我们的实验中，使用数千种合成TTS文本语音对并复制真实数据来平衡可产生最佳结果。我们的发现表明，搜索一组候选枢轴语言可能会导致边际改进，令人惊讶的是，ASR性能可能会受到测量的TTS质量的提高而受到的伤害。这些发现的应用将ASR分别提高了64.5 \％和45.0 \％的字符误差率（CERR），分别对两种低资源语言：瓜兰\'i和suba。
translated by 谷歌翻译
最近最近提出了使用音韵特征而不是音素作为输入到序列TTS的输入，用于零拍摄的多语言语音合成。这种方法对于代码切换是有用的，因为它促进了嵌入在本机的流中的外语的无缝发出。在我们的工作中，我们培训了一种语言 - 无人物多相箱模型，在不同语言中常见的一组音牙衍生特征上，其目标是实现交叉语言扬声器适应。我们首先尝试语言语音相似性对几种源语言组合的交叉语言的影响。随后，我们可以在看见或一个看不见的语言中使用非常有限的新扬声器语音数据进行微调，并实现了相同质量的合成语音，同时保留了目标扬声器的身份。随着目标扬声器数据的32和8个话语，我们获得高扬声器相似性分数和与相应文献相当的自然。在仅为2种可用的适应话语的极端情况下，我们发现我们的模型表现为几滴学习者，因为在所见和看不见的语言方案中的性能相似。
translated by 谷歌翻译
无监督的零射声语音转换（VC）旨在修改话语的扬声器特性，以匹配看不见的目标扬声器，而无需依赖并行培训数据。最近，已经显示了语音表示的自我监督学习在不使用转录物的情况下产生有用的语言单元，这可以直接传递给VC模型。在本文中，我们展示了通过使用长度重采样解码器来实现高质量的音频样本，这使得VC模型能够与不同的语言特征提取器和声码器一起工作，而无需它们以相同的序列长度运行。我们表明，我们的方法可以胜过VCTK数据集的许多基线。在不修改架构的情况下，我们进一步展示了a）使用来自同一扬声器的不同音频段，b）添加循环一致性损失，并且c）添加扬声器分类损失可以有助于学习更好的扬声器嵌入。我们的模型使用这些技术训练了Libritts，实现了最佳性能，产生了音频样本对目标扬声器的声音，同时保留了在字符错误率方面与实际人类话语相当的语言内容。
translated by 谷歌翻译
基于语音的在线服务的广泛采用提出了有关使用和共享数据的安全性和隐私问题。如果数据受到损害，攻击者可以利用用户语音绕过扬声器验证系统甚至模仿用户。为了减轻这种情况，我们提出了DEID-VC，这是一种演讲者的识别系统，将真实的演讲者转换为伪扬声器，从而从口头声音中删除或使依赖说话者的属性混淆。 DEID-VC的关键组件包括基于变量的自动编码器（VAE）的伪扬声器生成器（PSG）和在零摄像机设置下的语音转换自动编码器（AE）。在PSG的帮助下，DeID-VC可以在扬声器级别甚至在话语层面上分配独特的伪扬声器。此外，还添加了两个新颖的学习目标，以弥合训练和零声音转换的推理之间的差距。我们以单词错误率（WER）和相等的错误率（EER）以及三个主观指标介绍了我们的实验结果，以评估DEID-VC的生成输出。结果表明，与我们的基线相比，我们的方法显着提高了清晰度（低10％）和去识别效果（EER高5％）。代码和听力演示：https：//github.com/a43992899/deid-vc
translated by 谷歌翻译
我们提出Vakyansh，这是一种用指示语言识别语音识别的端到端工具包。印度拥有近121种语言和大约125亿扬声器。然而，大多数语言在数据和预验证的模型方面都是低资源。通过Vakyansh，我们介绍了自动数据管道，用于数据创建，模型培训，模型评估和部署。我们以23个指示语言和Train Wav2Vec 2.0预验证的模型创建14,000小时的语音数据。然后，对这些预审预告措施的模型进行了修订，以创建18个指示语言的最先进的语音识别模型，其次是语言模型和标点符号修复模型。我们以使命开源所有这些资源，这将激发语音社区使用ASR模型以指示语言开发语音的首次应用程序。
translated by 谷歌翻译
语音中的自我监督学习涉及在大规模的未注释的语音语料库上训练语音表示网络，然后将学习的表示形式应用于下游任务。由于语音中SSL学习的大多数下游任务主要集中在语音中的内容信息上，因此最理想的语音表示形式应该能够将不需要的变化（例如说话者的变化）从内容中删除。但是，解开扬声器非常具有挑战性，因为删除说话者的信息也很容易导致内容丢失，而后者的损害通常远远超过了前者的好处。在本文中，我们提出了一种新的SSL方法，该方法可以实现扬声器分解而不会严重丢失内容。我们的方法是根据休伯特框架改编的，并结合了解开机制，以使教师标签和博学的代表规范化。我们在一组与内容相关的下游任务上评估了说话者分解的好处，并观察到我们的扬声器示词表示的一致且著名的性能优势。
translated by 谷歌翻译
Voice Conversion (VC) is the task of making a spoken utterance by one speaker sound as if uttered by a different speaker, while keeping other aspects like content unchanged. Current VC methods, focus primarily on spectral features like timbre, while ignoring the unique speaking style of people which often impacts prosody. In this study, we introduce a method for converting not only the timbre, but also prosodic information (i.e., rhythm and pitch changes) to those of the target speaker. The proposed approach is based on a pretrained, self-supervised, model for encoding speech to discrete units, which make it simple, effective, and easy to optimise. We consider the many-to-many setting with no paired data. We introduce a suite of quantitative and qualitative evaluation metrics for this setup, and empirically demonstrate the proposed approach is significantly superior to the evaluated baselines. Code and samples can be found under https://pages.cs.huji.ac.il/adiyoss-lab/dissc/ .
translated by 谷歌翻译
我们介绍了一个CLSRIL-23，一个自我监督的基于学习的音频预训练模型，它学习了来自23个指示语言的原始音频的交叉语言语音表示。它基于Wav2Vec 2.0之上，通过培训蒙面潜在语音表示的对比任务来解决，并共同了解所有语言共享的潜伏的量化。我们在预磨练期间比较语言明智的损失，以比较单机和多语言预制的影响。还比较了一些下游微调任务的表现，并且我们的实验表明，在学习语音表示方面，我们的实验表明，在学习语言的语音表示方面，以及在沿着流的性能方面的学习语音表示。在Hindi中使用多语言预磨模模型时，在WER中观察到5％的减少，9.5％。所有代码模型也都是开放的。 CLSRIL-23是一款以23美元的价格培训的型号，以及近10,000小时的音频数据培训，以促进在语言中的语音识别研究。我们希望将使用自我监督方法创建新的最新状态，特别是对于低资源指示语言。
translated by 谷歌翻译
在本文中，我们研究了一些现有的和新的最先进的生成的对抗网络（GAN）语音转换方法，用于增强暂存语音，以改善发育性语音识别。我们将现有方法的关键组成部分进行比较，作为严格的消融研究的一部分，以找到提高发狂语音识别的最有效的解决方案。我们发现，直接的信号处理方法，例如静止噪声消除和基于声码的时间拉伸导致达到疑声语音识别结果，其与使用最先进的GaN的语音转换方法使用的那些使用音素识别任务测量而获得的结果相当。此外，我们提出的蒙面克萨根-VC和时间拉伸增强的组合解决方案能够改善与我们的时间拉伸基线相比的某些发育扬声器的音素识别结果。
translated by 谷歌翻译
本文介绍了基于Wav2VEC 2.0的跨语言语音表示学习的大规模模型。我们在128种语言中培训最多2B个公共讲话音频的近半小时的型号的模型，比公共数据的数量级比最大的已知事先工作。我们的评估涵盖了广泛的任务，域，数据制度和语言，都是高低资源。在Covost-2语音翻译基准测试中，我们将先前的最先进的状态平均为7.4 BLEU超过21个翻译方向进入英语。对于语音识别，XLS-R在Babel，MLS，CommonVoice以及Voxpopuli上的最佳已知工作中提高，降低了相对的误差率14-34％。 XLS-R还在Voxlingua107语言识别上设置了新的技术状态。此外，我们表明，具有足够的模型规模，交叉思维预先预测可以在将英语演讲翻译成其他语言时才能优于英语撇印，这是一个有利于单晶的预借预制的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。
translated by 谷歌翻译
如今，随着越来越多的系统在传统的语音转换（VC）任务中实现了良好的性能，人们的注意力在极端条件下逐渐转向VC任务。在本文中，我们提出了一种零射声语音转换的新方法。我们的目标是获取讲话者内容解剖的中间陈述，以更好地删除发言者信息并获得纯净的内容信息。因此，我们所提出的框架包含一种模块，该模块从源扬声器的声学特征中移除扬声器信息。此外，扬声器信息控制被添加到我们的系统中以维持语音克隆性能。所提出的系统由主观和客观度量评估。结果表明，我们提出的系统显着降低了零射声语音转换中的权衡问题，而且还可以对扬声器验证系统进行高欺骗功率。
translated by 谷歌翻译
在本文中，我们首先提供了述评最先进的情感语音转换研究以及现有的情绪语音数据库。然后，我们激励开发一种新颖的情绪语音数据库（ESD），这些数据库（ESD）解决了越来越多的研究需求。借鉴了本文，现在可以向研究界提供ESD数据库。ESD数据库由10名母语和10个母语的扬声器发表的350个平行话语组成，涵盖5个情感类别（中性，快乐，愤怒，悲伤和惊喜）。在受控的声学环境中记录了超过29小时的语音数据。该数据库适用于多扬声器和交叉语言情绪转换研究。如案例研究，我们在ESD数据库上实施了几种最先进的情绪转换系统。本文在释放释放时提供了对ESD的参考研究。
translated by 谷歌翻译
开发语音技术是对低资源语言的挑战，其中注释和原始语音数据稀疏。马耳他是一种这样的语言。近年来，对马耳他的计算处理有所增加，包括语音技术，但后者的资源仍然稀疏。在本文中，我们考虑提高这些语言的语音识别的数据增强技术，专注于马耳他作为测试用例。我们考虑三种不同类型的数据增强：无监督的培训，多语言培训和合成演讲的使用作为培训数据。目标是确定这些技术或它们的组合，是改善起始点是大约7小时转录语音的语言的语言的最有效。我们的结果表明，在这里研究了三种数据增强技术，导致我们在不使用语言模型的情况下实现15％的绝对增长。
translated by 谷歌翻译