我们呈现TranslatOrron 2，一个神经直接语音转换转换模型，可以训练结束到底。 TranslatOrron 2由语音编码器，音素解码器，MEL谱图合成器和连接所有前三个组件的注意模块组成。实验结果表明，翻译ron 2在翻译质量和预测的语音自然方面，通过大幅度优于原始翻译，并且通过减轻超越，例如唠叨或长暂停来大幅提高预测演讲的鲁棒性。我们还提出了一种在翻译语音中保留源代言人声音的新方法。训练有素的模型被限制为保留源扬声器的声音，但与原始翻译ron不同，它无法以不同的扬声器的语音产生语音，使模型对生产部署更加强大，通过减轻潜在的滥用来创建欺骗音频伪影。当新方法与基于简单的替代的数据增强一起使用时，训练的翻译器2模型能够保留每个扬声器的声音，以便用扬声器转动输入输入。

我们介绍了CVSS，这是一种大规模的多语言对语音转换（S2ST）语料库，从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音，源自公共语音语音语料库和COVOST 2语音到文本转换（ST）语料库。提供了两个版本的翻译演讲：1）CVSS-C：所有翻译演讲都是一种高质量的规范声音; 2）CVSS-T：翻译语音从相应的源语音传输。此外，CVSS提供标准化的翻译文本，它与翻译语音中的发音匹配。在每个版本的CVSS上，我们建立了基线多语言直接S2ST模型和Cascade S2ST模型，验证了语料库的有效性。为了构建强大的Cascade S2ST基准，我们在Covost 2上培训了St模型，这优于前一种最先进的培训，而无需额外的数据。尽管如此，直接S2ST模型的性能在从头开始训练时接近强级联基线，并且在匹配ST模型中初始化时，仅在ASR转换转换时的0.1或0.7bleu差异。

Direct speech-to-speech translation (S2ST), in which all components can be optimized jointly, is advantageous over cascaded approaches to achieve fast inference with a simplified pipeline. We present a novel two-pass direct S2ST architecture, {\textit UnitY}, which first generates textual representations and predicts discrete acoustic units subsequently. We enhance the model performance by subword prediction in the first-pass decoder, advanced two-pass decoder architecture design and search strategy, and better training regularization. To leverage large amounts of unlabeled text data, we pre-train the first-pass text decoder based on the self-supervised denoising auto-encoding task. Experimental evaluations on benchmark datasets at various data scales demonstrate that UnitY outperforms a single-pass speech-to-unit translation model by 2.5-4.2 ASR-BLEU with 2.83x decoding speed-up. We show that the proposed methods boost the performance even when predicting spectrogram in the second pass. However, predicting discrete units achieves 2.51x decoding speed-up compared to that case.

端到端的语音到语音翻译（S2ST）而不依赖中间文本表示是一个快速新兴的研究领域。最近的作品表明，这种直接S2ST系统的性能正在接近常规级联S2ST时，在可比较的数据集中进行了培训。但是，实际上，直接S2ST的性能受到配对S2ST培训数据的可用性。在这项工作中，我们探索了多种方法，用于利用更广泛的无监督和弱监督的语音和文本数据，以改善基于Translatotron 2的直接S2ST的性能2.使用我们最有效的方法，我们的最有效的方法是21号直接S2ST的平均翻译质量与没有其他数据的先前最新的训练相比，CVSS-C语料库上的语言对改善了+13.6 BLEU（OR +113％）。低资源语言的改进更加显着（平均+398％）。我们的比较研究表明，S2ST和语音表示学习的未来研究方向。

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

我们介绍了一种无线文字语音转换（S2ST）系统，可以将来自一种语言的语音转换为另一种语言，并且可以在不需要任何文本数据的情况下构建。与文献中的现有工作不同，我们解决了模拟多扬声器目标语音的挑战，并用现实世界的S2ST数据训练系统。我们方法的关键是一种自我监督的单位语音标准化技术，该标准化技术将预先训练的语音编码器具有来自多个扬声器的配对声音，以及单个参考扬声器，以减少由于复印件引起的变化，同时保留词汇内容。只有10分钟的语音标准化的配对数据，我们在培训\ vp〜s2st数据集上的S2ST模型时获得平均3.2 BLEU增益，而不是在未标准化的语音目标上培训的基线。我们还将自动开采的S2ST数据纳入并显示额外的2.0 BLEU增益。据我们所知，我们是第一个建立无线的S2ST技术，可以用真实世界的数据培训，并为多种语言配对工作。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

自动语音识别（ASR）需要对说话者的差异很强。语音转换（VC）修改了输入语音的扬声器特征。这是ASR数据增强的吸引人功能。在本文中，我们证明了语音转换可以用作数据增强技术，即使在包含2,456位扬声器的LibrisPeech上，也可以用作提高ASR性能。对于ASR增强，有必要对广泛的输入语音稳健。这激发了使用非自动回旋，非并行VC模型的使用，并在VC模型中使用了预验证的ASR编码器。这项工作表明，尽管包括许多演讲者，但演讲者的多样性可能仍然是ASR质量的限制。最后，对我们的风险投资性能的审讯为客观评估VC质量提供了有用的指标。

在本文中，我们提出了一个神经端到端系统，用于保存视频的语音，唇部同步翻译。该系统旨在将多个组件模型结合在一起，并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合，但在语音，语音特征，面对原始扬声器的视频中保持着重点。管道从自动语音识别开始，包括重点检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建了原始句子映射的原始重点。然后，使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后，为了将扬声器的嘴唇与翻译的音频同步，有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后，系统将生成的视频与转换后的音频结合在一起，以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计，我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统，因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明，我们的系统能够生成令人信服的原始演讲者的视频，同时保留原始说话者的特征。收集的数据集将共享。

Speech-to-speech translation directly translates a speech utterance to another between different languages, and has great potential in tasks such as simultaneous interpretation. State-of-art models usually contains an auxiliary module for phoneme sequences prediction, and this requires textual annotation of the training dataset. We propose a direct speech-to-speech translation model which can be trained without any textual annotation or content information. Instead of introducing an auxiliary phoneme prediction task in the model, we propose to use bottleneck features as intermediate training objectives for our model to ensure the translation performance of the system. Experiments on Mandarin-Cantonese speech translation demonstrate the feasibility of the proposed approach and the performance can match a cascaded system with respect of translation and synthesis qualities.

语音情感转换是修改语音话语的感知情绪的任务，同时保留词汇内容和扬声器身份。在这项研究中，我们将情感转换问题作为口语翻译任务。我们将演讲分解为离散和解散的学习表现，包括内容单位，F0，扬声器和情感。首先，我们通过将内容单元转换为目标情绪来修改语音内容，然后基于这些单元预测韵律特征。最后，通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范式允许我们超越信号的光谱和参数变化，以及模型非口头发声，例如笑声插入，打开拆除等。我们客观地和主观地展示所提出的方法在基础上优于基线感知情绪和音频质量。我们严格评估了这种复杂系统的所有组成部分，并通过广泛的模型分析和消融研究结束，以更好地强调建议方法的建筑选择，优势和弱点。示例和代码将在以下链接下公开使用：https://speechbot.github.io/emotion。

多语言神经文本到语音（NTTS）系统的基本设计决策是如何表示模型中的输入语言特征。查看文献中各种各样的方法，出现了两个主要范式，统一和单独的表示。前者在跨语言中使用一组共享的语音令牌，而后者为每种语言使用独特的语音令牌。在本文中，我们进行了一项全面的研究，比较了两种表示训练的多语言NTTS系统模型。我们的结果表明，统一方法始终在自然和口音方面始终获得更好的跨语性综合。单独的表示形式往往比统一的代币更大的令牌，这可能会影响模型容量。因此，我们进行了一项消融研究，以了解表示类型与令牌嵌入尺寸的相互作用。我们发现，两个范式之间的差异仅在一定阈值嵌入尺寸之上出现。这项研究提供了有力的证据，表明在构建多语言NTTS系统时，统一表示应该是首选的范式。

在本文中，我们提出了Sanane-TTS，这是一种稳定且自然的端到端多语言TTS模型。由于很难为给定的演讲者获得多语言语料库，因此不可避免地会使用单语语料库进行多语言TTS模型。我们介绍了扬声器正规化损失，该损失可改善跨语性合成期间的语音自然性以及域对抗训练，该训练适用于其他多语言TTS模型。此外，通过添加扬声器正规化损失，以持续时间为零矢量嵌入的扬声器可以稳定跨语性推断。通过此替代品，我们的模型将产生以中等节奏的语音，而不论跨语性合成中的源说话者如何。在MOS评估中，Sane-TTS在跨语义和内部合成中的自然性得分高于3.80，地面真相评分为3.99。同样，即使在跨语性的推论中，Sane-TTS也保持了接近地面真理的说话者相似性。音频样本可在我们的网页上找到。

本文介绍了语音（TTS）系统的Microsoft端到端神经文本：暴风雪挑战2021。这一挑战的目标是从文本中综合自然和高质量的演讲，并在两个观点中接近这一目标：首先是直接模型，并在48 kHz采样率下产生波形，这比以前具有16 kHz或24 kHz采样率的先前系统带来更高的感知质量;第二个是通过系统设计来模拟语音中的变化信息，从而提高了韵律和自然。具体而言，对于48 kHz建模，我们预测声学模型中的16 kHz熔点 - 谱图，并提出称为HIFINET的声码器直接从预测的16kHz MEL谱图中产生48kHz波形，这可以更好地促进培训效率，建模稳定性和语音。质量。我们从显式（扬声器ID，语言ID，音高和持续时间）和隐式（话语级和音素级韵律）视角系统地模拟变化信息：1）对于扬声器和语言ID，我们在培训和推理中使用查找嵌入; 2）对于音高和持续时间，我们在训练中提取来自成对的文本语音数据的值，并使用两个预测器来预测推理中的值; 3）对于话语级和音素级韵律，我们使用两个参考编码器来提取训练中的值，并使用两个单独的预测器来预测推理中的值。此外，我们介绍了一个改进的符合子块，以更好地模拟声学模型中的本地和全局依赖性。对于任务SH1，DelightFultts在MOS测试中获得4.17均匀分数，4.35在SMOS测试中，表明我们所提出的系统的有效性

在本文中，介绍了文本到读取/唱歌系统，可以适应任何扬声器的声音。它利用基于TacoTron的多级箱子声学模型在只读语音数据训练，并且在音素级别提供韵律控制。还研究了基于传统DSP算法的数据集增强和额外的韵律操纵。神经TTS模型对看不见的扬声器的有限录音进行了微调，允许与目标的扬声器语音进行敲击/歌唱合成。描述了系统的详细管道，其包括从Capella歌曲的目标音调和持续时间值提取，并将其转换为在合成之前的目标扬声器的有效音符范围内。还研究了通过WSOLA输出的输出的韵律操纵的另外的阶段，以便更好地匹配目标持续时间值。合成的话语可以与乐器伴奏轨道混合以产生完整的歌曲。通过主观聆听测试评估所提出的系统，以及与可用的备用系统相比，该系统还旨在从只读训练数据产生合成歌唱语音。结果表明，该拟议的方法可以产生高质量的敲击/歌声，具有增加的自然。

非平行的多与众不同的语音转换仍然是一项有趣但具有挑战性的语音处理任务。最近，基于有条件的自动编码器的方法AutoVC通过使用信息限制的瓶颈来删除说话者身份和语音内容，从而实现了出色的转换结果。但是，由于纯粹的自动编码器训练方法，很难评估内容和说话者身份的分离效果。在本文中，一个新颖的语音转换框架，名为$ \ boldsymbol t $ ext $ \ boldsymbol g $ uided $ \ boldsymbol a $ utovc（tgavc），提议更有效地将内容和音色与语音分开，其中预期的内容嵌入其中根据文本转录生产的旨在指导语音内容的提取。此外，对对抗性训练将用于消除从语音中提取的估计内容中的说话者身份信息。在预期内容嵌入和对抗培训的指导下，对内容编码器进行了培训，以从语音中提取嵌入说话者的内容。 Aishell-3数据集的实验表明，所提出的模型在自然性和转换语音的相似性方面优于AUTOVC。

Deep learning based text-to-speech (TTS) systems have been evolving rapidly with advances in model architectures, training methodologies, and generalization across speakers and languages. However, these advances have not been thoroughly investigated for Indian language speech synthesis. Such investigation is computationally expensive given the number and diversity of Indian languages, relatively lower resource availability, and the diverse set of advances in neural TTS that remain untested. In this paper, we evaluate the choice of acoustic models, vocoders, supplementary loss functions, training schedules, and speaker and language diversity for Dravidian and Indo-Aryan languages. Based on this, we identify monolingual models with FastPitch and HiFi-GAN V1, trained jointly on male and female speakers to perform the best. With this setup, we train and evaluate TTS models for 13 languages and find our models to significantly improve upon existing models in all languages as measured by mean opinion scores. We open-source all models on the Bhashini platform.

最近最近提出了使用音韵特征而不是音素作为输入到序列TTS的输入，用于零拍摄的多语言语音合成。这种方法对于代码切换是有用的，因为它促进了嵌入在本机的流中的外语的无缝发出。在我们的工作中，我们培训了一种语言 - 无人物多相箱模型，在不同语言中常见的一组音牙衍生特征上，其目标是实现交叉语言扬声器适应。我们首先尝试语言语音相似性对几种源语言组合的交叉语言的影响。随后，我们可以在看见或一个看不见的语言中使用非常有限的新扬声器语音数据进行微调，并实现了相同质量的合成语音，同时保留了目标扬声器的身份。随着目标扬声器数据的32和8个话语，我们获得高扬声器相似性分数和与相应文献相当的自然。在仅为2种可用的适应话语的极端情况下，我们发现我们的模型表现为几滴学习者，因为在所见和看不见的语言方案中的性能相似。

神经文本到语音研究的最新进展是利用低级中间语音表示（例如MEL-光谱图）的两阶段管道主导的。但是，这种预定的特征从根本上受到限制，因为它们不允许通过学习隐藏表示形式来利用数据驱动方法的全部潜力。因此，已经提出了几种端到端方法。但是，这样的模型更难训练，并且需要大量具有转录的高质量录音。在这里，我们提出了WavThruvec-一种两阶段的架构，通过使用高维WAV2VEC 2.0嵌入作为中间语音表示，可以解决瓶颈。由于这些隐藏的激活提供了高级语言特征，因此它们对噪音更强大。这使我们能够利用质量较低的注释语音数据集来训练第一阶段模块。同时，由于WAV2VEC 2.0的嵌入已经进行了时间对齐，因此可以在大规模未转录的音频语料库上对第二阶段组件进行培训。这导致了对量表词的概括能力的提高，以及对看不见的说话者的更好概括。我们表明，所提出的模型不仅与最新神经模型的质量相匹配，而且还介绍了有用的属性，可以实现语音转换或零弹性合成的任务。

本文介绍了对F0的音素级韵律控制的方法和多销箱文本到语音设置的持续时间，基于韵律聚类。使用自回归关注的模型，并将多个箱子架构模块并联，与韵律编码器并联。提出了对基本单扬声器方法的几种改进，从而增加了韵律控制范围和覆盖范围。更具体地说，我们采用数据增强，F0​​标准化，持续时间的平衡集群，以及扬声器无关的韵律聚类。这些修改使培训集中包含的所有发言者能够进行细粒度的音素级韵律控制，同时保持扬声器标识。该模型也可以微调到具有限制数据量的看不见的扬声器，并显示其维持其韵律控制能力，验证说话者无关的韵律聚类是有效的。实验结果验证了该模型维持了高输出语音质量，并且该方法允许在每个扬声器范围内有效的韵律控制，尽管多种式箱子设置介绍的变化。