Speech-to-speech translation directly translates a speech utterance to another between different languages, and has great potential in tasks such as simultaneous interpretation. State-of-art models usually contains an auxiliary module for phoneme sequences prediction, and this requires textual annotation of the training dataset. We propose a direct speech-to-speech translation model which can be trained without any textual annotation or content information. Instead of introducing an auxiliary phoneme prediction task in the model, we propose to use bottleneck features as intermediate training objectives for our model to ensure the translation performance of the system. Experiments on Mandarin-Cantonese speech translation demonstrate the feasibility of the proposed approach and the performance can match a cascaded system with respect of translation and synthesis qualities.

中文方言文本到语音（TTS）系统通常只能由本地语言学家使用，因为中文方言的书面形式具有不同的字符，成语，语法和使用普通话，甚至本地扬声器也无法输入正确的句子。对于普通话的文本输入，中国方言TT只能产生部分挑剔的语音，而韵律和自然性相对较差。为了降低使用栏并使其在商业广告中更实用，我们提出了一种新型的中国方言TTS前端，并带有翻译模块。它有助于使用正确的拼字法和语法将普通话文本转换为惯用表达式，以便可以改善合成语音的清晰度和自然性。为翻译任务提出了一种具有浏览抽样策略的非自动入围神经机器翻译模型。这是将翻译与TTS Frontend合并的第一项已知作品。我们对广东话的实验批准，拟议的前端可以帮助广东TTS系统通过普通话输入来提高0.27的MOS。

我们呈现TranslatOrron 2，一个神经直接语音转换转换模型，可以训练结束到底。 TranslatOrron 2由语音编码器，音素解码器，MEL谱图合成器和连接所有前三个组件的注意模块组成。实验结果表明，翻译ron 2在翻译质量和预测的语音自然方面，通过大幅度优于原始翻译，并且通过减轻超越，例如唠叨或长暂停来大幅提高预测演讲的鲁棒性。我们还提出了一种在翻译语音中保留源代言人声音的新方法。训练有素的模型被限制为保留源扬声器的声音，但与原始翻译ron不同，它无法以不同的扬声器的语音产生语音，使模型对生产部署更加强大，通过减轻潜在的滥用来创建欺骗音频伪影。当新方法与基于简单的替代的数据增强一起使用时，训练的翻译器2模型能够保留每个扬声器的声音，以便用扬声器转动输入输入。

非平行的多与众不同的语音转换仍然是一项有趣但具有挑战性的语音处理任务。最近，基于有条件的自动编码器的方法AutoVC通过使用信息限制的瓶颈来删除说话者身份和语音内容，从而实现了出色的转换结果。但是，由于纯粹的自动编码器训练方法，很难评估内容和说话者身份的分离效果。在本文中，一个新颖的语音转换框架，名为$ \ boldsymbol t $ ext $ \ boldsymbol g $ uided $ \ boldsymbol a $ utovc（tgavc），提议更有效地将内容和音色与语音分开，其中预期的内容嵌入其中根据文本转录生产的旨在指导语音内容的提取。此外，对对抗性训练将用于消除从语音中提取的估计内容中的说话者身份信息。在预期内容嵌入和对抗培训的指导下，对内容编码器进行了培训，以从语音中提取嵌入说话者的内容。 Aishell-3数据集的实验表明，所提出的模型在自然性和转换语音的相似性方面优于AUTOVC。

我们介绍了一种无线文字语音转换（S2ST）系统，可以将来自一种语言的语音转换为另一种语言，并且可以在不需要任何文本数据的情况下构建。与文献中的现有工作不同，我们解决了模拟多扬声器目标语音的挑战，并用现实世界的S2ST数据训练系统。我们方法的关键是一种自我监督的单位语音标准化技术，该标准化技术将预先训练的语音编码器具有来自多个扬声器的配对声音，以及单个参考扬声器，以减少由于复印件引起的变化，同时保留词汇内容。只有10分钟的语音标准化的配对数据，我们在培训\ vp〜s2st数据集上的S2ST模型时获得平均3.2 BLEU增益，而不是在未标准化的语音目标上培训的基线。我们还将自动开采的S2ST数据纳入并显示额外的2.0 BLEU增益。据我们所知，我们是第一个建立无线的S2ST技术，可以用真实世界的数据培训，并为多种语言配对工作。

在本文中，我们提出了一个神经端到端系统，用于保存视频的语音，唇部同步翻译。该系统旨在将多个组件模型结合在一起，并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合，但在语音，语音特征，面对原始扬声器的视频中保持着重点。管道从自动语音识别开始，包括重点检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建了原始句子映射的原始重点。然后，使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后，为了将扬声器的嘴唇与翻译的音频同步，有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后，系统将生成的视频与转换后的音频结合在一起，以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计，我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统，因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明，我们的系统能够生成令人信服的原始演讲者的视频，同时保留原始说话者的特征。收集的数据集将共享。

语音情感转换是修改语音话语的感知情绪的任务，同时保留词汇内容和扬声器身份。在这项研究中，我们将情感转换问题作为口语翻译任务。我们将演讲分解为离散和解散的学习表现，包括内容单位，F0，扬声器和情感。首先，我们通过将内容单元转换为目标情绪来修改语音内容，然后基于这些单元预测韵律特征。最后，通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范式允许我们超越信号的光谱和参数变化，以及模型非口头发声，例如笑声插入，打开拆除等。我们客观地和主观地展示所提出的方法在基础上优于基线感知情绪和音频质量。我们严格评估了这种复杂系统的所有组成部分，并通过广泛的模型分析和消融研究结束，以更好地强调建议方法的建筑选择，优势和弱点。示例和代码将在以下链接下公开使用：https://speechbot.github.io/emotion。

无监督的零射声语音转换（VC）旨在修改话语的扬声器特性，以匹配看不见的目标扬声器，而无需依赖并行培训数据。最近，已经显示了语音表示的自我监督学习在不使用转录物的情况下产生有用的语言单元，这可以直接传递给VC模型。在本文中，我们展示了通过使用长度重采样解码器来实现高质量的音频样本，这使得VC模型能够与不同的语言特征提取器和声码器一起工作，而无需它们以相同的序列长度运行。我们表明，我们的方法可以胜过VCTK数据集的许多基线。在不修改架构的情况下，我们进一步展示了a）使用来自同一扬声器的不同音频段，b）添加循环一致性损失，并且c）添加扬声器分类损失可以有助于学习更好的扬声器嵌入。我们的模型使用这些技术训练了Libritts，实现了最佳性能，产生了音频样本对目标扬声器的声音，同时保留了在字符错误率方面与实际人类话语相当的语言内容。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

本文介绍了语音（TTS）系统的Microsoft端到端神经文本：暴风雪挑战2021。这一挑战的目标是从文本中综合自然和高质量的演讲，并在两个观点中接近这一目标：首先是直接模型，并在48 kHz采样率下产生波形，这比以前具有16 kHz或24 kHz采样率的先前系统带来更高的感知质量;第二个是通过系统设计来模拟语音中的变化信息，从而提高了韵律和自然。具体而言，对于48 kHz建模，我们预测声学模型中的16 kHz熔点 - 谱图，并提出称为HIFINET的声码器直接从预测的16kHz MEL谱图中产生48kHz波形，这可以更好地促进培训效率，建模稳定性和语音。质量。我们从显式（扬声器ID，语言ID，音高和持续时间）和隐式（话语级和音素级韵律）视角系统地模拟变化信息：1）对于扬声器和语言ID，我们在培训和推理中使用查找嵌入; 2）对于音高和持续时间，我们在训练中提取来自成对的文本语音数据的值，并使用两个预测器来预测推理中的值; 3）对于话语级和音素级韵律，我们使用两个参考编码器来提取训练中的值，并使用两个单独的预测器来预测推理中的值。此外，我们介绍了一个改进的符合子块，以更好地模拟声学模型中的本地和全局依赖性。对于任务SH1，DelightFultts在MOS测试中获得4.17均匀分数，4.35在SMOS测试中，表明我们所提出的系统的有效性

如今，随着越来越多的系统在传统的语音转换（VC）任务中实现了良好的性能，人们的注意力在极端条件下逐渐转向VC任务。在本文中，我们提出了一种零射声语音转换的新方法。我们的目标是获取讲话者内容解剖的中间陈述，以更好地删除发言者信息并获得纯净的内容信息。因此，我们所提出的框架包含一种模块，该模块从源扬声器的声学特征中移除扬声器信息。此外，扬声器信息控制被添加到我们的系统中以维持语音克隆性能。所提出的系统由主观和客观度量评估。结果表明，我们提出的系统显着降低了零射声语音转换中的权衡问题，而且还可以对扬声器验证系统进行高欺骗功率。

Direct speech-to-speech translation (S2ST), in which all components can be optimized jointly, is advantageous over cascaded approaches to achieve fast inference with a simplified pipeline. We present a novel two-pass direct S2ST architecture, {\textit UnitY}, which first generates textual representations and predicts discrete acoustic units subsequently. We enhance the model performance by subword prediction in the first-pass decoder, advanced two-pass decoder architecture design and search strategy, and better training regularization. To leverage large amounts of unlabeled text data, we pre-train the first-pass text decoder based on the self-supervised denoising auto-encoding task. Experimental evaluations on benchmark datasets at various data scales demonstrate that UnitY outperforms a single-pass speech-to-unit translation model by 2.5-4.2 ASR-BLEU with 2.83x decoding speed-up. We show that the proposed methods boost the performance even when predicting spectrogram in the second pass. However, predicting discrete units achieves 2.51x decoding speed-up compared to that case.

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

Video dubbing aims to translate the original speech in a film or television program into the speech in a target language, which can be achieved with a cascaded system consisting of speech recognition, machine translation and speech synthesis. To ensure the translated speech to be well aligned with the corresponding video, the length/duration of the translated speech should be as close as possible to that of the original speech, which requires strict length control. Previous works usually control the number of words or characters generated by the machine translation model to be similar to the source sentence, without considering the isochronicity of speech as the speech duration of words/characters in different languages varies. In this paper, we propose a machine translation system tailored for the task of video dubbing, which directly considers the speech duration of each token in translation, to match the length of source and target speech. Specifically, we control the speech length of generated sentence by guiding the prediction of each word with the duration information, including the speech duration of itself as well as how much duration is left for the remaining words. We design experiments on four language directions (German -> English, Spanish -> English, Chinese <-> English), and the results show that the proposed method achieves better length control ability on the generated speech than baseline methods. To make up the lack of real-world datasets, we also construct a real-world test set collected from films to provide comprehensive evaluations on the video dubbing task.

神经端到端TTS模型的最新进展显示出在常规句子的TTS中表现出高质量的自然合成语音。但是，当TTS中考虑整个段落时，重现相似的高质量，在构建基于段落的TTS模型时需要考虑大量上下文信息。为了减轻培训的困难，我们建议通过考虑跨性别，嵌入式结构在培训中对语言和韵律信息进行建模。三个子模块，包括语言学意识，韵律和句子位置网络。具体而言，要了解嵌入在段落中的信息以及相应的组件句子之间的关系，我们利用语言学意识和韵律感知网络。段落中的信息由编码器捕获，段落中的句子间信息通过多头注意机制学习。段落中的相对句子位置由句子位置网络明确利用。拟议中的TTS模型在女性普通话中录制的讲故事的音频语料库（4.08小时）接受了培训，该模型表明，它可以产生相当自然而良好的语音段落。与基于句子的模型相比，可以更好地预测和渲染的跨句子上下文信息，例如连续句子之间的断裂和韵律变化。在段落文本上进行了测试，其长度与培训数据的典型段落长度相似，比训练数据的典型段落长得多，新模型产生的TTS语音始终优先于主观测试和基于句子的模型和在客观措施中确认。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

直接语音到语音翻译（S2ST）模型与传统级联系统可用的数据量相比，几乎没有平行的S2ST数据遇到数据稀缺问题，该数据包括自动语音识别（ASR），机器翻译（MT）和文本到语音（TTS）合成。在这项工作中，我们使用未标记的语音数据和数据扩展来探索自我监督的预训练，以解决此问题。我们利用了最近提出的语音到单位翻译（S2UT）框架，该框架将目标语音编码为离散表示形式，并转移前训练前和有效的部分填充技术，可很好地适用于语音到文本翻译（S2T）通过研究语音编码器和离散单位解码器预训练，S2UT域。我们在西班牙语 - 英语翻译上进行的实验表明，与多任务学习相比，自我监督的预训练始终如一地提高模型性能，平均为6.6-12.1 BLEU增长，并且可以与数据增强技术相结合，以应用MT来创建弱监督监督的培训数据。音频样本可在以下网址获得：https：//facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html。

本文介绍了流媒体和非流定向晶体翻译的统一端到端帧工作。虽然非流媒体语音翻译的培训配方已经成熟，但尚未建立流媒体传播的食谱。在这项工作中，WEFOCUS在开发一个统一的模型（UNIST），它从基本组成部分的角度支持流媒体和非流媒体ST，包括培训目标，注意机制和解码政策。对最流行的语音到文本翻译基准数据集，MERE-C的实验表明，与媒体ST的BLEU评分和延迟度量有更好的折衷和液化标准端到端基线和级联模型。我们将公开提供我们的代码和评估工具。

我们介绍了CVSS，这是一种大规模的多语言对语音转换（S2ST）语料库，从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音，源自公共语音语音语料库和COVOST 2语音到文本转换（ST）语料库。提供了两个版本的翻译演讲：1）CVSS-C：所有翻译演讲都是一种高质量的规范声音; 2）CVSS-T：翻译语音从相应的源语音传输。此外，CVSS提供标准化的翻译文本，它与翻译语音中的发音匹配。在每个版本的CVSS上，我们建立了基线多语言直接S2ST模型和Cascade S2ST模型，验证了语料库的有效性。为了构建强大的Cascade S2ST基准，我们在Covost 2上培训了St模型，这优于前一种最先进的培训，而无需额外的数据。尽管如此，直接S2ST模型的性能在从头开始训练时接近强级联基线，并且在匹配ST模型中初始化时，仅在ASR转换转换时的0.1或0.7bleu差异。

Human speech can be characterized by different components, including semantic content, speaker identity and prosodic information. Significant progress has been made in disentangling representations for semantic content and speaker identity in Automatic Speech Recognition (ASR) and speaker verification tasks respectively. However, it is still an open challenging research question to extract prosodic information because of the intrinsic association of different attributes, such as timbre and rhythm, and because of the need for unsupervised training schemes to achieve robust large-scale and speaker-independent ASR. The aim of this paper is to address the disentanglement of emotional prosody from speech based on unsupervised reconstruction. Specifically, we identify, design, implement and integrate three crucial components in our proposed speech reconstruction model Prosody2Vec: (1) a unit encoder that transforms speech signals into discrete units for semantic content, (2) a pretrained speaker verification model to generate speaker identity embeddings, and (3) a trainable prosody encoder to learn prosody representations. We first pretrain the Prosody2Vec representations on unlabelled emotional speech corpora, then fine-tune the model on specific datasets to perform Speech Emotion Recognition (SER) and Emotional Voice Conversion (EVC) tasks. Both objective and subjective evaluations on the EVC task suggest that Prosody2Vec effectively captures general prosodic features that can be smoothly transferred to other emotional speech. In addition, our SER experiments on the IEMOCAP dataset reveal that the prosody features learned by Prosody2Vec are complementary and beneficial for the performance of widely used speech pretraining models and surpass the state-of-the-art methods when combining Prosody2Vec with HuBERT representations. Some audio samples can be found on our demo website.