我们提出了直接同时的语音转换（SIMUL-S2ST）模型，此外，翻译的产生与中间文本表示无关。我们的方法利用了最近与离散单位直接语音转换的最新进展，其中从模型中预测了一系列离散表示，而不是连续频谱图特征，而不是以无监督的方式学习，并直接传递给语音的声码器综合在一起。我们还介绍了变分单调的多口语注意力（V-MMA），以处理语音同声翻译中效率低效的政策学习的挑战。然后，同时策略在源语音特征和目标离散单元上运行。我们开展实证研究，比较级联和直接方法对Fisher西班牙语 - 英语和必需的英语西班牙语数据集。直接同步模型显示通过在翻译质量和延迟之间实现更好的权衡来优于级联模型。

本文介绍了流媒体和非流定向晶体翻译的统一端到端帧工作。虽然非流媒体语音翻译的培训配方已经成熟，但尚未建立流媒体传播的食谱。在这项工作中，WEFOCUS在开发一个统一的模型（UNIST），它从基本组成部分的角度支持流媒体和非流媒体ST，包括培训目标，注意机制和解码政策。对最流行的语音到文本翻译基准数据集，MERE-C的实验表明，与媒体ST的BLEU评分和延迟度量有更好的折衷和液化标准端到端基线和级联模型。我们将公开提供我们的代码和评估工具。

The study of the attention mechanism has sparked interest in many fields, such as language modeling and machine translation. Although its patterns have been exploited to perform different tasks, from neural network understanding to textual alignment, no previous work has analysed the encoder-decoder attention behavior in speech translation (ST) nor used it to improve ST on a specific task. In this paper, we fill this gap by proposing an attention-based policy (EDAtt) for simultaneous ST (SimulST) that is motivated by an analysis of the existing attention relations between audio input and textual output. Its goal is to leverage the encoder-decoder attention scores to guide inference in real time. Results on en->{de, es} show that the EDAtt policy achieves overall better results compared to the SimulST state of the art, especially in terms of computational-aware latency.

同时语音转换（Simulst）是必须在部分，增量语音输入上执行输出生成的任务。近年来，由于交叉语言应用场景的传播，如国际现场会议和流媒体讲座，Sumulst已经变得很受欢迎，因为在飞行的语音翻译中可以促进用户访问视听内容。在本文中，我们分析到目前为止所开发的Simulst系统的特征，讨论其优势和缺点。然后我们专注于正确评估系统效率所需的评估框架。为此，我们提高了更广泛的性能分析的需求，还包括用户体验的角度。实际上，Simulst Systems不仅应在质量/延迟措施方面进行评估，而且还可以通过以任务为导向的指标计费，例如，用于所采用的可视化策略。鉴于此，我们突出了社区实现的目标以及仍然缺少的目标。

同时翻译系统在处理输入流中的部分源句子时开始产生输出。这些系统需要决定何时读取更多输入以及何时编写输出。这些决定取决于源/目标语言的结构以及部分输入序列中包含的信息。因此，读/写决策策略在不同的输入方式（即语音和文本）中保持不变。这激发了我们利用与语音输入相对应的文本成绩单，以改善同时的语音到文本翻译（Simulst）。我们建议通过同时使用文本到文本翻译（SIMULMT）任务来改善Simulst系统的决策政策，以改善Simulst系统的决策政策。我们还将几种技术从离线语音翻译域扩展，以探索Simulmt任务在改善Simulst性能中的作用。总体而言，我们在不同的延迟制度（ENDE）SIMULST任务的不同延迟制度中取得了34.66％ / 4.5 BLEU的改进。

语音到语音翻译（S2ST）将输入语音转换为另一种语言。实时交付S2ST的挑战是翻译和语音合成模块之间的累积延迟。尽管最近增量的文本到语音（ITTS）模型已显示出巨大的质量改进，但它们通常需要其他未来的文本输入才能达到最佳性能。在这项工作中，我们通过调整上游语音翻译器来为语音合成器生成高质量的伪lookahead来最大程度地减少ITT的最初等待时间。缓解初始延迟后，我们证明了合成语音的持续时间在延迟中也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的持续时间缩放方法，以减少延迟。我们的方法始终将延迟减少0.2-0.5秒，而无需牺牲语音翻译质量。

手语翻译作为一种具有深刻社会意义的技术，近年来吸引了研究人员的利益。但是，现有的标志语言翻译方法需要在开始翻译之前阅读所有视频，这导致高推理延迟，并限制了它们在现实方案中的应用程序。为了解决这个问题，我们提出了SIMULSLT，这是第一端到端同步标志语言翻译模型，可以同时将手语录像机转换为目标文本。 SIMUSLT由文本解码器，边界预测器和屏蔽编码器组成。我们1）使用Wait-K战略同时翻译。 2）基于集成和火灾模块设计一种新的边界预测器，以输出光泽边界，该边界用于模拟手语视频和光泽之间的对应关系。 3）提出了一种创新的重新编码方法来帮助模型获取更丰富的上下文信息，这允许现有的视频功能完全交互。在Rwth-Phoenix-MoreSt 2014T数据集上进行的实验结果表明，SIMUSLT实现了超过最新的端到端非同时标志语言翻译模型的BLEU分数，同时保持低延迟，这证明了我们方法的有效性。

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

Direct speech-to-speech translation (S2ST), in which all components can be optimized jointly, is advantageous over cascaded approaches to achieve fast inference with a simplified pipeline. We present a novel two-pass direct S2ST architecture, {\textit UnitY}, which first generates textual representations and predicts discrete acoustic units subsequently. We enhance the model performance by subword prediction in the first-pass decoder, advanced two-pass decoder architecture design and search strategy, and better training regularization. To leverage large amounts of unlabeled text data, we pre-train the first-pass text decoder based on the self-supervised denoising auto-encoding task. Experimental evaluations on benchmark datasets at various data scales demonstrate that UnitY outperforms a single-pass speech-to-unit translation model by 2.5-4.2 ASR-BLEU with 2.83x decoding speed-up. We show that the proposed methods boost the performance even when predicting spectrogram in the second pass. However, predicting discrete units achieves 2.51x decoding speed-up compared to that case.

同时翻译，它在仅在源句中只收到几个单词后开始翻译每个句子，在许多情况下都具有重要作用。虽然以前的前缀到前缀框架被认为适合同时翻译并实现良好的性能，但它仍然有两个不可避免的缺点：由于需要为每个延迟的单独模型训练单独模型而导致的高计算资源成本$ k $和不足能够编码信息，因为每个目标令牌只能参加特定的源前缀。我们提出了一种新颖的框架，采用简单但有效的解码策略，该策略专为全句型而设计。在此框架内，培训单个全句型模型可以实现任意给出的延迟并节省计算资源。此外，随着全句型模型的能力来编码整个句子，我们的解码策略可以在实时增强在解码状态中保持的信息。实验结果表明，我们的方法在4个方向上的基准方向达到了更好的翻译质量：Zh $ \ lightarrow $ en，en $ \ lightarrow $ ro和en $ \ leftrightarrow $ de。

Video dubbing aims to translate the original speech in a film or television program into the speech in a target language, which can be achieved with a cascaded system consisting of speech recognition, machine translation and speech synthesis. To ensure the translated speech to be well aligned with the corresponding video, the length/duration of the translated speech should be as close as possible to that of the original speech, which requires strict length control. Previous works usually control the number of words or characters generated by the machine translation model to be similar to the source sentence, without considering the isochronicity of speech as the speech duration of words/characters in different languages varies. In this paper, we propose a machine translation system tailored for the task of video dubbing, which directly considers the speech duration of each token in translation, to match the length of source and target speech. Specifically, we control the speech length of generated sentence by guiding the prediction of each word with the duration information, including the speech duration of itself as well as how much duration is left for the remaining words. We design experiments on four language directions (German -> English, Spanish -> English, Chinese <-> English), and the results show that the proposed method achieves better length control ability on the generated speech than baseline methods. To make up the lack of real-world datasets, we also construct a real-world test set collected from films to provide comprehensive evaluations on the video dubbing task.

The black-box nature of end-to-end speech translation (E2E ST) systems makes it difficult to understand how source language inputs are being mapped to the target language. To solve this problem, we would like to simultaneously generate automatic speech recognition (ASR) and ST predictions such that each source language word is explicitly mapped to a target language word. A major challenge arises from the fact that translation is a non-monotonic sequence transduction task due to word ordering differences between languages -- this clashes with the monotonic nature of ASR. Therefore, we propose to generate ST tokens out-of-order while remembering how to re-order them later. We achieve this by predicting a sequence of tuples consisting of a source word, the corresponding target words, and post-editing operations dictating the correct insertion points for the target word. We examine two variants of such operation sequences which enable generation of monotonic transcriptions and non-monotonic translations from the same speech input simultaneously. We apply our approach to offline and real-time streaming models, demonstrating that we can provide explainable translations without sacrificing quality or latency. In fact, the delayed re-ordering ability of our approach improves performance during streaming. As an added benefit, our method performs ASR and ST simultaneously, making it faster than using two separate systems to perform these tasks.

最近，多模式机器翻译（MMT）的研究激增，其中其他模式（例如图像）用于提高文本系统的翻译质量。这种多模式系统的特殊用途是同时机器翻译的任务，在该任务中，已证明视觉上下文可以补充源句子提供的部分信息，尤其是在翻译的早期阶段。在本文中，我们提出了第一个基于变压器的同时MMT体系结构，该体系结构以前尚未在现场探索过。此外，我们使用辅助监督信号扩展了该模型，该信号使用标记的短语区域比对来指导其视觉注意机制。我们在三个语言方向上进行全面的实验，并使用自动指标和手动检查进行彻底的定量和定性分析。我们的结果表明，（i）监督视觉注意力一致地提高了MMT模型的翻译质量，并且（ii）通过监督损失对MMT进行微调，比从SCRATCH训练MMT的MMT可以提高性能。与最先进的模型相比，我们提出的模型可实现多达2.3 bleu和3.5 Meteor点的改善。

我们呈现TranslatOrron 2，一个神经直接语音转换转换模型，可以训练结束到底。 TranslatOrron 2由语音编码器，音素解码器，MEL谱图合成器和连接所有前三个组件的注意模块组成。实验结果表明，翻译ron 2在翻译质量和预测的语音自然方面，通过大幅度优于原始翻译，并且通过减轻超越，例如唠叨或长暂停来大幅提高预测演讲的鲁棒性。我们还提出了一种在翻译语音中保留源代言人声音的新方法。训练有素的模型被限制为保留源扬声器的声音，但与原始翻译ron不同，它无法以不同的扬声器的语音产生语音，使模型对生产部署更加强大，通过减轻潜在的滥用来创建欺骗音频伪影。当新方法与基于简单的替代的数据增强一起使用时，训练的翻译器2模型能够保留每个扬声器的声音，以便用扬声器转动输入输入。

我们介绍了一种无线文字语音转换（S2ST）系统，可以将来自一种语言的语音转换为另一种语言，并且可以在不需要任何文本数据的情况下构建。与文献中的现有工作不同，我们解决了模拟多扬声器目标语音的挑战，并用现实世界的S2ST数据训练系统。我们方法的关键是一种自我监督的单位语音标准化技术，该标准化技术将预先训练的语音编码器具有来自多个扬声器的配对声音，以及单个参考扬声器，以减少由于复印件引起的变化，同时保留词汇内容。只有10分钟的语音标准化的配对数据，我们在培训\ vp〜s2st数据集上的S2ST模型时获得平均3.2 BLEU增益，而不是在未标准化的语音目标上培训的基线。我们还将自动开采的S2ST数据纳入并显示额外的2.0 BLEU增益。据我们所知，我们是第一个建立无线的S2ST技术，可以用真实世界的数据培训，并为多种语言配对工作。

神经传感器已被广泛用于自动语音识别（ASR）。在本文中，我们将其介绍给流端到端语音翻译（ST），该语音旨在将音频信号直接转换为其他语言的文本。与执行ASR之后的级联ST相比，基于文本的机器翻译（MT），拟议的变压器传感器（TT）基于ST模型大大降低了推理潜伏期，利用语音信息并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了TT中联合网络的注意集合。此外，我们将基于TT的ST扩展到多语言ST，该ST同时生成多种语言的文本。大规模5万（k）小时的伪标记训练集的实验结果表明，基于TT的ST不仅显着减少了推理时间，而且还优于非流式级联ST进行英语 - 德语翻译。

在本文中，我们提出了一个神经端到端系统，用于保存视频的语音，唇部同步翻译。该系统旨在将多个组件模型结合在一起，并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合，但在语音，语音特征，面对原始扬声器的视频中保持着重点。管道从自动语音识别开始，包括重点检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建了原始句子映射的原始重点。然后，使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后，为了将扬声器的嘴唇与翻译的音频同步，有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后，系统将生成的视频与转换后的音频结合在一起，以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计，我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统，因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明，我们的系统能够生成令人信服的原始演讲者的视频，同时保留原始说话者的特征。收集的数据集将共享。

To alleviate the data scarcity problem in End-to-end speech translation (ST), pre-training on data for speech recognition and machine translation is considered as an important technique. However, the modality gap between speech and text prevents the ST model from efficiently inheriting knowledge from the pre-trained models. In this work, we propose AdaTranS for end-to-end ST. It adapts the speech features with a new shrinking mechanism to mitigate the length mismatch between speech and text features by predicting word boundaries. Experiments on the MUST-C dataset demonstrate that AdaTranS achieves better performance than the other shrinking-based methods, with higher inference speed and lower memory usage. Further experiments also show that AdaTranS can be equipped with additional alignment losses to further improve performance.

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

我们介绍了CVSS，这是一种大规模的多语言对语音转换（S2ST）语料库，从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音，源自公共语音语音语料库和COVOST 2语音到文本转换（ST）语料库。提供了两个版本的翻译演讲：1）CVSS-C：所有翻译演讲都是一种高质量的规范声音; 2）CVSS-T：翻译语音从相应的源语音传输。此外，CVSS提供标准化的翻译文本，它与翻译语音中的发音匹配。在每个版本的CVSS上，我们建立了基线多语言直接S2ST模型和Cascade S2ST模型，验证了语料库的有效性。为了构建强大的Cascade S2ST基准，我们在Covost 2上培训了St模型，这优于前一种最先进的培训，而无需额外的数据。尽管如此，直接S2ST模型的性能在从头开始训练时接近强级联基线，并且在匹配ST模型中初始化时，仅在ASR转换转换时的0.1或0.7bleu差异。