The study of the attention mechanism has sparked interest in many fields, such as language modeling and machine translation. Although its patterns have been exploited to perform different tasks, from neural network understanding to textual alignment, no previous work has analysed the encoder-decoder attention behavior in speech translation (ST) nor used it to improve ST on a specific task. In this paper, we fill this gap by proposing an attention-based policy (EDAtt) for simultaneous ST (SimulST) that is motivated by an analysis of the existing attention relations between audio input and textual output. Its goal is to leverage the encoder-decoder attention scores to guide inference in real time. Results on en->{de, es} show that the EDAtt policy achieves overall better results compared to the SimulST state of the art, especially in terms of computational-aware latency.

本文介绍了流媒体和非流定向晶体翻译的统一端到端帧工作。虽然非流媒体语音翻译的培训配方已经成熟，但尚未建立流媒体传播的食谱。在这项工作中，WEFOCUS在开发一个统一的模型（UNIST），它从基本组成部分的角度支持流媒体和非流媒体ST，包括培训目标，注意机制和解码政策。对最流行的语音到文本翻译基准数据集，MERE-C的实验表明，与媒体ST的BLEU评分和延迟度量有更好的折衷和液化标准端到端基线和级联模型。我们将公开提供我们的代码和评估工具。

我们提出了直接同时的语音转换（SIMUL-S2ST）模型，此外，翻译的产生与中间文本表示无关。我们的方法利用了最近与离散单位直接语音转换的最新进展，其中从模型中预测了一系列离散表示，而不是连续频谱图特征，而不是以无监督的方式学习，并直接传递给语音的声码器综合在一起。我们还介绍了变分单调的多口语注意力（V-MMA），以处理语音同声翻译中效率低效的政策学习的挑战。然后，同时策略在源语音特征和目标离散单元上运行。我们开展实证研究，比较级联和直接方法对Fisher西班牙语 - 英语和必需的英语西班牙语数据集。直接同步模型显示通过在翻译质量和延迟之间实现更好的权衡来优于级联模型。

自动副标题是将视听产品的语音自动转化为短文本的任务，换句话说，字幕及其相应的时间戳。生成的字幕需要符合多个空间和时间要求（长度，阅读速度），同时与语音同步并以促进理解的方式进行分割。鉴于其相当大的复杂性，迄今为止，通过分别处理转录，翻译，分割为字幕并预测时间戳的元素来解决自动字幕。在本文中，我们提出了第一个直接自动字幕模型，该模型在单个解决方案中从源语音中生成目标语言字幕及其时间戳。与经过内外数据和外域数据训练的最先进的级联模型的比较表明，我们的系统提供了高质量的字幕，同时在整合性方面也具有竞争力，并具有维护单个模型的所有优势。

同时语音转换（Simulst）是必须在部分，增量语音输入上执行输出生成的任务。近年来，由于交叉语言应用场景的传播，如国际现场会议和流媒体讲座，Sumulst已经变得很受欢迎，因为在飞行的语音翻译中可以促进用户访问视听内容。在本文中，我们分析到目前为止所开发的Simulst系统的特征，讨论其优势和缺点。然后我们专注于正确评估系统效率所需的评估框架。为此，我们提高了更广泛的性能分析的需求，还包括用户体验的角度。实际上，Simulst Systems不仅应在质量/延迟措施方面进行评估，而且还可以通过以任务为导向的指标计费，例如，用于所采用的可视化策略。鉴于此，我们突出了社区实现的目标以及仍然缺少的目标。

最近，多模式机器翻译（MMT）的研究激增，其中其他模式（例如图像）用于提高文本系统的翻译质量。这种多模式系统的特殊用途是同时机器翻译的任务，在该任务中，已证明视觉上下文可以补充源句子提供的部分信息，尤其是在翻译的早期阶段。在本文中，我们提出了第一个基于变压器的同时MMT体系结构，该体系结构以前尚未在现场探索过。此外，我们使用辅助监督信号扩展了该模型，该信号使用标记的短语区域比对来指导其视觉注意机制。我们在三个语言方向上进行全面的实验，并使用自动指标和手动检查进行彻底的定量和定性分析。我们的结果表明，（i）监督视觉注意力一致地提高了MMT模型的翻译质量，并且（ii）通过监督损失对MMT进行微调，比从SCRATCH训练MMT的MMT可以提高性能。与最先进的模型相比，我们提出的模型可实现多达2.3 bleu和3.5 Meteor点的改善。

端到端（E2E）语音到文本翻译（ST）通常取决于通过语音识别或文本翻译任务使用源成绩单预处理其编码器和/或解码器，否则翻译性能会大大下降。但是，笔录并不总是可用的，在文献中很少研究这种预处理的E2E ST。在本文中，我们重新审视了这个问题，并探讨了仅在语音翻译对培训的E2E ST质量的程度。我们重新审查了几种证明对ST的有益的技术，并提供了一系列最佳实践，这些实践使基于变压器的E2E ST系统偏向于从头开始训练。此外，我们提出了参数化的距离惩罚，以促进语音自我注意模型中的位置建模。在涵盖23种语言的四个基准测试中，我们的实验表明，在不使用任何成绩单或预处理的情况下，提议的系统达到甚至优于先前采用预处理的研究，尽管差距仍然存在（极为）低资源的设置。最后，我们讨论了神经声学特征建模，其中神经模型旨在直接从原始语音信号中提取声学特征，以简化电感偏见并为模型描述语音增添自由度。我们第一次证明了它的可行性，并在ST任务上表现出令人鼓舞的结果。

Data scarcity is one of the main issues with the end-to-end approach for Speech Translation, as compared to the cascaded one. Although most data resources for Speech Translation are originally document-level, they offer a sentence-level view, which can be directly used during training. But this sentence-level view is single and static, potentially limiting the utility of the data. Our proposed data augmentation method SegAugment challenges this idea and aims to increase data availability by providing multiple alternative sentence-level views of a dataset. Our method heavily relies on an Audio Segmentation system to re-segment the speech of each document, after which we obtain the target text with alignment methods. The Audio Segmentation system can be parameterized with different length constraints, thus giving us access to multiple and diverse sentence-level views for each document. Experiments in MuST-C show consistent gains across 8 language pairs, with an average increase of 2.2 BLEU points, and up to 4.7 BLEU for lower-resource scenarios in mTEDx. Additionally, we find that SegAugment is also applicable to purely sentence-level data, as in CoVoST, and that it enables Speech Translation models to completely close the gap between the gold and automatic segmentation at inference time.

同时翻译系统在处理输入流中的部分源句子时开始产生输出。这些系统需要决定何时读取更多输入以及何时编写输出。这些决定取决于源/目标语言的结构以及部分输入序列中包含的信息。因此，读/写决策策略在不同的输入方式（即语音和文本）中保持不变。这激发了我们利用与语音输入相对应的文本成绩单，以改善同时的语音到文本翻译（Simulst）。我们建议通过同时使用文本到文本翻译（SIMULMT）任务来改善Simulst系统的决策政策，以改善Simulst系统的决策政策。我们还将几种技术从离线语音翻译域扩展，以探索Simulmt任务在改善Simulst性能中的作用。总体而言，我们在不同的延迟制度（ENDE）SIMULST任务的不同延迟制度中取得了34.66％ / 4.5 BLEU的改进。

同时的语音翻译（Simulst）系统旨在以最低的潜伏期生成其输出，通常根据平均滞后（AL）进行计算。在本文中，我们强调，尽管采用了广泛的采用，但AL提供了与相应参考相比产生更长预测的系统的低估分数。我们还表明，这个问题具有实际相关性，因为最近的Simulst系统确实具有过度生成的趋势。作为解决方案，我们提出了LAAL（长度自适应平均滞后），这是一个修改后的度量版本，考虑了过度生成现象，并允许对不足/过度生成系统的公正评估。

End-to-end Speech Translation (E2E ST) aims to translate source speech into target translation without generating the intermediate transcript. However, existing approaches for E2E ST degrade considerably when only limited ST data are available. We observe that an ST model's performance strongly correlates with its embedding similarity from speech and transcript. In this paper, we propose Word-Aligned COntrastive learning (WACO), a novel method for few-shot speech-to-text translation. Our key idea is bridging word-level representations for both modalities via contrastive learning. We evaluate WACO and other methods on the MuST-C dataset, a widely used ST benchmark. Our experiments demonstrate that WACO outperforms the best baseline methods by 0.7-8.5 BLEU points with only 1-hour parallel data. Code is available at https://anonymous.4open.science/r/WACO .

字幕（替代）的语音翻译是通过将符合特定显示指南的字幕划分插入字幕中断，将语音数据自动转化为良好的字幕。与语音翻译（ST）类似，模型训练需要并行数据，其中包括音频输入与其文本翻译配对。然而，在替代方面，还必须用字幕断裂来注释文本。到目前为止，这一要求代表了系统开发的瓶颈，如公开可用的替代公司所证实。为了填补这一空白，我们提出了一种在不干预的情况下将现有的ST Corpora转换为替代资源的方法。我们构建了一个分段模型，该模型通过以多模式的方式利用音频和文本来自动将文本片段分为适当的字幕，从而在零拍摄条件下实现了高分子的质量。对手动和自动分割培训的替代系统的比较实验导致相似的性能，显示了我们方法的有效性。

同时翻译，它在仅在源句中只收到几个单词后开始翻译每个句子，在许多情况下都具有重要作用。虽然以前的前缀到前缀框架被认为适合同时翻译并实现良好的性能，但它仍然有两个不可避免的缺点：由于需要为每个延迟的单独模型训练单独模型而导致的高计算资源成本$ k $和不足能够编码信息，因为每个目标令牌只能参加特定的源前缀。我们提出了一种新颖的框架，采用简单但有效的解码策略，该策略专为全句型而设计。在此框架内，培训单个全句型模型可以实现任意给出的延迟并节省计算资源。此外，随着全句型模型的能力来编码整个句子，我们的解码策略可以在实时增强在解码状态中保持的信息。实验结果表明，我们的方法在4个方向上的基准方向达到了更好的翻译质量：Zh $ \ lightarrow $ en，en $ \ lightarrow $ ro和en $ \ leftrightarrow $ de。

语音到语音翻译（S2ST）将输入语音转换为另一种语言。实时交付S2ST的挑战是翻译和语音合成模块之间的累积延迟。尽管最近增量的文本到语音（ITTS）模型已显示出巨大的质量改进，但它们通常需要其他未来的文本输入才能达到最佳性能。在这项工作中，我们通过调整上游语音翻译器来为语音合成器生成高质量的伪lookahead来最大程度地减少ITT的最初等待时间。缓解初始延迟后，我们证明了合成语音的持续时间在延迟中也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的持续时间缩放方法，以减少延迟。我们的方法始终将延迟减少0.2-0.5秒，而无需牺牲语音翻译质量。

Direct speech-to-speech translation (S2ST), in which all components can be optimized jointly, is advantageous over cascaded approaches to achieve fast inference with a simplified pipeline. We present a novel two-pass direct S2ST architecture, {\textit UnitY}, which first generates textual representations and predicts discrete acoustic units subsequently. We enhance the model performance by subword prediction in the first-pass decoder, advanced two-pass decoder architecture design and search strategy, and better training regularization. To leverage large amounts of unlabeled text data, we pre-train the first-pass text decoder based on the self-supervised denoising auto-encoding task. Experimental evaluations on benchmark datasets at various data scales demonstrate that UnitY outperforms a single-pass speech-to-unit translation model by 2.5-4.2 ASR-BLEU with 2.83x decoding speed-up. We show that the proposed methods boost the performance even when predicting spectrogram in the second pass. However, predicting discrete units achieves 2.51x decoding speed-up compared to that case.

由于其误差传播，延迟较少和更少的参数较少的潜力，端到端语音到文本翻译〜（e2e-st）变得越来越受欢迎。鉴于三联培训语料库$ \ langle演讲，转录，翻译\ rangle $，传统的高质量E2E-ST系统利用$ \ langle演讲，转录\ rangle $配对预先培训模型，然后利用$ \ Langle演讲，翻译\ rangle $配对进一步优化它。然而，该过程仅涉及每个阶段的两个元组数据，并且该松散耦合不能完全利用三重态数据之间的关联。在本文中，我们试图基于语音输入模拟转录和翻译的联合概率，以直接利用这种三重态数据。基于此，我们提出了一种新的正规化方法，用于改进三重态数据中双路分解协议的模型培训，理论上应该是相等的。为实现这一目标，我们将两个Kullback-Leibler发散正规化术语介绍到模型培训目的中，以减少双路径输出概率之间的不匹配。然后，训练有素的模型可以通过预定义的早期停止标签自然地被视为E2E-ST模型。 Must-C基准测试的实验表明，我们所提出的方法在所有8个语言对上显着优于最先进的E2E-ST基线，同时在自动语音识别任务中实现更好的性能。我们的代码在https://github.com/duyichao/e2e -st-tda开放。

We present SpeechMatrix, a large-scale multilingual corpus of speech-to-speech translations mined from real speech of European Parliament recordings. It contains speech alignments in 136 language pairs with a total of 418 thousand hours of speech. To evaluate the quality of this parallel speech, we train bilingual speech-to-speech translation models on mined data only and establish extensive baseline results on EuroParl-ST, VoxPopuli and FLEURS test sets. Enabled by the multilinguality of SpeechMatrix, we also explore multilingual speech-to-speech translation, a topic which was addressed by few other works. We also demonstrate that model pre-training and sparse scaling using Mixture-of-Experts bring large gains to translation performance. The mined data and models are freely available.

Speech translation (ST) is the task of directly translating acoustic speech signals in a source language into text in a foreign language. ST task has been addressed, for a long time, using a pipeline approach with two modules : first an Automatic Speech Recognition (ASR) in the source language followed by a text-to-text Machine translation (MT). In the past few years, we have seen a paradigm shift towards the end-to-end approaches using sequence-to-sequence deep neural network models. This paper presents our efforts towards the development of the first Broadcast News end-to-end Arabic to English speech translation system. Starting from independent ASR and MT LDC releases, we were able to identify about 92 hours of Arabic audio recordings for which the manual transcription was also translated into English at the segment level. These data was used to train and compare pipeline and end-to-end speech translation systems under multiple scenarios including transfer learning and data augmentation techniques.

我们介绍了Fairseq S2T，这是语音到文本（S2T）建模任务的Fairseq扩展，例如端到端语音识别和语音到文本翻译。它遵循Fairseq的仔细设计，以实现可扩展性和可扩展性。我们提供从数据预处理，模型培训到离线推理的端到端工作流程。我们实施了基于最新的RNN，基于变压器以及基于构象的模型和开源详细培训配方。Fairseq的机器翻译模型和语言模型可以无缝集成到S2T工作流中，以进行多任务学习或转移学习。Fairseq S2T文档和示例可在https://github.com/pytorch/fairseq/tree/master/master/examples/speech_to_text上获得。

我们介绍了一种无线文字语音转换（S2ST）系统，可以将来自一种语言的语音转换为另一种语言，并且可以在不需要任何文本数据的情况下构建。与文献中的现有工作不同，我们解决了模拟多扬声器目标语音的挑战，并用现实世界的S2ST数据训练系统。我们方法的关键是一种自我监督的单位语音标准化技术，该标准化技术将预先训练的语音编码器具有来自多个扬声器的配对声音，以及单个参考扬声器，以减少由于复印件引起的变化，同时保留词汇内容。只有10分钟的语音标准化的配对数据，我们在培训\ vp〜s2st数据集上的S2ST模型时获得平均3.2 BLEU增益，而不是在未标准化的语音目标上培训的基线。我们还将自动开采的S2ST数据纳入并显示额外的2.0 BLEU增益。据我们所知，我们是第一个建立无线的S2ST技术，可以用真实世界的数据培训，并为多种语言配对工作。