A true interpreting agent not only understands sign language and translates to text, but also understands text and translates to signs. Much of the AI work in sign language translation to date has focused mainly on translating from signs to text. Towards the latter goal, we propose a text-to-sign translation model, SignNet, which exploits the notion of similarity (and dissimilarity) of visual signs in translating. This module presented is only one part of a dual-learning two task process involving text-to-sign (T2S) as well as sign-to-text (S2T). We currently implement SignNet as a single channel architecture so that the output of the T2S task can be fed into S2T in a continuous dual learning framework. By single channel, we refer to a single modality, the body pose joints. In this work, we present SignNet, a T2S task using a novel metric embedding learning process, to preserve the distances between sign embeddings relative to their dissimilarity. We also describe how to choose positive and negative examples of signs for similarity testing. From our analysis, we observe that metric embedding learning-based model perform significantly better than the other models with traditional losses, when evaluated using BLEU scores. In the task of gloss to pose, SignNet performed as well as its state-of-the-art (SoTA) counterparts and outperformed them in the task of text to pose, by showing noteworthy enhancements in BLEU 1 - BLEU 4 scores (BLEU 1: 31->39; ~26% improvement and BLEU 4: 10.43->11.84; ~14\% improvement) when tested on the popular RWTH PHOENIX-Weather-2014T benchmark dataset

手语是聋人和听力受损社区中使用的沟通语言的主要形式。在听力障碍和听力社区之间进行简单互相的沟通，建立一个能够将口语翻译成手语的强大系统，反之亦然是基本的。为此，标志语言识别和生产是制作这种双向系统的两个必要零件。手语识别和生产需要应对一些关键挑战。在这项调查中，我们审查了使用深度学习的手语制作（SLP）和相关领域的最近进展。为了有更现实的观点来签署语言，我们介绍了聋人文化，聋人中心，手语的心理视角，口语和手语之间的主要差异。此外，我们介绍了双向手语翻译系统的基本组成部分，讨论了该领域的主要挑战。此外，简要介绍了SLP中的骨干架构和方法，并提出了拟议的SLP分类物。最后，介绍了SLP和绩效评估的一般框架，也讨论了SLP最近的发展，优势和限制，评论可能的未来研究的可能线条。

手语制作（SLP）旨在将语言的表达方式转化为手语的相应语言，例如基于骨架的标志姿势或视频。现有的SLP型号是自动回旋（AR）或非自动入口（NAR）。但是，AR-SLP模型在解码过程中遭受了回归对均值和误差传播的影响。 NSLP-G是一种基于NAR的模型，在某种程度上解决了这些问题，但会带来其他问题。例如，它不考虑目标符号长度，并且会遭受虚假解码启动的影响。我们通过知识蒸馏（KD）提出了一种新型的NAR-SLP模型，以解决这些问题。首先，我们设计一个长度调节器来预测生成的符号姿势序列的末端。然后，我们采用KD，该KD从预训练的姿势编码器中提取空间语言特征以减轻虚假解码的启动。广泛的实验表明，所提出的方法在特里切特的手势距离和背面翻译评估中都显着优于现有的SLP模型。

与手语识别（SLR）相比，手语翻译（SLT）是一项尚未相对较多研究的任务。但是，SLR是一项认识到手语的独特语法的研究，该语言与口语不同，并且存在一个非障碍者无法轻易解释的问题。因此，我们将解决在手语视频中直接翻译口语的问题。为此，我们提出了一种基于签名者的骨架点执行翻译的新关键标准化方法，并在手语翻译中稳健地将这些点标准化。根据身体部位的不同，它通过定制的标准化方法有助于提高性能。此外，我们提出了一种随机框架选择方法，该方法可以同时实现框架增强和采样。最后，通过基于注意力的翻译模型将其转化为口语。我们的方法可以应用于可以无光泽的数据集应用于数据集的各种数据集。此外，定量实验评估证明了我们方法的卓越性。

手语翻译（SLT），它以手语中的视觉内容以口语中的语言生成文本，很重要，以协助听力态度的沟通。灵感来自神经机翻译（NMT），最现有的SLT研究采用了一般序列来序列学习策略。然而，SLT与常规NMT任务显着不同，因为Sign语言通过多个视觉手动方面传达了消息。因此，在本文中，标志语言的这些独特的特征被制定为分层时空图表示，包括高级和微级图形，顶点表征指定的身体部位和边缘表示它们的交互。特别地，高级图表代表了手表和面部的区域中的图案，并且细级图考虑了面部区域的手和地标的关系。为了了解这些图形模式，提出了一种新颖的深度学习架构，即分层时空图神经网络（HST-GNN）。提出了具有邻域上下文的图形卷积和图形自我关注，以表征本地和全局图形属性。基准数据集的实验结果证明了该方法的有效性。

在本文中，我们专注于单次符号发现的任务，即给定孤立的符号（查询）的示例，我们希望识别是否在连续，共同铰接的手语视频中出现此标志（目标）。为了实现这一目标，我们提出了一个转换器的网络，称为SignLookup。我们使用3D卷积神经网络（CNNS）来提取视频剪辑的时空表示。为了解决查询和目标视频之间的时间尺度差异，我们使用不同的帧级级别构造来自单个视频剪辑的多个查询。在这些查询剪辑中应用自我关注以模拟连续刻度空间。我们还在目标视频上使用另一个自我关注模块来学习序列内的上下文。最后，使用相互关注来匹配时间尺度来定位目标序列内的查询。广泛的实验表明，无论签名者的外观如何，所提出的方法不仅可以可靠地识别连续视频中的孤立的标志，但也可以概括不同的标志语言。通过利用注意机制和自适应功能，我们的模型在符号发现任务上实现了最先进的性能，精度高达96％，在具有挑战性的基准数据集，并显着优于其他方法。

在本文中，我们介绍了一条神经渲染管道，用于将一个人在源视频中的面部表情，头部姿势和身体运动转移到目标视频中的另一个人。我们将方法应用于手语视频的具有挑战性的案例：给定手语用户的源视频，我们可以忠实地传输执行的手册（例如握手，棕榈方向，运动，位置）和非手术（例如，眼睛凝视，凝视，面部表情，头部移动）以照片真实的方式标志着目标视频。为了有效捕获上述提示，这些线索对于手语交流至关重要，我们以最近引入的最健壮和最可靠的深度学习方法的有效组合来建立。使用3D感知表示，将身体部位的估计运动组合并重新定位到目标签名者。然后将它们作为我们的视频渲染网络的条件输入，从而生成时间一致和照片现实的视频。我们进行了详细的定性和定量评估和比较，这些评估和比较证明了我们的方法的有效性及其对现有方法的优势。我们的方法产生了前所未有的现实主义的有希望的结果，可用于手语匿名。此外，它很容易适用于重新制定其他类型的全身活动（舞蹈，表演，锻炼等）以及手语生产系统的合成模块。

手语翻译作为一种具有深刻社会意义的技术，近年来吸引了研究人员的利益。但是，现有的标志语言翻译方法需要在开始翻译之前阅读所有视频，这导致高推理延迟，并限制了它们在现实方案中的应用程序。为了解决这个问题，我们提出了SIMULSLT，这是第一端到端同步标志语言翻译模型，可以同时将手语录像机转换为目标文本。 SIMUSLT由文本解码器，边界预测器和屏蔽编码器组成。我们1）使用Wait-K战略同时翻译。 2）基于集成和火灾模块设计一种新的边界预测器，以输出光泽边界，该边界用于模拟手语视频和光泽之间的对应关系。 3）提出了一种创新的重新编码方法来帮助模型获取更丰富的上下文信息，这允许现有的视频功能完全交互。在Rwth-Phoenix-MoreSt 2014T数据集上进行的实验结果表明，SIMUSLT实现了超过最新的端到端非同时标志语言翻译模型的BLEU分数，同时保持低延迟，这证明了我们方法的有效性。

This paper describes the system developed at the Universitat Polit\`ecnica de Catalunya for the Workshop on Machine Translation 2022 Sign Language Translation Task, in particular, for the sign-to-text direction. We use a Transformer model implemented with the Fairseq modeling toolkit. We have experimented with the vocabulary size, data augmentation techniques and pretraining the model with the PHOENIX-14T dataset. Our system obtains 0.50 BLEU score for the test set, improving the organizers' baseline by 0.38 BLEU. We remark the poor results for both the baseline and our system, and thus, the unreliability of our findings.

可以突出显示可以有效地搜索一牌语视频集合的系统作为手语技术的有用应用。然而，在单个关键字超越各个关键字超出视频的问题已经受到文学中的有限关注。为了解决这个差距，在这项工作中，我们介绍了使用自由形式文本查询的手语检索的任务：给定书面查询（例如，句子）和大量的手语视频，目标是找到签名视频在最符合书面查询的集合中。我们建议通过在最近推出的大型How2sign数据集（ASL）上学习跨模型嵌入式来解决这项任务。我们确定系统性能的关键瓶颈是标志视频嵌入的质量，其缺乏标记的训练数据的稀缺。因此，我们提出了迭代对齐的框架，用于交错迭代轮符号斑点和特征对齐，以扩展可用培训数据的范围和规模。我们验证了通过改进签名识别和建议的视频检索任务的嵌入强大的标志视频嵌入的稳健标志视频的有效性。

我用Hunglish2语料库训练神经电脑翻译任务的模型。这项工作的主要贡献在培训NMT模型期间评估不同的数据增强方法。我提出了5种不同的增强方法，这些方法是结构感知的，这意味着而不是随机选择用于消隐或替换的单词，句子的依赖树用作增强的基础。我首先关于神经网络的详细文献综述，顺序建模，神经机翻译，依赖解析和数据增强。经过详细的探索性数据分析和Hunglish2语料库的预处理之后，我使用所提出的数据增强技术进行实验。匈牙利语的最佳型号达到了33.9的BLEU得分，而英国匈牙利最好的模型达到了28.6的BLEU得分。

在这项工作中，我们介绍了BBC-oxford英国手语（Bobsl）数据集，这是英国手语的大规模视频集合（BSL）。Bobsl是一个基于以前工作中引入的BSL-1K数据集的扩展和公开发布的数据集。我们描述了数据集的动机，以及统计和可用注释。我们进行实验，为标志识别，手语对齐和手语翻译的任务提供基线。最后，我们从机器学习和语言学的角度描述了数据的几个优势和局限，注意数据集中存在的偏差源，并在手语技术背景下讨论Bobsl的潜在应用。数据集可在https://www.robots.ox.ac.uk/~vgg/data/bobsl/处获得。

机器翻译历史上的重要突破之一是变压器模型的发展。不仅对于各种翻译任务，而且对于大多数其他NLP任务都是革命性的。在本文中，我们针对一个基于变压器的系统，该系统能够将德语用源句子转换为其英语的对应目标句子。我们对WMT'13数据集的新闻评论德语 - 英语并行句子进行实验。此外，我们研究了来自IWSLT'16数据集的培训中包含其他通用域数据以改善变压器模型性能的效果。我们发现，在培训中包括IWSLT'16数据集，有助于在WMT'13数据集的测试集中获得2个BLEU得分点。引入定性分析以分析通用域数据的使用如何有助于提高产生的翻译句子的质量。

“我们怎样才能通过简单地告诉他们，从动画电影剧本或移动机器人的3D角色我们希望他们做什么？” “我们如何非结构化和复杂的可以造一个句子，仍然从其生成合理的运动？”这些都是需要在长期得到回答，因为领域仍然处于起步阶段的问题。通过这些问题的启发，我们提出了产生成分操作的新技术，它可以处理复杂的输入句子。我们的产量是描绘在输入句子中的动作三维姿态序列。我们提出了一个分级二流顺序模型，探讨对应于给定的运动自然语言中的句子和三维姿态序列之间的精细联合级映射。我们学习运动的两个集管表示 - 每一个上半身下半身动作。我们的模型可以生成简短的句子描述单个动作以及长组成的句子描述多个连续叠加行动似是而非的姿势序列。我们评估的公开可用的KIT运动语言数据集含有与人类标注的句子3D姿势数据我们提出的模型。实验结果表明，我们的模型以50％的余量前进的状态的最先进的在客观评价基于文本的运动的合成。基于用户研究定性评价表明我们的合成运动被认为是最接近地面实况动作捕捉短期和组成句子。

The machine translation mechanism translates texts automatically between different natural languages, and Neural Machine Translation (NMT) has gained attention for its rational context analysis and fluent translation accuracy. However, processing low-resource languages that lack relevant training attributes like supervised data is a current challenge for Natural Language Processing (NLP). We incorporated a technique known Active Learning with the NMT toolkit Joey NMT to reach sufficient accuracy and robust predictions of low-resource language translation. With active learning, a semi-supervised machine learning strategy, the training algorithm determines which unlabeled data would be the most beneficial for obtaining labels using selected query techniques. We implemented two model-driven acquisition functions for selecting the samples to be validated. This work uses transformer-based NMT systems; baseline model (BM), fully trained model (FTM) , active learning least confidence based model (ALLCM), and active learning margin sampling based model (ALMSM) when translating English to Hindi. The Bilingual Evaluation Understudy (BLEU) metric has been used to evaluate system results. The BLEU scores of BM, FTM, ALLCM and ALMSM systems are 16.26, 22.56 , 24.54, and 24.20, respectively. The findings in this paper demonstrate that active learning techniques helps the model to converge early and improve the overall quality of the translation system.

The word alignment task, despite its prominence in the era of statistical machine translation (SMT), is niche and under-explored today. In this two-part tutorial, we argue for the continued relevance for word alignment. The first part provides a historical background to word alignment as a core component of the traditional SMT pipeline. We zero-in on GIZA++, an unsupervised, statistical word aligner with surprising longevity. Jumping forward to the era of neural machine translation (NMT), we show how insights from word alignment inspired the attention mechanism fundamental to present-day NMT. The second part shifts to a survey approach. We cover neural word aligners, showing the slow but steady progress towards surpassing GIZA++ performance. Finally, we cover the present-day applications of word alignment, from cross-lingual annotation projection, to improving translation.

手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

在本文中，我们提出了一个神经端到端系统，用于保存视频的语音，唇部同步翻译。该系统旨在将多个组件模型结合在一起，并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合，但在语音，语音特征，面对原始扬声器的视频中保持着重点。管道从自动语音识别开始，包括重点检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建了原始句子映射的原始重点。然后，使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后，为了将扬声器的嘴唇与翻译的音频同步，有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后，系统将生成的视频与转换后的音频结合在一起，以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计，我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统，因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明，我们的系统能够生成令人信服的原始演讲者的视频，同时保留原始说话者的特征。收集的数据集将共享。

最近，多模式机器翻译（MMT）的研究激增，其中其他模式（例如图像）用于提高文本系统的翻译质量。这种多模式系统的特殊用途是同时机器翻译的任务，在该任务中，已证明视觉上下文可以补充源句子提供的部分信息，尤其是在翻译的早期阶段。在本文中，我们提出了第一个基于变压器的同时MMT体系结构，该体系结构以前尚未在现场探索过。此外，我们使用辅助监督信号扩展了该模型，该信号使用标记的短语区域比对来指导其视觉注意机制。我们在三个语言方向上进行全面的实验，并使用自动指标和手动检查进行彻底的定量和定性分析。我们的结果表明，（i）监督视觉注意力一致地提高了MMT模型的翻译质量，并且（ii）通过监督损失对MMT进行微调，比从SCRATCH训练MMT的MMT可以提高性能。与最先进的模型相比，我们提出的模型可实现多达2.3 bleu和3.5 Meteor点的改善。

手语制作（SLP）旨在将口语语言自动转化为符号序列。 SLP的核心过程是将符号光泽序列转换为其相应的标志姿势序列（G2P）。大多数现有的G2P模型通常以自回归方式执行这种条件的远程生成，这不可避免地导致错误的积累。为了解决这个问题，我们提出了一种量化量子序列序列的生成的矢量量化扩散方法，称为poseVQ扩散，这是一种迭代性非自动入学方法。具体而言，我们首先引入量化量化变量自动编码器（姿势VQVAE）模型，以表示姿势序列作为一系列潜在代码。然后，我们通过最近开发的扩散体系结构的扩展来对潜在离散空间进行建模。为了更好地利用时空信息，我们介绍了一种新颖的体系结构，即CodeUnet，以在离散空间中生成更高质量的姿势序列。此外，利用学习的代码，我们开发了一种新型的顺序k-nearest-neighbours方法，以预测相应的光泽序列的姿势序列的可变长度。因此，与自回旋G2P模型相比，我们的模型具有更快的采样速度，并产生明显更好的结果。与以前的非自动入学G2P方法相比，PoseVQ扩散通过迭代改进改善了预测的结果，从而在SLP评估基准上获得了最新的结果。