最近在自动手语理解中的具有挑战性的任务（例如手语识别，翻译和生产）方面取得了重大进展。但是，这些作品集中在相对较少的样本，简短录音以及有限的词汇和签名空间的数据集上。在这项工作中，我们介绍了手语主题检测的新颖任务。我们基于跨越多个语义域的大规模视频数据集的2sign的实验。我们为主题检测的任务提供了强大的基础，并在手语领域常用的不同视觉特征之间进行了比较。

可以突出显示可以有效地搜索一牌语视频集合的系统作为手语技术的有用应用。然而，在单个关键字超越各个关键字超出视频的问题已经受到文学中的有限关注。为了解决这个差距，在这项工作中，我们介绍了使用自由形式文本查询的手语检索的任务：给定书面查询（例如，句子）和大量的手语视频，目标是找到签名视频在最符合书面查询的集合中。我们建议通过在最近推出的大型How2sign数据集（ASL）上学习跨模型嵌入式来解决这项任务。我们确定系统性能的关键瓶颈是标志视频嵌入的质量，其缺乏标记的训练数据的稀缺。因此，我们提出了迭代对齐的框架，用于交错迭代轮符号斑点和特征对齐，以扩展可用培训数据的范围和规模。我们验证了通过改进签名识别和建议的视频检索任务的嵌入强大的标志视频嵌入的稳健标志视频的有效性。

在本文中，我们介绍了一条神经渲染管道，用于将一个人在源视频中的面部表情，头部姿势和身体运动转移到目标视频中的另一个人。我们将方法应用于手语视频的具有挑战性的案例：给定手语用户的源视频，我们可以忠实地传输执行的手册（例如握手，棕榈方向，运动，位置）和非手术（例如，眼睛凝视，凝视，面部表情，头部移动）以照片真实的方式标志着目标视频。为了有效捕获上述提示，这些线索对于手语交流至关重要，我们以最近引入的最健壮和最可靠的深度学习方法的有效组合来建立。使用3D感知表示，将身体部位的估计运动组合并重新定位到目标签名者。然后将它们作为我们的视频渲染网络的条件输入，从而生成时间一致和照片现实的视频。我们进行了详细的定性和定量评估和比较，这些评估和比较证明了我们的方法的有效性及其对现有方法的优势。我们的方法产生了前所未有的现实主义的有希望的结果，可用于手语匿名。此外，它很容易适用于重新制定其他类型的全身活动（舞蹈，表演，锻炼等）以及手语生产系统的合成模块。

手语是聋人和听力受损社区中使用的沟通语言的主要形式。在听力障碍和听力社区之间进行简单互相的沟通，建立一个能够将口语翻译成手语的强大系统，反之亦然是基本的。为此，标志语言识别和生产是制作这种双向系统的两个必要零件。手语识别和生产需要应对一些关键挑战。在这项调查中，我们审查了使用深度学习的手语制作（SLP）和相关领域的最近进展。为了有更现实的观点来签署语言，我们介绍了聋人文化，聋人中心，手语的心理视角，口语和手语之间的主要差异。此外，我们介绍了双向手语翻译系统的基本组成部分，讨论了该领域的主要挑战。此外，简要介绍了SLP中的骨干架构和方法，并提出了拟议的SLP分类物。最后，介绍了SLP和绩效评估的一般框架，也讨论了SLP最近的发展，优势和限制，评论可能的未来研究的可能线条。

This paper describes the system developed at the Universitat Polit\`ecnica de Catalunya for the Workshop on Machine Translation 2022 Sign Language Translation Task, in particular, for the sign-to-text direction. We use a Transformer model implemented with the Fairseq modeling toolkit. We have experimented with the vocabulary size, data augmentation techniques and pretraining the model with the PHOENIX-14T dataset. Our system obtains 0.50 BLEU score for the test set, improving the organizers' baseline by 0.38 BLEU. We remark the poor results for both the baseline and our system, and thus, the unreliability of our findings.

在本文中，我们专注于单次符号发现的任务，即给定孤立的符号（查询）的示例，我们希望识别是否在连续，共同铰接的手语视频中出现此标志（目标）。为了实现这一目标，我们提出了一个转换器的网络，称为SignLookup。我们使用3D卷积神经网络（CNNS）来提取视频剪辑的时空表示。为了解决查询和目标视频之间的时间尺度差异，我们使用不同的帧级级别构造来自单个视频剪辑的多个查询。在这些查询剪辑中应用自我关注以模拟连续刻度空间。我们还在目标视频上使用另一个自我关注模块来学习序列内的上下文。最后，使用相互关注来匹配时间尺度来定位目标序列内的查询。广泛的实验表明，无论签名者的外观如何，所提出的方法不仅可以可靠地识别连续视频中的孤立的标志，但也可以概括不同的标志语言。通过利用注意机制和自适应功能，我们的模型在符号发现任务上实现了最先进的性能，精度高达96％，在具有挑战性的基准数据集，并显着优于其他方法。

手语制作（SLP）旨在将语言的表达方式转化为手语的相应语言，例如基于骨架的标志姿势或视频。现有的SLP型号是自动回旋（AR）或非自动入口（NAR）。但是，AR-SLP模型在解码过程中遭受了回归对均值和误差传播的影响。 NSLP-G是一种基于NAR的模型，在某种程度上解决了这些问题，但会带来其他问题。例如，它不考虑目标符号长度，并且会遭受虚假解码启动的影响。我们通过知识蒸馏（KD）提出了一种新型的NAR-SLP模型，以解决这些问题。首先，我们设计一个长度调节器来预测生成的符号姿势序列的末端。然后，我们采用KD，该KD从预训练的姿势编码器中提取空间语言特征以减轻虚假解码的启动。广泛的实验表明，所提出的方法在特里切特的手势距离和背面翻译评估中都显着优于现有的SLP模型。

手语翻译（SLT），它以手语中的视觉内容以口语中的语言生成文本，很重要，以协助听力态度的沟通。灵感来自神经机翻译（NMT），最现有的SLT研究采用了一般序列来序列学习策略。然而，SLT与常规NMT任务显着不同，因为Sign语言通过多个视觉手动方面传达了消息。因此，在本文中，标志语言的这些独特的特征被制定为分层时空图表示，包括高级和微级图形，顶点表征指定的身体部位和边缘表示它们的交互。特别地，高级图表代表了手表和面部的区域中的图案，并且细级图考虑了面部区域的手和地标的关系。为了了解这些图形模式，提出了一种新颖的深度学习架构，即分层时空图神经网络（HST-GNN）。提出了具有邻域上下文的图形卷积和图形自我关注，以表征本地和全局图形属性。基准数据集的实验结果证明了该方法的有效性。

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

在这项工作中，我们介绍了BBC-oxford英国手语（Bobsl）数据集，这是英国手语的大规模视频集合（BSL）。Bobsl是一个基于以前工作中引入的BSL-1K数据集的扩展和公开发布的数据集。我们描述了数据集的动机，以及统计和可用注释。我们进行实验，为标志识别，手语对齐和手语翻译的任务提供基线。最后，我们从机器学习和语言学的角度描述了数据的几个优势和局限，注意数据集中存在的偏差源，并在手语技术背景下讨论Bobsl的潜在应用。数据集可在https://www.robots.ox.ac.uk/~vgg/data/bobsl/处获得。

Transformer models have shown great success handling long-range interactions, making them a promising tool for modeling video. However they lack inductive biases and scale quadratically with input length. These limitations are further exacerbated when dealing with the high dimensionality introduced with the temporal dimension. While there are surveys analyzing the advances of Transformers for vision, none focus on an in-depth analysis of video-specific designs. In this survey we analyze main contributions and trends of works leveraging Transformers to model video. Specifically, we delve into how videos are handled as input-level first. Then, we study the architectural changes made to deal with video more efficiently, reduce redundancy, re-introduce useful inductive biases, and capture long-term temporal dynamics. In addition we provide an overview of different training regimes and explore effective self-supervised learning strategies for video. Finally, we conduct a performance comparison on the most common benchmark for Video Transformers (i.e., action classification), finding them to outperform 3D ConvNets even with less computational complexity.

基于纯粹关注的深度神经网络在几个领域中取得了成功，依赖于设计师的最小建筑前瞻性。在人类行动识别（HAR）中，主要是在标准卷积或复发层的顶部采用注意机制，从而提高了整体泛化能力。在这项工作中，我们介绍了动作变压器（ACT），这是一种简单的完全自我注意的架构，可以始终如一地优于混合卷积，复发和周度的更详细的网络。为了限制计算和能量请求，建立以前的人类行动识别研究，所提出的方法利用小型时间窗口的2D姿势表示，为准确且有效的实时性能提供低延迟解决方案。此外，我们开源MOMES2021是一个新的大规模数据集，作为建立正式培训和评估基准的实时短时哈哈。拟议的方法在MOMY2021上广泛测试，并与几个最先进的架构相比，证明了行为模型的有效性并铺设了未来工作的基础。

最近，手语研究人员已转向手语解释的电视广播，包括（i）连续签名的视频和（ii）与音频内容相对应的字幕，作为易于使用和大规模的培训数据来源。此类数据可用性的一个关键挑战是缺乏标志注释。利用这种弱对准数据的先前工作仅发现字幕中的关键字与单个符号之间的稀疏对应关系。在这项工作中，我们提出了一个简单，可扩展的框架，以极大地增加自动注释的密度。我们的贡献如下：（1）我们通过使用同义词和字幕签名对齐来显着改善先前的注释方法； （2）我们将标志识别模型中的伪标签的价值作为标志发现的方式； （3）我们提出了一种新的方法，以增加基于内域示例的已知和未知类别的注释； （4）在Bobsl BSL手语语料库上，我们将自信自动注释的数量从670K增加到5M。我们将这些注释公开用于支持手语研究社区。

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

A true interpreting agent not only understands sign language and translates to text, but also understands text and translates to signs. Much of the AI work in sign language translation to date has focused mainly on translating from signs to text. Towards the latter goal, we propose a text-to-sign translation model, SignNet, which exploits the notion of similarity (and dissimilarity) of visual signs in translating. This module presented is only one part of a dual-learning two task process involving text-to-sign (T2S) as well as sign-to-text (S2T). We currently implement SignNet as a single channel architecture so that the output of the T2S task can be fed into S2T in a continuous dual learning framework. By single channel, we refer to a single modality, the body pose joints. In this work, we present SignNet, a T2S task using a novel metric embedding learning process, to preserve the distances between sign embeddings relative to their dissimilarity. We also describe how to choose positive and negative examples of signs for similarity testing. From our analysis, we observe that metric embedding learning-based model perform significantly better than the other models with traditional losses, when evaluated using BLEU scores. In the task of gloss to pose, SignNet performed as well as its state-of-the-art (SoTA) counterparts and outperformed them in the task of text to pose, by showing noteworthy enhancements in BLEU 1 - BLEU 4 scores (BLEU 1: 31->39; ~26% improvement and BLEU 4: 10.43->11.84; ~14\% improvement) when tested on the popular RWTH PHOENIX-Weather-2014T benchmark dataset

这项工作的目的是通过利用视频中的音频和视觉流的自然共同发生来研究语音重建（视频到音频）对语音重建（视频到音频）的影响。我们提出了Lipsound2，其包括编码器 - 解码器架构和位置感知注意机制，可直接将面部图像序列映射到熔化谱图，而无需任何人类注释。提出的Lipsound2模型首先在$ 2400H的$ 2400h多语言（例如英语和德语）视听数据（VoxceleB2）上进行预先培训。为了验证所提出的方法的概括性，我们将在与以前的方法相比，微调在域特定数据集（网格，TCD-Timit）上进行预先训练的模型，以实现对语音质量和可懂度的显着提高扬声器依赖和依赖的设置。除了英语外，我们还在CMLR数据集上进行中文语音重建，以验证对转移性的影响。最后，我们通过微调在预先训练的语音识别系统上产生生成的音频并在英语和中文基准数据集中实现最先进的性能来培训级联唇读（视频到文本）系统。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

与手语识别（SLR）相比，手语翻译（SLT）是一项尚未相对较多研究的任务。但是，SLR是一项认识到手语的独特语法的研究，该语言与口语不同，并且存在一个非障碍者无法轻易解释的问题。因此，我们将解决在手语视频中直接翻译口语的问题。为此，我们提出了一种基于签名者的骨架点执行翻译的新关键标准化方法，并在手语翻译中稳健地将这些点标准化。根据身体部位的不同，它通过定制的标准化方法有助于提高性能。此外，我们提出了一种随机框架选择方法，该方法可以同时实现框架增强和采样。最后，通过基于注意力的翻译模型将其转化为口语。我们的方法可以应用于可以无光泽的数据集应用于数据集的各种数据集。此外，定量实验评估证明了我们方法的卓越性。

将文本输入转换为视频内容的任务已成为合成媒体生成的重要主题。已经提出了几种方法，其中一些方法在受限的任务中达到了近距离表现。在本文中，我们通过将文本转换为唇部标记来解决文本到视频生成问题的次要发音。但是，我们使用模块化，可控的系统体系结构进行此操作，并评估其每个组件。我们的标题名为Flexlip的系统分为两个单独的模块：文本到语音和语音到唇，都具有基本可控的深神经网络体系结构。这种模块化可以轻松替换其每个组件，同时还可以通过解开或投影输入功能来快速适应新的扬声器身份。我们表明，通过仅将数据的数据用于音频生成组件，而对于语音到唇部分量的5分钟，生成的唇部标记的客观度量与使用较大较大的唇部标记相当一组训练样本。我们还通过考虑数据和系统配置的几个方面，对系统的完整流进行了一系列客观评估措施。这些方面与培训数据的质量和数量有关，使用预审计的模型以及其中包含的数据以及目标扬声器的身份；关于后者，我们表明我们可以通过简单地更新模型中的嘴唇形状来对看不见的身份进行零拍的唇部适应。

对于人类的行动理解，流行的研究方向是分析具有明确的语义含量的短视频剪辑，例如跳跃和饮酒。然而，了解短语行动的方法不能直接翻译成长期以来的人类动态，如跳舞，即使在语义上也是挑战的挑战。同时，自然语言处理（NLP）社区通过大规模预培训解决了稀缺的类似挑战，这改善了一种模型的几个下游任务。在这项工作中，我们研究如何以自我监督的方式进行分段和群集视频，即Acton Discovery，朝向视频标记的主要障碍。我们提出了一种两级框架，首先通过对应于它们的时间上下文的视频帧的两个增强视图对比其次的视频帧的两个增强视图来获得帧智表示。然后通过k-means群集视频集集中的帧展表示。然后通过从同一簇内的帧形成连续的运动序列来自动提取actons。通过标准化的相互信息和语言熵，我们通过Kendall的Tau和Lexicon构建步骤进行评估框架明智的表现。我们还研究了这个标记化的三种应用：类型分类，行动细分和行动组成。在AIST ++和PKU-MMD数据集上，与几个基线相比，Actons带来了显着的性能改进。