手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available 1 .

Sign language recognition (SLR) aims to overcome the communication barrier for the people with deafness or the people with hard hearing. Most existing approaches can be typically divided into two lines, i.e., Skeleton-based and RGB-based methods, but both the two lines of methods have their limitations. RGB-based approaches usually overlook the fine-grained hand structure, while Skeleton-based methods do not take the facial expression into account. In attempts to address both limitations, we propose a new framework named Spatial-temporal Part-aware network (StepNet), based on RGB parts. As the name implies, StepNet consists of two modules: Part-level Spatial Modeling and Part-level Temporal Modeling. Particularly, without using any keypoint-level annotations, Part-level Spatial Modeling implicitly captures the appearance-based properties, such as hands and faces, in the feature space. On the other hand, Part-level Temporal Modeling captures the pertinent properties over time by implicitly mining the long-short term context. Extensive experiments show that our StepNet, thanks to Spatial-temporal modules, achieves competitive Top-1 Per-instance accuracy on three widely-used SLR benchmarks, i.e., 56.89% on WLASL, 77.2% on NMFs-CSL, and 77.1% on BOBSL. Moreover, the proposed method is compatible with the optical flow input, and can yield higher performance if fused. We hope that this work can serve as a preliminary step for the people with deafness.

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

人类姿势转移旨在将源人的外观转移到目标姿势。利用基于流量的非刚性人类图像的翘曲的现有方法取得了巨大的成功。然而，由于源和目标之间的空间相关性未充分利用，它们未能保留合成图像中的外观细节。为此，我们提出了基于流动的双重关注GaN（FDA-GaN），以应用于更高的发电质量的遮挡和变形感知功能融合。具体而言，可变形的局部注意力和流量相似性关注，构成双重关注机制，可以分别导出负责可变形和遮挡感知融合的输出特征。此外，为了维持传输的姿势和全球位置一致性，我们设计了一种姿势归一化网络，用于从目标姿势到源人员学习自适应标准化。定性和定量结果都表明，我们的方法在公共IPer和Deepfashion数据集中优于最先进的模型。

生成对抗网络（GAN）的最近成功在面部动画任务方面取得了很大进展。然而，面部图像的复杂场景结构仍然使得产生具有显着偏离源图像的面部姿势的视频的挑战。一方面，在不知道面部几何结构的情况下，生成的面部图像可能被扭曲不当。另一方面，所生成的图像的一些区域可以在源图像中封闭，这使得GaN难以产生现实的外观。为了解决这些问题，我们提出了一种结构意识的面部动画（SAFA）方法，其构造特定的几何结构，以模拟面部图像的不同组件。在识别良好的基于​​运动的面部动画技术之后，我们使用3D可变模型（3dmm）来模拟面部，多个仿射变换，以模拟其他前景组件，如头发和胡须，以及模拟背景的身份变换。 3DMM几何嵌入不仅有助于为驾驶场景产生现实结构，而且有助于更好地感知所生成的图像中的遮挡区域。此外，我们进一步建议利用广泛研究的初探技术忠实地恢复封闭的图像区域。定量和定性实验结果都显示出我们方法的优越性。代码可在https://github.com/qiulin-w/safa获得。

图像动画旨在使用从驾驶视频中学到的运动来对源图像进行动画映像。当前的最新方法通常使用卷积神经网络（CNN）来预测运动信息，例如运动关键点和相应的局部变换。但是，这些基于CNN的方法并未明确对运动之间的相互作用进行建模。结果，可能会忽略重要的基础运动关系，这可能会导致生成的动画视频中产生明显的伪影。为此，我们提出了一种新方法，即运动变压器，这是基于视觉变压器构建运动估计器的首次尝试。更具体地说，我们在提出的方法中介绍了两种类型的令牌：i）由补丁特征和相应位置编码形成的图像令牌； ii）用运动信息编码的运动令牌。两种类型的令牌都被发送到视觉变压器中，以通过多头自我注意力块促进它们之间的基本相互作用。通过采用此过程，可以更好地学习运动信息以提高模型性能。然后，最终嵌入式运动令牌用于预测相应的运动关键点和局部变换。基准数据集上的广泛实验表明，我们提出的方法为最先进的基准取得了令人鼓舞的结果。我们的源代码将公开可用。

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

超声（US）广泛用于实时成像，无辐射和便携性的优势。在临床实践中，分析和诊断通常依赖于美国序列，而不是单个图像来获得动态的解剖信息。对于新手来说，这是一项挑战，因为使用患者的足够视频进行练习是临床上不可行的。在本文中，我们提出了一个新颖的框架，以综合高保真美国视频。具体而言，合成视频是通过基于给定驾驶视频的动作来动画源内容图像来生成的。我们的亮点是三倍。首先，利用自我监督学习的优势，我们提出的系统以弱监督的方式进行了培训，以进行关键点检测。然后，这些关键点为处理美国视频中的复杂动态动作提供了重要信息。其次，我们使用双重解码器将内容和纹理学习解除，以有效地减少模型学习难度。最后，我们采用了对抗性训练策略，并采用了GAN损失，以进一步改善生成的视频的清晰度，从而缩小了真实和合成视频之间的差距。我们在具有高动态运动的大型内部骨盆数据集上验证我们的方法。广泛的评估指标和用户研究证明了我们提出的方法的有效性。

从单个图像的面部图像动画取得了显着的进展。然而，当只有稀疏的地标作为驱动信号时，它仍然具有挑战性。鉴于源人面部图像和一系列稀疏面部地标，我们的目标是生成模仿地标运动的脸部的视频。我们开发了一种高效有效的方法，用于从稀疏地标到面部图像的运动转移。然后，我们将全局和局部运动估计结合在统一的模型中以忠实地传输运动。该模型可以学习从背景中分割移动前景并不仅产生全局运动，例如面部的旋转和翻译，还可以微妙地进行诸如凝视变化的局部运动。我们进一步改善了视频的面部地标检测。随着时间上更好地对齐的训练的标志性序列，我们的方法可以产生具有更高视觉质量的时间相干视频。实验表明，我们实现了与最先进的图像驱动方法相当的结果，在相同的身份测试和交叉标识测试上的更好结果。

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

发型转移是将源发型修改为目标的任务。尽管最近的发型转移模型可以反映发型的精致特征，但它们仍然有两个主要局限性。首先，当源和目标图像具有不同的姿势（例如，查看方向或面部尺寸）时，现有方法无法转移发型，这在现实世界中很普遍。同样，当源图像中有非平凡的区域被其原始头发遮住时，先前的模型会产生不切实际的图像。当将长发修改为短发时，肩膀或背景被长发遮住了。为了解决这些问题，我们为姿势不变的发型转移，发型提出了一个新颖的框架。我们的模型包括两个阶段：1）基于流动的头发对齐和2）头发合成。在头发对齐阶段，我们利用基于关键点的光流估计器将目标发型与源姿势对齐。然后，我们基于语义区域感知的嵌入面膜（SIM）估计器在头发合成阶段生成最终的发型转移图像。我们的SIM估计器将源图像中的封闭区域划分为不同的语义区域，以反映其在涂料过程中的独特特征。为了证明我们的模型的有效性，我们使用多视图数据集（K-Hairstyle和Voxceleb）进行定量和定性评估。结果表明，发型通过在不同姿势的图像之间成功地转移发型来实现最先进的表现，而这是以前从未实现的。

运动传输是根据来自给定驾驶视频的运动来合成单个源图像的未来视频帧的任务。由于运动表示的复杂性和驾驶视频与源图像之间的未知关系，此任务是具有挑战性的。尽管有这种困难，但这个问题吸引了近年来研究的极大兴趣，逐渐改进。问题可能被认为是运动和外观的去耦，这通常通过从关键点移动中提取运动来解决。我们选择解决通用，无监督的设置，在那里我们需要将动画应用于任何任意对象，而没有任何用于输入结构的域特定模型。在这项工作中，我们从Keypoint Heatmap中提取结构，没有明确的运动表示。然后，从图像和视频中提取来自图像的结构以根据视频，由深发电机横断图像。

本文介绍了一个名为DTVNet的新型端到端动态时间流逝视频生成框架，以从归一化运动向量上的单个景观图像生成多样化的延期视频。所提出的DTVNET由两个子模块组成：\ EMPH {光学流编码器}（OFE）和\ EMPH {动态视频生成器}（DVG）。 OFE将一系列光学流程图映射到编码所生成视频的运动信息的\ Emph {归一化运动向量}。 DVG包含来自运动矢量和单个景观图像的运动和内容流。此外，它包含一个编码器，用于学习共享内容特征和解码器，以构造具有相应运动的视频帧。具体地，\ EMPH {运动流}介绍多个\ EMPH {自适应实例归一化}（Adain）层，以集成用于控制对象运动的多级运动信息。在测试阶段，基于仅一个输入图像，可以产生具有相同内容但具有相同运动信息但各种运动信息的视频。此外，我们提出了一个高分辨率的景区时间流逝视频数据集，命名为快速天空时间，以评估不同的方法，可以被视为高质量景观图像和视频生成任务的新基准。我们进一步对天空延时，海滩和快速天空数据集进行实验。结果证明了我们对最先进的方法产生高质量和各种动态视频的方法的优越性。

In this work, we propose an ID-preserving talking head generation framework, which advances previous methods in two aspects. First, as opposed to interpolating from sparse flow, we claim that dense landmarks are crucial to achieving accurate geometry-aware flow fields. Second, inspired by face-swapping methods, we adaptively fuse the source identity during synthesis, so that the network better preserves the key characteristics of the image portrait. Although the proposed model surpasses prior generation fidelity on established benchmarks, to further make the talking head generation qualified for real usage, personalized fine-tuning is usually needed. However, this process is rather computationally demanding that is unaffordable to standard users. To solve this, we propose a fast adaptation model using a meta-learning approach. The learned model can be adapted to a high-quality personalized model as fast as 30 seconds. Last but not the least, a spatial-temporal enhancement module is proposed to improve the fine details while ensuring temporal coherency. Extensive experiments prove the significant superiority of our approach over the state of the arts in both one-shot and personalized settings.

在运动中的运动中综合动态外观在诸如AR / VR和视频编辑的应用中起着核心作用。虽然已经提出了最近的许多方法来解决这个问题，但处理具有复杂纹理和高动态运动的松散服装仍然仍然具有挑战性。在本文中，我们提出了一种基于视频的外观综合方法，可以解决此类挑战，并为之前尚未显示的野外视频的高质量结果。具体而言，我们采用基于样式的基于STYLEGAN的架构，对基于人的特定视频的运动retrargeting的任务。我们介绍了一种新的运动签名，用于调制发电机权重以捕获动态外观变化以及正规化基于帧的姿势估计以提高时间一致性。我们在一组具有挑战性的视频上评估我们的方法，并表明我们的方法可以定性和定量地实现最先进的性能。

Face Animation是计算机视觉中最热门的主题之一，在生成模型的帮助下取得了有希望的性能。但是，由于复杂的运动变形和复杂的面部细节建模，生成保留身份和光真实图像的身份仍然是一个关键的挑战。为了解决这些问题，我们提出了一个面部神经量渲染（FNEVR）网络，以充分探索在统一框架中2D运动翘曲和3D体积渲染的潜力。在FNEVR中，我们设计了一个3D面积渲染（FVR）模块，以增强图像渲染的面部细节。具体而言，我们首先使用精心设计的体系结构提取3D信息，然后引入一个正交自适应射线采样模块以进行有效的渲染。我们还设计了一个轻巧的姿势编辑器，使FNEVR能够以简单而有效的方式编辑面部姿势。广泛的实验表明，我们的FNEVR在广泛使用的说话头基准上获得了最佳的总体质量和性能。

从视频中估算人的姿势对于人类计算机相互作用至关重要。通过精确估计人类姿势，机器人可以对人类提供适当的反应。大多数现有方法都使用光流，RNN或CNN从视频中提取时间功能。尽管这些尝试取得了积极的结果，但其中大多数仅直接整合沿时间维度的特征，而忽略了关节之间的时间相关性。与以前的方法相反，我们提出了一个基于域交叉注意机制的插件运动学建模模块（KMM），以对不同帧的关节之间的时间相关性进行建模。具体而言，提出的KMM通过计算其时间相似性来模拟任意两个关节之间的时间相关性。这样，KMM可以学习每个关节的运动提示。使用运动提示（时间域）和关节的历史位置（空间域），KMM可以提前推断关节的初始位置。此外，我们还基于KMM提出了一个运动学建模网络（KIMNET），用于通过结合姿势特征和关节的初始位置来获得关节的最终位置。通过对关节之间的时间相关性进行显式建模，Kimnet可以根据前一刻的所有关节来推断遮挡的关节。此外，KMM是通过注意机制实现的，该机制使其能够保持高度分辨率。因此，它可以将丰富的历史姿势信息转移到当前框架上，该信息为定位遮挡关节提供了有效的姿势信息。我们的方法在两个基于视频的姿势估计基准的基准上实现了最新的结果。此外，提出的Kimnet对闭塞显示了一些鲁棒性，证明了所提出的方法的有效性。

当网络条件恶化时，视频会议系统的用户体验差，因为当前的视频编解码器根本无法在极低的比特率下运行。最近，已经提出了几种神经替代方案，可以使用每个框架的稀疏表示，例如面部地标信息，以非常低的比特率重建说话的头视频。但是，这些方法在通话过程中具有重大运动或遮挡的情况下会产生不良的重建，并且不会扩展到更高的分辨率。我们设计了Gemino，这是一种基于新型高频条件超分辨率管道的新型神经压缩系统，用于视频会议。 Gemino根据从单个高分辨率参考图像中提取的信息来增强高频细节（例如，皮肤纹理，头发等），为每个目标框架的一个非常低分辨率的版本（例如，皮肤纹理，头发等）。我们使用多尺度体系结构，该体系结构在不同的分辨率下运行模型的不同组件，从而使其扩展到可与720p相当的分辨率，并且我们个性化模型以学习每个人的特定细节，在低比特率上实现了更好的保真度。我们在AIORTC上实施了Gemino，这是WEBRTC的开源Python实现，并表明它在A100 GPU上实时在1024x1024视频上运行，比比特率的比特率低于传统的视频Codecs，以相同的感知质量。