诸如关键点之类的结构化表示形式被广泛用于姿势传输，条件图像生成，动画和3D重建。但是，他们的监督学习需要每个目标域的昂贵注释。我们提出了一种自我监督的方法，该方法学会从外观上脱离对象结构，并用直边链接的2D关键点的图形。只有描绘同一对象类的图像集合，都学会了关键点的位置及其成对边缘权重。该图是可以解释的，例如，当应用于显示人的图像时，自动链接会恢复人类骨架拓扑。我们的关键要素是i）一个编码器，该编码器可预测输入图像中的关键点位置，ii）共享图作为一个潜在变量，该图形在每个图像中链接了相同的对键点，iii）一个中间边缘映射，结合了潜在图形边缘权重和关键点的位置以柔软，可区分的方式以及iv）在随机掩盖的图像上的介入目标。尽管更简单，但自动链接在已建立的关键点上优于现有的自我监督方法，并构成估计基准，并为更多样化的数据集上的结构调节生成模型铺平了道路。

将图像分段为其部件是频繁预处理，用于高级视觉任务，例如图像编辑。然而，用于监督培训的注释面具是昂贵的。存在弱监督和无监督的方法，但它们依赖于图像对的比较，例如来自多视图，视频帧和单个图像的图像转换，这限制了它们的适用性。为了解决这个问题，我们提出了一种基于GAN的方法，可以在潜在掩模上生成图像，从而减轻了先前方法所需的完整或弱注释。我们表明，当在明确地定义零件位置的潜在关键点上以分层方式调节掩模时，可以忠实地学习这种掩模条件的图像生成。在不需要监督掩模或点的情况下，该策略增加了对观点和对象位置变化的鲁棒性。它还允许我们生成用于训练分段网络的图像掩码对，这优于已建立的基准的最先进的无监督的分段方法。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

现有的无监督方法用于关键点学习的方法在很大程度上取决于以下假设：特定关键点类型（例如肘部，数字，抽象几何形状）仅在图像中出现一次。这极大地限制了它们的适用性，因为在应用未经讨论或评估的方法之前必须隔离每个实例。因此，我们提出了一种新的方法来学习任务无关的，无监督的关键点（Tusk），可以处理多个实例。为了实现这一目标，我们使用单个热图检测，而不是常用的多个热图的常用策略，而是专门针对特定的关键点类型，并通过群集实现了对关键点类型的无监督学习。具体来说，我们通过教导它们从一组稀疏的关键点及其描述符中重建图像来编码语义，并在其中被迫在学术原型中形成特征空间中的不同簇。这使我们的方法适合于更广泛的任务范围，而不是以前的任何无监督关键点方法：我们显示了有关多种现实检测和分类，对象发现和地标检测的实验 - 与艺术状况相同的无监督性能，同时也能够处理多个实例。

我们提出了一种学习来自未标识的行为视频的代理的姿势和结构的方法。从观察开始，表现代理通常是行为视频中的主要运动来源，我们的方法使用具有几何瓶颈的编码器 - 解码器架构来重建视频帧之间的差异。只要仅关注运动区域，我们的方法直接在输入视频上工作，而无需手动注释，例如关键点或边界框。关于各种代理类型（鼠标，飞，人，水母和树木）的实验展示了我们的方法的一般性，并揭示了我们发现的关键点代表着语义有意义的身体部位，这在关键点回归上实现了最先进的性能在自我监督的方法中。此外，我们发现的关键点可实现可比的性能，以对下游任务的监督关键点，例如行为分类，表明我们的方法可以大大降低模型培训VIS-VIS监督方法的成本。

Quantifying motion in 3D is important for studying the behavior of humans and other animals, but manual pose annotations are expensive and time-consuming to obtain. Self-supervised keypoint discovery is a promising strategy for estimating 3D poses without annotations. However, current keypoint discovery approaches commonly process single 2D views and do not operate in the 3D space. We propose a new method to perform self-supervised keypoint discovery in 3D from multi-view videos of behaving agents, without any keypoint or bounding box supervision in 2D or 3D. Our method uses an encoder-decoder architecture with a 3D volumetric heatmap, trained to reconstruct spatiotemporal differences across multiple views, in addition to joint length constraints on a learned 3D skeleton of the subject. In this way, we discover keypoints without requiring manual supervision in videos of humans and rats, demonstrating the potential of 3D keypoint discovery for studying behavior.

我们提出了一个新的视觉数据表示形式，该数据将对象位置从外观上删除。我们的方法称为深潜粒子（DLP），将视觉输入分解为低维的潜在``粒子''，其中每个粒子都用其周围区域的空间位置和特征来描述。为了学习这种表示形式，我们遵循一种基于VAE的方法，并根据空间 - 软构建结构引入了粒子位置的先验位置，并修改了受粒子之间倒角距离启发的证据下限损失。我们证明，我们的DLP表示形式可用于下游任务，例如无监督关键点（KP）检测，图像操纵和针对由多个动态对象组成的场景的视频预测。此外，我们表明，我们对问题的概率解释自然提供了粒子位置的不确定性估计，可用于模型选择以及其他任务。可用视频和代码：https：//taldatech.github.io/deep-latent-particles-web/

Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available 1 .

自我监督的视觉表现学习的目标是学习强大，可转让的图像表示，其中大多数研究专注于物体或场景水平。另一方面，在部分级别的代表学习得到了显着的关注。在本文中，我们向对象部分发现和分割提出了一个无人监督的方法，并进行三个贡献。首先，我们通过一系列目标构建一个代理任务，鼓励模型将图像的有意义分解成其部件。其次，先前的工作争辩地用于重建或聚类预先计算的功能作为代理的代理;我们凭经验展示了这一点，这种情况不太可能找到有意义的部分;主要是因为它们的低分辨率和分类网络到空间涂抹信息的趋势。我们建议像素水平的图像重建可以缓解这个问题，充当互补的提示。最后，我们表明基于Keypoint回归的标准评估与分割质量不符合良好，因此引入不同的指标，NMI和ARI，更好地表征对象的分解成零件。我们的方法产生了一致的细粒度但视觉上不同的类别的语义部分，优于三个基准数据集的现有技术。代码可在项目页面上找到：https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

我们提出了Gan监督的学习，一个学习歧视模型的框架及其GAN生成的培训数据结束结束。我们将框架应用于密集的视觉调整问题。灵感来自经典的凝固方法，我们的甘蓝算法列举了空间变压器来将随机样本从受过协调的数据训练到常见的共同学习的目标模式。我们在八个数据集上显示结果，所有这些都证明了我们的方法成功对齐复杂数据并发现密集的对应。甘蓝显着优于过去自我监督的对应算法，并在几个数据集上与（有时超过）最先进的监督对应算法进行了近几个数据集 - 而不利用任何通信监督或数据增强，尽管仅仅是完全培训在GaN生成的数据上。对于精确的对应，我们通过最先进的受监管方法提高了3倍。我们展示了我们对下游GaN训练的图像数据集的增强现实，图像编辑和自动预处理的应用。

我们建议在不使用任何手动注释的情况下为人类的姿势估算器进行个性化。虽然人类姿势估计有重大进步，但对于模型来说概括到不同的未知环境和看不见的人仍然非常具有挑战性。我们而不是为每个测试用例使用固定模型，我们在测试时间期间调整我们的姿势估算器以利用特定人的信息。我们首先将我们的模型与监督和自我监督的姿势估算目标相同。我们使用变压器模型来构建自我监控的关键点和监督关键点之间的转换。在测试时间期间，我们通过通过自我监督目标进行微调来个性化和调整我们的模型。然后通过转换更新的自我监督的关键点来改进姿势。我们尝试多个数据集，并显示我们自我监督个性化的姿势估算的显着改进。

生成对抗网络（GAN）的最近成功在面部动画任务方面取得了很大进展。然而，面部图像的复杂场景结构仍然使得产生具有显着偏离源图像的面部姿势的视频的挑战。一方面，在不知道面部几何结构的情况下，生成的面部图像可能被扭曲不当。另一方面，所生成的图像的一些区域可以在源图像中封闭，这使得GaN难以产生现实的外观。为了解决这些问题，我们提出了一种结构意识的面部动画（SAFA）方法，其构造特定的几何结构，以模拟面部图像的不同组件。在识别良好的基于​​运动的面部动画技术之后，我们使用3D可变模型（3dmm）来模拟面部，多个仿射变换，以模拟其他前景组件，如头发和胡须，以及模拟背景的身份变换。 3DMM几何嵌入不仅有助于为驾驶场景产生现实结构，而且有助于更好地感知所生成的图像中的遮挡区域。此外，我们进一步建议利用广泛研究的初探技术忠实地恢复封闭的图像区域。定量和定性实验结果都显示出我们方法的优越性。代码可在https://github.com/qiulin-w/safa获得。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

手语是人们表达自己的感受和情感的不同能力的窗口。但是，人们在短时间内学习手语仍然具有挑战性。为了应对这项现实世界中的挑战，在这项工作中，我们研究了运动传输系统，该系统可以将用户照片传输到特定单词的手语视频。特别是，输出视频的外观内容来自提供的用户图像，而视频的运动是从指定的教程视频中提取的。我们观察到采用最先进的运动转移方法来产生语言的两个主要局限性：（1）现有的运动转移工作忽略了人体的先前几何知识。 （2）先前的图像动画方法仅将图像对作为训练阶段的输入，这无法完全利用视频中的时间信息。为了解决上述局限性，我们提出了结构感知的时间一致性网络（STCNET），以共同优化人类的先前结构，并具有符号语言视频生成的时间一致性。本文有两个主要贡献。 （1）我们利用细粒骨骼检测器来提供人体关键点的先验知识。这样，我们确保关键点运动在有效范围内，并使模型变得更加可解释和强大。 （2）我们引入了两个周期矛盾损失，即短期周期损失和长期周期损失，这些损失是为了确保生成的视频的连续性。我们以端到端的方式优化了两个损失和关键点检测器网络。

我们通过无监督学习的角度探索语义对应估计。我们使用标准化的评估协议彻底评估了最近提出的几种跨多个挑战数据集的无监督方法，在该协议中，我们会改变诸如骨干架构，预训练策略以及预训练和填充数据集等因素。为了更好地了解这些方法的故障模式，并为了提供更清晰的改进途径，我们提供了一个新的诊断框架以及一个新的性能指标，该指标更适合于语义匹配任务。最后，我们引入了一种新的无监督的对应方法，该方法利用了预训练的功能的强度，同时鼓励在训练过程中进行更好的比赛。与当前的最新方法相比，这会导致匹配性能明显更好。

人类的姿势告诉我们一个场景吗？我们提出了一个任务来回答这个问题：给予人类姿势作为输入，幻觉兼容兼容的场景。人类姿势语义，环境承受，对象交互捕获的微妙提示 - 提供令人惊讶的洞察力，涉及哪些场景。我们为姿势调节场景生成提供了一个大型生成的对抗性网络。我们显着缩放了培训数据的大小和复杂性，策划了在日常环境中遏制了含有超过1900万帧的大型元数据集。我们对STYLEGAN2的模型的能力增加了调整这些复杂数据，并设计一个推动我们模型的姿势调节机制，以了解姿势和场景之间的差别关系。我们利用我们的培训模型进行各种应用：有或没有人类的幻觉兼容的场景，可视化不兼容的场景并姿势，将一个人从一个生成的图像放入另一个场景，动画姿势。我们的模型在准确的人体放置（正确关键点的百分比）和图像质量（FroEchet Inception距离）方面，我们的模型产生了不同的样本和占据了姿势调节的样式2和PIX2PIX基线。

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

通过手动创建或使用3D扫描工具来创建高质量的铰接3D动物3D模型。因此，从2D图像重建铰接的3D对象的技术至关重要且非常有用。在这项工作中，我们提出了一个实用问题设置，以估算只有几个（10-30）特定动物物种（例如马）的野外图像（Horse）的3D姿势和形状。与依赖于预定义模板形状的现有作品相反，我们不假设任何形式的2D或3D地面真相注释，也不利用任何多视图或时间信息。此外，每个输入图像合奏都可以包含具有不同姿势，背景，照明和纹理的动物实例。我们的主要见解是，与整体动物相比，3D零件的形状要简单得多，并且它们是强大的W.R.T.动物姿势关节。遵循这些见解，我们提出了Lassie，这是一个新颖的优化框架，以最少的用户干预以自我监督的方式发现3D部分。 Lassie背后的关键推动力是使用自我篇幅的深度功能实现2D-3D零件的一致性。与先前的艺术相比，关于Pascal-Part和自我收集的野生动物数据集的实验表明，3D重建以及2D和3D部分的发现都更好。项目页面：chhankyo.github.io/lassie/