我们介绍了特点，这是一个可以在给定角色的少数样本（8-15）上培训的生成模型。我们的模型基于Keypoint位置生成新颖姿势，可以在提供交互式反馈的同时实时修改，允许直观的重复和动画。由于我们只有非常有限的培训样本，因此关键挑战之一是如何解决（DIS）闭塞，例如，当一只手在身体后面或前面移动时。为了解决这个问题，我们介绍了一种新颖的分层方法，该方法将输入关键点分割为独立处理的不同层。这些层代表了角色的不同部分，并提供了强烈的隐含偏差，这有助于获得逼真的结果，即使具有强（DIS）闭塞。要组合各个图层的功能，我们使用所有关键点上的自适应缩放方法。最后，我们引入了一个掩模连接约束，以减少在测试时间下具有极端分布的失真伪像。我们表明我们的方法优于最近的基线，为不同的人物创造了现实的动画。我们还表明，我们的模型可以处理离散状态更改，例如左侧或右面的配置文件，即不同的图层确实学习了这些层中各个关键点的特定特征，并且在更多数据时，我们的模型将缩放到更大的数据集可用的。

我们介绍了与给定单个图像的任意长相机轨迹相对应的长期视图的新面积视图的问题。这是一个具有挑战性的问题，远远超出了当前视图合成方法的能力，这在提出大型摄像机运动时快速退化。用于视频生成的方法也具有有限的生产长序列的能力，并且通常不适用于场景几何形状。我们采用混合方法，它以迭代`\ emph {render}，\ emph {refine}，\ emph {重复}'框架集成了几何和图像合成，允许在数百帧之后覆盖大距离的远程生成。我们的方法可以从一组单目的视频序列训练。我们提出了一个沿海场景的空中镜头数据集，并比较了我们最近的观看综合和有条件的视频生成基线的方法，表明它可以在与现有方法相比，在大型相机轨迹上产生更长的时间范围。项目页面https://infinite-nature.github.io/。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

人类的姿势告诉我们一个场景吗？我们提出了一个任务来回答这个问题：给予人类姿势作为输入，幻觉兼容兼容的场景。人类姿势语义，环境承受，对象交互捕获的微妙提示 - 提供令人惊讶的洞察力，涉及哪些场景。我们为姿势调节场景生成提供了一个大型生成的对抗性网络。我们显着缩放了培训数据的大小和复杂性，策划了在日常环境中遏制了含有超过1900万帧的大型元数据集。我们对STYLEGAN2的模型的能力增加了调整这些复杂数据，并设计一个推动我们模型的姿势调节机制，以了解姿势和场景之间的差别关系。我们利用我们的培训模型进行各种应用：有或没有人类的幻觉兼容的场景，可视化不兼容的场景并姿势，将一个人从一个生成的图像放入另一个场景，动画姿势。我们的模型在准确的人体放置（正确关键点的百分比）和图像质量（FroEchet Inception距离）方面，我们的模型产生了不同的样本和占据了姿势调节的样式2和PIX2PIX基线。

在运动中的运动中综合动态外观在诸如AR / VR和视频编辑的应用中起着核心作用。虽然已经提出了最近的许多方法来解决这个问题，但处理具有复杂纹理和高动态运动的松散服装仍然仍然具有挑战性。在本文中，我们提出了一种基于视频的外观综合方法，可以解决此类挑战，并为之前尚未显示的野外视频的高质量结果。具体而言，我们采用基于样式的基于STYLEGAN的架构，对基于人的特定视频的运动retrargeting的任务。我们介绍了一种新的运动签名，用于调制发电机权重以捕获动态外观变化以及正规化基于帧的姿势估计以提高时间一致性。我们在一组具有挑战性的视频上评估我们的方法，并表明我们的方法可以定性和定量地实现最先进的性能。

我们引入分层可控的视频生成，在没有任何监督的情况下，将视频的初始帧分解为前景和背景层，用户可以通过简单地操纵前景掩模来控制视频生成过程。关键挑战是无监督的前景背景分离，这是模糊的，并且能够预测用户操作，可以访问未获得原始视频序列。我们通过提出两阶段学习程序来解决这些挑战。在第一阶段，随着丰富的损失和动态前景大小，我们学习如何将帧分离为前景和背景图层，并在这些图层上调节，如何使用VQ-VAE发生器生成下一帧。在第二阶段，我们通过将（参数化）控制从未来框架拟合（参数化）控制来进行该网络来预测对掩码的编辑。我们展示了该学习的有效性和更粒度的控制机制，同时说明了在两个基准数据集上的最先进的性能。我们提供了一个视频摘要以及HTTPS://gabriel-中的视频结果.Github.io/layered_controllable_video_generation

Figure 1: "Do as I Do" motion transfer: given a YouTube clip of a ballerina (top), and a video of a graduate student performing various motions, our method transfers the ballerina's performance onto the student (bottom).

在计算机视觉中，人类的姿势合成和转移与以前看不见的姿势的概率图像产生相关的概率图像产生。尽管研究人员最近提出了几种实现此任务的方法，但这些技术中的大多数直接从特定数据集中的所需目标图像中得出了姿势，这使得基础过程挑战在现实世界情景中应用于目标图像的生成是实际目标。在本文中，我们首先介绍当前姿势转移算法的缺点，然后提出一种新型的基于文本的姿势转移技术来解决这些问题。我们将问题分为三个独立的阶段：（a）文本构成表示，（b）姿势改进，（c）姿势渲染。据我们所知，这是开发基于文本的姿势转移框架的首次尝试之一，我们还通过为DeepFashion数据集的图像添加描述性姿势注释，从而引入了新的数据集DF-PASS。所提出的方法在我们的实验中产生了具有显着定性和定量得分的有希望的结果。

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

诸如关键点之类的结构化表示形式被广泛用于姿势传输，条件图像生成，动画和3D重建。但是，他们的监督学习需要每个目标域的昂贵注释。我们提出了一种自我监督的方法，该方法学会从外观上脱离对象结构，并用直边链接的2D关键点的图形。只有描绘同一对象类的图像集合，都学会了关键点的位置及其成对边缘权重。该图是可以解释的，例如，当应用于显示人的图像时，自动链接会恢复人类骨架拓扑。我们的关键要素是i）一个编码器，该编码器可预测输入图像中的关键点位置，ii）共享图作为一个潜在变量，该图形在每个图像中链接了相同的对键点，iii）一个中间边缘映射，结合了潜在图形边缘权重和关键点的位置以柔软，可区分的方式以及iv）在随机掩盖的图像上的介入目标。尽管更简单，但自动链接在已建立的关键点上优于现有的自我监督方法，并构成估计基准，并为更多样化的数据集上的结构调节生成模型铺平了道路。

人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available 1 .

我们建议使用单个图像进行面部表达到表达翻译的简单而强大的地标引导的生成对抗网络（Landmarkgan），这在计算机视觉中是一项重要且具有挑战性的任务，因为表达到表达的翻译是非 - 线性和非对准问题。此外，由于图像中的对象可以具有任意的姿势，大小，位置，背景和自我观念，因此需要在输入图像和输出图像之间有一个高级的语义理解。为了解决这个问题，我们建议明确利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务，（i）类别引导的地标生成，以及（ii）具有里程碑意义的指导表达式对表达的翻译。两项子任务以端到端的方式进行了培训，旨在享受产生的地标和表情的相互改善的好处。与当前的按键指导的方法相比，提议的Landmarkgan只需要单个面部图像即可产生各种表达式。四个公共数据集的广泛实验结果表明，与仅使用单个图像的最先进方法相比，所提出的Landmarkgan获得了更好的结果。该代码可从https://github.com/ha0tang/landmarkgan获得。

在这项工作中，我们将神经头部的头像技术推向百万像素分辨率，同时着重于跨驾驶合成的特别挑战性的任务，即，当驾驶图像的外观与动画源图像大不相同时。我们提出了一组新的神经体系结构和训练方法，这些方法可以利用中分辨率的视频数据和高分辨率图像数据，以达到所需的渲染图像质量和对新视图和运动的概括。我们证明，建议的架构和方法产生令人信服的高分辨率神经化身，在跨驾驶场景中表现优于竞争对手。最后，我们展示了如何将受过训练的高分辨率神经化身模型蒸馏成一个轻量级的学生模型，该模型是实时运行的，并将神经化身的身份锁定到数十个预定的源图像。实时操作和身份锁对于许多实际应用头像系统至关重要。

人类姿势信息是许多下游图像处理任务中的关键组成部分，例如活动识别和运动跟踪。同样地，所示字符域的姿势估计器将在辅助内容创建任务中提供有价值的，例如参考姿势检索和自动字符动画。但是，虽然现代数据驱动技术在自然图像上具有显着提高的姿态估计性能，但是对于插图来说已经完成了很少的工作。在我们的工作中，我们通过从域特定的和任务特定的源模型有效地学习来弥合这个域名差距。此外，我们还升级和展开现有的所示姿势估计数据集，并引入两个用于分类和分段子任务的新数据集。然后，我们应用所产生的最先进的角色姿势估算器来解决姿势引导例证检索的新颖任务。所有数据，模型和代码都将公开可用。

使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。

We present a new method for generating controllable, dynamically responsive, and photorealistic human animations. Given an image of a person, our system allows the user to generate Physically plausible Upper Body Animation (PUBA) using interaction in the image space, such as dragging their hand to various locations. We formulate a reinforcement learning problem to train a dynamic model that predicts the person's next 2D state (i.e., keypoints on the image) conditioned on a 3D action (i.e., joint torque), and a policy that outputs optimal actions to control the person to achieve desired goals. The dynamic model leverages the expressiveness of 3D simulation and the visual realism of 2D videos. PUBA generates 2D keypoint sequences that achieve task goals while being responsive to forceful perturbation. The sequences of keypoints are then translated by a pose-to-image generator to produce the final photorealistic video.

The vision community has explored numerous pose guided human editing methods due to their extensive practical applications. Most of these methods still use an image-to-image formulation in which a single image is given as input to produce an edited image as output. However, the problem is ill-defined in cases when the target pose is significantly different from the input pose. Existing methods then resort to in-painting or style transfer to handle occlusions and preserve content. In this paper, we explore the utilization of multiple views to minimize the issue of missing information and generate an accurate representation of the underlying human model. To fuse the knowledge from multiple viewpoints, we design a selector network that takes the pose keypoints and texture from images and generates an interpretable per-pixel selection map. After that, the encodings from a separate network (trained on a single image human reposing task) are merged in the latent space. This enables us to generate accurate, precise, and visually coherent images for different editing tasks. We show the application of our network on 2 newly proposed tasks - Multi-view human reposing, and Mix-and-match human image generation. Additionally, we study the limitations of single-view editing and scenarios in which multi-view provides a much better alternative.