3D gaze estimation is most often tackled as learning a direct mapping between input images and the gaze vector or its spherical coordinates. Recently, it has been shown that pose estimation of the face, body and hands benefits from revising the learning target from few pose parameters to dense 3D coordinates. In this work, we leverage this observation and propose to tackle 3D gaze estimation as regression of 3D eye meshes. We overcome the absence of compatible ground truth by fitting a rigid 3D eyeball template on existing gaze datasets and propose to improve generalization by making use of widely available in-the-wild face images. To this end, we propose an automatic pipeline to retrieve robust gaze pseudo-labels from arbitrary face images and design a multi-view supervision framework to balance their effect during training. In our experiments, our method achieves improvement of 30% compared to state-of-the-art in cross-dataset gaze estimation, when no ground truth data are available for training, and 7% when they are. We make our project publicly available at https://github.com/Vagver/dense3Deyes.

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展，由于眼睛外观，眼头相互作用，遮挡，图像质量和照明条件的独特性，自动凝视分析仍然具有挑战性。有几个开放的问题，包括在没有先验知识的情况下，在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展，以阐明这些基本问题，确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法，尤其是在无监督和弱监督的领域中。我们的分析表明，强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战，例如不受限制的设置和学习，并减少了监督。最后，我们讨论了设计现实的目光分析系统的未来研究方向，该系统可以传播到其他领域，包括计算机视觉，增强现实（AR），虚拟现实（VR）和人类计算机交互（HCI）。项目页面：https：//github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

我们提出了神经头头像，这是一种新型神经表示，其明确地模拟了可动画的人体化身的表面几何形状和外观，可用于在依赖数字人类的电影或游戏行业中的AR / VR或其他应用中的电话会议。我们的代表可以从单眼RGB肖像视频中学到，该视频具有一系列不同的表达和视图。具体地，我们提出了一种混合表示，其由面部的粗糙形状和表达式和两个前馈网络组成的混合表示，以及预测底层网格的顶点偏移以及视图和表达依赖性纹理。我们证明，该表示能够准确地外推到看不见的姿势和观点，并在提供尖锐的纹理细节的同时产生自然表达。与先前的磁头头像上的作品相比，我们的方法提供了与标准图形管道兼容的完整人体头（包括头发）的分解形状和外观模型。此外，就重建质量和新型观看合成而定量和定性地优于现有技术的当前状态。

本文介绍了一个新的大型多视图数据集，称为Humbi的人体表达式，具有天然衣物。 HUMBI的目标是为了便于建模特异性的外观和五个主要身体信号的几何形状，包括来自各种各样的人的凝视，面部，手，身体和服装。 107同步高清摄像机用于捕获772个跨性别，种族，年龄和风格的独特科目。使用多视图图像流，我们使用3D网格模型重建高保真体表达式，允许表示特定于视图的外观。我们证明HUMBI在学习和重建完整的人体模型方面非常有效，并且与人体表达的现有数据集互补，具有有限的观点和主题，如MPII-Gaze，Multi-Pie，Human 3.6m和Panoptic Studio数据集。基于HUMBI，我们制定了一种展开的姿态引导外观渲染任务的新基准挑战，其旨在大大延长了在3D中建模的不同人类表达式中的光敏性，这是真实的社会远程存在的关键能力。 Humbi公开提供http://humbi-data.net

3D面重建结果的评估通常取决于估计的3D模型和地面真相扫描之间的刚性形状比对。我们观察到，将两个形状与不同的参考点进行排列可以在很大程度上影响评估结果。这给精确诊断和改进3D面部重建方法带来了困难。在本文中，我们提出了一种新的评估方法，并采用了新的基准测试，包括100张全球对齐的面部扫描，具有准确的面部关键点，高质量的区域口罩和拓扑符合的网格。我们的方法执行区域形状比对，并导致计算形状误差期间更准确，双向对应关系。细粒度，区域评估结果为我们提供了有关最先进的3D面部重建方法表现的详细理解。例如，我们对基于单图像的重建方法的实验表明，DECA在鼻子区域表现最好，而Ganfit在脸颊区域的表现更好。此外，使用与我们构造的相同过程以对齐和重新构造几个3D面部数据集的新型和高质量的3DMM基础HIFI3D ++。我们将在https://realy3dface.com上发布真正的HIFI3D ++以及我们的新评估管道。

Though tremendous strides have been made in uncontrolled face detection, accurate and efficient 2D face alignment and 3D face reconstruction in-the-wild remain an open challenge. In this paper, we present a novel singleshot, multi-level face localisation method, named Reti-naFace, which unifies face box prediction, 2D facial landmark localisation and 3D vertices regression under one common target: point regression on the image plane. To fill the data gap, we manually annotated five facial landmarks on the WIDER FACE dataset and employed a semiautomatic annotation pipeline to generate 3D vertices for face images from the WIDER FACE, AFLW and FDDB datasets. Based on extra annotations, we propose a mutually beneficial regression target for 3D face reconstruction, that is predicting 3D vertices projected on the image plane constrained by a common 3D topology. The proposed 3D face reconstruction branch can be easily incorporated, without any optimisation difficulty, in parallel with the existing box and 2D landmark regression branches during joint training. Extensive experimental results show that Reti-naFace can simultaneously achieve stable face detection, accurate 2D face alignment and robust 3D face reconstruction while being efficient through single-shot inference.

We introduce Structured 3D Features, a model based on a novel implicit 3D representation that pools pixel-aligned image features onto dense 3D points sampled from a parametric, statistical human mesh surface. The 3D points have associated semantics and can move freely in 3D space. This allows for optimal coverage of the person of interest, beyond just the body shape, which in turn, additionally helps modeling accessories, hair, and loose clothing. Owing to this, we present a complete 3D transformer-based attention framework which, given a single image of a person in an unconstrained pose, generates an animatable 3D reconstruction with albedo and illumination decomposition, as a result of a single end-to-end model, trained semi-supervised, and with no additional postprocessing. We show that our S3F model surpasses the previous state-of-the-art on various tasks, including monocular 3D reconstruction, as well as albedo and shading estimation. Moreover, we show that the proposed methodology allows novel view synthesis, relighting, and re-posing the reconstruction, and can naturally be extended to handle multiple input images (e.g. different views of a person, or the same view, in different poses, in video). Finally, we demonstrate the editing capabilities of our model for 3D virtual try-on applications.

我们提出了一条新型的神经管道Msgazenet，该管道通过通过多发射框架利用眼睛解剖学信息来学习凝视的表示。我们提出的解决方案包括两个组件，首先是一个用于隔离解剖眼区域的网络，以及第二个用于多发达凝视估计的网络。眼睛区域的隔离是通过U-NET样式网络进行的，我们使用合成数据集训练该网络，该数据集包含可见眼球和虹膜区域的眼睛区域掩模。此阶段使用的合成数据集是一个由60,000张眼睛图像组成的新数据集，我们使用眼视线模拟器Unityeyes创建。然后将眼睛区域隔离网络转移到真实域，以生成真实世界图像的面具。为了成功进行转移，我们在训练过程中利用域随机化，这允许合成图像从较大的差异中受益，并在类似于伪影的增强的帮助下从更大的差异中受益。然后，生成的眼睛区域掩模与原始眼睛图像一起用作我们凝视估计网络的多式输入。我们在三个基准凝视估计数据集（Mpiigaze，Eyediap和Utmultiview）上评估框架，在那里我们通过分别获得7.57％和1.85％的性能，在Eyediap和Utmultiview数据集上设置了新的最新技术Mpiigaze的竞争性能。我们还研究了方法在数据中的噪声方面的鲁棒性，并证明我们的模型对噪声数据不太敏感。最后，我们执行各种实验，包括消融研究，以评估解决方案中不同组件和设计选择的贡献。

在过去几年中，许多面部分析任务已经完成了惊人的性能，其中应用包括来自单个“野外”图像的面部生成和3D面重建。尽管如此，据我们所知，没有方法可以从“野外”图像中产生渲染的高分辨率3D面，并且这可以归因于：（a）可用数据的跨度进行培训（b）缺乏可以成功应用于非常高分辨率数据的强大方法。在这项工作中，我们介绍了一种能够从单个“野外”图像中重建光电型渲染3D面部几何和BRDF的第一种方法。我们捕获了一个大型的面部形状和反射率，我们已经公开了。我们用精确的面部皮肤漫射和镜面反射，自遮挡和地下散射近似来定义快速面部光电型拟型渲染方法。有了这一点，我们训练一个网络，将面部漫射和镜面BRDF组件与烘焙照明的形状和质地一起脱颖而出，以最先进的3DMM配件方法重建。我们的方法通过显着的余量优于现有技术，并从单个低分辨率图像重建高分辨率3D面，这可以在各种应用中呈现，并桥接不一体谷。

在基于视觉的辅助技术中，具有不同新兴主题的用例，例如增强现实，虚拟现实和人类计算机互动等不同的主题中的用例中，自动眼目光估计是一个重要问题。在过去的几年中，由于它克服了大规模注释的数据的要求，因此人们对无监督和自我监督的学习范式的兴趣越来越大。在本文中，我们提出了Raze，Raze是一个带有自我监督的注视表示框架的区域，该框架从非宣传的面部图像数据中发挥作用。 Raze通过辅助监督（即伪凝视区域分类）学习目光的表示，其中目的是通过利用瞳孔中心的相对位置将视野分类为不同的凝视区域（即左，右和中心）。因此，我们会自动注释154K Web爬行图像的伪凝视区标签，并通过“ IZE-NET”框架学习特征表示。 “ IZE-NET”是基于胶囊层的CNN体​​系结构，可以有效地捕获丰富的眼睛表示。在四个基准数据集上评估了特征表示的判别性能：洞穴，桌面，MPII和RT-GENE。此外，我们评估了所提出的网络在其他两个下游任务（即驱动器凝视估计和视觉注意估计）上的普遍性，这证明了学习的眼睛注视表示的有效性。

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

尽管3D面部重建取得了令人印象深刻的进步，但由于在透视图下，由于面部非常接近摄像机，因此大多数基于正交的脸部重建方法无法实现准确，一致的重建结果。在本文中，我们建议在世界空间中同时重建3D面部网格，并预测图像平面上的2D面部标志，以解决透视图3D面对重建问题。基于预测的3D顶点和2D地标，PNP求解器可以轻松估算6DOF（6个自由度）面姿势，以表示透视投影。我们的方法在ECCV 2022 WCPA挑战的Leading板上获得第一名，而我们的模型在不同的身份，表达和姿势下在视觉上具有健壮。释放培训代码和模型以促进未来的研究。

全面监督的人类网格恢复方法是渴望数据的，由于3D规定基准数据集的可用性有限和多样性，因此具有较差的概括性。使用合成数据驱动的训练范例，已经从合成配对的2D表示（例如2D关键点和分段掩码）和3D网格中训练了模型的最新进展，其中已使用合成数据驱动的训练范例和3D网格进行了训练。但是，由于合成训练数据和实际测试数据之间的域间隙很难解决2D密集表示，因此很少探索合成密集的对应图（即IUV）。为了减轻IUV上的这个领域差距，我们提出了使用可靠但稀疏表示的互补信息（2D关键点）提出的交叉代理对齐。具体而言，初始网格估计和两个2D表示之间的比对误差将转发为回归器，并在以下网格回归中动态校正。这种适应性的交叉代理对准明确地从偏差和捕获互补信息中学习：从稀疏的表示和浓郁的浓度中的稳健性。我们对多个标准基准数据集进行了广泛的实验，并展示了竞争结果，帮助减少在人类网格估计中生产最新模型所需的注释工作。

虽然从图像中回归3D人类的方法迅速发展，但估计的身体形状通常不会捕获真正的人形状。这是有问题的，因为对于许多应用，准确的身体形状与姿势一样重要。身体形状准确性差姿势准确性的关键原因是缺乏数据。尽管人类可以标记2D关节，并且这些约束3D姿势，但“标记” 3D身体形状并不容易。由于配对的数据与图像和3D身体形状很少见，因此我们利用了两个信息来源：（1）我们收集了各种“时尚”模型的互联网图像，以及一系列的人体测量值； （2）我们为3D身体网眼和模型图像收集语言形状属性。综上所述，这些数据集提供了足够的约束来推断密集的3D形状。我们利用几种新型方法来利用人体测量和语言形状属性来训练称为Shapy的神经网络，从而从RGB图像中回归了3D人类的姿势和形状。我们在公共基准测试上评估shapy，但请注意，它们要么缺乏明显的身体形状变化，地面真实形状或衣服变化。因此，我们收集了一个新的数据集，用于评估3D人类形状估计，称为HBW，其中包含“野生人体”的照片，我们为其具有地面3D身体扫描。在这个新的基准测试中，Shapy在3D身体估计的任务上的最先进方法极大地胜过。这是第一次演示，即可以从易于观察的人体测量和语言形状属性中训练来自图像的3D体形回归。我们的模型和数据可在以下网址获得：shapy.is.tue.mpg.de

尽管基于深度学习的面部相关模型成功显着，但这些模型仍然仅限于真正人类面的领域。另一方面，由于缺乏组织良好的数据集，由于缺乏组织的数据集，动画面的域已经不太积极地研究。在本文中，我们通过可控的合成动画模型介绍了一个大规模动画CeleBfaces数据集（AnimeCeleb），以提高动画面域的研究。为了促进数据生成过程，我们基于开放式3D软件和开发的注释系统构建半自动管道。这导致构建大型动画面部数据集，包括具有丰富注释的多姿态和多样式动画面。实验表明，我们的数据集适用于各种动画相关的任务，如头部重新创建和着色。

在本文中，我们提出了一个大型详细的3D面部数据集，FACESCAPE和相应的基准，以评估单视图面部3D重建。通过对FACESCAPE数据进行训练，提出了一种新的算法来预测从单个图像输入的精心索引3D面模型。 FACESCAPE DataSet提供18,760个纹理的3D面，从938个科目捕获，每个纹理和每个特定表达式。 3D模型包含孔径级面部几何形状，也被处理为拓扑均匀化。这些精细的3D面部模型可以表示为用于详细几何的粗糙形状和位移图的3D可线模型。利用大规模和高精度的数据集，进一步提出了一种使用深神经网络学习特定于表达式动态细节的新颖算法。学习的关系是从单个图像输入的3D面预测系统的基础。与以前的方法不同，我们的预测3D模型在不同表达式下具有高度详细的几何形状。我们还使用FACESCAPE数据来生成野外和实验室内基准，以评估最近的单视面重建方法。报告并分析了相机姿势和焦距的尺寸，并提供了忠诚和综合评估，并揭示了新的挑战。前所未有的数据集，基准和代码已被释放到公众以进行研究目的。