在基于视觉的辅助技术中，具有不同新兴主题的用例，例如增强现实，虚拟现实和人类计算机互动等不同的主题中的用例中，自动眼目光估计是一个重要问题。在过去的几年中，由于它克服了大规模注释的数据的要求，因此人们对无监督和自我监督的学习范式的兴趣越来越大。在本文中，我们提出了Raze，Raze是一个带有自我监督的注视表示框架的区域，该框架从非宣传的面部图像数据中发挥作用。 Raze通过辅助监督（即伪凝视区域分类）学习目光的表示，其中目的是通过利用瞳孔中心的相对位置将视野分类为不同的凝视区域（即左，右和中心）。因此，我们会自动注释154K Web爬行图像的伪凝视区标签，并通过“ IZE-NET”框架学习特征表示。 “ IZE-NET”是基于胶囊层的CNN体​​系结构，可以有效地捕获丰富的眼睛表示。在四个基准数据集上评估了特征表示的判别性能：洞穴，桌面，MPII和RT-GENE。此外，我们评估了所提出的网络在其他两个下游任务（即驱动器凝视估计和视觉注意估计）上的普遍性，这证明了学习的眼睛注视表示的有效性。

由于大规模标记数据的非可用性，强大的凝视估计是一个具有挑战性的任务，即使是深度的CNN。此外，凝视注释是一种耗时的过程，需要专门的硬件设置。我们提出MTGLS：具有有限监督的多任务凝视估计框架，其利用大量可用的非注释的面部图像数据。 MTGLS从架子的面部图像分析模型中蒸馏出知识，并学习人眼的强大特征表示，由三个互补辅助信号引导：（a）由本地化定义的瞳孔（即伪凝视）的视线面部地标，（b）欧拉角给出的头部姿势，（c）眼贴片的取向（左/右眼）。为了克服监控信号中的内在噪声，MTGL还包括噪声分布建模方法。我们的实验结果表明，MTGLS学习高度广泛的表示，这在一系列数据集中一直表现良好。我们所提出的框架优于无监督的洞穴（6.43％）甚至监督凝席360（按6.59％）数据集的最新方法。

眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展，由于眼睛外观，眼头相互作用，遮挡，图像质量和照明条件的独特性，自动凝视分析仍然具有挑战性。有几个开放的问题，包括在没有先验知识的情况下，在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展，以阐明这些基本问题，确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法，尤其是在无监督和弱监督的领域中。我们的分析表明，强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战，例如不受限制的设置和学习，并减少了监督。最后，我们讨论了设计现实的目光分析系统的未来研究方向，该系统可以传播到其他领域，包括计算机视觉，增强现实（AR），虚拟现实（VR）和人类计算机交互（HCI）。项目页面：https：//github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey

在过去的几年中，在有限的监督下，在不受限制的环境中解释凝视方向一直引起人们的兴趣。由于数据策展和注释问题，将目光估计方法复制到其他平台（例如不受限制的户外或AR/VR）可能会导致性能大幅下降，因为对于模型培训的准确注释数据的可用性不足。在本文中，我们探讨了一个有趣但具有挑战性的凝视估计方法的问题，其标记数据有限。所提出的方法将知识从标记的子集中提炼出具有视觉特征。包括特定身份的外观，凝视轨迹的一致性和运动特征。给定凝视轨迹，该方法仅利用凝视序列的开始和终点的标签信息。提出的方法的扩展进一步减少了标记框架的需求，仅在生成标签的质量下略有下降的起始框架。我们评估了四个基准数据集（Cave，Tabletgaze，MPII和Gaze360）的建议方法以及Web craw的YouTube视频。我们提出的方法将注释工作降低到低至2.67％，对性能的影响很小。表明我们的模型的潜力实现了凝视估计的“野外”设置。

我们提出了一条新型的神经管道Msgazenet，该管道通过通过多发射框架利用眼睛解剖学信息来学习凝视的表示。我们提出的解决方案包括两个组件，首先是一个用于隔离解剖眼区域的网络，以及第二个用于多发达凝视估计的网络。眼睛区域的隔离是通过U-NET样式网络进行的，我们使用合成数据集训练该网络，该数据集包含可见眼球和虹膜区域的眼睛区域掩模。此阶段使用的合成数据集是一个由60,000张眼睛图像组成的新数据集，我们使用眼视线模拟器Unityeyes创建。然后将眼睛区域隔离网络转移到真实域，以生成真实世界图像的面具。为了成功进行转移，我们在训练过程中利用域随机化，这允许合成图像从较大的差异中受益，并在类似于伪影的增强的帮助下从更大的差异中受益。然后，生成的眼睛区域掩模与原始眼睛图像一起用作我们凝视估计网络的多式输入。我们在三个基准凝视估计数据集（Mpiigaze，Eyediap和Utmultiview）上评估框架，在那里我们通过分别获得7.57％和1.85％的性能，在Eyediap和Utmultiview数据集上设置了新的最新技术Mpiigaze的竞争性能。我们还研究了方法在数据中的噪声方面的鲁棒性，并证明我们的模型对噪声数据不太敏感。最后，我们执行各种实验，包括消融研究，以评估解决方案中不同组件和设计选择的贡献。

我们提出了一种新型多阵线网络，用于了解凝视估计的强大眼睛表示。我们首先使用模拟器创建包含细节可见眼球和虹膜的眼睛区域掩模的合成数据集。然后，我们用U-Net类型模型执行眼部区域分割，我们以后用于生成真实眼睛图像的眼睛区域掩模。接下来，我们在真实域中预留眼睛图像编码器，具有自我监督的对比学习，以学习广义眼睛表示。最后，这种预制的眼编码器以及两个用于可见眼球区域和虹膜的另外的编码器，在我们的多阵线框架中并行使用，以提取来自现实世界图像的凝视估计的突出特征。我们在两个不同的评估设置中展示了我们对眼部数据集的方法的性能，实现了最先进的结果，优于此数据集的所有现有基准。我们还开展额外的实验，以验证我们自我监督网络的鲁棒性，了解用于培训的不同数量的标记数据。

在充满挑战的现实生活条件下，例如极端的头置，遮挡和低分辨率图像，视觉信息无法估算视觉注意力/凝视方向，音频信号可以提供重要和互补的信息。在本文中，我们探讨了音频引导的粗置姿势是否可以进一步提高非独立面孔的视觉注意力估计性能。由于很难注释音频信号来估计说话者的头置姿势，因此我们使用现成的最先进的模型来促进跨模式的弱点。在训练阶段，该框架从同步的视听方式中学习了互补的信息。我们的模型可以利用任何可用的模式，即用于特定于任务的推断的音频，视觉或视听。有趣的是，当以这些特定方式在基准数据集上测试AV凝视时，它会在多个数据集上实现竞争成果，同时非常适应充满挑战的情况。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

3D gaze estimation is most often tackled as learning a direct mapping between input images and the gaze vector or its spherical coordinates. Recently, it has been shown that pose estimation of the face, body and hands benefits from revising the learning target from few pose parameters to dense 3D coordinates. In this work, we leverage this observation and propose to tackle 3D gaze estimation as regression of 3D eye meshes. We overcome the absence of compatible ground truth by fitting a rigid 3D eyeball template on existing gaze datasets and propose to improve generalization by making use of widely available in-the-wild face images. To this end, we propose an automatic pipeline to retrieve robust gaze pseudo-labels from arbitrary face images and design a multi-view supervision framework to balance their effect during training. In our experiments, our method achieves improvement of 30% compared to state-of-the-art in cross-dataset gaze estimation, when no ground truth data are available for training, and 7% when they are. We make our project publicly available at https://github.com/Vagver/dense3Deyes.

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

This paper proposes a self-supervised approach to learn universal facial representations from videos, that can transfer across a variety of facial analysis tasks such as Facial Attribute Recognition (FAR), Facial Expression Recognition (FER), DeepFake Detection (DFD), and Lip Synchronization (LS). Our proposed framework, named MARLIN, is a facial video masked autoencoder, that learns highly robust and generic facial embeddings from abundantly available non-annotated web crawled facial videos. As a challenging auxiliary task, MARLIN reconstructs the spatio-temporal details of the face from the densely masked facial regions which mainly include eyes, nose, mouth, lips, and skin to capture local and global aspects that in turn help in encoding generic and transferable features. Through a variety of experiments on diverse downstream tasks, we demonstrate MARLIN to be an excellent facial video encoder as well as feature extractor, that performs consistently well across a variety of downstream tasks including FAR (1.13% gain over supervised benchmark), FER (2.64% gain over unsupervised benchmark), DFD (1.86% gain over unsupervised benchmark), LS (29.36% gain for Frechet Inception Distance), and even in low data regime. Our codes and pre-trained models will be made public.

凝视和头部姿势估计模型的鲁棒性高度取决于标记的数据量。最近，生成建模在生成照片现实图像方面表现出了出色的结果，这可以减轻对标记数据的需求。但是，在新领域采用这种生成模型，同时保持其对不同图像属性的细粒度控制的能力，例如，凝视和头部姿势方向，是一个挑战性的问题。本文提出了Cuda-GHR，这是一种无监督的域适应框架，可以对凝视和头部姿势方向进行细粒度的控制，同时保留该人的外观相关因素。我们的框架同时学会了通过利用富含标签的源域和未标记的目标域来适应新的域和删除图像属性，例如外观，凝视方向和头部方向。基准测试数据集的广泛实验表明，所提出的方法在定量和定性评估上都可以胜过最先进的技术。此外，我们表明目标域中生成的图像标签对有效地传递知识并提高下游任务的性能。

头视点标签的成本是改善细粒度头姿势估计算法的主要障碍。缺乏大量标签的一种解决方案正在使用自我监督的学习（SSL）。 SSL可以从未标记的数据中提取良好的功能，用于下游任务。因此，本文试图显示头部姿势估计的SSL方法之间的差异。通常，使用SSL的两个主要方法：（1）使用它以预先培训权重，（2）在一个训练期间除了监督学习（SL）之外的SSL作为辅助任务。在本文中，我们通过设计混合多任务学习（HMTL）架构并使用两个SSL预先文本任务，旋转和令人困惑来评估两种方法。结果表明，两种方法的组合在其中使用旋转进行预训练和使用令人难以用于辅助头的令人费示。与基线相比，误差率降低了23.1％，这与电流的SOTA方法相当。最后，我们比较了初始权重对HMTL和SL的影响。随后，通过HMTL，使用各种初始权重减少错误：随机，想象成和SSL。

学习普遍面孔表示的最佳方法是什么？在面部分析领域进行深度学习的最新工作集中在监督方面的学习特定任务（例如面部识别，面部地标本地化等），但忽略了如何找到可以轻松适应面部表征的总体问题到几个面部分析任务和数据集。为此，我们做出以下4个贡献：（a）我们首次介绍面部表示学习的全面评估基准，该基准由5个重要​​的面部分析任务组成。 （b）我们系统地研究了应用于面孔的大规模表示学习的两种方式：受监督和无监督的预训练。重要的是，我们将评估重点放在几乎没有面部学习的情况下。 （c）我们研究了培训数据集的重要特性，包括其大小和质量（标记，未标记甚至未经保育）。 （d）为了得出结论，我们进行了大量实验。我们的主要两个发现是：（1）完全在野外的未经监督的预培训，未经保育的数据提供了一致的，在某些情况下，对所有面部任务进行了显着准确的改进。 （2）许多现有的面部视频数据集似乎具有大量冗余。我们将发布代码和预先培训的模型，以促进未来的研究。

已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。

来自静态图像的面部表情识别是计算机视觉应用中的一个具有挑战性的问题。卷积神经网络（CNN），用于各种计算机视觉任务的最先进的方法，在预测具有极端姿势，照明和闭塞条件的面部的表达式中已经有限。为了缓解这个问题，CNN通常伴随着传输，多任务或集合学习等技术，这些技术通常以增加的计算复杂性的成本提供高精度。在这项工作中，我们提出了一种基于零件的集合转移学习网络，其模型通过将面部特征的空间方向模式与特定表达相关来模拟人类如何识别面部表达。它由5个子网络组成，每个子网络从面部地标的五个子集中执行转移学习：眉毛，眼睛，鼻子，嘴巴或颌骨表达分类。我们表明我们所提出的集合网络使用从面部肌肉的电机运动发出的视觉模式来预测表达，并展示从面部地标定位转移到面部表情识别的实用性。我们在CK +，Jaffe和SFew数据集上测试所提出的网络，并且它分别优于CK +和Jaffe数据集的基准，分别为0.51％和5.34％。此外，所提出的集合网络仅包括1.65M的型号参数，确保在培训和实时部署期间的计算效率。我们所提出的集合的Grad-Cam可视化突出了其子网的互补性质，是有效集合网络的关键设计参数。最后，交叉数据集评估结果表明，我们建议的集合具有高泛化能力，使其适合现实世界使用。

我们探索使用机器学习的眼光估算技术。眼目光估计是各种行为分析和人类计算机界面的常见问题。这项工作的目的是讨论各种模型类型，以进行眼睛凝视估计，并通过在不受约束的环境中使用眼标预测凝视方向的结果。在不受限制的现实世界中，由于照明变化和其他视觉伪像等因素，基于特征和基于模型的方法的表现优于最近的基于外观的方法。我们讨论了一种基于学习的基于学习的方法，该方法专门针对合成数据培训。我们讨论了如何使用检测到的地标作为迭代模型拟合和轻巧学习的凝视估计方法的输入，以及如何将模型用于与人无关和个性化的凝视估计。

凝视估计对于许多科学领域和日常应用至关重要，范围从认知心理学的基本研究到注意力吸引人的移动系统。尽管深度学习的最新进展在建立高度准确的凝视估计系统方面取得了巨大的成功，但相关的高计算成本以及对大规模标记的凝视数据的依赖，以实现对现有解决方案实际使用的监督学习地点挑战。为了超越这些局限性，我们提出了FreeGaze，这是一种用于无监督的注视表示学习的资源有效框架。 FreeGaze在其设计中结合了频域目光的估计和对比度注视表示。前者大大减轻了系统校准和凝视估计中的计算负担，并大大减少了系统延迟。尽管后者克服了现有基于学习的同行的数据标记障碍，并确保在没有凝视标签的情况下确保有效的凝视表示学习。我们对两个凝视估计数据集的评估表明，通过现有基于监督的学习方法，FreeGaze可以在系统校准和注视估计中分别实现高达6.81和1.67倍的速度，以实现可比较的凝视估计精度。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

由于其在保护面部识别系统免于演示攻击（PAS）中的至关重要的作用，因此面部抗散热器（FAS）最近引起了人们的关注。随着越来越现实的PA随着新颖类型的发展，由于其表示能力有限，基于手工特征的传统FAS方法变得不可靠。随着近十年来大规模学术数据集的出现，基于深度学习的FA实现了卓越的性能并占据了这一领域。但是，该领域的现有评论主要集中在手工制作的功能上，这些功能过时，对FAS社区的进步没有任何启发。在本文中，为了刺激未来的研究，我们对基于深度学习的FAS的最新进展进行了首次全面综述。它涵盖了几个新颖且有见地的组成部分：1）除了使用二进制标签的监督（例如，``0'''for pas vs.'1'），我们还通过像素智能监督（例如，伪深度图）调查了最新方法； 2）除了传统的数据内评估外，我们还收集和分析专门为域概括和开放式FAS设计的最新方法； 3）除了商用RGB摄像机外，我们还总结了多模式（例如，深度和红外线）或专门（例如，光场和闪存）传感器下的深度学习应用程序。我们通过强调当前的开放问题并突出潜在的前景来结束这项调查。