自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

随着面部生物识别技术的广泛采用，在自动面部识别（FR）应用中区分相同的双胞胎和非双胞胎外观相似的问题变得越来越重要。由于同卵双胞胎和外观相似的面部相似性很高，因此这些面对对面部识别工具表示最困难的病例。这项工作介绍了迄今为止汇编的最大的双胞胎数据集之一，以应对两个挑战：1）确定相同双胞胎和2）的面部相似性的基线度量和2）应用此相似性措施来确定多ppelgangers的影响或外观 - Alikes，关于大面部数据集的FR性能。面部相似性度量是通过深度卷积神经网络确定的。该网络经过量身定制的验证任务进行培训，旨在鼓励网络在嵌入空间中将高度相似的面对对组合在一起，并达到0.9799的测试AUC。所提出的网络为任何两个给定的面提供了定量相似性评分，并已应用于大规模面部数据集以识别相似的面对对。还执行了一个附加分析，该分析还将面部识别工具返回的比较分数以及提议网络返回的相似性分数。

已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。

Recent face recognition experiments on a major benchmark (LFW [14]) show stunning performance-a number of algorithms achieve near to perfect score, surpassing human recognition rates. In this paper, we advocate evaluations at the million scale (LFW includes only 13K photos of 5K people). To this end, we have assembled the MegaFace dataset and created the first MegaFace challenge. Our dataset includes One Million photos that capture more than 690K different individuals. The challenge evaluates performance of algorithms with increasing numbers of "distractors" (going from 10 to 1M) in the gallery set. We present both identification and verification performance, evaluate performance with respect to pose and a persons age, and compare as a function of training data size (#photos and #people). We report results of state of the art and baseline algorithms. The MegaFace dataset, baseline code, and evaluation scripts, are all publicly released for further experimentations 1 .

Facial recognition is fundamental for a wide variety of security systems operating in real-time applications. In video surveillance based face recognition, face images are typically captured over multiple frames in uncontrolled conditions; where head pose, illumination, shadowing, motion blur and focus change over the sequence. We can generalize that the three fundamental operations involved in the facial recognition tasks: face detection, face alignment and face recognition. This study presents comparative benchmark tables for the state-of-art face recognition methods by testing them with same backbone architecture in order to focus only on the face recognition solution instead of network architecture. For this purpose, we constructed a video surveillance dataset of face IDs that has high age variance, intra-class variance (face make-up, beard, etc.) with native surveillance facial imagery data for evaluation. On the other hand, this work discovers the best recognition methods for different conditions like non-masked faces, masked faces, and faces with glasses.

In this paper, we introduce a new large-scale face dataset named VGGFace2. The dataset contains 3.31 million images of 9131 subjects, with an average of 362.6 images for each subject. Images are downloaded from Google Image Search and have large variations in pose, age, illumination, ethnicity and profession (e.g. actors, athletes, politicians).The dataset was collected with three goals in mind: (i) to have both a large number of identities and also a large number of images for each identity; (ii) to cover a large range of pose, age and ethnicity; and (iii) to minimise the label noise. We describe how the dataset was collected, in particular the automated and manual filtering stages to ensure a high accuracy for the images of each identity.To assess face recognition performance using the new dataset, we train ResNet-50 (with and without Squeeze-and-Excitation blocks) Convolutional Neural Networks on VG-GFace2, on MS-Celeb-1M, and on their union, and show that training on VGGFace2 leads to improved recognition performance over pose and age. Finally, using the models trained on these datasets, we demonstrate state-of-the-art performance on the face recognition of IJB datasets, exceeding the previous state-of-the-art by a large margin. The dataset and models are publicly available 1 .

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。

实际上，面部识别应用由两个主要步骤组成：面部检测和特征提取。在唯一的基于视觉的解决方案中，第一步通过摄入相机流来生成单个身份的多个检测。边缘设备的实用方法应优先考虑这些身份根据其识别的一致性。从这个角度来看，我们通过将单层附加到面部标志性检测网络来提出面部质量得分回归。几乎没有额外的成本，可以通过训练单层以通过增强等监视来回归识别得分来获得面部质量得分。我们通过所有面部检测管道步骤，包括检测，跟踪和对齐方式，在Edge GPU上实施了建议的方法。全面的实验表明，通过与SOTA面部质量回归模型进行比较，在不同的数据集和现实生活中，提出的方法的效率。

Person recognition at a distance entails recognizing the identity of an individual appearing in images or videos collected by long-range imaging systems such as drones or surveillance cameras. Despite recent advances in deep convolutional neural networks (DCNNs), this remains challenging. Images or videos collected by long-range cameras often suffer from atmospheric turbulence, blur, low-resolution, unconstrained poses, and poor illumination. In this paper, we provide a brief survey of recent advances in person recognition at a distance. In particular, we review recent work in multi-spectral face verification, person re-identification, and gait-based analysis techniques. Furthermore, we discuss the merits and drawbacks of existing approaches and identify important, yet under explored challenges for deploying remote person recognition systems in-the-wild.

使用面部作为生物识别标识特征是通过捕获过程的非接触性质和识别算法的高准确度的激励。在目前的Covid-19大流行之后，在公共场所施加了面膜，以保持大流行。然而，由于戴着面具而面的遮挡是面部识别系统的新出现挑战。在本文中，我们提出了一种改进掩蔽面部识别性能的解决方案。具体地，我们提出了在现有面部识别模型的顶部操作的嵌入揭露模型（EUM）。我们还提出了一种新颖的损失功能，自限制的三态（SRT），使欧莱斯能够产生类似于相同身份的未掩蔽面的嵌入物。实现了三个面部识别模型，两个真实屏蔽数据集和两个合成产生的掩蔽面部数据集所取得的评价结果​​证明我们的提出方法在大多数实验环境中显着提高了性能。

自2020年初以来，COVID-19的大流行对日常生活的许多方面产生了相当大的影响。在全球范围内已经采取了一系列不同的措施，以降低新感染的速度并管理国家卫生服务的压力。主要策略是通过优先考虑远程工作和教育来减少聚会和传播的潜力。当不可避免的聚会时，增强的手卫生和面膜的使用减少了病原体的扩散。这些特殊的措施提出了可靠的生物识别识别的挑战，例如用于面部，语音和手工生物识别技术。同时，新的挑战创造了新的机会和研究方向，例如对无约束的虹膜或眼周识别，基于无触摸的指纹和基于静脉的身份验证以及生物特征特征进行疾病检测的重新兴趣。本文概述了为解决这些挑战和新兴机会而进行的研究。

本章的主要范围是作为面部介绍攻击检测的介绍，包括过去几年的关键资源和领域的进步。下一页呈现了面部识别系统可以面对的不同演示攻击，其中攻击者向传感器提供给传感器，主要是相机，呈现攻击仪器（PAI），这通常是照片，视频或掩码，试图冒充真正的用户。首先，我们介绍了面部识别的现状，部署水平及其挑战。此外，我们介绍了面部识别系统可能暴露的漏洞和可能的攻击，表明呈现攻击检测方法的高度重要性。我们审核不同类型的演示攻击方法，从更简单到更复杂，在哪个情况下它们可能是有效的。然后，我们总结了最受欢迎的演示文稿攻击检测方法来处理这些攻击。最后，我们介绍了研究界使用的公共数据集，以探索面部生物识别性的脆弱性，以呈现攻击，并对已知的PAI制定有效的对策。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

面部识别系统必须处理可能导致匹配决策不正确的大型变量（例如不同的姿势，照明和表达）。这些可变性可以根据面部图像质量来测量，这在样本的效用上定义了用于识别的实用性。以前的识别作品不使用这种有价值的信息或利用非本质上的质量估算。在这项工作中，我们提出了一种简单且有效的面部识别解决方案（Qmagface），其将质量感知的比较分数与基于大小感知角裕度损耗的识别模型相结合。所提出的方法包括比较过程中特定于模型的面部图像质量，以增强在无约束情况下的识别性能。利用利用损失诱导的质量与其比较评分之间的线性，我们的质量意识比较功能简单且高度普遍。在几个面部识别数据库和基准上进行的实验表明，引入的质量意识导致识别性能一致的改进。此外，所提出的Qmagface方法在挑战性环境下特别好，例如交叉姿势，跨年或跨品。因此，它导致最先进的性能在几个面部识别基准上，例如在XQLFQ上的98.50％，83.97％，CFP-FP上的98.74％。 QMagface的代码是公开可用的。

近年来，由于深度学习体系结构的有希望的进步，面部识别系统取得了非凡的成功。但是，当将配置图像与额叶图像的画廊匹配时，它们仍然无法实现预期的准确性。当前方法要么执行姿势归一化（即额叶化）或脱离姿势信息以进行面部识别。相反，我们提出了一种新方法，通过注意机制将姿势用作辅助信息。在本文中，我们假设使用注意机制姿势参加的信息可以指导剖面面上的上下文和独特的特征提取，从而进一步使嵌入式域中的更好表示形式学习。为了实现这一目标，首先，我们设计了一个统一的耦合曲线到额定面部识别网络。它通过特定于类的对比损失来学习从面孔到紧凑的嵌入子空间的映射。其次，我们开发了一个新颖的姿势注意力块（PAB），以专门指导从剖面面上提取姿势 - 不合稳定的特征。更具体地说，PAB旨在显式地帮助网络沿着频道和空间维度沿着频道和空间维度的重要特征，同时学习嵌入式子空间中的歧视性但构成不变的特征。为了验证我们提出的方法的有效性，我们对包括多PIE，CFP，IJBC在内的受控和野生基准进行实验，并在艺术状态下表现出优势。

智能手机已经使用基于生物识别的验证系统，以在高度敏感的应用中提供安全性。视听生物识别技术因其可用性而受欢迎，并且由于其多式化性质，欺骗性将具有挑战性。在这项工作中，我们介绍了一个在五个不同最近智能手机中捕获的视听智能手机数据集。考虑到不同的现实情景，这个新数据集包含在三个不同的会话中捕获的103个科目。在该数据集中获取三种不同的语言，以包括扬声器识别系统的语言依赖性问题。这些数据集的这些独特的特征将为实施新的艺术技术的单向或视听扬声器识别系统提供途径。我们还报告了DataSet上的基准标记的生物识别系统的性能。生物识别算法的鲁棒性朝向具有广泛实验的重播和合成信号等信号噪声，设备，语言和呈现攻击等多种依赖性。获得的结果提出了许多关于智能手机中最先进的生物识别方法的泛化特性的担忧。

Studying facial expressions is a notoriously difficult endeavor. Recent advances in the field of affective computing have yielded impressive progress in automatically detecting facial expressions from pictures and videos. However, much of this work has yet to be widely disseminated in social science domains such as psychology. Current state of the art models require considerable domain expertise that is not traditionally incorporated into social science training programs. Furthermore, there is a notable absence of user-friendly and open-source software that provides a comprehensive set of tools and functions that support facial expression research. In this paper, we introduce Py-Feat, an open-source Python toolbox that provides support for detecting, preprocessing, analyzing, and visualizing facial expression data. Py-Feat makes it easy for domain experts to disseminate and benchmark computer vision models and also for end users to quickly process, analyze, and visualize face expression data. We hope this platform will facilitate increased use of facial expression data in human behavior research.

面部演示攻击检测（PAD）由于欺骗欺骗性被广泛认可的脆弱性而受到越来越长。在2011年，2013年，2017年，2019年，2020年和2021年与主要生物识别和计算机视觉会议结合的八个国际竞赛中，在八个国际竞赛中评估了一系列国际竞争中的八种国际竞争中的艺术状态。研究界。在本章中，我们介绍了2019年的五个最新竞赛的设计和结果直到2021年。前两项挑战旨在评估近红外（NIR）和深度方式的多模态设置中面板的有效性。彩色相机数据，而最新的三个竞争专注于评估在传统彩色图像和视频上运行的面部垫算法的域和攻击型泛化能力。我们还讨论了从竞争中吸取的经验教训以及领域的未来挑战。