全球Covid-19大流行的出现会给生物识别技术带来新的挑战。不仅是非接触式生物识别选项变得更加重要，而且最近也遇到了频繁的面具的面对面识别。这些掩模会影响前面识别系统的性能，因为它们隐藏了重要的身份信息。在本文中，我们提出了一种掩模不变的面部识别解决方案（MaskInv），其利用训练范例内的模板级知识蒸馏，其旨在产生类似于相同身份的非掩盖面的掩模面的嵌入面。除了蒸馏知识外，学生网络还通过基于边缘的身份分类损失，弹性面，使用遮蔽和非蒙面面的额外指导。在两个真正蒙面面部数据库和具有合成面具的五个主流数据库的逐步消融研究中，我们证明了我们的maskinV方法的合理化。我们所提出的解决方案优于先前的最先进（SOTA）在最近的MFRC-21挑战中的学术解决方案，屏蔽和屏蔽VS非屏蔽，并且还优于MFR2数据集上的先前解决方案。此外，我们证明所提出的模型仍然可以在缺陷的面上表现良好，只有在验证性能下的少量损失。代码，培训的模型以及合成屏蔽数据的评估协议是公开的：https://github.com/fdbtrs/masked-face-recognition-kd。

使用面部作为生物识别标识特征是通过捕获过程的非接触性质和识别算法的高准确度的激励。在目前的Covid-19大流行之后，在公共场所施加了面膜，以保持大流行。然而，由于戴着面具而面的遮挡是面部识别系统的新出现挑战。在本文中，我们提出了一种改进掩蔽面部识别性能的解决方案。具体地，我们提出了在现有面部识别模型的顶部操作的嵌入揭露模型（EUM）。我们还提出了一种新颖的损失功能，自限制的三态（SRT），使欧莱斯能够产生类似于相同身份的未掩蔽面的嵌入物。实现了三个面部识别模型，两个真实屏蔽数据集和两个合成产生的掩蔽面部数据集所取得的评价结果​​证明我们的提出方法在大多数实验环境中显着提高了性能。

SARS-COV-2向科学界提出了直接和间接的挑战。从大量国家的强制使用面部面具的强制使用最突出的间接挑战之一。面部识别方法在蒙版和未掩蔽的个体上努力执行具有类似准确性的身份验证。已经表明，这些方法的性能在面部掩模存在下显着下降，特别是如果参考图像是未被掩蔽的。我们提出了FocusFace，一种使用对比学习的多任务架构能够准确地执行蒙面的面部识别。该建议的架构被设计为从头开始训练或者在最先进的面部识别方法上工作，而不牺牲传统的面部识别任务中现有模型的能力。我们还探讨了设计对比学习模块的不同方法。结果以屏蔽掩蔽（M-M）和未掩蔽掩蔽（U-M）面验证性能提出。对于这两个设置，结果都与已发布的方法相提并论，但对于M-M而言，该方法能够优于与其比较的所有解决方案。我们进一步表明，当在现有方法顶部使用我们的方法时，培训计算成本在保持类似的表现时显着降低。在Github上提供了实施和培训的型号。

深度神经网络已迅速成为人脸识别（FR）的主流方法。但是，这限制了这些模型的部署，该模型包含了嵌入式和低端设备的极大量参数。在这项工作中，我们展示了一个非常轻巧和准确的FR解决方案，即小组装。我们利用神经结构搜索开发一个新的轻量级脸部架构。我们还提出了一种基于知识蒸馏（KD）的新型培训范式，该培训范式是多步KD，其中知识从教师模型蒸馏到学生模型的培训成熟日的不同阶段。我们进行了详细的消融研究，证明了使用NAS为FR的特定任务而不是一般对象分类的理智，以及我们提出的多步KD的益处。我们对九种不同基准的最先进（SOTA）紧凑型FR模型提供了广泛的实验评估和比较，包括IJB-B，IJB-C和Megaface等大规模评估基准。在考虑相同水平的模型紧凑性时，Pocketnets在九个主流基准上始终如一地推进了SOTA FR性能。使用0.92M参数，我们最小的网络PocketNets-128对最近的SOTA压缩型号实现了非常竞争力的结果，该模型包含多达4M参数。

面部图像的质量显着影响底层识别算法的性能。面部图像质量评估（FIQA）估计捕获的图像的效用在实现可靠和准确的识别性能方面。在这项工作中，我们提出了一种新的学习范式，可以在培训过程中学习内部网络观察。基于此，我们所提出的CR-FiQA使用该范例来通过预测其相对分类性来估计样品的面部图像质量。基于关于其类中心和最近的负类中心的角度空间中的训练样本特征表示来测量该分类性。我们通过实验说明了面部图像质量与样本相对分类性之间的相关性。由于此类属性仅为培训数据集可观察到，因此我们建议从培训数据集中学习此属性，并利用它来预测看不见样品的质量措施。该培训同时执行，同时通过用于面部识别模型训练的角度裕度罚款的软墨损失来优化类中心。通过对八个基准和四个面部识别模型的广泛评估实验，我们展示了我们提出的CR-FiQA在最先进（SOTA）FIQ算法上的优越性。

文献中提出的最新深层识别模型利用了大规模的公共数据集（例如MS-CELEB-1M和VGGFACE2）来培训非常深的神经网络，从而在主流基准上实现了最先进的表现。最近，由于可靠的隐私和道德问题，许多这些数据集（例如MS-CELEB-1M和VGGFACE2）被撤回。这激发了这项工作提出和调查使用隐私友好型合成生成的面部数据集来训练面部识别模型的可行性。为此，我们利用类别条件生成的对抗网络来生成类标记的合成面部图像，即sface。为了解决使用此类数据训练面部识别模型的隐私方面，我们提供了有关合成数据集与用于训练生成模型的原始真实数据集之间的身份关系的广泛评估实验。我们报告的评估证明，将真实数据集与合成数据集中的同一类标签相关联是不可能的。我们还建议使用三种不同的学习策略，多级分类，无标签的知识转移以及多级分类和知识转移的联合学习，对我们的隐私友好数据集进行识别。报告的五个真实面部基准的评估结果表明，隐私友好的合成数据集具有很高的潜力，可用于训练面部识别模型，例如，使用多级分类和99.13在LFW上实现91.87 \％的验证精度。 \％使用联合学习策略。

由于Covid-19的情况，面部面具已成为我们日常生活的主要部分。在许多公共场所佩戴嘴巴保护是在许多公共场所的授权，以防止Covid-19病毒的传播。然而，面部面罩影响人脸识别的性能，因为覆盖了大面积的面积。穿着面罩在协作环境中穿着面罩对面部识别系统的不同部件的影响是仍然被全面研究的问题。这项工作研究首次通过利用不同自然的人的面部图像质量评估方法佩戴面部掩模对面部图像质量的影响。这旨在更好地了解面部掩模对整个系统的脸部识别操作的影响。此外，我们进一步研究了模拟掩模对面部图像效用的影响与真实面罩相比。我们讨论了对面部图像质量的掩模效果与自动系统和人类专家面临的面部验证性能之间的相关性，表明这两个因素之间的一致趋势。通过在没有掩盖面上的综合产生数字面部面罩，在包含（1）覆盖面，（2）真实面罩和（3）模拟面罩的数据库上进行评估。最后，提供了对所选质量评估方法集的质量得分的面积的视觉解释，以便更深入地了解掩蔽和非掩盖面中的网络决策的差异以及其他变化。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

这项工作总结了2022年2022年国际生物识别联合会议（IJCB 2022）的IJCB被遮挡的面部识别竞赛（IJCB-OCFR-2022）。OCFR-2022从学术界吸引了总共3支参与的团队。最终，提交了六个有效的意见书，然后由组织者评估。在严重的面部阻塞面前，举行了竞争是为了应对面部识别的挑战。参与者可以自由使用任何培训数据，并且通过使用众所周知的数据集构成面部图像的部分来构建测试数据。提交的解决方案提出了创新，并以所考虑的基线表现出色。这项竞争的主要输出是具有挑战性，现实，多样化且公开可用的遮挡面部识别基准，并具有明确的评估协议。

分解表示形式通常被用于年龄不变的面部识别（AIFR）任务。但是，这些方法已经达到了一些局限性，（1）具有年龄标签的大规模面部识别（FR）培训数据的要求，这在实践中受到限制； （2）高性能的重型深网架构； （3）他们的评估通常是在与年龄相关的面部数据库上进行的，同时忽略了标准的大规模FR数据库以确保鲁棒性。这项工作提出了一种新颖的轻巧的角度蒸馏（LIAAD）方法，用于克服这些限制的大规模轻量级AIFR。鉴于两个具有不同专业知识的教师，LIAAD引入了学习范式，以有效地提炼老年人的专注和棱角分明的知识，从这些老师到轻量级的学生网络，使其更强大，以更高的fr准确性和稳健的年龄，从而有效地提炼了一个学习范式因素。因此，LIAAD方法能够采用带有和不具有年龄标签的两个FR数据集的优势来训练AIFR模型。除了先前的蒸馏方法主要关注封闭设置问题中的准确性和压缩比，我们的LIAAD旨在解决开放式问题，即大规模的面部识别。对LFW，IJB-B和IJB-C Janus，AgeDB和Megaface-Fgnet的评估证明了拟议方法在轻重量结构上的效率。这项工作还提出了一个新的纵向面部衰老（Logiface）数据库\ footNote {将提供该数据库}，以进一步研究未来与年龄相关的面部问题。

我们研究了两种现实情景中的一系列识别任务，要求在强闭塞下分析面孔。一方面，我们的目标是识别佩戴虚拟现实（VR）耳机的人们的面部表情。另一方面，我们的目标是估计年龄并确定穿手术面具的人们的性别。对于所有这些任务，共同的地面是遮挡的一半面孔。在这一具有挑战性的环境中，我们表明，在完全可见的面上培训的卷积神经网络（CNNS）表现出非常低的性能水平。在微调遮挡面上的深度学习模型非常有用，我们表明可以通过从完全可见面上培训的模型蒸馏出来的知识来获得额外的性能增益。为此，我们研究了两种知识蒸馏方法，一个基于教师学生培训，一个基于三重态损失。我们的主要贡献包括基于三态损失的知识蒸馏的新方法，这遍历模型和任务。此外，我们考虑通过传统的师生培训或通过我们的小型教师学生培训来组合蒸馏模型，或通过基于三态损失的小说学生培训。我们提供了实证证据表明，在大多数情况下，个人和组合的知识蒸馏方法都会带来统计上显着的性能改进。我们在各种任务（面部表情识别，性别识别，年龄估计）上进行三种不同的神经模型（VGG-F，Vogg-Face，Reset-50）进行实验，而不管模型或任务如何，都显示出一致的改进。

戴着面具已被证明是防止SARS-COV-2冠状病毒传播最有效的方法之一。然而，佩戴掩模对不同的面部识别任务构成挑战，并提高了关于掩蔽面部呈现检测（焊盘）的性能的担忧。面向面膜面板面临的主要问题是错误分类的Bona Fide掩盖面，错误分类的部分攻击（由真实面具覆盖）。这项工作通过提出考虑部分攻击标签来监督垫模型培训的方法，以及区域加权推理，通过改变对不同面部区域的关注来进一步改善垫性能的方法来解决这些问题。我们所提出的方法与特定网络架构没有直接链接，因此可以直接纳入任何常见或定制设计的网络。在我们的工作中，选择了两个神经网络（DeepPixbis和MixfaceNet）作为骨干。在协作实际掩模攻击（CRMA）数据库上证明了实验。我们所提出的方法通过减少面向遮阳面时的缺点来优于CRMA数据库中的建立的焊盘方法。此外，我们提出了一个详细的逐步消融研究，指出了所提出的概念对整体垫性能的个人和联合益处。

面部识别系统必须处理可能导致匹配决策不正确的大型变量（例如不同的姿势，照明和表达）。这些可变性可以根据面部图像质量来测量，这在样本的效用上定义了用于识别的实用性。以前的识别作品不使用这种有价值的信息或利用非本质上的质量估算。在这项工作中，我们提出了一种简单且有效的面部识别解决方案（Qmagface），其将质量感知的比较分数与基于大小感知角裕度损耗的识别模型相结合。所提出的方法包括比较过程中特定于模型的面部图像质量，以增强在无约束情况下的识别性能。利用利用损失诱导的质量与其比较评分之间的线性，我们的质量意识比较功能简单且高度普遍。在几个面部识别数据库和基准上进行的实验表明，引入的质量意识导致识别性能一致的改进。此外，所提出的Qmagface方法在挑战性环境下特别好，例如交叉姿势，跨年或跨品。因此，它导致最先进的性能在几个面部识别基准上，例如在XQLFQ上的98.50％，83.97％，CFP-FP上的98.74％。 QMagface的代码是公开可用的。

面部面罩已成为减少Covid-19传输的主要方法之一。这使得面部识别（FR）成为一个具有挑战性的任务，因为掩模隐藏了几个面孔的鉴别特征。此外，面部呈现攻击检测（PAD）至关重要，以确保FR系统的安全性。与越来越多的蒙面的FR研究相比，尚未探索面部遮蔽攻击对垫的影响。因此，我们提出了与戴上面具的主题和攻击的真正面罩的新型攻击，以反映当前的现实情况。此外，本研究通过在不同的实验设置下使用七种最新的垫算法来研究屏蔽攻击对垫性能的影响。我们还评估FR系统漏洞屏蔽攻击。实验表明，真正掩盖的攻击对FR系统的操作和安全构成了严重威胁。

图像分辨率或一般图像质量在当今面部识别系统的性能中起着至关重要的作用。为了解决这个问题，我们提出了一种流行的三胞胎损失的新型组合，以通过微调现有面部识别模型来提高与图像分辨率的鲁棒性。随着八度损失，我们利用高分辨率图像及其合成下采样变体之间的关系与其身份标签共同采样。通过我们的方法对几种最先进的方法进行微调证明，我们可以在各种数据集上显着提高跨分辨率（高低分辨率）面部验证的性能，而不会有意义地加剧高高度的性能分辨率图像。我们的方法应用于FaceTransFormer网络，在挑战性的XQLFW数据集上达到95.12％的面对验证精度，同时在LFW数据库上达到99.73％。此外，低到低面验证精度从我们的方法中受益。我们发布我们的代码，以允许将OCTUPLET损失的无缝集成到现有框架中。

学习歧视性面部特征在建立高性能面部识别模型方面发挥着重要作用。最近的最先进的面部识别解决方案，提出了一种在常用的分类损失函数，Softmax损失中纳入固定的惩罚率，通过最大限度地减少级别的变化来增加面部识别模型的辨别力并最大化级别的帧间变化。边缘惩罚Softmax损失，如arcFace和Cosface，假设可以使用固定的惩罚余量同样地学习不同身份之间的测地距。然而，这种学习目标对于具有不一致的间帧内变化的真实数据并不是现实的，这可能限制了面部识别模型的判别和概括性。在本文中，我们通过提出弹性罚款损失（弹性面）来放松固定的罚款边缘约束，这允许在推动阶级可分离性中灵活性。主要思想是利用从每个训练迭代中的正常分布中汲取的随机保证金值。这旨在提供决策边界机会，以提取和缩回，以允许灵活的类别可分离学习的空间。我们展示了在大量主流基准上使用相同的几何变换，展示了我们的弹性面损失和COSFace损失的优势。从更广泛的角度来看，我们的弹性面在九个主流基准中提出了最先进的面部识别性能。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

脸部是人类识别最广泛使用的特征之一，即使在许多大规模的应用中也是如此。尽管在面部识别系统中推进技术进步，但它们仍然面临由姿势，表达，闭塞和老化变化引起的障碍。由于Covid-19大流行，非接触式身份验证变得非常重要。要限制大流行，人们已经开始使用面膜。最近，已经对面膜对成人面部识别系统的影响进行了少数研究。然而，老化与面部面膜对儿童主体识别的影响尚未得到充分的探索。因此，本研究的主要目的是与面罩和面罩和面部识别系统的其他协变量分析儿童纵向冲击。具体而言，我们在儿童串行验证和识别设置下对三个顶级执行公共面部匹配器和COVID-19商业现成（COTS）系统的比较调查，使用我们所产生的合成面具和识别设置。面具样品。此外，我们调查了眼镜与掩模和无面具的纵向后果。该研究利用无面罩纵向儿童数据集（即扩展的印度儿童纵向面部数据集），其中包含$ 26,258 $面部图像的$ [2,18] $ 3.35 $的平均时间跨度年。实验结果表明，自动面部识别面膜的问题通过老化变化复合。

深度学习的面部识别模型通过利用具有较高计算成本的完整精确浮点网络来遵循深神经网络的共同趋势。由于完整的模型所需的大量内存，将这些网络部署在受计算需求约束的用例中通常是不可行的。以前的紧凑型面部识别方法提议设计特殊的紧凑型建筑并使用真实的培训数据从头开始训练它们，由于隐私问题，在现实世界中可能无法使用。我们在这项工作中介绍了基于低位精度格式模型量化的定量解决方案。 Quantface降低了现有面部识别模型所需的计算成本，而无需设计特定的体系结构或访问真实的培训数据。 Quantface将隐私友好的合成面数据引入量化过程中，以减轻潜在的隐私问题和与真实培训数据有关的问题。通过对七个基准和四个网络体系结构进行的广泛评估实验，我们证明了Quantface可以成功地将模型大小降低到5倍，同时在很大程度上维护完整模型的验证性能而无需访问真实的培训数据集。

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。