戴着面具已被证明是防止SARS-COV-2冠状病毒传播最有效的方法之一。然而，佩戴掩模对不同的面部识别任务构成挑战，并提高了关于掩蔽面部呈现检测（焊盘）的性能的担忧。面向面膜面板面临的主要问题是错误分类的Bona Fide掩盖面，错误分类的部分攻击（由真实面具覆盖）。这项工作通过提出考虑部分攻击标签来监督垫模型培训的方法，以及区域加权推理，通过改变对不同面部区域的关注来进一步改善垫性能的方法来解决这些问题。我们所提出的方法与特定网络架构没有直接链接，因此可以直接纳入任何常见或定制设计的网络。在我们的工作中，选择了两个神经网络（DeepPixbis和MixfaceNet）作为骨干。在协作实际掩模攻击（CRMA）数据库上证明了实验。我们所提出的方法通过减少面向遮阳面时的缺点来优于CRMA数据库中的建立的焊盘方法。此外，我们提出了一个详细的逐步消融研究，指出了所提出的概念对整体垫性能的个人和联合益处。

面部面罩已成为减少Covid-19传输的主要方法之一。这使得面部识别（FR）成为一个具有挑战性的任务，因为掩模隐藏了几个面孔的鉴别特征。此外，面部呈现攻击检测（PAD）至关重要，以确保FR系统的安全性。与越来越多的蒙面的FR研究相比，尚未探索面部遮蔽攻击对垫的影响。因此，我们提出了与戴上面具的主题和攻击的真正面罩的新型攻击，以反映当前的现实情况。此外，本研究通过在不同的实验设置下使用七种最新的垫算法来研究屏蔽攻击对垫性能的影响。我们还评估FR系统漏洞屏蔽攻击。实验表明，真正掩盖的攻击对FR系统的操作和安全构成了严重威胁。

面部表现攻击检测（PAD）对于保护面部识别（FR）应用程序至关重要。 FR性能已被证明对某些人口统计学和非人口统计学组是不公平的。但是，面部垫的公平性是一个研究的问题，这主要是由于缺乏适当的注释数据。为了解决此问题，这项工作首先通过组合几个知名的PAD数据集，在其中提供了七个人类宣传的属性标签，从而提出了一个组合的注释数据集（CAAD-PAD）。然后，这项工作通过研究我们的CAAD-Pad上的四个面部垫方法，全面分析了一组面垫的公平及其与培训数据的性质和操作决策阈值分配（ODTA）的关系。同时代表垫子的公平性和绝对垫性能，我们引入了一种新颖的指标，即准确性平衡公平（ABF）。关于CAAD-PAD的广泛实验表明，训练数据和ODTA会引起性别，遮挡和其他属性组的不公平性。基于这些分析，我们提出了一种数据增强方法Fairswap，该方法旨在破坏身份/语义信息和指南模型以挖掘攻击线索而不是与属性相关的信息。详细的实验结果表明，Fairswap通常可以提高垫子性能和面部垫的公平性。

随着在我们日常生活中的面部识别系统的部署增加，面部呈现攻击检测（PAD）在保护面部识别系统中吸引了很多关注并发挥着关键作用。尽管通过在数据集中的手工制作和基于深度学习的方法方面取得了巨大表现，但在处理看不见场景时的性能下降。在这项工作中，我们提出了一种双流卷积神经网络（CNNS）框架。一个流适应四种学习频率滤波器，以学习频域中的特征，这些功能域不太受传感器/照明的变化的影响。另一个流利用RGB图像来补充频域的特征。此外，我们提出了分层关注模块集成，通过考虑CNN的不同层中的深度特征的性质，在不同阶段中加入来自两个流的信息。在数据集内和交叉数据集设置中评估所提出的方法，结果表明，我们所提出的方法在与最先进的最先进的最新的大多数实验装置中提高了最平移，包括明确为域适应设计的方法/换档问题。我们成功证明了我们提出的垫解决方案的设计，在一步的融合研究中，涉及我们所提出的学习频率分解，我们的分层注意模块设计和使用的损耗功能。培训码和预先接受训练的型号是公开发布的

由于Covid-19的情况，面部面具已成为我们日常生活的主要部分。在许多公共场所佩戴嘴巴保护是在许多公共场所的授权，以防止Covid-19病毒的传播。然而，面部面罩影响人脸识别的性能，因为覆盖了大面积的面积。穿着面罩在协作环境中穿着面罩对面部识别系统的不同部件的影响是仍然被全面研究的问题。这项工作研究首次通过利用不同自然的人的面部图像质量评估方法佩戴面部掩模对面部图像质量的影响。这旨在更好地了解面部掩模对整个系统的脸部识别操作的影响。此外，我们进一步研究了模拟掩模对面部图像效用的影响与真实面罩相比。我们讨论了对面部图像质量的掩模效果与自动系统和人类专家面临的面部验证性能之间的相关性，表明这两个因素之间的一致趋势。通过在没有掩盖面上的综合产生数字面部面罩，在包含（1）覆盖面，（2）真实面罩和（3）模拟面罩的数据库上进行评估。最后，提供了对所选质量评估方法集的质量得分的面积的视觉解释，以便更深入地了解掩蔽和非掩盖面中的网络决策的差异以及其他变化。

使用面部作为生物识别标识特征是通过捕获过程的非接触性质和识别算法的高准确度的激励。在目前的Covid-19大流行之后，在公共场所施加了面膜，以保持大流行。然而，由于戴着面具而面的遮挡是面部识别系统的新出现挑战。在本文中，我们提出了一种改进掩蔽面部识别性能的解决方案。具体地，我们提出了在现有面部识别模型的顶部操作的嵌入揭露模型（EUM）。我们还提出了一种新颖的损失功能，自限制的三态（SRT），使欧莱斯能够产生类似于相同身份的未掩蔽面的嵌入物。实现了三个面部识别模型，两个真实屏蔽数据集和两个合成产生的掩蔽面部数据集所取得的评价结果​​证明我们的提出方法在大多数实验环境中显着提高了性能。

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。

SARS-COV-2向科学界提出了直接和间接的挑战。从大量国家的强制使用面部面具的强制使用最突出的间接挑战之一。面部识别方法在蒙版和未掩蔽的个体上努力执行具有类似准确性的身份验证。已经表明，这些方法的性能在面部掩模存在下显着下降，特别是如果参考图像是未被掩蔽的。我们提出了FocusFace，一种使用对比学习的多任务架构能够准确地执行蒙面的面部识别。该建议的架构被设计为从头开始训练或者在最先进的面部识别方法上工作，而不牺牲传统的面部识别任务中现有模型的能力。我们还探讨了设计对比学习模块的不同方法。结果以屏蔽掩蔽（M-M）和未掩蔽掩蔽（U-M）面验证性能提出。对于这两个设置，结果都与已发布的方法相提并论，但对于M-M而言，该方法能够优于与其比较的所有解决方案。我们进一步表明，当在现有方法顶部使用我们的方法时，培训计算成本在保持类似的表现时显着降低。在Github上提供了实施和培训的型号。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

基于监督的基于学习的形态攻击检测（MAD）解决方案在处理已知变形技术和已知数据源的攻击方面取得了杰出的成功。但是，鉴于变形攻击的变化，由于现有MAD数据集的多样性和数量不足，监督的疯狂解决方案的性能大大下降。为了解决这一问题，我们通过利用现有的大规模面部识别（FR）数据集和卷积自动编码器的无监督性质，通过自定进程异常检测（SPL-MAD）提出了一个完全无监督的疯狂解决方案。使用一般的FR数据集，这些数据集可能包含无意识的和未标记的操纵样品来训练自动编码器，可以导致攻击和真正的样本的各种重建行为。我们从经验上分析了这种行为，以提供扎实的理论基础来设计我们的无监督的疯狂解决方案。这也导致建议以完全无监督的方式整合我们改良的修改后的自定进度学习范式，以增强善意和攻击样本之间的重建误差可分离性。我们对各种MAD评估数据集的实验结果表明，所提出的无监督的SPL-MAD解决方案优于广泛监督的MAD解决方案的整体性能，并为未知攻击提供了更高的概括性。

全球Covid-19大流行的出现会给生物识别技术带来新的挑战。不仅是非接触式生物识别选项变得更加重要，而且最近也遇到了频繁的面具的面对面识别。这些掩模会影响前面识别系统的性能，因为它们隐藏了重要的身份信息。在本文中，我们提出了一种掩模不变的面部识别解决方案（MaskInv），其利用训练范例内的模板级知识蒸馏，其旨在产生类似于相同身份的非掩盖面的掩模面的嵌入面。除了蒸馏知识外，学生网络还通过基于边缘的身份分类损失，弹性面，使用遮蔽和非蒙面面的额外指导。在两个真正蒙面面部数据库和具有合成面具的五个主流数据库的逐步消融研究中，我们证明了我们的maskinV方法的合理化。我们所提出的解决方案优于先前的最先进（SOTA）在最近的MFRC-21挑战中的学术解决方案，屏蔽和屏蔽VS非屏蔽，并且还优于MFR2数据集上的先前解决方案。此外，我们证明所提出的模型仍然可以在缺陷的面上表现良好，只有在验证性能下的少量损失。代码，培训的模型以及合成屏蔽数据的评估协议是公开的：https://github.com/fdbtrs/masked-face-recognition-kd。

面部演示攻击检测（PAD）由于欺骗欺骗性被广泛认可的脆弱性而受到越来越长。在2011年，2013年，2017年，2019年，2020年和2021年与主要生物识别和计算机视觉会议结合的八个国际竞赛中，在八个国际竞赛中评估了一系列国际竞争中的八种国际竞争中的艺术状态。研究界。在本章中，我们介绍了2019年的五个最新竞赛的设计和结果直到2021年。前两项挑战旨在评估近红外（NIR）和深度方式的多模态设置中面板的有效性。彩色相机数据，而最新的三个竞争专注于评估在传统彩色图像和视频上运行的面部垫算法的域和攻击型泛化能力。我们还讨论了从竞争中吸取的经验教训以及领域的未来挑战。

Face recognition technology has been widely used in daily interactive applications such as checking-in and mobile payment due to its convenience and high accuracy. However, its vulnerability to presentation attacks (PAs) limits its reliable use in ultra-secure applicational scenarios. A presentation attack is first defined in ISO standard as: a presentation to the biometric data capture subsystem with the goal of interfering with the operation of the biometric system. Specifically, PAs range from simple 2D print, replay and more sophisticated 3D masks and partial masks. To defend the face recognition systems against PAs, both academia and industry have paid extensive attention to developing face presentation attack detection (PAD) technology (or namely `face anti-spoofing (FAS)').

变形面的图像对面对识别的安全系统构成了严重威胁，因为它们可用于非法验证具有单个变形图像的多人身份。现代检测算法学会使用真实个体的真实图像来识别这种变形攻击。这种方法提出了各种隐私问题，并限制了公开培训数据的数量。在本文中，我们探讨了仅在不存在的人及其各自的形态上接受训练的检测算法的功效。为此，对两种专用算法进行了合成数据的训练，然后在三个现实世界数据集上进行了评估，即：FRLL-MORPHS，FERET-MORPHS和FRGC-MORPHS。我们的结果表明，合成的面部图像可以成功用于检测算法的训练过程，并将其概括为现实世界情景。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

在这项研究中，在使用Flickr-Faces-HQ和SpangeFaces数据集生成的遮罩与揭露面上的面部识别，我们报告了由Pandemics的掩模穿着掩盖穿着的识别性能的36.78％劣化，特别是在边境检查点情景中。在跨光谱域中的高级深度学习方法，我们取得了更好的性能并降低了1.79％的劣化。

由于其在保护面部识别系统免于演示攻击（PAS）中的至关重要的作用，因此面部抗散热器（FAS）最近引起了人们的关注。随着越来越现实的PA随着新颖类型的发展，由于其表示能力有限，基于手工特征的传统FAS方法变得不可靠。随着近十年来大规模学术数据集的出现，基于深度学习的FA实现了卓越的性能并占据了这一领域。但是，该领域的现有评论主要集中在手工制作的功能上，这些功能过时，对FAS社区的进步没有任何启发。在本文中，为了刺激未来的研究，我们对基于深度学习的FAS的最新进展进行了首次全面综述。它涵盖了几个新颖且有见地的组成部分：1）除了使用二进制标签的监督（例如，``0'''for pas vs.'1'），我们还通过像素智能监督（例如，伪深度图）调查了最新方法； 2）除了传统的数据内评估外，我们还收集和分析专门为域概括和开放式FAS设计的最新方法； 3）除了商用RGB摄像机外，我们还总结了多模式（例如，深度和红外线）或专门（例如，光场和闪存）传感器下的深度学习应用程序。我们通过强调当前的开放问题并突出潜在的前景来结束这项调查。

实际上，面部识别应用由两个主要步骤组成：面部检测和特征提取。在唯一的基于视觉的解决方案中，第一步通过摄入相机流来生成单个身份的多个检测。边缘设备的实用方法应优先考虑这些身份根据其识别的一致性。从这个角度来看，我们通过将单层附加到面部标志性检测网络来提出面部质量得分回归。几乎没有额外的成本，可以通过训练单层以通过增强等监视来回归识别得分来获得面部质量得分。我们通过所有面部检测管道步骤，包括检测，跟踪和对齐方式，在Edge GPU上实施了建议的方法。全面的实验表明，通过与SOTA面部质量回归模型进行比较，在不同的数据集和现实生活中，提出的方法的效率。

随着最近深度卷积神经网络的进步，一般面临的概念取得了重大进展。然而，最先进的一般面部识别模型对遮挡面部图像没有概括，这正是现实世界场景中的常见情况。潜在原因是用于训练和特定设计的大规模遮挡面部数据，用于解决闭塞所带来的损坏功能。本文提出了一种新颖的面部识别方法，其基于单端到端的深神经网络的闭塞是强大的。我们的方法（使用遮挡掩码）命名（面部识别），学会发现深度卷积神经网络的损坏功能，并通过动态学习的面具清洁它们。此外，我们构建了大规模的遮挡面部图像，从有效且有效地培训。与现有方法相比，依靠外部探测器发现遮挡或采用较少鉴别的浅模型的现有方法，从简单且功能强大。 LFW，Megaface挑战1，RMF2，AR数据集和其他模拟遮挡/掩蔽数据集的实验结果证实，从大幅提高了遮挡下的准确性，并概括了一般面部识别。