演示攻击是对生物识别系统的经常性威胁，其中冒名顶替者试图绕过这些系统。人类经常使用背景信息作为视觉系统的上下文提示。然而，关于基于面部的系统，背景经常被丢弃，因为面部呈现攻击检测（PAD）模型主要用面部作物培训。这项工作介绍了两种设置中面板模型（包括多任务学习，对抗训练和动态帧选择）的比较研究：有和没有作物。结果表明，当图像中存在时，性能始终如一。所提出的多任务方法通过大型余量击败了玫瑰Youtu数据集的最先进的结果，其错误率为0.2％。此外，我们分析了Grad-Cam ++的模型预测，目的是调查模型对已知对人类检查有用的背景元素的程度。从这个分析来看，我们可以得出结论，背景线索在所有攻击中都不相关。因此，显示模型的能力仅在必要时利用背景信息。

面部面罩已成为减少Covid-19传输的主要方法之一。这使得面部识别（FR）成为一个具有挑战性的任务，因为掩模隐藏了几个面孔的鉴别特征。此外，面部呈现攻击检测（PAD）至关重要，以确保FR系统的安全性。与越来越多的蒙面的FR研究相比，尚未探索面部遮蔽攻击对垫的影响。因此，我们提出了与戴上面具的主题和攻击的真正面罩的新型攻击，以反映当前的现实情况。此外，本研究通过在不同的实验设置下使用七种最新的垫算法来研究屏蔽攻击对垫性能的影响。我们还评估FR系统漏洞屏蔽攻击。实验表明，真正掩盖的攻击对FR系统的操作和安全构成了严重威胁。

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

面部演示攻击检测（PAD）由于欺骗欺骗性被广泛认可的脆弱性而受到越来越长。在2011年，2013年，2017年，2019年，2020年和2021年与主要生物识别和计算机视觉会议结合的八个国际竞赛中，在八个国际竞赛中评估了一系列国际竞争中的八种国际竞争中的艺术状态。研究界。在本章中，我们介绍了2019年的五个最新竞赛的设计和结果直到2021年。前两项挑战旨在评估近红外（NIR）和深度方式的多模态设置中面板的有效性。彩色相机数据，而最新的三个竞争专注于评估在传统彩色图像和视频上运行的面部垫算法的域和攻击型泛化能力。我们还讨论了从竞争中吸取的经验教训以及领域的未来挑战。

SARS-COV-2向科学界提出了直接和间接的挑战。从大量国家的强制使用面部面具的强制使用最突出的间接挑战之一。面部识别方法在蒙版和未掩蔽的个体上努力执行具有类似准确性的身份验证。已经表明，这些方法的性能在面部掩模存在下显着下降，特别是如果参考图像是未被掩蔽的。我们提出了FocusFace，一种使用对比学习的多任务架构能够准确地执行蒙面的面部识别。该建议的架构被设计为从头开始训练或者在最先进的面部识别方法上工作，而不牺牲传统的面部识别任务中现有模型的能力。我们还探讨了设计对比学习模块的不同方法。结果以屏蔽掩蔽（M-M）和未掩蔽掩蔽（U-M）面验证性能提出。对于这两个设置，结果都与已发布的方法相提并论，但对于M-M而言，该方法能够优于与其比较的所有解决方案。我们进一步表明，当在现有方法顶部使用我们的方法时，培训计算成本在保持类似的表现时显着降低。在Github上提供了实施和培训的型号。

面部表现攻击检测（PAD）在防御面部识别系统免受演示攻击方面起着重要作用。 PAD的成功很大程度上依赖于需要大量标记数据的监督学习，这对于视频尤其具有挑战性，通常需要专家知识。为了避免昂贵的标记数据收集，本文提出了一种通过运动预测进行自我监督视频表示学习的新方法。为了实现这一目标，我们基于三个RGB框架利用时间一致性，这些RGB帧在视频序列中以三个不同的时间获取。然后将获得的帧转换为灰度图像，其中每个图像被指定为三个不同的通道，例如R（红色），G（绿色）和B（蓝色），形成动态灰度片段（DGS）。由此激励，这些标签会自动生成，以通过使用视频的不同时间长度来基于DG的时间多样性，这对下游任务非常有帮助。从我们方法的自我监督性质中受益，我们报告了结果，结果表明，在四个公共基准数据集上的现有方法，即重播攻击，MSU-MFSD，CASIA-FASD和OULU-NPU。解释性分析是通过石灰和Grad-CAM技术进行的，以可视化DGS中使用的最重要功能。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。

本章的主要范围是作为面部介绍攻击检测的介绍，包括过去几年的关键资源和领域的进步。下一页呈现了面部识别系统可以面对的不同演示攻击，其中攻击者向传感器提供给传感器，主要是相机，呈现攻击仪器（PAI），这通常是照片，视频或掩码，试图冒充真正的用户。首先，我们介绍了面部识别的现状，部署水平及其挑战。此外，我们介绍了面部识别系统可能暴露的漏洞和可能的攻击，表明呈现攻击检测方法的高度重要性。我们审核不同类型的演示攻击方法，从更简单到更复杂，在哪个情况下它们可能是有效的。然后，我们总结了最受欢迎的演示文稿攻击检测方法来处理这些攻击。最后，我们介绍了研究界使用的公共数据集，以探索面部生物识别性的脆弱性，以呈现攻击，并对已知的PAI制定有效的对策。

戴着面具已被证明是防止SARS-COV-2冠状病毒传播最有效的方法之一。然而，佩戴掩模对不同的面部识别任务构成挑战，并提高了关于掩蔽面部呈现检测（焊盘）的性能的担忧。面向面膜面板面临的主要问题是错误分类的Bona Fide掩盖面，错误分类的部分攻击（由真实面具覆盖）。这项工作通过提出考虑部分攻击标签来监督垫模型培训的方法，以及区域加权推理，通过改变对不同面部区域的关注来进一步改善垫性能的方法来解决这些问题。我们所提出的方法与特定网络架构没有直接链接，因此可以直接纳入任何常见或定制设计的网络。在我们的工作中，选择了两个神经网络（DeepPixbis和MixfaceNet）作为骨干。在协作实际掩模攻击（CRMA）数据库上证明了实验。我们所提出的方法通过减少面向遮阳面时的缺点来优于CRMA数据库中的建立的焊盘方法。此外，我们提出了一个详细的逐步消融研究，指出了所提出的概念对整体垫性能的个人和联合益处。

Identity authentication is the process of verifying one's identity. There are several identity authentication methods, among which biometric authentication is of utmost importance. Facial recognition is a sort of biometric authentication with various applications, such as unlocking mobile phones and accessing bank accounts. However, presentation attacks pose the greatest threat to facial recognition. A presentation attack is an attempt to present a non-live face, such as a photo, video, mask, and makeup, to the camera. Presentation attack detection is a countermeasure that attempts to identify between a genuine user and a presentation attack. Several industries, such as financial services, healthcare, and education, use biometric authentication services on various devices. This illustrates the significance of presentation attack detection as the verification step. In this paper, we study state-of-the-art to cover the challenges and solutions related to presentation attack detection in a single place. We identify and classify different presentation attack types and identify the state-of-the-art methods that could be used to detect each of them. We compare the state-of-the-art literature regarding attack types, evaluation metrics, accuracy, and datasets and discuss research and industry challenges of presentation attack detection. Most presentation attack detection approaches rely on extensive data training and quality, making them difficult to implement. We introduce an efficient active presentation attack detection approach that overcomes weaknesses in the existing literature. The proposed approach does not require training data, is CPU-light, can process low-quality images, has been tested with users of various ages and is shown to be user-friendly and highly robust to 2-dimensional presentation attacks.

如果不部署面部反动体相反的对策，则可以通过呈现印刷照片，视频或真实用户的硅面膜来欺骗面部识别系统。因此，面对表现攻击检测（PAD）在提供对数字设备的安全访问方面起着至关重要的作用。大多数现有的基于视频的垫子对策都无法应对视频中的远程时间变化。此外，在特征提取步骤之前的键框采样尚未在面部抗散热域中广泛研究。为了减轻这些问题，本文通过提出一种视频处理方案来提供一种数据采样方法，该方案基于高斯加权功能进行建模远程时间变化。具体而言，提出的方案将视频序列的连续T帧编码基于T帧的高斯加权总和，将视频序列的连续T帧编码为单个RGB图像。仅使用数据采样方案，我们证明可以在三个公共基准数据集的数据库内和数据库间测试方案中没有任何铃铛和哨子来实现最先进的性能；即，重播攻击，MSU-MFSD和CASIA-FASD。特别是，与跨数据库情景中的基线相比，该计划的误差（CASIA-FASD的15.2％至6.7％，重播攻击的5.9％至4.9％）。

随着在我们日常生活中的面部识别系统的部署增加，面部呈现攻击检测（PAD）在保护面部识别系统中吸引了很多关注并发挥着关键作用。尽管通过在数据集中的手工制作和基于深度学习的方法方面取得了巨大表现，但在处理看不见场景时的性能下降。在这项工作中，我们提出了一种双流卷积神经网络（CNNS）框架。一个流适应四种学习频率滤波器，以学习频域中的特征，这些功能域不太受传感器/照明的变化的影响。另一个流利用RGB图像来补充频域的特征。此外，我们提出了分层关注模块集成，通过考虑CNN的不同层中的深度特征的性质，在不同阶段中加入来自两个流的信息。在数据集内和交叉数据集设置中评估所提出的方法，结果表明，我们所提出的方法在与最先进的最先进的最新的大多数实验装置中提高了最平移，包括明确为域适应设计的方法/换档问题。我们成功证明了我们提出的垫解决方案的设计，在一步的融合研究中，涉及我们所提出的学习频率分解，我们的分层注意模块设计和使用的损耗功能。培训码和预先接受训练的型号是公开发布的

智能手机已经使用基于生物识别的验证系统，以在高度敏感的应用中提供安全性。视听生物识别技术因其可用性而受欢迎，并且由于其多式化性质，欺骗性将具有挑战性。在这项工作中，我们介绍了一个在五个不同最近智能手机中捕获的视听智能手机数据集。考虑到不同的现实情景，这个新数据集包含在三个不同的会话中捕获的103个科目。在该数据集中获取三种不同的语言，以包括扬声器识别系统的语言依赖性问题。这些数据集的这些独特的特征将为实施新的艺术技术的单向或视听扬声器识别系统提供途径。我们还报告了DataSet上的基准标记的生物识别系统的性能。生物识别算法的鲁棒性朝向具有广泛实验的重播和合成信号等信号噪声，设备，语言和呈现攻击等多种依赖性。获得的结果提出了许多关于智能手机中最先进的生物识别方法的泛化特性的担忧。

变形攻击是不断影响深度识别系统的众多威胁之一。它包括从不同个体中选择两张面，并将它们融合到包含两者的身份信息的最终图像中。在这项工作中，我们提出了一个新颖的正规化术语，该术语考虑了两者中存在的身份信息，并促进了两个正交潜在媒介的创建。我们在FRLL数据集中评估了我们提出的方法（Orthomad），并在五个不同的数据集中培训时评估了模型的性能。我们以小的RESNET-18为骨干，我们实现了大多数实验的最新结果，而竞争性则在其他实验中结果。本文的代码将公开可用。

恢复面部和文档图像的检测是一项重要的法医任务。经过深入的学习，面部抗散热器（FAS）和重新接收的文件检测的表现得到了显着改善。但是，对于法医提示较弱的样品，表演尚不令人满意。可以量化法医提示的数量，以允许可靠的法医结果。在这项工作中，我们提出了一个放大性评估网络，以量化质疑样品的允许性。在实际重新接收检测过程之前，将拒绝低固定性样品，以提高重新接收检测系统的效率。我们首先提取与图像质量评估和法医任务相关的判定性特征。通过利用图像质量和法医功能的法医应用的域知识，我们定义了特定于任务的规定类别和特征空间中的初始化位置。根据提取的功能和定义的中心，我们使用跨凝结损失训练提出的法医评估网络（FANET），并使用基于动量的更新方法更新中心。我们将受过训练的粉丝与实际重新接收检测方案相结合，并在抗spofing和重新接收的文档检测任务中。实验结果表明，对于基于CNN的FAS方案而言，狂热者通过拒绝最低30％放大性得分的样本，将EERS从Rose to IDIAP方案下的ERS降低到19.23％。在被拒绝的样品中，FAS方案的性能很差，EER高达56.48％。在FAS中的最新方法和重新接收的文档检测任务中，已经观察到了拒绝低差异性样品的类似性能。据我们所知，这是评估重新捕获文档图像并提高系统效率的第一份工作。

Face recognition technology has been widely used in daily interactive applications such as checking-in and mobile payment due to its convenience and high accuracy. However, its vulnerability to presentation attacks (PAs) limits its reliable use in ultra-secure applicational scenarios. A presentation attack is first defined in ISO standard as: a presentation to the biometric data capture subsystem with the goal of interfering with the operation of the biometric system. Specifically, PAs range from simple 2D print, replay and more sophisticated 3D masks and partial masks. To defend the face recognition systems against PAs, both academia and industry have paid extensive attention to developing face presentation attack detection (PAD) technology (or namely `face anti-spoofing (FAS)').

研究的目的：在生物社区，可见人类的特征是普遍和可行的验证和识别移动设备上。然而，驾驶员能够通过创造假人和人工生物识别来欺骗系统来欺骗这些特征。可见的生物识别系统遭遇了呈现攻击的高安全性风险。方法：在此期间，基于挑战的方法，特别是视线跟踪和瞳孔动态似乎比别人接触生物系统更加安全的方法。我们审查了探索凝视跟踪和瞳孔动态活力检测的现有工作。主要结果：本研究分析了视线跟踪和瞳孔动态演示攻击的各个方面，如国家的最先进的活跃度检测算法，各种文物，公共数据库的可访问性和标准化的在这方面的总结。此外，我们讨论了未来的工作和开放挑战，以基于基于挑战的系统创造安全的活力检测。

由于其在保护面部识别系统免于演示攻击（PAS）中的至关重要的作用，因此面部抗散热器（FAS）最近引起了人们的关注。随着越来越现实的PA随着新颖类型的发展，由于其表示能力有限，基于手工特征的传统FAS方法变得不可靠。随着近十年来大规模学术数据集的出现，基于深度学习的FA实现了卓越的性能并占据了这一领域。但是，该领域的现有评论主要集中在手工制作的功能上，这些功能过时，对FAS社区的进步没有任何启发。在本文中，为了刺激未来的研究，我们对基于深度学习的FAS的最新进展进行了首次全面综述。它涵盖了几个新颖且有见地的组成部分：1）除了使用二进制标签的监督（例如，``0'''for pas vs.'1'），我们还通过像素智能监督（例如，伪深度图）调查了最新方法； 2）除了传统的数据内评估外，我们还收集和分析专门为域概括和开放式FAS设计的最新方法； 3）除了商用RGB摄像机外，我们还总结了多模式（例如，深度和红外线）或专门（例如，光场和闪存）传感器下的深度学习应用程序。我们通过强调当前的开放问题并突出潜在的前景来结束这项调查。

面对抗泡沫（FAS）和伪造探测在保护面部生物识别系统免受演示攻击（PAS）和恶性数字操作（例如，Deepfakes）中的生物识别系统中起着至关重要的作用。尽管大规模数据和强大的深层模型有希望的表现，但现有方法的概括问题仍然是一个空旷的问题。最近的大多数方法都集中在1）单峰视觉外观或生理学（即远程光摄影学（RPPG））线索；和2）用于FAS或面部伪造检测的分离特征表示。一方面，单峰外观和RPPG功能分别容易受到高保真的面孔3D面膜和视频重播攻击的影响，从而激发了我们设计可靠的多模式融合机制，用于广义面部攻击检​​测。另一方面，FAS和面部伪造探测任务（例如，定期的RPPG节奏和BONAFIDE的香草外观）都有丰富的共同特征，提供了可靠的证据来设计联合FAS和面部伪造探测系统，以多任务学习方式。在本文中，我们使用视觉外观和生理RPPG提示建立了第一个关节面欺骗和伪造的检测基准。为了增强RPPG的周期性歧视，我们使用两种面部时空时代的RPPG信号图及其连续小波转换为输入的两分支生理网络。为了减轻模态偏差并提高融合功效，我们在多模式融合之前对外观和RPPG特征进行了加权批次和层归一化。我们发现，可以通过对这两个任务的联合培训来改善单峰（外观或RPPG）和多模式（外观+RPPG）模型的概括能力。我们希望这种新的基准将促进FAS和DeepFake检测社区的未来研究。