变形面的图像对面对识别的安全系统构成了严重威胁，因为它们可用于非法验证具有单个变形图像的多人身份。现代检测算法学会使用真实个体的真实图像来识别这种变形攻击。这种方法提出了各种隐私问题，并限制了公开培训数据的数量。在本文中，我们探讨了仅在不存在的人及其各自的形态上接受训练的检测算法的功效。为此，对两种专用算法进行了合成数据的训练，然后在三个现实世界数据集上进行了评估，即：FRLL-MORPHS，FERET-MORPHS和FRGC-MORPHS。我们的结果表明，合成的面部图像可以成功用于检测算法的训练过程，并将其概括为现实世界情景。

本文介绍了基于2022年国际生物识别技术联合会议（IJCB 2022）举行的基于隐私感知合成训练数据（SYN-MAD）的面部变形攻击检测的摘要。该竞赛吸引了来自学术界和行业的12个参与团队，并在11个不同的国家 /地区举行。最后，参与团队提交了七个有效的意见书，并由组织者进行评估。竞争是为了介绍和吸引解决方案的解决方案，这些解决方案涉及检测面部变形攻击的同时，同时出于道德和法律原因保护人们的隐私。为了确保这一点，培训数据仅限于组织者提供的合成数据。提交的解决方案提出了创新，导致在许多实验环境中表现优于所考虑的基线。评估基准现在可在以下网址获得：https：//github.com/marcohuber/syn-mad-2022。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

面部面罩已成为减少Covid-19传输的主要方法之一。这使得面部识别（FR）成为一个具有挑战性的任务，因为掩模隐藏了几个面孔的鉴别特征。此外，面部呈现攻击检测（PAD）至关重要，以确保FR系统的安全性。与越来越多的蒙面的FR研究相比，尚未探索面部遮蔽攻击对垫的影响。因此，我们提出了与戴上面具的主题和攻击的真正面罩的新型攻击，以反映当前的现实情况。此外，本研究通过在不同的实验设置下使用七种最新的垫算法来研究屏蔽攻击对垫性能的影响。我们还评估FR系统漏洞屏蔽攻击。实验表明，真正掩盖的攻击对FR系统的操作和安全构成了严重威胁。

戴着面具已被证明是防止SARS-COV-2冠状病毒传播最有效的方法之一。然而，佩戴掩模对不同的面部识别任务构成挑战，并提高了关于掩蔽面部呈现检测（焊盘）的性能的担忧。面向面膜面板面临的主要问题是错误分类的Bona Fide掩盖面，错误分类的部分攻击（由真实面具覆盖）。这项工作通过提出考虑部分攻击标签来监督垫模型培训的方法，以及区域加权推理，通过改变对不同面部区域的关注来进一步改善垫性能的方法来解决这些问题。我们所提出的方法与特定网络架构没有直接链接，因此可以直接纳入任何常见或定制设计的网络。在我们的工作中，选择了两个神经网络（DeepPixbis和MixfaceNet）作为骨干。在协作实际掩模攻击（CRMA）数据库上证明了实验。我们所提出的方法通过减少面向遮阳面时的缺点来优于CRMA数据库中的建立的焊盘方法。此外，我们提出了一个详细的逐步消融研究，指出了所提出的概念对整体垫性能的个人和联合益处。

变形攻击是不断影响深度识别系统的众多威胁之一。它包括从不同个体中选择两张面，并将它们融合到包含两者的身份信息的最终图像中。在这项工作中，我们提出了一个新颖的正规化术语，该术语考虑了两者中存在的身份信息，并促进了两个正交潜在媒介的创建。我们在FRLL数据集中评估了我们提出的方法（Orthomad），并在五个不同的数据集中培训时评估了模型的性能。我们以小的RESNET-18为骨干，我们实现了大多数实验的最新结果，而竞争性则在其他实验中结果。本文的代码将公开可用。

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。

面部变形攻击检测（MAD）是当今面部识别领域中最具挑战性的任务之一。在这项工作中，我们引入了一种新颖的深度学习策略，用于单个图像面部变形检测，这意味着在复杂的分类方案中歧视了变形的面部图像以及复杂的面部识别任务。它针对学习深度面部特征，这些面部特征带有有关这些功能真实性的信息。我们的工作还介绍了一些其他贡献：公众和易于使用的面部变形检测基准和我们野生数据集过滤策略的结果。我们称之为Mordeephy的方法实现了最先进的表现，并证明了将转变检测任务的任务推广到看不见的情况的重要能力。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

基于监督的基于学习的形态攻击检测（MAD）解决方案在处理已知变形技术和已知数据源的攻击方面取得了杰出的成功。但是，鉴于变形攻击的变化，由于现有MAD数据集的多样性和数量不足，监督的疯狂解决方案的性能大大下降。为了解决这一问题，我们通过利用现有的大规模面部识别（FR）数据集和卷积自动编码器的无监督性质，通过自定进程异常检测（SPL-MAD）提出了一个完全无监督的疯狂解决方案。使用一般的FR数据集，这些数据集可能包含无意识的和未标记的操纵样品来训练自动编码器，可以导致攻击和真正的样本的各种重建行为。我们从经验上分析了这种行为，以提供扎实的理论基础来设计我们的无监督的疯狂解决方案。这也导致建议以完全无监督的方式整合我们改良的修改后的自定进度学习范式，以增强善意和攻击样本之间的重建误差可分离性。我们对各种MAD评估数据集的实验结果表明，所提出的无监督的SPL-MAD解决方案优于广泛监督的MAD解决方案的整体性能，并为未知攻击提供了更高的概括性。

Face swapping technology used to create "Deepfakes" has advanced significantly over the past few years and now enables us to create realistic facial manipulations. Current deep learning algorithms to detect deepfakes have shown promising results, however, they require large amounts of training data, and as we show they are biased towards a particular ethnicity. We propose a deepfake detection methodology that eliminates the need for any real data by making use of synthetically generated data using StyleGAN3. This not only performs at par with the traditional training methodology of using real data but it shows better generalization capabilities when finetuned with a small amount of real data. Furthermore, this also reduces biases created by facial image datasets that might have sparse data from particular ethnicities.

Several face de-identification methods have been proposed to preserve users' privacy by obscuring their faces. These methods, however, can degrade the quality of photos, and they usually do not preserve the utility of faces, e.g., their age, gender, pose, and facial expression. Recently, advanced generative adversarial network models, such as StyleGAN, have been proposed, which generate realistic, high-quality imaginary faces. In this paper, we investigate the use of StyleGAN in generating de-identified faces through style mixing, where the styles or features of the target face and an auxiliary face get mixed to generate a de-identified face that carries the utilities of the target face. We examined this de-identification method with respect to preserving utility and privacy, by implementing several face detection, verification, and identification attacks. Through extensive experiments and also comparing with two state-of-the-art face de-identification methods, we show that StyleGAN preserves the quality and utility of the faces much better than the other approaches and also by choosing the style mixing levels correctly, it can preserve the privacy of the faces much better than other methods.

SARS-COV-2向科学界提出了直接和间接的挑战。从大量国家的强制使用面部面具的强制使用最突出的间接挑战之一。面部识别方法在蒙版和未掩蔽的个体上努力执行具有类似准确性的身份验证。已经表明，这些方法的性能在面部掩模存在下显着下降，特别是如果参考图像是未被掩蔽的。我们提出了FocusFace，一种使用对比学习的多任务架构能够准确地执行蒙面的面部识别。该建议的架构被设计为从头开始训练或者在最先进的面部识别方法上工作，而不牺牲传统的面部识别任务中现有模型的能力。我们还探讨了设计对比学习模块的不同方法。结果以屏蔽掩蔽（M-M）和未掩蔽掩蔽（U-M）面验证性能提出。对于这两个设置，结果都与已发布的方法相提并论，但对于M-M而言，该方法能够优于与其比较的所有解决方案。我们进一步表明，当在现有方法顶部使用我们的方法时，培训计算成本在保持类似的表现时显着降低。在Github上提供了实施和培训的型号。

如果通过参考人类感知能力，他们的培训可以实现深度学习模型可以实现更大的概括吗？我们如何以实际的方式实现这一目标？本文提出了一种首次培训策略来传达大脑监督，以提高泛化（机器人）。这种新的训练方法将人类注释的显着性图纳入了一种机器人损失函数，指导了在求解给定视觉任务时从图像区域的学习特征的模型。类激活映射（CAM）机制用于探测模型在每个训练批处理中的电流显着性，与人为显着性，并惩罚模型以实现大差异。结果综合面检测任务表明，Cyborg损失导致看不见的样本的性能显着改善，这些样本由多种分类网络架构中的六个生成对抗网络（GANS）产生的面部图像组成。我们还表明，与标准损失的培训数据缩放到甚至七次甚至不能击败机器人损失的准确性。作为副作用，我们观察到，在合成面检测的任务方面增加了显式区域注释增加了人类分类性能。这项工作开启了关于如何将人类视力置于损失功能的新研究领域。本文提供了本工作中使用的所有数据，代码和预训练型号。

这项工作总结了2022年2022年国际生物识别联合会议（IJCB 2022）的IJCB被遮挡的面部识别竞赛（IJCB-OCFR-2022）。OCFR-2022从学术界吸引了总共3支参与的团队。最终，提交了六个有效的意见书，然后由组织者评估。在严重的面部阻塞面前，举行了竞争是为了应对面部识别的挑战。参与者可以自由使用任何培训数据，并且通过使用众所周知的数据集构成面部图像的部分来构建测试数据。提交的解决方案提出了创新，并以所考虑的基线表现出色。这项竞争的主要输出是具有挑战性，现实，多样化且公开可用的遮挡面部识别基准，并具有明确的评估协议。

A master face is a face image that passes face-based identity authentication for a high percentage of the population. These faces can be used to impersonate, with a high probability of success, any user, without having access to any user information. We optimize these faces for 2D and 3D face verification models, by using an evolutionary algorithm in the latent embedding space of the StyleGAN face generator. For 2D face verification, multiple evolutionary strategies are compared, and we propose a novel approach that employs a neural network to direct the search toward promising samples, without adding fitness evaluations. The results we present demonstrate that it is possible to obtain a considerable coverage of the identities in the LFW or RFW datasets with less than 10 master faces, for six leading deep face recognition systems. In 3D, we generate faces using the 2D StyleGAN2 generator and predict a 3D structure using a deep 3D face reconstruction network. When employing two different 3D face recognition systems, we are able to obtain a coverage of 40%-50%. Additionally, we present the generation of paired 2D RGB and 3D master faces, which simultaneously match 2D and 3D models with high impersonation rates.

实际上，面部识别应用由两个主要步骤组成：面部检测和特征提取。在唯一的基于视觉的解决方案中，第一步通过摄入相机流来生成单个身份的多个检测。边缘设备的实用方法应优先考虑这些身份根据其识别的一致性。从这个角度来看，我们通过将单层附加到面部标志性检测网络来提出面部质量得分回归。几乎没有额外的成本，可以通过训练单层以通过增强等监视来回归识别得分来获得面部质量得分。我们通过所有面部检测管道步骤，包括检测，跟踪和对齐方式，在Edge GPU上实施了建议的方法。全面的实验表明，通过与SOTA面部质量回归模型进行比较，在不同的数据集和现实生活中，提出的方法的效率。

面部演示攻击检测（PAD）由于欺骗欺骗性被广泛认可的脆弱性而受到越来越长。在2011年，2013年，2017年，2019年，2020年和2021年与主要生物识别和计算机视觉会议结合的八个国际竞赛中，在八个国际竞赛中评估了一系列国际竞争中的八种国际竞争中的艺术状态。研究界。在本章中，我们介绍了2019年的五个最新竞赛的设计和结果直到2021年。前两项挑战旨在评估近红外（NIR）和深度方式的多模态设置中面板的有效性。彩色相机数据，而最新的三个竞争专注于评估在传统彩色图像和视频上运行的面部垫算法的域和攻击型泛化能力。我们还讨论了从竞争中吸取的经验教训以及领域的未来挑战。

使用社交媒体网站和应用程序已经变得非常受欢迎，人们在这些网络上分享他们的照片。在这些网络上自动识别和标记人们的照片已经提出了隐私保存问题，用户寻求隐藏这些算法的方法。生成的对抗网络（GANS）被证明是非常强大的在高多样性中产生面部图像以及编辑面部图像。在本文中，我们提出了一种基于GAN的生成掩模引导的面部图像操纵（GMFIM）模型，以将无法察觉的编辑应用于输入面部图像以保护图像中的人的隐私。我们的模型由三个主要组件组成：a）面罩模块将面积从输入图像中切断并省略背景，b）用于操纵面部图像并隐藏身份的GaN的优化模块，并覆盖身份和c）用于组合输入图像的背景和操纵的去识别的面部图像的合并模块。在优化步骤的丢失功能中考虑了不同的标准，以产生与输入图像一样类似的高质量图像，同时不能通过AFR系统识别。不同数据集的实验结果表明，与最先进的方法相比，我们的模型可以实现对自动面部识别系统的更好的性能，并且它在大多数实验中捕获更高的攻击成功率。此外，我们提出的模型的产生图像具有最高的质量，更令人愉悦。

基于深卷积神经网络（CNN）的面部识别表现出归因于提取的高判别特征的卓越精度性能。然而，经常忽略了深度学习模型（深度特征）提取的功能的安全性和隐私。本文提出了从深度功能中重建面部图像，而无需访问CNN网络配置作为约束优化问题。这种优化可最大程度地减少从原始面部图像中提取的特征与重建的面部图像之间的距离。我们没有直接解决图像空间中的优化问题，而是通过寻找GAN发电机的潜在向量来重新重新制定问题，然后使用它来生成面部图像。 GAN发电机在这个新颖的框架中起着双重作用，即优化目标和面部发电机的面部分布约束。除了新颖的优化任务之外，我们还提出了一条攻击管道，以基于生成的面部图像模拟目标用户。我们的结果表明，生成的面部图像可以达到最先进的攻击率在LFW上的最先进的攻击率在I型攻击下为0.1 \％。我们的工作阐明了生物识别部署，以符合隐私和安全政策。