面部识别系统必须处理可能导致匹配决策不正确的大型变量(例如不同的姿势,照明和表达)。这些可变性可以根据面部图像质量来测量,这在样本的效用上定义了用于识别的实用性。以前的识别作品不使用这种有价值的信息或利用非本质上的质量估算。在这项工作中,我们提出了一种简单且有效的面部识别解决方案(Qmagface),其将质量感知的比较分数与基于大小感知角裕度损耗的识别模型相结合。所提出的方法包括比较过程中特定于模型的面部图像质量,以增强在无约束情况下的识别性能。利用利用损失诱导的质量与其比较评分之间的线性,我们的质量意识比较功能简单且高度普遍。在几个面部识别数据库和基准上进行的实验表明,引入的质量意识导致识别性能一致的改进。此外,所提出的Qmagface方法在挑战性环境下特别好,例如交叉姿势,跨年或跨品。因此,它导致最先进的性能在几个面部识别基准上,例如在XQLFQ上的98.50%,83.97%,CFP-FP上的98.74%。 QMagface的代码是公开可用的。
translated by 谷歌翻译
面部图像的质量显着影响底层识别算法的性能。面部图像质量评估(FIQA)估计捕获的图像的效用在实现可靠和准确的识别性能方面。在这项工作中,我们提出了一种新的学习范式,可以在培训过程中学习内部网络观察。基于此,我们所提出的CR-FiQA使用该范例来通过预测其相对分类性来估计样品的面部图像质量。基于关于其类中心和最近的负类中心的角度空间中的训练样本特征表示来测量该分类性。我们通过实验说明了面部图像质量与样本相对分类性之间的相关性。由于此类属性仅为培训数据集可观察到,因此我们建议从培训数据集中学习此属性,并利用它来预测看不见样品的质量措施。该培训同时执行,同时通过用于面部识别模型训练的角度裕度罚款的软墨损失来优化类中心。通过对八个基准和四个面部识别模型的广泛评估实验,我们展示了我们提出的CR-FiQA在最先进(SOTA)FIQ算法上的优越性。
translated by 谷歌翻译
学习歧视性面部特征在建立高性能面部识别模型方面发挥着重要作用。最近的最先进的面部识别解决方案,提出了一种在常用的分类损失函数,Softmax损失中纳入固定的惩罚率,通过最大限度地减少级别的变化来增加面部识别模型的辨别力并最大化级别的帧间变化。边缘惩罚Softmax损失,如arcFace和Cosface,假设可以使用固定的惩罚余量同样地学习不同身份之间的测地距。然而,这种学习目标对于具有不一致的间帧内变化的真实数据并不是现实的,这可能限制了面部识别模型的判别和概括性。在本文中,我们通过提出弹性罚款损失(弹性面)来放松固定的罚款边缘约束,这允许在推动阶级可分离性中灵活性。主要思想是利用从每个训练迭代中的正常分布中汲取的随机保证金值。这旨在提供决策边界机会,以提取和缩回,以允许灵活的类别可分离学习的空间。我们展示了在大量主流基准上使用相同的几何变换,展示了我们的弹性面损失和COSFace损失的优势。从更广泛的角度来看,我们的弹性面在九个主流基准中提出了最先进的面部识别性能。
translated by 谷歌翻译
在人脸识别系统中实现高性能的必要因素是其样本的质量。由于这些系统涉及各种日常生活,因此对人类可以理解的面部识别过程具有很强的需要。在这项工作中,我们介绍了像素级面部图像质量的概念,该概念确定面部图像中像素的效用以进行识别。鉴于任意面部识别网络,在这项工作中,我们提出了一种无培训方法来评估面部图像的像素级质量。为此,估计输入图像的特定模型质量值并用于构建特定于样本的质量回归模型。基于该模型,基于质量的梯度被回到传播并转换为像素级质量估计。在实验中,我们基于真实和人工扰动的基于实际和人工障碍来定量和定量地研究了像素级质量的有意义性。在所有场景中,结果表明,所提出的解决方案产生有意义的像素级质量。该代码可公开可用。
translated by 谷歌翻译
Recent state-of-the-art face recognition (FR) approaches have achieved impressive performance, yet unconstrained face recognition still represents an open problem. Face image quality assessment (FIQA) approaches aim to estimate the quality of the input samples that can help provide information on the confidence of the recognition decision and eventually lead to improved results in challenging scenarios. While much progress has been made in face image quality assessment in recent years, computing reliable quality scores for diverse facial images and FR models remains challenging. In this paper, we propose a novel approach to face image quality assessment, called FaceQAN, that is based on adversarial examples and relies on the analysis of adversarial noise which can be calculated with any FR model learned by using some form of gradient descent. As such, the proposed approach is the first to link image quality to adversarial attacks. Comprehensive (cross-model as well as model-specific) experiments are conducted with four benchmark datasets, i.e., LFW, CFP-FP, XQLFW and IJB-C, four FR models, i.e., CosFace, ArcFace, CurricularFace and ElasticFace, and in comparison to seven state-of-the-art FIQA methods to demonstrate the performance of FaceQAN. Experimental results show that FaceQAN achieves competitive results, while exhibiting several desirable characteristics.
translated by 谷歌翻译
Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.
translated by 谷歌翻译
自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中,已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力,面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始,最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能,但许多现代数据集仅结合了影响面部识别的不同因素,例如面部姿势,遮挡,照明,面部表情和图像质量。当算法在这些数据集上产生错误时,尚不清楚哪些因素导致了此错误,因此,没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品,最终于2016年发表,显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较,我们证明了在强烈的遮挡下,某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题,而具有低分辨率图像的识别,极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点,我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码,这很容易扩展,因此在我们的评估中利用自己的深网只有几分钟的路程。
translated by 谷歌翻译
全球Covid-19大流行的出现会给生物识别技术带来新的挑战。不仅是非接触式生物识别选项变得更加重要,而且最近也遇到了频繁的面具的面对面识别。这些掩模会影响前面识别系统的性能,因为它们隐藏了重要的身份信息。在本文中,我们提出了一种掩模不变的面部识别解决方案(MaskInv),其利用训练范例内的模板级知识蒸馏,其旨在产生类似于相同身份的非掩盖面的掩模面的嵌入面。除了蒸馏知识外,学生网络还通过基于边缘的身份分类损失,弹性面,使用遮蔽和非蒙面面的额外指导。在两个真正蒙面面部数据库和具有合成面具的五个主流数据库的逐步消融研究中,我们证明了我们的maskinV方法的合理化。我们所提出的解决方案优于先前的最先进(SOTA)在最近的MFRC-21挑战中的学术解决方案,屏蔽和屏蔽VS非屏蔽,并且还优于MFR2数据集上的先前解决方案。此外,我们证明所提出的模型仍然可以在缺陷的面上表现良好,只有在验证性能下的少量损失。代码,培训的模型以及合成屏蔽数据的评估协议是公开的:https://github.com/fdbtrs/masked-face-recognition-kd。
translated by 谷歌翻译
Face image quality assessment (FIQA) attempts to improve face recognition (FR) performance by providing additional information about sample quality. Because FIQA methods attempt to estimate the utility of a sample for face recognition, it is reasonable to assume that these methods are heavily influenced by the underlying face recognition system. Although modern face recognition systems are known to perform well, several studies have found that such systems often exhibit problems with demographic bias. It is therefore likely that such problems are also present with FIQA techniques. To investigate the demographic biases associated with FIQA approaches, this paper presents a comprehensive study involving a variety of quality assessment methods (general-purpose image quality assessment, supervised face quality assessment, and unsupervised face quality assessment methods) and three diverse state-of-theart FR models. Our analysis on the Balanced Faces in the Wild (BFW) dataset shows that all techniques considered are affected more by variations in race than sex. While the general-purpose image quality assessment methods appear to be less biased with respect to the two demographic factors considered, the supervised and unsupervised face image quality assessment methods both show strong bias with a tendency to favor white individuals (of either sex). In addition, we found that methods that are less racially biased perform worse overall. This suggests that the observed bias in FIQA methods is to a significant extent related to the underlying face recognition system.
translated by 谷歌翻译
图像分辨率或一般图像质量在当今面部识别系统的性能中起着至关重要的作用。为了解决这个问题,我们提出了一种流行的三胞胎损失的新型组合,以通过微调现有面部识别模型来提高与图像分辨率的鲁棒性。随着八度损失,我们利用高分辨率图像及其合成下采样变体之间的关系与其身份标签共同采样。通过我们的方法对几种最先进的方法进行微调证明,我们可以在各种数据集上显着提高跨分辨率(高低分辨率)面部验证的性能,而不会有意义地加剧高高度的性能分辨率图像。我们的方法应用于FaceTransFormer网络,在挑战性的XQLFW数据集上达到95.12%的面对验证精度,同时在LFW数据库上达到99.73%。此外,低到低面验证精度从我们的方法中受益。我们发布我们的代码,以允许将OCTUPLET损失的无缝集成到现有框架中。
translated by 谷歌翻译
基于软马克斯的损失函数及其变体(例如,界面,圆顶和弧形)可显着改善野生无约束场景中的面部识别性能。这些算法的一种常见实践是对嵌入特征和线性转换矩阵之间的乘法进行优化。但是,在大多数情况下,基于传统的设计经验给出了嵌入功能的尺寸,并且在给出固定尺寸时,使用该功能本身提高性能的研究较少。为了应对这一挑战,本文提出了一种称为subface的软关系近似方法,该方法采用了子空间功能来促进面部识别的性能。具体而言,我们在训练过程中动态选择每个批次中的非重叠子空间特征,然后使用子空间特征在基于软磁性的损失之间近似完整功能,因此,深层模型的可区分性可以显着增强,以增强面部识别。在基准数据集上进行的综合实验表明,我们的方法可以显着提高香草CNN基线的性能,这强烈证明了基于利润率的损失的子空间策略的有效性。
translated by 谷歌翻译
变形攻击是一种表现攻击的一种形式,近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此,此操作提出了与旅行或身份文件的能力有关的严重安全问题,该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题,但是,主要目标是定量证明产生的变形攻击的现实外观。我们认为,与真正的样品相比,变形过程可能会影响面部识别(FR)中的感知图像质量和图像实用程序。为了研究这一理论,这项工作对变形对面部图像质量的影响进行了广泛的分析,包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术,而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上,并研究基于质量得分进行无监督的变形攻击检测(MAD)的可能性。我们的研究探索了intra和数据库间的可检测性,以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出,一组质量措施(例如岩石和CNNIQA)可用于执行无监督和普遍的MAD,正确的分类精度超过70%。
translated by 谷歌翻译
Person recognition at a distance entails recognizing the identity of an individual appearing in images or videos collected by long-range imaging systems such as drones or surveillance cameras. Despite recent advances in deep convolutional neural networks (DCNNs), this remains challenging. Images or videos collected by long-range cameras often suffer from atmospheric turbulence, blur, low-resolution, unconstrained poses, and poor illumination. In this paper, we provide a brief survey of recent advances in person recognition at a distance. In particular, we review recent work in multi-spectral face verification, person re-identification, and gait-based analysis techniques. Furthermore, we discuss the merits and drawbacks of existing approaches and identify important, yet under explored challenges for deploying remote person recognition systems in-the-wild.
translated by 谷歌翻译
使用面部作为生物识别标识特征是通过捕获过程的非接触性质和识别算法的高准确度的激励。在目前的Covid-19大流行之后,在公共场所施加了面膜,以保持大流行。然而,由于戴着面具而面的遮挡是面部识别系统的新出现挑战。在本文中,我们提出了一种改进掩蔽面部识别性能的解决方案。具体地,我们提出了在现有面部识别模型的顶部操作的嵌入揭露模型(EUM)。我们还提出了一种新颖的损失功能,自限制的三态(SRT),使欧莱斯能够产生类似于相同身份的未掩蔽面的嵌入物。实现了三个面部识别模型,两个真实屏蔽数据集和两个合成产生的掩蔽面部数据集所取得的评价结果​​证明我们的提出方法在大多数实验环境中显着提高了性能。
translated by 谷歌翻译
文献中提出的最新深层识别模型利用了大规模的公共数据集(例如MS-CELEB-1M和VGGFACE2)来培训非常深的神经网络,从而在主流基准上实现了最先进的表现。最近,由于可靠的隐私和道德问题,许多这些数据集(例如MS-CELEB-1M和VGGFACE2)被撤回。这激发了这项工作提出和调查使用隐私友好型合成生成的面部数据集来训练面部识别模型的可行性。为此,我们利用类别条件生成的对抗网络来生成类标记的合成面部图像,即sface。为了解决使用此类数据训练面部识别模型的隐私方面,我们提供了有关合成数据集与用于训练生成模型的原始真实数据集之间的身份关系的广泛评估实验。我们报告的评估证明,将真实数据集与合成数据集中的同一类标签相关联是不可能的。我们还建议使用三种不同的学习策略,多级分类,无标签的知识转移以及多级分类和知识转移的联合学习,对我们的隐私友好数据集进行识别。报告的五个真实面部基准的评估结果表明,隐私友好的合成数据集具有很高的潜力,可用于训练面部识别模型,例如,使用多级分类和99.13在LFW上实现91.87 \%的验证精度。 \%使用联合学习策略。
translated by 谷歌翻译
Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by L 2 normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.
translated by 谷歌翻译
导出无监督或基于统计的面部图像质量评估(FIQ)方法的解释性是挑战性的。在这项工作中,我们提出了一种新颖的可解释工具,可以推导出不同FIQA决策的推理及其人脸识别(FR)性能影响。我们避免通过在处理具有不同FIQA决策的样本时对FR模型的行为进行分析来限制我们的工具对某些FIQA方法的部署。这导致可解释可以使用任何基于CNN的FIQ方法应用于使用激活映射的FIQA方法来展示用于从面部嵌入的网络的激活来展示网络的激活。为了避免FR模型中的低质量和高质量图像的一般空间激活映射之间的低鉴别,我们通过分析具有不同质量决策的图像集的FR激活图的变化来在更高的衍生空间中构建我们的解释工具。我们通过呈现帧间和内部 - FIQ方法分析,展示我们的工具并分析了四种FIQ方法的调查结果。我们提出的工具和基于其他结论的分析指出,在其他结论中,高质量的图像通常会对中心面区域以外的区域导致一致的低激活,而尽管普遍低激活,但具有低质量的图像,具有高差异在这些区域的激活。我们的解释工具还扩展到分析单个图像,在那里我们表明低质量的图像倾向于具有FR模型空间激活,其强烈地不同于来自高质量图像的预期,其中这种差异也倾向于在外面的区域内出现更多中心面部区域并且确实对应于极端姿势和面部闭合等问题。此处可以访问所提出的工具的实现[链接]。
translated by 谷歌翻译
分解表示形式通常被用于年龄不变的面部识别(AIFR)任务。但是,这些方法已经达到了一些局限性,(1)具有年龄标签的大规模面部识别(FR)培训数据的要求,这在实践中受到限制; (2)高性能的重型深网架构; (3)他们的评估通常是在与年龄相关的面部数据库上进行的,同时忽略了标准的大规模FR数据库以确保鲁棒性。这项工作提出了一种新颖的轻巧的角度蒸馏(LIAAD)方法,用于克服这些限制的大规模轻量级AIFR。鉴于两个具有不同专业知识的教师,LIAAD引入了学习范式,以有效地提炼老年人的专注和棱角分明的知识,从这些老师到轻量级的学生网络,使其更强大,以更高的fr准确性和稳健的年龄,从而有效地提炼了一个学习范式因素。因此,LIAAD方法能够采用带有和不具有年龄标签的两个FR数据集的优势来训练AIFR模型。除了先前的蒸馏方法主要关注封闭设置问题中的准确性和压缩比,我们的LIAAD旨在解决开放式问题,即大规模的面部识别。对LFW,IJB-B和IJB-C Janus,AgeDB和Megaface-Fgnet的评估证明了拟议方法在轻重量结构上的效率。这项工作还提出了一个新的纵向面部衰老(Logiface)数据库\ footNote {将提供该数据库},以进一步研究未来与年龄相关的面部问题。
translated by 谷歌翻译
我们提出了一种质量感知的多模式识别框架,其将来自多个生物特征的表示与不同的质量和样本数量相结合,以通过基于样本的质量提取互补识别信息来实现增加的识别准确性。我们通过使用以弱监督时尚估计的质量分数加权,为融合输入方式的质量意识框架,以融合输入方式的融合。此框架利用两个融合块,每个融合块由一组质量感知和聚合网络表示。除了架构修改外,我们还提出了两种特定于任务特定的损耗功能:多模式可分离性损失和多模式紧凑性损失。第一个损失确保了类的模态的表示具有可比的大小来提供更好的质量估计,而不同类别的多式数代表分布以实现嵌入空间中的最大判别。第二次丢失,被认为是正规化网络权重,通过规范框架来提高泛化性能。我们通过考虑由面部,虹膜和指纹方式组成的三个多模式数据集来评估性能。通过与最先进的算法进行比较来证明框架的功效。特别是,我们的框架优于BioMdata的模式的级别和得分级别融合超过30%以获得$ 10 ^ { - 4} $ 10 ^ { - 4} $的真正验收率。
translated by 谷歌翻译
在本文中,我们试图在抽象嵌入空间中绘制额叶和轮廓面图像之间的连接。我们使用耦合编码器网络利用此连接将额叶/配置文件的面部图像投影到一个常见的潜在嵌入空间中。提出的模型通过最大化面部两种视图之间的相互信息来迫使嵌入空间中表示的相似性。拟议的耦合编码器从三个贡献中受益于与极端姿势差异的匹配面。首先,我们利用我们的姿势意识到的对比学习来最大程度地提高身份额叶和概况表示之间的相互信息。其次,由在过去的迭代中积累的潜在表示组成的内存缓冲区已集成到模型中,因此它可以比小批量大小相对较多的实例。第三,一种新颖的姿势感知的对抗结构域适应方法迫使模型学习从轮廓到额叶表示的不对称映射。在我们的框架中,耦合编码器学会了扩大真实面孔和冒名顶替面部分布之间的边距,这导致了相同身份的不同观点之间的高度相互信息。通过对四个基准数据集的广泛实验,评估和消融研究来研究拟议模型的有效性,并与引人入胜的最新算法进行比较。
translated by 谷歌翻译