我们提出了一种质量感知的多模式识别框架，其将来自多个生物特征的表示与不同的质量和样本数量相结合，以通过基于样本的质量提取互补识别信息来实现增加的识别准确性。我们通过使用以弱监督时尚估计的质量分数加权，为融合输入方式的质量意识框架，以融合输入方式的融合。此框架利用两个融合块，每个融合块由一组质量感知和聚合网络表示。除了架构修改外，我们还提出了两种特定于任务特定的损耗功能：多模式可分离性损失和多模式紧凑性损失。第一个损失确保了类的模态的表示具有可比的大小来提供更好的质量估计，而不同类别的多式数代表分布以实现嵌入空间中的最大判别。第二次丢失，被认为是正规化网络权重，通过规范框架来提高泛化性能。我们通过考虑由面部，虹膜和指纹方式组成的三个多模式数据集来评估性能。通过与最先进的算法进行比较来证明框架的功效。特别是，我们的框架优于BioMdata的模式的级别和得分级别融合超过30％以获得$ 10 ^ { - 4} $ 10 ^ { - 4} $的真正验收率。

已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。

通过生物手段自动验证一个人的身份是在每天的日常活动，如在机场访问银行服务和安全控制的一个重要应用。为了提高系统的可靠性，通常使用几个生物识别设备。这种组合系统被称为多模式生物测定系统。本文报道生物安全DS2（访问控制）评估由英国萨里大学举办的活动，包括面部，指纹和虹膜的个人认证生物特征的框架内进行基准研究，在媒体针对物理访问控制中的应用-size建立一些500人。虽然多峰生物测定是公调查对象，不存在基准融合算法的比较。朝着这个目标努力，我们设计了两组实验：质量依赖性和成本敏感的评估。质量依赖性评价旨在评估融合算法如何可以在变化的原始图像的质量主要是由于设备的变化来执行。在对成本敏感的评价，另一方面，研究了一种融合算法可以如何执行给定的受限的计算和在软件和硬件故障的存在，从而导致错误，例如失败到获取和失败到匹配。由于多个捕捉设备可用，融合算法应该能够处理这种非理想但仍然真实的场景。在这两种评价中，各融合算法被提供有从每个生物统计比较子系统以及两个模板和查询数据的质量度量得分。在活动的号召的响应证明是非常令人鼓舞的，与提交22个融合系统。据我们所知，这是第一次尝试基准品质为基础多模态融合算法。

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

可见光面图像匹配是跨模型识别的具有挑战性的变化。挑战在于，可见和热模式之间的较大的模态间隙和低相关性。现有方法采用图像预处理，特征提取或常见的子空间投影，它们本身是独立的问题。在本文中，我们提出了一种用于交叉模态面部识别的端到端框架。该算法的旨在从未处理的面部图像学习身份鉴别特征，并识别跨模态图像对。提出了一种新颖的单元级丢失，用于在丢弃模态信息时保留身份信息。另外，提出用于将图像对分类能力集成到网络中的跨模判位块。所提出的网络可用于提取无关的矢量表示或测试图像的匹配对分类。我们对五个独立数据库的跨型号人脸识别实验表明，该方法实现了对现有最先进的方法的显着改善。

近年来，围面识别被制定为有价值的生物识别方法，特别是在野生环境中（例如，由于Covid-19大流行导致的遮阳面），其中面部识别可能不适用。本文提出了一种名为基于属性的深周相识别（ADPR）的新的深周围识别框架，其预测软生物学测量，并将预测结合到周边识别算法中，以确定具有高精度的围绕围绕围绕图像的标识。我们提出了一个端到端的框架，它使用了几个共享卷积神经网络（CNN）层（公共网络），其输出馈送两个单独的专用分支（模态专用层）;第一分支在第二分支预测软管生物识别技术的同时分类周边图像。接下来，来自这两个分支的特征融合在一起以获得最终的周边识别。所提出的方法与现有方法不同，因为它不仅使用共享的CNN特征空间来共同培训这两个任务，而且还融合了预测的软生物识别功能，具有训练步骤中的周边特征，以提高整体周边识别性能。我们的建议模型使用四个不同的公共数据集进行了广泛的评估。实验结果表明，基于软生物识别的外观识别方法优于野生环境中的其他最先进的方法。

匹配的非接触式指纹或手指照片到基于接触的指纹印象在Covid-19尾之后，由于非接触式采集的优越性卫生以及能够以足够的分辨率捕获指纹照片的低成本移动电话的广泛可用性用于验证目的。本文介绍了一个名为C2CL的端到端自动化系统，包括移动手指照片捕获应用，预处理和匹配算法，以处理抑制先前交叉匹配方法的挑战;即i）低脊谷非接触式指纹对比，II）不同卷，俯仰，偏航和手指的距离，III的距离，III）非线性扭曲的基于接触的指纹，和VI）智能手机的不同图像质量。相机。我们的预处理算法段，增强，尺度和不可接受的非接触式指纹，而我们的匹配算法提取细节和纹理表示。使用我们的移动捕获App获取的206个受理接触式2D指纹和基于相应的基于接触的指纹的DataSet和来自206个受试者（每个受试者的2拇指和2个索引手指的指纹）用于评估我们所提出的算法的跨数据库性能。此外，在3个公共数据集上的额外实验结果表明，最先进的与非接触式指纹匹配（焦油为96.67％至98.30％，= 0.01％的焦油）显着提高。

随着对手工卫生的需求不断增长和使用的便利性，掌上识别最近具有淡淡的发展，为人识别提供了有效的解决方案。尽管已经致力于该地区的许多努力，但仍然不确定无接触棕榈污染的辨别能力，特别是对于大规模数据集。为了解决问题，在本文中，我们构建了一个大型无尺寸的棕榈纹数据集，其中包含了来自1167人的2334个棕榈手机。为了我们的最佳知识，它是有史以来最大的非接触式手掌形象基准，而是关于个人和棕榈树的数量收集。此外，我们提出了一个名为3DCPN（3D卷积棕榈识别网络）的无棕榈识别的新型深度学习框架，它利用3D卷积来动态地集成多个Gabor功能。在3DCPN中，嵌入到第一层中的新颖变体以增强曲线特征提取。通过精心设计的集合方案，然后将低级别的3D功能卷积以提取高级功能。最后在顶部，我们设置了基于地区的损失功能，以加强全局和本地描述符的辨别能力。为了展示我们方法的优越性，在我们的数据集和其他流行数据库同济和IITD上进行了广泛的实验，其中结果显示了所提出的3DCPN实现最先进的或可比性的性能。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.

在这项工作中，我们设计了一个完全复杂的神经网络，用于虹膜识别的任务。与一般物体识别的问题不同，在实际值的神经网络可以用于提取相关特征的情况下，虹膜识别取决于从输入的虹膜纹理提取两个相位和幅度信息，以便更好地表示其生物识别内容。这需要提取和处理不能由实值神经网络有效处理的相位信息。在这方面，我们设计了一个完全复杂的神经网络，可以更好地捕获虹膜纹理的多尺度，多分辨率和多向阶段和多向阶段和幅度特征。我们展示了具有用于生成经典iRIscode的Gabor小波的提出的复合值虹膜识别网络的强烈对应关系;然而，所提出的方法使得能够为IRIS识别量身定​​制的自动复数特征学习的新能力。我们对三个基准数据集进行实验 - Nd-Crosssensor-2013，Casia-Iris-千和Ubiris.v2 - 并显示了拟议网络的虹膜识别任务的好处。我们利用可视化方案来传达复合网络的方式，与标准的实际网络相比，从虹膜纹理提取根本不同的特征。

Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by L 2 normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.

In modern face recognition, the conventional pipeline consists of four stages: detect ⇒ align ⇒ represent ⇒ classify. We revisit both the alignment step and the representation step by employing explicit 3D face modeling in order to apply a piecewise affine transformation, and derive a face representation from a nine-layer deep neural network. This deep network involves more than 120 million parameters using several locally connected layers without weight sharing, rather than the standard convolutional layers. Thus we trained it on the largest facial dataset to-date, an identity labeled dataset of four million facial images belonging to more than 4,000 identities. The learned representations coupling the accurate model-based alignment with the large facial database generalize remarkably well to faces in unconstrained environments, even with a simple classifier. Our method reaches an accuracy of 97.35% on the Labeled Faces in the Wild (LFW) dataset, reducing the error of the current state of the art by more than 27%, closely approaching human-level performance.

虹膜呈现攻击检测（iPad）对于确保个人身份至关重要是广泛使用的虹膜识别系统。然而，由于在不受约束的环境中捕获和攻击样本之间的高视觉相关性，现有的iPad算法不会概括到看不见和跨域场景。虹膜眼镜图像复杂纹理和形态模式的这些相似之处进一步促进了性能降解。为了减轻这些缺点，本文提出了DFCanet：密集特征校准和注意力引导网络，其校准了与全球位于全球位于局部涂抹的虹膜模式。从特征校准卷积和剩余学习中振衡优势，DFCanet会生成特定于域的IRIS特征表示。由于校准特征映射中的一些通道包含更突出的信息，因此我们通过通道注意机制利用频道跨越渠道的鉴别特征学习。为了加强挑战我们所提出的模型，我们使DFCanet通过非统一和非归一化的眼虹膜图像运行。在挑战性跨域和域内场景中进行的广泛实验突出了一致的表现优势。与最先进的方法相比，DFCanet分别实现了基准IIITD CLI，IIIT CSD和NDCLD13数据库的性能显着提升。此外，已经引入了一种新的基于增量学习的方法，以克服解散的虹膜数据特征和数据稀缺。本文还追求了在各种跨域协议下进行评估的攻击类别下进行软镜头的具有挑战性的情景。该代码将公开可用。

指纹证据在识别个人的刑事调查中起着重要作用。尽管已经提出了各种指纹分类和特征提取的技术，但指纹的自动指纹识别仍处于最早的阶段。传统\ textIt {自动指纹识别系统}（AFIS）的性能取决于有效的小小的点，并且仍然需要人类的专家协助在功能提取和识别阶段。基于这种动机，我们提出了一种基于生成对抗网络和一声学习技术（FIGO）的指纹识别方法。我们的解决方案包含两个组件：指纹增强层和指纹识别层。首先，我们提出了一个PIX2PIX模型，将低质量的指纹图像转换为直接在指纹增强层中的Pixel的高水平的指纹图像像素。通过提出的增强算法，指纹识别模型的性能得到了显着提高。此外，我们通过观察指纹设备的识别精度来开发基于Gabor过滤器的另一种现有解决方案，作为与建议模型进行比较的基准。实验结果表明，我们提出的PIX2PIX模型比指纹识别的基线方法具有更好的支持。其次，我们使用单次学习方法在指纹识别过程中构建一个完全自动化的指纹特征提取模型。两个具有共享权重和参数的双卷积神经网络（CNN）用于在此过程中获得特征向量。使用提出的方法，我们证明只能以高精度从一个培训样本中学习必要的信息。

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

我们提出了一条新型的神经管道Msgazenet，该管道通过通过多发射框架利用眼睛解剖学信息来学习凝视的表示。我们提出的解决方案包括两个组件，首先是一个用于隔离解剖眼区域的网络，以及第二个用于多发达凝视估计的网络。眼睛区域的隔离是通过U-NET样式网络进行的，我们使用合成数据集训练该网络，该数据集包含可见眼球和虹膜区域的眼睛区域掩模。此阶段使用的合成数据集是一个由60,000张眼睛图像组成的新数据集，我们使用眼视线模拟器Unityeyes创建。然后将眼睛区域隔离网络转移到真实域，以生成真实世界图像的面具。为了成功进行转移，我们在训练过程中利用域随机化，这允许合成图像从较大的差异中受益，并在类似于伪影的增强的帮助下从更大的差异中受益。然后，生成的眼睛区域掩模与原始眼睛图像一起用作我们凝视估计网络的多式输入。我们在三个基准凝视估计数据集（Mpiigaze，Eyediap和Utmultiview）上评估框架，在那里我们通过分别获得7.57％和1.85％的性能，在Eyediap和Utmultiview数据集上设置了新的最新技术Mpiigaze的竞争性能。我们还研究了方法在数据中的噪声方面的鲁棒性，并证明我们的模型对噪声数据不太敏感。最后，我们执行各种实验，包括消融研究，以评估解决方案中不同组件和设计选择的贡献。

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.