近年来，由于深度学习体系结构的有希望的进步，面部识别系统取得了非凡的成功。但是，当将配置图像与额叶图像的画廊匹配时，它们仍然无法实现预期的准确性。当前方法要么执行姿势归一化（即额叶化）或脱离姿势信息以进行面部识别。相反，我们提出了一种新方法，通过注意机制将姿势用作辅助信息。在本文中，我们假设使用注意机制姿势参加的信息可以指导剖面面上的上下文和独特的特征提取，从而进一步使嵌入式域中的更好表示形式学习。为了实现这一目标，首先，我们设计了一个统一的耦合曲线到额定面部识别网络。它通过特定于类的对比损失来学习从面孔到紧凑的嵌入子空间的映射。其次，我们开发了一个新颖的姿势注意力块（PAB），以专门指导从剖面面上提取姿势 - 不合稳定的特征。更具体地说，PAB旨在显式地帮助网络沿着频道和空间维度沿着频道和空间维度的重要特征，同时学习嵌入式子空间中的歧视性但构成不变的特征。为了验证我们提出的方法的有效性，我们对包括多PIE，CFP，IJBC在内的受控和野生基准进行实验，并在艺术状态下表现出优势。

在本文中，我们试图在抽象嵌入空间中绘制额叶和轮廓面图像之间的连接。我们使用耦合编码器网络利用此连接将额叶/配置文件的面部图像投影到一个常见的潜在嵌入空间中。提出的模型通过最大化面部两种视图之间的相互信息来迫使嵌入空间中表示的相似性。拟议的耦合编码器从三个贡献中受益于与极端姿势差异的匹配面。首先，我们利用我们的姿势意识到的对比学习来最大程度地提高身份额叶和概况表示之间的相互信息。其次，由在过去的迭代中积累的潜在表示组成的内存缓冲区已集成到模型中，因此它可以比小批量大小相对较多的实例。第三，一种新颖的姿势感知的对抗结构域适应方法迫使模型学习从轮廓到额叶表示的不对称映射。在我们的框架中，耦合编码器学会了扩大真实面孔和冒名顶替面部分布之间的边距，这导致了相同身份的不同观点之间的高度相互信息。通过对四个基准数据集的广泛实验，评估和消融研究来研究拟议模型的有效性，并与引人入胜的最新算法进行比较。

姿势变异是人脸识别的关键挑战之一。常规技术主要关注面部正利化或图像空间中的面部增强。然而，不保证在图像空间中转换面部图像以保留原始图像的无损身份特征。此外，由于附加模型，这些方法遭受更多的计算成本和内存要求。我们认为，更希望在分层特​​征空间而不是图像空间中执行特征转换，这可以利用不同的特征级别，并利益与表示学习的联合学习。为此，我们提出了一种轻量级且易于实施的注意力块，名为Pose Intence Module（PAM），用于姿势不变的人脸识别。具体地，PAM通过使用软栅极机制的姿势变化之间的剩余来执行分层特征空间中的前型特征变换。我们通过广泛的消融研究验证了PAM块设计的有效性，并验证了几种流行基准的性能，包括LFW，CFP-FP，Agedb-30，CPLFW和Calfw。实验结果表明，我们的方法不仅优于最先进的方法，而且有效地降低了超过75倍的内存要求。值得注意的是，我们的方法不仅限于与大的姿态变化的面对识别。通过将PAM的软栅极机构调整为特定系数，这种语义关注块可以容易地扩展到面部识别中的其他类别的不平衡问题，包括年龄，照明，表达等的大变化。

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

Person recognition at a distance entails recognizing the identity of an individual appearing in images or videos collected by long-range imaging systems such as drones or surveillance cameras. Despite recent advances in deep convolutional neural networks (DCNNs), this remains challenging. Images or videos collected by long-range cameras often suffer from atmospheric turbulence, blur, low-resolution, unconstrained poses, and poor illumination. In this paper, we provide a brief survey of recent advances in person recognition at a distance. In particular, we review recent work in multi-spectral face verification, person re-identification, and gait-based analysis techniques. Furthermore, we discuss the merits and drawbacks of existing approaches and identify important, yet under explored challenges for deploying remote person recognition systems in-the-wild.

Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.

可见光面图像匹配是跨模型识别的具有挑战性的变化。挑战在于，可见和热模式之间的较大的模态间隙和低相关性。现有方法采用图像预处理，特征提取或常见的子空间投影，它们本身是独立的问题。在本文中，我们提出了一种用于交叉模态面部识别的端到端框架。该算法的旨在从未处理的面部图像学习身份鉴别特征，并识别跨模态图像对。提出了一种新颖的单元级丢失，用于在丢弃模态信息时保留身份信息。另外，提出用于将图像对分类能力集成到网络中的跨模判位块。所提出的网络可用于提取无关的矢量表示或测试图像的匹配对分类。我们对五个独立数据库的跨型号人脸识别实验表明，该方法实现了对现有最先进的方法的显着改善。

基于软马克斯的损失函数及其变体（例如，界面，圆顶和弧形）可显着改善野生无约束场景中的面部识别性能。这些算法的一种常见实践是对嵌入特征和线性转换矩阵之间的乘法进行优化。但是，在大多数情况下，基于传统的设计经验给出了嵌入功能的尺寸，并且在给出固定尺寸时，使用该功能本身提高性能的研究较少。为了应对这一挑战，本文提出了一种称为subface的软关系近似方法，该方法采用了子空间功能来促进面部识别的性能。具体而言，我们在训练过程中动态选择每个批次中的非重叠子空间特征，然后使用子空间特征在基于软磁性的损失之间近似完整功能，因此，深层模型的可区分性可以显着增强，以增强面部识别。在基准数据集上进行的综合实验表明，我们的方法可以显着提高香草CNN基线的性能，这强烈证明了基于利润率的损失的子空间策略的有效性。

近年来，围面识别被制定为有价值的生物识别方法，特别是在野生环境中（例如，由于Covid-19大流行导致的遮阳面），其中面部识别可能不适用。本文提出了一种名为基于属性的深周相识别（ADPR）的新的深周围识别框架，其预测软生物学测量，并将预测结合到周边识别算法中，以确定具有高精度的围绕围绕围绕图像的标识。我们提出了一个端到端的框架，它使用了几个共享卷积神经网络（CNN）层（公共网络），其输出馈送两个单独的专用分支（模态专用层）;第一分支在第二分支预测软管生物识别技术的同时分类周边图像。接下来，来自这两个分支的特征融合在一起以获得最终的周边识别。所提出的方法与现有方法不同，因为它不仅使用共享的CNN特征空间来共同培训这两个任务，而且还融合了预测的软生物识别功能，具有训练步骤中的周边特征，以提高整体周边识别性能。我们的建议模型使用四个不同的公共数据集进行了广泛的评估。实验结果表明，基于软生物识别的外观识别方法优于野生环境中的其他最先进的方法。

异质的面部识别（HFR）旨在匹配不同域（例如，可见到近红外图像）的面孔，该面孔已被广泛应用于身份验证和取证方案。但是，HFR是一个具有挑战性的问题，因为跨域差异很大，异质数据对有限和面部属性变化很大。为了应对这些挑战，我们从异质数据增强的角度提出了一种新的HFR方法，该方法称为面部合成，具有身份 - 属性分解（FSIAD）。首先，身份属性分解（IAD）将图像截取到与身份相关的表示和与身份无关的表示（称为属性）中，然后降低身份和属性之间的相关性。其次，我们设计了一个面部合成模块（FSM），以生成大量具有分离的身份和属性的随机组合的图像，以丰富合成图像的属性多样性。原始图像和合成图像均被用于训练HFR网络，以应对挑战并提高HFR的性能。在五个HFR数据库上进行的广泛实验验证了FSIAD的性能比以前的HFR方法更高。特别是，FSIAD以vr@far = 0.01%在LAMP-HQ上获得了4.8％的改善，这是迄今为止最大的HFR数据库。

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

深度卷积神经网络（DCNNS）的最新进展显示了热量的性能改进，可见的脸部合成和匹配问题。然而，当前的基于DCNN的合成模型在具有大姿势变化的热面上不太良好。为了处理该问题，需要异构面部额定化方法，其中模型采用热剖面图像并产生正面可见面。这是由于大域的一个极其困难的问题，以及两个模式之间的大姿态差异。尽管其在生物识别和监测中存在应用，但文献中的这种问题相对未探索。我们提出了一种域名不可知论的基于学习的生成对抗网络（DAL-GAN），其可以通过具有姿势变化的热面来合成可见域中的前视图。 Dal-GaN由具有辅助分类器的发电机和两个鉴别器，捕获局部和全局纹理鉴别以获得更好的合成。在双路径训练策略的帮助下，在发电机的潜在空间中强制实施对比度约束，这改善了特征向量辨别。最后，利用多功能损失函数来指导网络合成保存跨域累加的身份。广泛的实验结果表明，与其他基线方法相比，Dal-GaN可以产生更好的质量正面视图。

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

许多最近的作品通过基于参数模型聚集了相同的身份的形状参数并将不同人的形状参数聚集在一起（例如，3D可变模型（3DMMS））来重建独特的3D面形状。然而，尽管使用这些形状参数的面部识别任务中的高精度，但是从那些参数重建的面部形状的视觉辨别是不令人满意的。以下研究尚未回答以下研究问题：做差异的形状参数保证所代表的3D面形状的视觉歧视吗？本文分析了形状参数与重建形状几何之间的关系，提出了一种新颖的形状相同感知正则化（SIR）损耗的形状参数，旨在增加形状参数和形状几何域中的辨别性。此外，为了应对包含地标和身份注释的缺乏培训数据，我们提出了一种网络结构和相关的培训策略，以利用包含身份或地标标签的混合数据。我们将我们的方法与现有方法进行比较重建误差，视觉区分性和形状参数的面部识别准确性。实验结果表明，我们的方法优于最先进的方法。

尽管在面部识别方面取得了重大进展（FR），但由于半约束训练数据集和无约束的测试方案之间的域间隙，在不受约束的环境中FR仍然具有挑战性。为了解决此问题，我们提出了一个可控的面部合成模型（CFSM），该模型可以模仿样式潜在空间中目标数据集的分布。CFSM在样式潜在空间中学习了一个线性子空间，并具有对综合多样性和程度的精确控制。此外，预先训练的合成模型可以由FR模型指导，从而使所得图像对FR模型训练更有益。此外，目标数据集分布的特征是学到的正交碱基，可以用来测量面部数据集之间的分布相似性。我们的方法在不受约束的基准测试中获得了显着的性能提高，例如IJB-B，IJB-C，TinyFace和IJB-S（+5.76％rank1）。

In recent years, visible-spectrum face verification systems have been shown to match the performance of experienced forensic examiners. However, such systems are ineffective in low-light and nighttime conditions. Thermal face imagery, which captures body heat emissions, effectively augments the visible spectrum, capturing discriminative facial features in scenes with limited illumination. Due to the increased cost and difficulty of obtaining diverse, paired thermal and visible spectrum datasets, not many algorithms and large-scale benchmarks for low-light recognition are available. This paper presents an algorithm that achieves state-of-the-art performance on both the ARL-VTF and TUFTS multi-spectral face datasets. Importantly, we study the impact of face alignment, pixel-level correspondence, and identity classification with label smoothing for multi-spectral face synthesis and verification. We show that our proposed method is widely applicable, robust, and highly effective. In addition, we show that the proposed method significantly outperforms face frontalization methods on profile-to-frontal verification. Finally, we present MILAB-VTF(B), a challenging multi-spectral face dataset that is composed of paired thermal and visible videos. To the best of our knowledge, with face data from 400 subjects, this dataset represents the most extensive collection of indoor and long-range outdoor thermal-visible face imagery. Lastly, we show that our end-to-end thermal-to-visible face verification system provides strong performance on the MILAB-VTF(B) dataset.

Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by L 2 normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.

在过去的几十年中，面部识别（FR）在计算机视觉和模式识别社会中进行了积极研究。最近，由于深度学习的进步，FR技术在大多数基准数据集中都显示出高性能。但是，当将FR算法应用于现实世界的情况时，该性能仍然不令人满意。这主要归因于训练和测试集之间的不匹配。在此类不匹配中，训练和测试面之间的面部不对对准是阻碍成功的FR的因素之一。为了解决这一限制，我们提出了一个脸型引导的深度特征对齐框架，以使fr稳健地对脸错位。基于面部形状的先验（例如，面部关键点），我们通过引入对齐方式和未对准的面部图像之间的对齐过程，即像素和特征对齐方式来训练所提出的深网。通过像从面部图像和面部形状提取的聚合特征解码的像素对齐过程，我们添加了辅助任务以重建良好的面部图像。由于汇总功能通过特征对齐过程链接到面部功能提取网络作为指南，因此我们将强大的面部功能训练到面部未对准。即使在训练阶段需要面部形状估计，通常在传统的FR管道中纳入的额外面部对齐过程在测试阶段不一定需要。通过比较实验，我们验证了提出的方法与FR数据集的面部未对准的有效性。

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。