在本文中，我们试图在抽象嵌入空间中绘制额叶和轮廓面图像之间的连接。我们使用耦合编码器网络利用此连接将额叶/配置文件的面部图像投影到一个常见的潜在嵌入空间中。提出的模型通过最大化面部两种视图之间的相互信息来迫使嵌入空间中表示的相似性。拟议的耦合编码器从三个贡献中受益于与极端姿势差异的匹配面。首先，我们利用我们的姿势意识到的对比学习来最大程度地提高身份额叶和概况表示之间的相互信息。其次，由在过去的迭代中积累的潜在表示组成的内存缓冲区已集成到模型中，因此它可以比小批量大小相对较多的实例。第三，一种新颖的姿势感知的对抗结构域适应方法迫使模型学习从轮廓到额叶表示的不对称映射。在我们的框架中，耦合编码器学会了扩大真实面孔和冒名顶替面部分布之间的边距，这导致了相同身份的不同观点之间的高度相互信息。通过对四个基准数据集的广泛实验，评估和消融研究来研究拟议模型的有效性，并与引人入胜的最新算法进行比较。

近年来，由于深度学习体系结构的有希望的进步，面部识别系统取得了非凡的成功。但是，当将配置图像与额叶图像的画廊匹配时，它们仍然无法实现预期的准确性。当前方法要么执行姿势归一化（即额叶化）或脱离姿势信息以进行面部识别。相反，我们提出了一种新方法，通过注意机制将姿势用作辅助信息。在本文中，我们假设使用注意机制姿势参加的信息可以指导剖面面上的上下文和独特的特征提取，从而进一步使嵌入式域中的更好表示形式学习。为了实现这一目标，首先，我们设计了一个统一的耦合曲线到额定面部识别网络。它通过特定于类的对比损失来学习从面孔到紧凑的嵌入子空间的映射。其次，我们开发了一个新颖的姿势注意力块（PAB），以专门指导从剖面面上提取姿势 - 不合稳定的特征。更具体地说，PAB旨在显式地帮助网络沿着频道和空间维度沿着频道和空间维度的重要特征，同时学习嵌入式子空间中的歧视性但构成不变的特征。为了验证我们提出的方法的有效性，我们对包括多PIE，CFP，IJBC在内的受控和野生基准进行实验，并在艺术状态下表现出优势。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.

This paper addresses deep face recognition (FR) problem under open-set protocol, where ideal face features are expected to have smaller maximal intra-class distance than minimal inter-class distance under a suitably chosen metric space. However, few existing algorithms can effectively achieve this criterion. To this end, we propose the angular softmax (A-Softmax) loss that enables convolutional neural networks (CNNs) to learn angularly discriminative features. Geometrically, A-Softmax loss can be viewed as imposing discriminative constraints on a hypersphere manifold, which intrinsically matches the prior that faces also lie on a manifold. Moreover, the size of angular margin can be quantitatively adjusted by a parameter m. We further derive specific m to approximate the ideal feature criterion. Extensive analysis and experiments on Labeled Face in the Wild (LFW), Youtube Faces (YTF) and MegaFace Challenge show the superiority of A-Softmax loss in FR tasks. The code has also been made publicly available 1 .

基于软马克斯的损失函数及其变体（例如，界面，圆顶和弧形）可显着改善野生无约束场景中的面部识别性能。这些算法的一种常见实践是对嵌入特征和线性转换矩阵之间的乘法进行优化。但是，在大多数情况下，基于传统的设计经验给出了嵌入功能的尺寸，并且在给出固定尺寸时，使用该功能本身提高性能的研究较少。为了应对这一挑战，本文提出了一种称为subface的软关系近似方法，该方法采用了子空间功能来促进面部识别的性能。具体而言，我们在训练过程中动态选择每个批次中的非重叠子空间特征，然后使用子空间特征在基于软磁性的损失之间近似完整功能，因此，深层模型的可区分性可以显着增强，以增强面部识别。在基准数据集上进行的综合实验表明，我们的方法可以显着提高香草CNN基线的性能，这强烈证明了基于利润率的损失的子空间策略的有效性。

可见光面图像匹配是跨模型识别的具有挑战性的变化。挑战在于，可见和热模式之间的较大的模态间隙和低相关性。现有方法采用图像预处理，特征提取或常见的子空间投影，它们本身是独立的问题。在本文中，我们提出了一种用于交叉模态面部识别的端到端框架。该算法的旨在从未处理的面部图像学习身份鉴别特征，并识别跨模态图像对。提出了一种新颖的单元级丢失，用于在丢弃模态信息时保留身份信息。另外，提出用于将图像对分类能力集成到网络中的跨模判位块。所提出的网络可用于提取无关的矢量表示或测试图像的匹配对分类。我们对五个独立数据库的跨型号人脸识别实验表明，该方法实现了对现有最先进的方法的显着改善。

图像分辨率或一般图像质量在当今面部识别系统的性能中起着至关重要的作用。为了解决这个问题，我们提出了一种流行的三胞胎损失的新型组合，以通过微调现有面部识别模型来提高与图像分辨率的鲁棒性。随着八度损失，我们利用高分辨率图像及其合成下采样变体之间的关系与其身份标签共同采样。通过我们的方法对几种最先进的方法进行微调证明，我们可以在各种数据集上显着提高跨分辨率（高低分辨率）面部验证的性能，而不会有意义地加剧高高度的性能分辨率图像。我们的方法应用于FaceTransFormer网络，在挑战性的XQLFW数据集上达到95.12％的面对验证精度，同时在LFW数据库上达到99.73％。此外，低到低面验证精度从我们的方法中受益。我们发布我们的代码，以允许将OCTUPLET损失的无缝集成到现有框架中。

深度卷积神经网络（DCNNS）的最新进展显示了热量的性能改进，可见的脸部合成和匹配问题。然而，当前的基于DCNN的合成模型在具有大姿势变化的热面上不太良好。为了处理该问题，需要异构面部额定化方法，其中模型采用热剖面图像并产生正面可见面。这是由于大域的一个极其困难的问题，以及两个模式之间的大姿态差异。尽管其在生物识别和监测中存在应用，但文献中的这种问题相对未探索。我们提出了一种域名不可知论的基于学习的生成对抗网络（DAL-GAN），其可以通过具有姿势变化的热面来合成可见域中的前视图。 Dal-GaN由具有辅助分类器的发电机和两个鉴别器，捕获局部和全局纹理鉴别以获得更好的合成。在双路径训练策略的帮助下，在发电机的潜在空间中强制实施对比度约束，这改善了特征向量辨别。最后，利用多功能损失函数来指导网络合成保存跨域累加的身份。广泛的实验结果表明，与其他基线方法相比，Dal-GaN可以产生更好的质量正面视图。

This work focuses on unsupervised representation learning in person re-identification (ReID). Recent self-supervised contrastive learning methods learn invariance by maximizing the representation similarity between two augmented views of a same image. However, traditional data augmentation may bring to the fore undesirable distortions on identity features, which is not always favorable in id-sensitive ReID tasks. In this paper, we propose to replace traditional data augmentation with a generative adversarial network (GAN) that is targeted to generate augmented views for contrastive learning. A 3D mesh guided person image generator is proposed to disentangle a person image into id-related and id-unrelated features. Deviating from previous GAN-based ReID methods that only work in id-unrelated space (pose and camera style), we conduct GAN-based augmentation on both id-unrelated and id-related features. We further propose specific contrastive losses to help our network learn invariance from id-unrelated and id-related augmentations. By jointly training the generative and the contrastive modules, our method achieves new state-of-the-art unsupervised person ReID performance on mainstream large-scale benchmarks.

姿势变异是人脸识别的关键挑战之一。常规技术主要关注面部正利化或图像空间中的面部增强。然而，不保证在图像空间中转换面部图像以保留原始图像的无损身份特征。此外，由于附加模型，这些方法遭受更多的计算成本和内存要求。我们认为，更希望在分层特​​征空间而不是图像空间中执行特征转换，这可以利用不同的特征级别，并利益与表示学习的联合学习。为此，我们提出了一种轻量级且易于实施的注意力块，名为Pose Intence Module（PAM），用于姿势不变的人脸识别。具体地，PAM通过使用软栅极机制的姿势变化之间的剩余来执行分层特征空间中的前型特征变换。我们通过广泛的消融研究验证了PAM块设计的有效性，并验证了几种流行基准的性能，包括LFW，CFP-FP，Agedb-30，CPLFW和Calfw。实验结果表明，我们的方法不仅优于最先进的方法，而且有效地降低了超过75倍的内存要求。值得注意的是，我们的方法不仅限于与大的姿态变化的面对识别。通过将PAM的软栅极机构调整为特定系数，这种语义关注块可以容易地扩展到面部识别中的其他类别的不平衡问题，包括年龄，照明，表达等的大变化。

Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by L 2 normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.

长期以来，面部识别一直是人工智能领域的一个积极研究领域，尤其是自近年来深度学习的兴起以来。在某些实际情况下，每个身份只有一个可以培训的样本。在这种情况下的面部识别被称为单个样本识别，并对深层模型的有效培训构成了重大挑战。因此，近年来，研究人员试图释放更多的深度学习潜力，并在单个样本情况下提高模型识别性能。尽管已经对传统的单个样本面部识别方法进行了几项全面的调查，但这些评论很少涉及新兴的基于深度学习的方法。因此，我们将重点放在本文中的基于深度学习的方法上，将其分类为虚拟示例方法和通用学习方法。在前一种类别中，生成虚拟图像或虚拟特征以使深层模型的训练受益。在后者中，使用了其他多样本通用集。通用学习方法有三种类型：结合传统方法和深度特征，改善损失功能并改善网络结构，所有这些都涵盖了我们的分析。此外，我们回顾了通常用于评估单个样本面部识别模型的面部数据集，并继续比较不同类型的模型的结果。此外，我们讨论了现有的单个样本面部识别方法的问题，包括虚拟样本方法中的身份信息保存，通用学习方法中的域适应性。此外，我们认为开发无监督的方法是一个有希望的未来方向，并指出语义差距是需要进一步考虑的重要问题。

尽管在面部识别方面取得了重大进展（FR），但由于半约束训练数据集和无约束的测试方案之间的域间隙，在不受约束的环境中FR仍然具有挑战性。为了解决此问题，我们提出了一个可控的面部合成模型（CFSM），该模型可以模仿样式潜在空间中目标数据集的分布。CFSM在样式潜在空间中学习了一个线性子空间，并具有对综合多样性和程度的精确控制。此外，预先训练的合成模型可以由FR模型指导，从而使所得图像对FR模型训练更有益。此外，目标数据集分布的特征是学到的正交碱基，可以用来测量面部数据集之间的分布相似性。我们的方法在不受约束的基准测试中获得了显着的性能提高，例如IJB-B，IJB-C，TinyFace和IJB-S（+5.76％rank1）。

随着近期神经网络的成功，对人脸识别取得了显着进展。然而，收集面部识别的大规模现实世界培训数据已经挑战，特别是由于标签噪音和隐私问题。同时，通常从网络图像收集现有的面部识别数据集，缺乏关于属性的详细注释（例如，姿势和表达），因此对面部识别的不同属性的影响已经很差。在本文中，我们使用合成面部图像，即Synface来解决面部识别中的上述问题。具体而言，我们首先探讨用合成和真实面部图像训练的最近最先进的人脸识别模型之间的性能差距。然后，我们分析了性能差距背后的潜在原因，例如，较差的阶级变化和合成和真实面部图像之间的域间隙。灵感来自于此，我们使用身份混合（IM）和域混合（DM）设计了SYNFACE，以减轻上述性能差距，展示了对面部识别的综合数据的巨大潜力。此外，利用可控的面部合成模型，我们可以容易地管理合成面代的不同因素，包括姿势，表达，照明，身份的数量和每个身份的样本。因此，我们还对综合性面部图像进行系统实证分析，以提供一些关于如何有效利用综合数据进行人脸识别的见解。

面部表达识别（FER）是一个具有挑战性的问题，因为表达成分始终与其他无关的因素（例如身份和头部姿势）纠缠在一起。在这项工作中，我们提出了一个身份，并构成了分离的面部表达识别（IPD-fer）模型，以了解更多的判别特征表示。我们认为整体面部表征是身份，姿势和表达的组合。这三个组件用不同的编码器编码。对于身份编码器，在培训期间使用和固定了一个经过良好训练的面部识别模型，这可以减轻对先前工作中对特定表达训练数据的限制，并使野外数据集的分离可行。同时，用相应的标签优化了姿势和表达编码器。结合身份和姿势特征，解码器应生成输入个体的中性面。添加表达功能时，应重建输入图像。通过比较同一个体的合成中性图像和表达图像之间的差异，表达成分与身份和姿势进一步分离。实验结果验证了我们方法对实验室控制和野外数据库的有效性，并实现了最新的识别性能。

学习歧视性面部特征在建立高性能面部识别模型方面发挥着重要作用。最近的最先进的面部识别解决方案，提出了一种在常用的分类损失函数，Softmax损失中纳入固定的惩罚率，通过最大限度地减少级别的变化来增加面部识别模型的辨别力并最大化级别的帧间变化。边缘惩罚Softmax损失，如arcFace和Cosface，假设可以使用固定的惩罚余量同样地学习不同身份之间的测地距。然而，这种学习目标对于具有不一致的间帧内变化的真实数据并不是现实的，这可能限制了面部识别模型的判别和概括性。在本文中，我们通过提出弹性罚款损失（弹性面）来放松固定的罚款边缘约束，这允许在推动阶级可分离性中灵活性。主要思想是利用从每个训练迭代中的正常分布中汲取的随机保证金值。这旨在提供决策边界机会，以提取和缩回，以允许灵活的类别可分离学习的空间。我们展示了在大量主流基准上使用相同的几何变换，展示了我们的弹性面损失和COSFace损失的优势。从更广泛的角度来看，我们的弹性面在九个主流基准中提出了最先进的面部识别性能。

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

无教师的在线知识蒸馏（KD）旨在培训多个学生模型的合奏，并彼此提炼知识。尽管现有的在线KD方法实现了理想的性能，但它们通常专注于阶级概率作为核心知识类型，而忽略了宝贵的特征代表性信息。我们为在线KD提供了一个相互的对比学习（MCL）框架。 MCL的核心思想是以在线方式进行对比分布的相互交互和对比度分布的转移。我们的MCL可以汇总跨网络嵌入信息，并最大化两个网络之间的相互信息的下限。这使每个网络能够从他人那里学习额外的对比知识，从而提供更好的特征表示形式，从而提高视觉识别任务的性能。除最后一层外，我们还将MCL扩展到辅助特征细化模块辅助的几个中间层。这进一步增强了在线KD的表示能力。关于图像分类和转移学习到视觉识别任务的实验表明，MCL可以针对最新的在线KD方法带来一致的性能提高。优势表明，MCL可以指导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/mcl上公开获取。