可见光面图像匹配是跨模型识别的具有挑战性的变化。挑战在于，可见和热模式之间的较大的模态间隙和低相关性。现有方法采用图像预处理，特征提取或常见的子空间投影，它们本身是独立的问题。在本文中，我们提出了一种用于交叉模态面部识别的端到端框架。该算法的旨在从未处理的面部图像学习身份鉴别特征，并识别跨模态图像对。提出了一种新颖的单元级丢失，用于在丢弃模态信息时保留身份信息。另外，提出用于将图像对分类能力集成到网络中的跨模判位块。所提出的网络可用于提取无关的矢量表示或测试图像的匹配对分类。我们对五个独立数据库的跨型号人脸识别实验表明，该方法实现了对现有最先进的方法的显着改善。

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

深度卷积神经网络（DCNNS）的最新进展显示了热量的性能改进，可见的脸部合成和匹配问题。然而，当前的基于DCNN的合成模型在具有大姿势变化的热面上不太良好。为了处理该问题，需要异构面部额定化方法，其中模型采用热剖面图像并产生正面可见面。这是由于大域的一个极其困难的问题，以及两个模式之间的大姿态差异。尽管其在生物识别和监测中存在应用，但文献中的这种问题相对未探索。我们提出了一种域名不可知论的基于学习的生成对抗网络（DAL-GAN），其可以通过具有姿势变化的热面来合成可见域中的前视图。 Dal-GaN由具有辅助分类器的发电机和两个鉴别器，捕获局部和全局纹理鉴别以获得更好的合成。在双路径训练策略的帮助下，在发电机的潜在空间中强制实施对比度约束，这改善了特征向量辨别。最后，利用多功能损失函数来指导网络合成保存跨域累加的身份。广泛的实验结果表明，与其他基线方法相比，Dal-GaN可以产生更好的质量正面视图。

异质的面部识别（HFR）旨在匹配不同域（例如，可见到近红外图像）的面孔，该面孔已被广泛应用于身份验证和取证方案。但是，HFR是一个具有挑战性的问题，因为跨域差异很大，异质数据对有限和面部属性变化很大。为了应对这些挑战，我们从异质数据增强的角度提出了一种新的HFR方法，该方法称为面部合成，具有身份 - 属性分解（FSIAD）。首先，身份属性分解（IAD）将图像截取到与身份相关的表示和与身份无关的表示（称为属性）中，然后降低身份和属性之间的相关性。其次，我们设计了一个面部合成模块（FSM），以生成大量具有分离的身份和属性的随机组合的图像，以丰富合成图像的属性多样性。原始图像和合成图像均被用于训练HFR网络，以应对挑战并提高HFR的性能。在五个HFR数据库上进行的广泛实验验证了FSIAD的性能比以前的HFR方法更高。特别是，FSIAD以vr@far = 0.01%在LAMP-HQ上获得了4.8％的改善，这是迄今为止最大的HFR数据库。

已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。

In recent years, visible-spectrum face verification systems have been shown to match the performance of experienced forensic examiners. However, such systems are ineffective in low-light and nighttime conditions. Thermal face imagery, which captures body heat emissions, effectively augments the visible spectrum, capturing discriminative facial features in scenes with limited illumination. Due to the increased cost and difficulty of obtaining diverse, paired thermal and visible spectrum datasets, not many algorithms and large-scale benchmarks for low-light recognition are available. This paper presents an algorithm that achieves state-of-the-art performance on both the ARL-VTF and TUFTS multi-spectral face datasets. Importantly, we study the impact of face alignment, pixel-level correspondence, and identity classification with label smoothing for multi-spectral face synthesis and verification. We show that our proposed method is widely applicable, robust, and highly effective. In addition, we show that the proposed method significantly outperforms face frontalization methods on profile-to-frontal verification. Finally, we present MILAB-VTF(B), a challenging multi-spectral face dataset that is composed of paired thermal and visible videos. To the best of our knowledge, with face data from 400 subjects, this dataset represents the most extensive collection of indoor and long-range outdoor thermal-visible face imagery. Lastly, we show that our end-to-end thermal-to-visible face verification system provides strong performance on the MILAB-VTF(B) dataset.

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

近年来，由于深度学习体系结构的有希望的进步，面部识别系统取得了非凡的成功。但是，当将配置图像与额叶图像的画廊匹配时，它们仍然无法实现预期的准确性。当前方法要么执行姿势归一化（即额叶化）或脱离姿势信息以进行面部识别。相反，我们提出了一种新方法，通过注意机制将姿势用作辅助信息。在本文中，我们假设使用注意机制姿势参加的信息可以指导剖面面上的上下文和独特的特征提取，从而进一步使嵌入式域中的更好表示形式学习。为了实现这一目标，首先，我们设计了一个统一的耦合曲线到额定面部识别网络。它通过特定于类的对比损失来学习从面孔到紧凑的嵌入子空间的映射。其次，我们开发了一个新颖的姿势注意力块（PAB），以专门指导从剖面面上提取姿势 - 不合稳定的特征。更具体地说，PAB旨在显式地帮助网络沿着频道和空间维度沿着频道和空间维度的重要特征，同时学习嵌入式子空间中的歧视性但构成不变的特征。为了验证我们提出的方法的有效性，我们对包括多PIE，CFP，IJBC在内的受控和野生基准进行实验，并在艺术状态下表现出优势。

Person recognition at a distance entails recognizing the identity of an individual appearing in images or videos collected by long-range imaging systems such as drones or surveillance cameras. Despite recent advances in deep convolutional neural networks (DCNNs), this remains challenging. Images or videos collected by long-range cameras often suffer from atmospheric turbulence, blur, low-resolution, unconstrained poses, and poor illumination. In this paper, we provide a brief survey of recent advances in person recognition at a distance. In particular, we review recent work in multi-spectral face verification, person re-identification, and gait-based analysis techniques. Furthermore, we discuss the merits and drawbacks of existing approaches and identify important, yet under explored challenges for deploying remote person recognition systems in-the-wild.

近年来，围面识别被制定为有价值的生物识别方法，特别是在野生环境中（例如，由于Covid-19大流行导致的遮阳面），其中面部识别可能不适用。本文提出了一种名为基于属性的深周相识别（ADPR）的新的深周围识别框架，其预测软生物学测量，并将预测结合到周边识别算法中，以确定具有高精度的围绕围绕围绕图像的标识。我们提出了一个端到端的框架，它使用了几个共享卷积神经网络（CNN）层（公共网络），其输出馈送两个单独的专用分支（模态专用层）;第一分支在第二分支预测软管生物识别技术的同时分类周边图像。接下来，来自这两个分支的特征融合在一起以获得最终的周边识别。所提出的方法与现有方法不同，因为它不仅使用共享的CNN特征空间来共同培训这两个任务，而且还融合了预测的软生物识别功能，具有训练步骤中的周边特征，以提高整体周边识别性能。我们的建议模型使用四个不同的公共数据集进行了广泛的评估。实验结果表明，基于软生物识别的外观识别方法优于野生环境中的其他最先进的方法。

Near infrared (NIR) to Visible (VIS) face matching is challenging due to the significant domain gaps as well as a lack of sufficient data for cross-modality model training. To overcome this problem, we propose a novel method for paired NIR-VIS facial image generation. Specifically, we reconstruct 3D face shape and reflectance from a large 2D facial dataset and introduce a novel method of transforming the VIS reflectance to NIR reflectance. We then use a physically-based renderer to generate a vast, high-resolution and photorealistic dataset consisting of various poses and identities in the NIR and VIS spectra. Moreover, to facilitate the identity feature learning, we propose an IDentity-based Maximum Mean Discrepancy (ID-MMD) loss, which not only reduces the modality gap between NIR and VIS images at the domain level but encourages the network to focus on the identity features instead of facial details, such as poses and accessories. Extensive experiments conducted on four challenging NIR-VIS face recognition benchmarks demonstrate that the proposed method can achieve comparable performance with the state-of-the-art (SOTA) methods without requiring any existing NIR-VIS face recognition datasets. With slightly fine-tuning on the target NIR-VIS face recognition datasets, our method can significantly surpass the SOTA performance. Code and pretrained models are released under the insightface (https://github.com/deepinsight/insightface/tree/master/recognition).

我们提出了一种质量感知的多模式识别框架，其将来自多个生物特征的表示与不同的质量和样本数量相结合，以通过基于样本的质量提取互补识别信息来实现增加的识别准确性。我们通过使用以弱监督时尚估计的质量分数加权，为融合输入方式的质量意识框架，以融合输入方式的融合。此框架利用两个融合块，每个融合块由一组质量感知和聚合网络表示。除了架构修改外，我们还提出了两种特定于任务特定的损耗功能：多模式可分离性损失和多模式紧凑性损失。第一个损失确保了类的模态的表示具有可比的大小来提供更好的质量估计，而不同类别的多式数代表分布以实现嵌入空间中的最大判别。第二次丢失，被认为是正规化网络权重，通过规范框架来提高泛化性能。我们通过考虑由面部，虹膜和指纹方式组成的三个多模式数据集来评估性能。通过与最先进的算法进行比较来证明框架的功效。特别是，我们的框架优于BioMdata的模式的级别和得分级别融合超过30％以获得$ 10 ^ { - 4} $ 10 ^ { - 4} $的真正验收率。

在本文中，我们试图在抽象嵌入空间中绘制额叶和轮廓面图像之间的连接。我们使用耦合编码器网络利用此连接将额叶/配置文件的面部图像投影到一个常见的潜在嵌入空间中。提出的模型通过最大化面部两种视图之间的相互信息来迫使嵌入空间中表示的相似性。拟议的耦合编码器从三个贡献中受益于与极端姿势差异的匹配面。首先，我们利用我们的姿势意识到的对比学习来最大程度地提高身份额叶和概况表示之间的相互信息。其次，由在过去的迭代中积累的潜在表示组成的内存缓冲区已集成到模型中，因此它可以比小批量大小相对较多的实例。第三，一种新颖的姿势感知的对抗结构域适应方法迫使模型学习从轮廓到额叶表示的不对称映射。在我们的框架中，耦合编码器学会了扩大真实面孔和冒名顶替面部分布之间的边距，这导致了相同身份的不同观点之间的高度相互信息。通过对四个基准数据集的广泛实验，评估和消融研究来研究拟议模型的有效性，并与引人入胜的最新算法进行比较。

可见的红外人员重新识别（REID）旨在认识到RGB和IR摄像机网络中的同一个人。一些深度学习（DL）模型已直接纳入了两种模式，以在联合表示空间中区分人。但是，由于RGB和IR模式之间数据分布的较大域转移，因此这个跨模式的REID问题仍然具有挑战性。 ％本文引入了一种新的方法，用于创建中间虚拟域，该域在训练过程中充当两个主要领域（即RGB和IR模式）之间的桥梁。该中间域被视为在测试时间无法获得的特权信息（PI），并允许将此跨模式匹配任务制定为在特权信息（LUPI）下学习的问题。我们设计了一种新方法，以在可见的和红外域之间生成图像，这些方法提供了其他信息，以通过中间域的适应来训练深层REID模型。特别是，通过在训练过程中采用无色和多步三重态损失目标，我们的方法提供了通用的特征表示空间，这些空间对大型可见的红外域移动具有牢固的功能。 ％关于挑战性可见红外REID数据集的实验结果表明，我们提出的方法始终提高匹配的准确性，而在测试时没有任何计算开销。该代码可在：\ href {https://github.com/alehdaghi/cross-modal-re-id-iid-via-lupi} {https://github.com/alehdaghi/alehdaghi/cross-modal-re-re-id-i-id--i- id-i--i- id-id-i--i--via-lupi} { Via-Lupi}

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

随着面部生物识别技术的广泛采用，在自动面部识别（FR）应用中区分相同的双胞胎和非双胞胎外观相似的问题变得越来越重要。由于同卵双胞胎和外观相似的面部相似性很高，因此这些面对对面部识别工具表示最困难的病例。这项工作介绍了迄今为止汇编的最大的双胞胎数据集之一，以应对两个挑战：1）确定相同双胞胎和2）的面部相似性的基线度量和2）应用此相似性措施来确定多ppelgangers的影响或外观 - Alikes，关于大面部数据集的FR性能。面部相似性度量是通过深度卷积神经网络确定的。该网络经过量身定制的验证任务进行培训，旨在鼓励网络在嵌入空间中将高度相似的面对对组合在一起，并达到0.9799的测试AUC。所提出的网络为任何两个给定的面提供了定量相似性评分，并已应用于大规模面部数据集以识别相似的面对对。还执行了一个附加分析，该分析还将面部识别工具返回的比较分数以及提议网络返回的相似性分数。

在这项研究中，在使用Flickr-Faces-HQ和SpangeFaces数据集生成的遮罩与揭露面上的面部识别，我们报告了由Pandemics的掩模穿着掩盖穿着的识别性能的36.78％劣化，特别是在边境检查点情景中。在跨光谱域中的高级深度学习方法，我们取得了更好的性能并降低了1.79％的劣化。

学习模态不变功能是可见热跨模板人员重新凝视（VT-REID）问题的核心，其中查询和画廊图像来自不同的模式。现有工作通过使用对抗性学习或仔细设计特征提取模块来隐式地将像素和特征空间中的模态对齐。我们提出了一个简单但有效的框架MMD-REID，通过明确的差异减少约束来降低模态差距。 MMD-REID从最大均值（MMD）中获取灵感，广泛使用的统计工具用于确定两个分布之间的距离。 MMD-REID采用新的基于边缘的配方，以匹配可见和热样品的类条件特征分布，以最大限度地减少级别的距离，同时保持特征辨别性。 MMD-Reid是一个简单的架构和损失制定方面的框架。我们对MMD-REID的有效性进行了广泛的实验，以使MMD-REID对调整边缘和阶级条件分布的有效性，从而学习模型无关和身份的一致特征。所提出的框架显着优于Sysu-MM01和RegDB数据集的最先进的方法。代码将在https://github.com/vcl-iisc/mmd -reid发布

Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.

深入学习方法通​​过用非常大的面部图像数据集训练模型来实现高度准确的人脸识别。与大型2D面部图像数据集的可用性不同，公众缺少大型3D面部数据集。现有的公共3D面部数据集通常收集有很少的科目，导致过度拟合的问题。本文提出了两个CNN模型来提高RGB-D面部识别任务。首先是分割感知深度估计网络，称为DepthNet，其通过包括用于更准确的面部区域定位的语义分段信息来估计来自RGB面部图像的深度映射。另一种是一种新的掩模引导RGB-D面识别模型，其包含RGB识别分支，深度图识别分支和具有空间注意模块的辅助分割掩模分支。我们的深度用于将大型2D面部图像数据集增强到大RGB-D面部数据集，用于训练精确的RGB-D面识别模型。此外，所提出的掩模引导的RGB-D面识别模型可以充分利用深度图和分割掩模信息，并且比以前的方法更稳健地对姿势变化。我们的实验结果表明，DepthNet可以通过分割掩模从面部图像产生更可靠的深度图。我们的掩模引导的面部识别模型优于几个公共3D面部数据集上的最先进方法。