面部识别技术已被广泛采用，许多使命批判性方案，如人类识别，受控入门和移动设备访问等手段等。安全监测是人脸识别技术的典型情景。因为监视视频和图像的低分辨率特征使得高分辨率面部识别算法难以提取有效特征信息，所应用于高分辨率面部识别的算法难以直接迁移到低分辨率情况。由于安全监控中的人脸识别在密集城市化时代变得更加重要，因此开发能够在处理低分辨率监视摄像机产生的视频帧时能够提供令人满意的性能的算法。本文详细阐述了利用均匀低分辨率监视视频，理论，实验细节和实验结果的基于相关特征的面部识别（Coffar）方法。实验结果验证了相关特征方法的有效性，从线监控安全方案中提高了均匀面部识别的准确性。

最新的深度神经网络模型已在受控的高分辨率面部图像上达到了几乎完美的面部识别精度。但是，当他们使用非常低分辨率的面部图像测试时，它们的性能会大大降低。这在监视系统中尤其重要，在监视系统中，低分辨率探测图像应与高分辨率图库图像匹配。超分辨率技术旨在从低分辨率对应物中产生高分辨率的面部图像。尽管它们能够重建视觉上吸引人的图像，但与身份相关的信息尚未保留。在这里，我们提出了一个具有身份的端到端图像到图像翻译的深度神经网络，该网络能够使其高分辨率的高分辨率面孔超级解决方案，同时保留与身份相关的信息。我们通过训练一个非常深的卷积编码器网络来实现这一目标，并在相应层之间具有对称收缩路径。该网络在多尺度的低分辨率条件下训练了重建和具有身份损失的结合。对我们提出的模型的广泛定量评估表明，它在自然和人工低分辨率的面部数据集甚至看不见的身份方面优于竞争超分辨率和低分辨率的面部识别方法。

In this paper, we aim to address the large domain gap between high-resolution face images, e.g., from professional portrait photography, and low-quality surveillance images, e.g., from security cameras. Establishing an identity match between disparate sources like this is a classical surveillance face identification scenario, which continues to be a challenging problem for modern face recognition techniques. To that end, we propose a method that combines face super-resolution, resolution matching, and multi-scale template accumulation to reliably recognize faces from long-range surveillance footage, including from low quality sources. The proposed approach does not require training or fine-tuning on the target dataset of real surveillance images. Extensive experiments show that our proposed method is able to outperform even existing methods fine-tuned to the SCFace dataset.

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

图像分辨率或一般图像质量在当今面部识别系统的性能中起着至关重要的作用。为了解决这个问题，我们提出了一种流行的三胞胎损失的新型组合，以通过微调现有面部识别模型来提高与图像分辨率的鲁棒性。随着八度损失，我们利用高分辨率图像及其合成下采样变体之间的关系与其身份标签共同采样。通过我们的方法对几种最先进的方法进行微调证明，我们可以在各种数据集上显着提高跨分辨率（高低分辨率）面部验证的性能，而不会有意义地加剧高高度的性能分辨率图像。我们的方法应用于FaceTransFormer网络，在挑战性的XQLFW数据集上达到95.12％的面对验证精度，同时在LFW数据库上达到99.73％。此外，低到低面验证精度从我们的方法中受益。我们发布我们的代码，以允许将OCTUPLET损失的无缝集成到现有框架中。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

长期以来，面部识别一直是人工智能领域的一个积极研究领域，尤其是自近年来深度学习的兴起以来。在某些实际情况下，每个身份只有一个可以培训的样本。在这种情况下的面部识别被称为单个样本识别，并对深层模型的有效培训构成了重大挑战。因此，近年来，研究人员试图释放更多的深度学习潜力，并在单个样本情况下提高模型识别性能。尽管已经对传统的单个样本面部识别方法进行了几项全面的调查，但这些评论很少涉及新兴的基于深度学习的方法。因此，我们将重点放在本文中的基于深度学习的方法上，将其分类为虚拟示例方法和通用学习方法。在前一种类别中，生成虚拟图像或虚拟特征以使深层模型的训练受益。在后者中，使用了其他多样本通用集。通用学习方法有三种类型：结合传统方法和深度特征，改善损失功能并改善网络结构，所有这些都涵盖了我们的分析。此外，我们回顾了通常用于评估单个样本面部识别模型的面部数据集，并继续比较不同类型的模型的结果。此外，我们讨论了现有的单个样本面部识别方法的问题，包括虚拟样本方法中的身份信息保存，通用学习方法中的域适应性。此外，我们认为开发无监督的方法是一个有希望的未来方向，并指出语义差距是需要进一步考虑的重要问题。

在实际应用中，识别网络的性能通常在应用于超分辨率图像时减少。在本文中，我们提出了一种基于特征的识别网络与GaN（FGAN）相结合。我们的网络通过提取从SR图像中识别的更多功能来提高识别准确性。在实验中，我们使用三种不同的超分辨率算法构建三个数据集，我们的网络将识别精度增加超过6％，与Reanet50和DenSenet121相比比较。

Face Anti-spoofing (FAS) is essential to secure face recognition systems from various physical attacks. However, recent research generally focuses on short-distance applications (i.e., phone unlocking) while lacking consideration of long-distance scenes (i.e., surveillance security checks). In order to promote relevant research and fill this gap in the community, we collect a large-scale Surveillance High-Fidelity Mask (SuHiFiMask) dataset captured under 40 surveillance scenes, which has 101 subjects from different age groups with 232 3D attacks (high-fidelity masks), 200 2D attacks (posters, portraits, and screens), and 2 adversarial attacks. In this scene, low image resolution and noise interference are new challenges faced in surveillance FAS. Together with the SuHiFiMask dataset, we propose a Contrastive Quality-Invariance Learning (CQIL) network to alleviate the performance degradation caused by image quality from three aspects: (1) An Image Quality Variable module (IQV) is introduced to recover image information associated with discrimination by combining the super-resolution network. (2) Using generated sample pairs to simulate quality variance distributions to help contrastive learning strategies obtain robust feature representation under quality variation. (3) A Separate Quality Network (SQN) is designed to learn discriminative features independent of image quality. Finally, a large number of experiments verify the quality of the SuHiFiMask dataset and the superiority of the proposed CQIL.

深度学习取得了面部识别基准的出色性能，但是对于低分辨率（LR）图像，性能大大降低了。我们提出了一种注意力相似性知识蒸馏方法，该方法将作为教师的高分辨率（HR）网络获得的注意图转移到LR网络中，以提高LR识别性能。受到人类能够基于从HR图像获得的先验知识近似物体区域的人类的启发，我们设计了使用余弦相似性的知识蒸馏损失，以使学生网络的注意力类似于教师网络的注意力。在各种LR面部相关的基准上进行的实验证实了所提出的方法通常改善了LR设置上的识别性能，通过简单地传输良好的注意力图来优于最先进的结果。 https://github.com/gist-ailab/teaching-where-where-to-look在https://github.com/github.com/github.com/phis-look中公开可用。

传播模型已被证明对各种应用程序有效，例如图像，音频和图形生成。其他重要的应用是图像超分辨率和逆问题的解决方案。最近，一些作品使用了随机微分方程（SDE）将扩散模型推广到连续时间。在这项工作中，我们介绍SDE来生成超分辨率的面部图像。据我们所知，这是SDE首次用于此类应用程序。所提出的方法比基于扩散模型的现有超级分辨率方法提供了改进的峰值信噪比（PSNR），结构相似性指数（SSIM）和一致性。特别是，我们还评估了该方法在面部识别任务中的潜在应用。通用面部特征提取器用于比较超分辨率图像与地面真相，并获得了与其他方法相比，获得了卓越的结果。我们的代码可在https://github.com/marcelowds/sr-sde上公开获取

可见光面图像匹配是跨模型识别的具有挑战性的变化。挑战在于，可见和热模式之间的较大的模态间隙和低相关性。现有方法采用图像预处理，特征提取或常见的子空间投影，它们本身是独立的问题。在本文中，我们提出了一种用于交叉模态面部识别的端到端框架。该算法的旨在从未处理的面部图像学习身份鉴别特征，并识别跨模态图像对。提出了一种新颖的单元级丢失，用于在丢弃模态信息时保留身份信息。另外，提出用于将图像对分类能力集成到网络中的跨模判位块。所提出的网络可用于提取无关的矢量表示或测试图像的匹配对分类。我们对五个独立数据库的跨型号人脸识别实验表明，该方法实现了对现有最先进的方法的显着改善。

近年来，随着对公共安全的需求越来越多，智能监测网络的快速发展，人员重新识别（RE-ID）已成为计算机视野领域的热门研究主题之一。人员RE-ID的主要研究目标是从不同的摄像机中检索具有相同身份的人。但是，传统的人重新ID方法需要手动标记人的目标，这消耗了大量的劳动力成本。随着深度神经网络的广泛应用，出现了许多基于深入的基于学习的人物的方法。因此，本文促进研究人员了解最新的研究成果和该领域的未来趋势。首先，我们总结了对几个最近公布的人的研究重新ID调查，并补充了系统地分类基于深度学习的人的重新ID方法的最新研究方法。其次，我们提出了一种多维分类，根据度量标准和表示学习，将基于深度学习的人的重新ID方法分为四类，包括深度度量学习，本地特征学习，生成的对抗学习和序列特征学习的方法。此外，我们根据其方法和动机来细分以上四类，讨论部分子类别的优缺点。最后，我们讨论了一些挑战和可能的研究方向的人重新ID。

使用社交媒体网站和应用程序已经变得非常受欢迎，人们在这些网络上分享他们的照片。在这些网络上自动识别和标记人们的照片已经提出了隐私保存问题，用户寻求隐藏这些算法的方法。生成的对抗网络（GANS）被证明是非常强大的在高多样性中产生面部图像以及编辑面部图像。在本文中，我们提出了一种基于GAN的生成掩模引导的面部图像操纵（GMFIM）模型，以将无法察觉的编辑应用于输入面部图像以保护图像中的人的隐私。我们的模型由三个主要组件组成：a）面罩模块将面积从输入图像中切断并省略背景，b）用于操纵面部图像并隐藏身份的GaN的优化模块，并覆盖身份和c）用于组合输入图像的背景和操纵的去识别的面部图像的合并模块。在优化步骤的丢失功能中考虑了不同的标准，以产生与输入图像一样类似的高质量图像，同时不能通过AFR系统识别。不同数据集的实验结果表明，与最先进的方法相比，我们的模型可以实现对自动面部识别系统的更好的性能，并且它在大多数实验中捕获更高的攻击成功率。此外，我们提出的模型的产生图像具有最高的质量，更令人愉悦。

Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at \url{https://github.com/yongsongH/Infrared_Image_SR_Survey

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

在过去的几十年中，已经进行了许多尝试来解决从其相应的低分辨率（LR）对应物中恢复高分辨率（HR）面部形象的问题，这是通常被称为幻觉的任务。尽管通过位置补丁和基于深度学习的方法实现了令人印象深刻的性能，但大多数技术仍然无法恢复面孔的特定特定功能。前一组算法通常在存在更高水平的降解存在下产生模糊和过天气输出，而后者产生的面部有时绝不使得输入图像中的个体类似于个体。在本文中，将引入一种新的面部超分辨率方法，其中幻觉面被迫位于可用训练面跨越的子空间中。因此，与大多数现有面的幻觉技术相比，由于这种面部子空间之前，重建是为了回收特定人的面部特征，而不是仅仅增加图像定量分数。此外，通过最近的3D面部重建领域的进步启发，还呈现了一种有效的3D字典对齐方案，通过该方案，该算法能够处理在不受控制的条件下拍摄的低分辨率面。在几个众所周知的面部数据集上进行的广泛实验中，所提出的算法通过生成详细和接近地面真理结果来显示出色的性能，这在定量和定性评估中通过显着的边距来实现了最先进的面部幻觉算法。

NIR到VIS的面部识别是通过提取域不变特征来识别两个不同域的面。但是，由于两个不同的领域特征以及缺乏NIR FACE数据集，这是一个具有挑战性的问题。为了在使用现有面部识别模型时减少域差异，我们提出了一个“关系模块”，它可以简单地添加到任何面部识别模型中。从面部图像中提取的本地功能包含面部每个组件的信息。基于两个不同的域特征，使用本地特征之间的关系比以原样的方式使用它更具域名。除了这些关系外，位置信息，例如从嘴唇到下巴到眼睛到眼睛到眼睛的距离，还提供域不变的信息。在我们的关系模块中，关系层隐含地捕获关系，并协调层对位置信息进行建模。此外，我们提出的三重态损失和有条件的边缘损失减少了训练中类内部的变化，并导致了进一步的改进。与一般面部识别模型不同，我们的附加模块无需使用大型数据集进行预训练。所提出的模块仅使用CASIA NIR-VIS 2.0数据库进行微调。使用拟议的模块，我们达到了14.81％的排名1精度和15.47％的验证率，为0.1％的验证率与两个基线模型相比。

基于软马克斯的损失函数及其变体（例如，界面，圆顶和弧形）可显着改善野生无约束场景中的面部识别性能。这些算法的一种常见实践是对嵌入特征和线性转换矩阵之间的乘法进行优化。但是，在大多数情况下，基于传统的设计经验给出了嵌入功能的尺寸，并且在给出固定尺寸时，使用该功能本身提高性能的研究较少。为了应对这一挑战，本文提出了一种称为subface的软关系近似方法，该方法采用了子空间功能来促进面部识别的性能。具体而言，我们在训练过程中动态选择每个批次中的非重叠子空间特征，然后使用子空间特征在基于软磁性的损失之间近似完整功能，因此，深层模型的可区分性可以显着增强，以增强面部识别。在基准数据集上进行的综合实验表明，我们的方法可以显着提高香草CNN基线的性能，这强烈证明了基于利润率的损失的子空间策略的有效性。