需要高质量的面部图像来保证在监视和安全场景中自动识别系统（FR）系统的稳定性和可靠性。但是，由于传输或存储的限制，在分析之前，通常会压缩大量的面部数据。压缩图像可能会失去强大的身份信息，从而导致FR系统的性能降低。在此，我们首次尝试研究FR系统的明显差异（JND），可以将其定义为FR系统无法注意到的最大失真。更具体地说，我们建立了一个JND数据集，其中包括3530个原始图像和137,670个由高级参考编码/解码软件生成的压缩图像，该图像基于多功能视频编码（VVC）标准（VTM-15.0）。随后，我们开发了一种新型的JND预测模型，以直接推断FR系统的JND图像。特别是，为了最大程度地删除冗余性，在不损害鲁棒身份信息的情况下，我们将编码器应用于多个功能提取和基于注意力的特征分解模块，以将面部特征逐渐分解为两个不相关的组件，即身份和残差特征，通过自我 - 监督学习。然后，剩余特征被馈入解码器以生成残差图。最后，通过从原始图像中减去残差图来获得预测的JND映射。实验结果表明，与最先进的JND模型相比，所提出的模型可以实现JND MAP预测的更高准确性，并且能够在维持FR系统的性能的同时保存更多的位置，而与VTM-15.0相比。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。

为了提高图像压缩性能，最近的基于神经网络的基于神经网络的研究可以分为三类：学习编解码器，后处理网络和紧凑型表示网络。学习编解码器专为超出传统压缩模块而设计的端到端学习。后处理网络使用基于示例的学习增加解码图像的质量。学习紧凑的表示网络，以降低输入图像的容量，以减少比特率的同时保持解码图像的质量。然而，这些方法与现有的编解码器不兼容，或者不会最佳地增加编码效率。具体地，由于编解码器的不准确性，难以在先前的研究中实现最佳学习。在本文中，我们提出了一种基于辅助编解码器网络（ACN）的新颖的标准兼容图像压缩框架。 ACNS旨在模仿现有编解码器的图像劣化操作，这为紧凑型表示网络提供了更准确的梯度。因此，可以有效地和最佳地学习紧凑的表示和后处理网络。我们证明，我们基于JPEG和高效视频编码（HEVC）标准的建议框架基本上以标准的兼容方式大致优于现有的图像压缩算法。

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

视觉信号压缩是一个长期存在的问题。通过深度学习的最近进步，令人兴奋的进展已经推动。尽管压缩性能更好，但现有的端到端压缩算法仍然以速率失真优化而设计更好的信号质量。在本文中，我们表明，网络架构的设计和优化可以进一步改善压缩机器视觉。我们为机器视觉的端到端压缩的编码器提出了一种反转的瓶颈结构，这特别考虑了语义信息的有效表示。此外，我们通过将分析精度纳入优化过程来追求优化的能力，并且通过以迭代方式进一步探索具有广义速率准确优化的最优性。我们使用对象检测作为展示用于机器视觉的端到端压缩，并且广泛的实验表明，该方案在分析性能方面实现了显着的BD速率。此外，由于信号电平重建，还对其他机器视觉任务的强大泛化能力表明了该方案的承诺。

在本文中，我们提出了通过特征级伪参考（PR）幻觉提出的无引用（NR）图像质量评估（IQA）方法。提出的质量评估框架基于自然图像统计行为的先前模型，并植根于以下观点，即可以很好地利用具有感知意义的特征来表征视觉质量。本文中，通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征，并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像，特征水平的分离是用可逆神经层进行最终质量预测的，导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性，跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。

视频编码技术已不断改进，以更高的分辨率以更高的压缩比。但是，最先进的视频编码标准（例如H.265/HEVC和多功能视频编码）仍在设计中，该假设将被人类观看。随着深度神经网络在解决计算机视觉任务方面的巨大进步和成熟，越来越多的视频通过无人参与的深度神经网络直接分析。当计算机视觉应用程序使用压缩视频时，这种传统的视频编码标准设计并不是最佳的。尽管人类视觉系统对具有高对比度的内容一直敏感，但像素对计算机视觉算法的影响是由特定的计算机视觉任务驱动的。在本文中，我们探索并总结了计算机视觉任务的视频编码和新兴视频编码标准，机器的视频编码。

Salient object detection (SOD) aims to determine the most visually attractive objects in an image. With the development of virtual reality technology, 360{\deg} omnidirectional image has been widely used, but the SOD task in 360{\deg} omnidirectional image is seldom studied due to its severe distortions and complex scenes. In this paper, we propose a Multi-Projection Fusion and Refinement Network (MPFR-Net) to detect the salient objects in 360{\deg} omnidirectional image. Different from the existing methods, the equirectangular projection image and four corresponding cube-unfolding images are embedded into the network simultaneously as inputs, where the cube-unfolding images not only provide supplementary information for equirectangular projection image, but also ensure the object integrity of the cube-map projection. In order to make full use of these two projection modes, a Dynamic Weighting Fusion (DWF) module is designed to adaptively integrate the features of different projections in a complementary and dynamic manner from the perspective of inter and intra features. Furthermore, in order to fully explore the way of interaction between encoder and decoder features, a Filtration and Refinement (FR) module is designed to suppress the redundant information between the feature itself and the feature. Experimental results on two omnidirectional datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both qualitatively and quantitatively.

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

自然图像的统计规律（称为自然场景统计数据）在不引用图像质量评估中起重要作用。但是，人们普遍认为，通常是计算机生成的屏幕内容图像（SCI）不持有此类统计信息。在这里，我们首次尝试学习SCI的统计数据，基于可以有效确定SCI的质量。所提出的方法的基本机制是基于一个狂野的假设，即没有物理上获得的SCI仍然遵守某些可以以学习方式理解的统计数据。我们从经验上表明，在质量评估中可以有效利用统计偏差，并且在不同的环境中进行评估时，提出的方法优越。广泛的实验结果表明，与现有的NR-IQA模型相比，基于深度统计的SCI质量评估（DFSS-IQA）模型可提供有希望的性能，并在跨数据库设置中显示出很高的概括能力。我们的方法的实现可在https://github.com/baoliang93/dfss-iqa上公开获得。

由于深度神经网络的开发，尤其是对于最近开发的无监督的JND代模型，对公正的显着差异（JND）建模做出了重大改进。但是，他们有一个主要的缺点，即在现实世界信号域而不是在人脑中的感知结构域中评估了生成的JND。当在这两个域中评估JND时，存在明显的差异，因为在现实世界中的视觉信号在通过人类视觉系统（HVS）传递到大脑之前已编码。因此，我们提出了一个受HVS启发的信号降解网络进行JND估计。为了实现这一目标，我们仔细分析了JND主观观察中的HVS感知过程，以获得相关的见解，然后设计受HVS启发的信号降解（HVS-SD）网络，以表示HVS中的信号降解。一方面，知识渊博的HVS-SD使我们能够评估感知域中的JND。另一方面，它提供了更准确的先验信息，以更好地指导JND生成。此外，考虑到合理的JND不应导致视觉注意力转移的要求，提出了视觉注意力丧失以控制JND的生成。实验结果表明，所提出的方法实现了SOTA性能，以准确估计HVS的冗余性。源代码将在https://github.com/jianjin008/hvs-sd-jnd上找到。

基于软马克斯的损失函数及其变体（例如，界面，圆顶和弧形）可显着改善野生无约束场景中的面部识别性能。这些算法的一种常见实践是对嵌入特征和线性转换矩阵之间的乘法进行优化。但是，在大多数情况下，基于传统的设计经验给出了嵌入功能的尺寸，并且在给出固定尺寸时，使用该功能本身提高性能的研究较少。为了应对这一挑战，本文提出了一种称为subface的软关系近似方法，该方法采用了子空间功能来促进面部识别的性能。具体而言，我们在训练过程中动态选择每个批次中的非重叠子空间特征，然后使用子空间特征在基于软磁性的损失之间近似完整功能，因此，深层模型的可区分性可以显着增强，以增强面部识别。在基准数据集上进行的综合实验表明，我们的方法可以显着提高香草CNN基线的性能，这强烈证明了基于利润率的损失的子空间策略的有效性。

作为人类视觉系统（HVS）的重要感知特性，已经研究了几十年的图像和视频处理（例如，感知视觉信号压缩）已经研究了刚刚明显的差异（JND）。然而，对于深度机器视觉（DMV）的JND存在很少的探索，尽管DMV在许多机器视觉任务中取得了很大的进步。在本文中，我们进行了初步尝试，并证明DMV具有JND，称为DMV-JND。然后，我们为DMV中的图像分类任务提出了JND模型。已经发现DMV可以通过与所提出的DMV-JND-NET的无监督学习产生JND来容忍平均PSNR的扭曲图像，其平均PSNR仅为9.56dB（越来越越好）。特别是，设计语义引导的冗余评估策略旨在抑制DMV-JND的幅度和空间分布。图像分类的实验结果表明，我们成功找到了深度机视觉的JND。我们的DMV-JND有助于DMV导向图像和视频压缩，水印，质量评估，深度神经网络安全等方向的可能方向。

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

最近，越来越多的图像被压缩并发送到用于机器分析任务的后端设备〜（\ textIt {e.g。，}对象检测），而不是纯粹由人类观察。但是，大多数传统图像编解码器旨在最大程度地减少人类视觉系统的失真，而无需考虑机器视觉系统的需求增加。在这项工作中，我们为机器视觉任务提出了一种预处理增强的图像压缩方法，以应对这一挑战。我们的框架不是依靠学习的图像编解码器进行端到端优化，而是基于传统的非差异编解码器，这意味着它是标准兼容的，并且可以轻松地部署在实际应用中。具体而言，我们在编码器之前提出了一个神经预处理模块，以维护下游任务的有用语义信息，并抑制无关信息以节省比特率。此外，我们的神经预处理模块是量化自适应的，可用于不同的压缩比。更重要的是，要通过下游机器视觉任务共同优化预处理模块，我们在后传播阶段介绍了传统非差异编解码器的代理网络。我们通过评估具有不同骨干网络的两个代表性下游任务的压缩方法来提供广泛的实验。实验结果表明，我们的方法通过节省约20％的比特率来实现编码比特率和下游机器视觉任务的性能之间的更好权衡。

图像DeBlurring旨在恢复模糊图像中的详细纹理信息或结构，这已成为许多计算机视觉任务中必不可少的一步。尽管已经提出了各种方法来处理图像去除问题，但大多数方法将模糊图像视为一个整体，并忽略了不同图像频率的特征。在本文中，我们提出了一种新方法，称为图像脱毛的多尺度频率分离网络（MSFS-NET）。 MSFS-NET将频率分离模块（FSM）引入编码器 - 模块网络体系结构中，以在多个尺度上捕获图像的低频和高频信息。然后，分别设计了一个循环一致性策略和对比度学习模块（CLM），以保留低频信息，并在Deblurring期间恢复高频信息。最后，不同量表的特征是通过跨尺度特征融合模块（CSFFM）融合的。基准数据集的广泛实验表明，所提出的网络可实现最先进的性能。

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。

随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。