大多数视觉检索应用程序商店都有用于下游匹配任务的向量。这些向量从可以监视用户信息的地方，如果不仔细保护，将导致隐私泄漏。为了减轻隐私风险，当前的作品主要利用不可变形的转换或完全加密算法。但是，基于转换的方法通常无法实现令人满意的匹配性能，而密码系统则遭受了大量的计算开销。此外，应提高当前方法的安全水平，以面对潜在的对手攻击。为了解决这些问题，本文提出了一个称为SecureVector的插件模块，该模块通过随机排列，4L-DEC转换和现有同构加密技术来保护功能。 SecureVector首次实现了实时的实时和无损的功能匹配，而且安全级别比当前的最新设备高得多。关于面部识别，重新识别，图像检索和隐私分析的广泛实验证明了我们方法的有效性。鉴于该领域的公共项目有限，我们的方法和实施基准的代码是在https://github.com/irvingmeng/securevector中进行开源的。

生物识别技术，尤其是人脸识别，已成为全球身份管理系统的重要组成部分。在Biometrics的部署中，必须安全地存储生物信息，以保护用户的隐私是必要的。在此上下文中，生物识别密码系统旨在满足生物识别信息保护的关键要求，从而实现隐私保留存储和生物识别数据的比较。该工作调查了通过深卷积神经网络提取的面部特征向量的改进的模糊Vault方案的应用。为此，引入了一个特征转换方法，将固定长度的实值深度特征向量映射到整数值的功能集。作为所述特征变换的一部分，进行了对不同特征量化和二碳技术的详细分析。在关键绑定处，获得的特征集被锁定在可解释的改进的模糊拱顶中。对于关键检索，研究了不同多项式重建技术的效率。所提出的特征转换方法和模板保护方案是生物识别特性的不可知。在实验中，构造了基于可解释的改进的深面模糊Vault基础模板保护方案，采用用培训的最先进的深卷积神经网络提取的特征，该特征在接受附加角度损失（arcFace）。为了最佳配置，在Furet和FRGCV2面部数据库的跨数据库实验中实现了0.01％的假匹配速率低于1％以下的假非匹配率。平均而言，获得高达约28位的安全级别。这项工作提出了一个有效的面基模糊Vault方案，提供了面部参考数据的隐私保护以及从脸部的数字键推导。

我们提出了一种方法，可以针对加密域中的大型画廊搜索探针（或查询）图像表示。我们要求探针和画廊图像以固定长度表示形式表示，这对于从学习的网络获得的表示是典型的。我们的加密方案对如何获得固定长度表示不可知，因此可以应用于任何应用域中的任何固定长度表示。我们的方法被称为HERS（同派加密表示搜索），是通过（i）压缩表示其估计的固有维度的表示，而准确性的最小损失（ii）使用拟议的完全同质加密方案和（iii）有效地加密压缩表示形式（ii）直接在加密域中直接搜索加密表示的画廊，而不会解密它们。大型面部，指纹和对象数据集（例如ImageNet）上的数值结果表明，在加密域中，首次准确且快速的图像搜索是可行的（500秒； $ 275 \ times $ 275 \ times $ speed胜过状态 - 与1亿个画廊的加密搜索有关）。代码可从https://github.com/human-analysis/hers-ecrypted-image-search获得。

As automated face recognition applications tend towards ubiquity, there is a growing need to secure the sensitive face data used within these systems. This paper presents a survey of biometric template protection (BTP) methods proposed for securing face templates (images/features) in neural-network-based face recognition systems. The BTP methods are categorised into two types: Non-NN and NN-learned. Non-NN methods use a neural network (NN) as a feature extractor, but the BTP part is based on a non-NN algorithm, whereas NN-learned methods employ a NN to learn a protected template from the unprotected template. We present examples of Non-NN and NN-learned face BTP methods from the literature, along with a discussion of their strengths and weaknesses. We also investigate the techniques used to evaluate these methods in terms of the three most common BTP criteria: recognition accuracy, irreversibility, and renewability/unlinkability. The recognition accuracy of protected face recognition systems is generally evaluated using the same (empirical) techniques employed for evaluating standard (unprotected) biometric systems. However, most irreversibility and renewability/unlinkability evaluations are found to be based on theoretical assumptions/estimates or verbal implications, with a lack of empirical validation in a practical face recognition context. So, we recommend a greater focus on empirical evaluations to provide more concrete insights into the irreversibility and renewability/unlinkability of face BTP methods in practice. Additionally, an exploration of the reproducibility of the studied BTP works, in terms of the public availability of their implementation code and evaluation datasets/procedures, suggests that it would be difficult to faithfully replicate most of the reported findings. So, we advocate for a push towards reproducibility, in the hope of advancing face BTP research.

本文提出了一种保护用于代表基于神经网络的面部验证系统中的人面的敏感面嵌入的方法。 PolyProtect使用基于由用户特定系数和指数参数参数化的多变量多项式的映射将映射变换为更安全的模板。在这项工作中，在合作用户移动面验证上下文中的两个开源面部识别系统中，在最艰难的威胁模型中对PolyProtect进行评估，该模型具有完全通知的攻击者，具有完全了解系统和其所有参数。结果表明，可以调整聚类以在多保护面部验证系统的识别准确性和多保护模板的不可逆转之间实现令人满意的权衡。此外，示出了聚保模板可有效地解释，特别是如果以非天真的方式选择在聚类映射中使用的用户特定参数。评估使用实用方法进行了实用方法，以在实践中将方法的鲁棒性展示在该方法的侵略性保护方案中。使用公开可用的代码，此工作完全可再现：https://gitlab.idiap.ch/bob/bob.paper.polyprotect_2021。

本文提出了一种非相互作用的端到端解决方案，用于使用完全同构加密（FHE）的生物识别模板的安全融合和匹配。给定一对加密的特征向量，我们执行以下密码操作，i）特征串联，ii）通过学习的线性投影降低融合和尺寸，iii）缩放到单位$ \ ell_2 $ -norm和iv）匹配分数计算。我们的方法被称为heft（生物识别模板的同派加密融合），是定制设计的，以克服FHE所施加的独特约束，即缺乏对非偏心操作的支持。从推论的角度来看，我们系统地探索了不同的数据包装方案，以进行计算有效的线性投影，并引入多项式近似来进行比例归一化。从训练的角度来看，我们引入了一种了解线性投影矩阵的FHE感知算法，以减轻近似归一化引起的错误。与各自的UNIBIOMETICTAINS相比，对面部和语音生物识别技术的模板融合和匹配的实验评估表明，（I）将生物识别验证性能提高了11.07％和9.58％的AUROC，同时将特征向量压缩为16（512d至32d）， ，（ii）融合了一对加密的特征向量，并计算出在884毫秒内的1024个画廊的匹配分数。代码和数据可在https://github.com/human-analysis/crypted-biometric-fusion上获得

可取消的生物识别性是指一组技术，其中生物识别输入在处理或存储前用键有意地转换。该转换是可重复的，可以实现后续生物特征比较。本文介绍了一种可消除生物识别性的新方案，旨在保护模板免受潜在攻击，适用于任何基于生物识别的识别系统。我们所提出的方案基于从变形随机生物识别信息获得的时变键。给出了面部生物识别技术的实验实施。结果证实，该方法能够在提高识别性能的同时抵抗泄漏攻击。

在最近的过去，不同的研究人员提出了新的隐私增强的人脸识别系统，旨在在特征级别隐藏软生物信息。这些作品报告了令人印象深刻的结果，但通常在他们对隐私保护的分析中不考虑具体攻击。在大多数情况下，通过简单的基于机器学习的分类器和维度减少工具的可视化测试这些方案的隐私保护能力。在这项工作中，我们介绍了一个关于基于级别的面部软生物识别隐私 - 增强技术的攻击。攻击基于两个观察：（1）实现高度识别准确性，面部陈述之间的某些相似之处必须保留在其隐私增强版本中; （2）高度相似的面部表示通常来自具有相似软生物识别属性的面部图像。基于这些观察，所提出的攻击将隐私增强的面部表示与具有已知的软生物识别属性的一组隐私增强的面部表示进行了比较。随后，分析了最佳获得的相似度分数以推断攻击隐私增强的面部表示的未知软生物识别属性。也就是说，攻击仅需要一个相对较小的任意面部图像数据库和作为黑盒的隐私增强的人脸识别算法。在实验中，该攻击应用于先前据报道的两种代表性方法，以可靠地隐藏在隐私增强的面部陈述中的性别。结果表明，所呈现的攻击能够规避隐私提升到相当程度，并且能够正确地对性别进行分类，以准确性为分析的隐私增强面部识别系统的准确性高达约90％。

增强隐私技术是实施基本数据保护原则的技术。关于生物识别识别，已经引入了不同类型的隐私增强技术来保护储存的生物特征识别数据，这些数据通常被归类为敏感。在这方面，已经提出了各种分类法和概念分类，并进行了标准化活动。但是，这些努力主要致力于某些隐私增强技术的子类别，因此缺乏概括。这项工作概述了统一框架中生物识别技术隐私技术的概念。在每个处理步骤中，详细介绍了现有概念之间的关键方面和差异。讨论了现有方法的基本属性和局限性，并与数据保护技术和原理有关。此外，提出了评估生物识别技术的隐私技术评估的场景和方法。本文是针对生物识别数据保护领域的进入点，并针对经验丰富的研究人员以及非专家。

由于其高识别精度，包括移动设备的面部解锁，社区访问控制系统和城市监视，因此在许多领域都使用了面部识别技术。由于非常深的网络结构可以保证当前的高精度，因此通常需要将面部图像传输到具有高计算能力以进行推理的第三方服务器。但是，面部图像在视觉上揭示了用户的身份信息。在此过程中，不受信任的服务提供商和恶意用户都可以显着增加个人隐私漏洞的风险。当前的隐私识别方法通常伴随着许多副作用，例如推理时间的显着增加或明显的识别准确性下降。本文提出了使用频域中使用差异隐私的保护隐私面部识别方法。由于利用了差异隐私，它在理论上提供了隐私的保证。同时，准确性的丧失非常小。该方法首先将原始图像转换为频域，并删除称为DC的直接组件。然后，可以根据差异隐私框架内的后端面部识别网络的丢失来学习隐私预算分配方法。最后，它为频域特征添加了相应的噪声。根据广泛的实验，我们的方法在几个经典的面部识别测试集中表现出色。

Large training data and expensive model tweaking are standard features of deep learning for images. As a result, data owners often utilize cloud resources to develop large-scale complex models, which raises privacy concerns. Existing solutions are either too expensive to be practical or do not sufficiently protect the confidentiality of data and models. In this paper, we study and compare novel \emph{image disguising} mechanisms, DisguisedNets and InstaHide, aiming to achieve a better trade-off among the level of protection for outsourced DNN model training, the expenses, and the utility of data. DisguisedNets are novel combinations of image blocktization, block-level random permutation, and two block-level secure transformations: random multidimensional projection (RMT) and AES pixel-level encryption (AES). InstaHide is an image mixup and random pixel flipping technique \cite{huang20}. We have analyzed and evaluated them under a multi-level threat model. RMT provides a better security guarantee than InstaHide, under the Level-1 adversarial knowledge with well-preserved model quality. In contrast, AES provides a security guarantee under the Level-2 adversarial knowledge, but it may affect model quality more. The unique features of image disguising also help us to protect models from model-targeted attacks. We have done an extensive experimental evaluation to understand how these methods work in different settings for different datasets.

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

可取消的生物识别方案旨在通过将特定于用户特定令牌（例如密码，存储的秘密或盐）以及生物识别数据结合使用来生成安全的生物识别模板。这种类型的转换被构造为具有特征提取算法的生物特征转化的组成。可取消的生物特征方案的安全要求涉及模板的不可逆性，无键和可竞争性，而不会损失比较的准确性。尽管最近就这些要求攻击了几项方案，但这种组成的完全可逆性是为了产生碰撞的生物特征，特别是表现攻击，从未得到我们的最佳知识。在本文中，我们借助整数线性编程（ILP）和四次约束二次编程（QCQP）对传统可取消方案进行了形式化这些攻击。解决这些优化问题使对手可以稍微改变其指纹图像，以模仿任何人。此外，在更严重的情况下，有可能同时假冒几个人。

K均值是实践中使用最广泛的聚类模型之一。由于数据隔离的问题和对高模型性能的要求，如何共同建立实用和安全的K均值为多方成为行业中许多应用程序的重要主题。现有的工作主要是两种类型。第一种类型具有效率优势，但是信息泄漏会增加潜在的隐私风险。第二种类型是可证明的，但对于大规模数据稀疏方案而言，效率低下，甚至无助。在本文中，我们提出了一个新的框架，用于具有三个特征的有效稀疏感k均值。首先，我们的框架分为独立于数据的离线阶段和更快的在线阶段，并且离线阶段允许预先计算几乎所有的加密操作。其次，我们利用在线和离线阶段中的矢量化技术。第三，我们采用稀疏的矩阵乘法，以进一步提高效率。我们对三个合成数据集进行了全面的实验，并将模型部署在现实世界中的欺诈检测任务中。我们的实验结果表明，与最先进的解决方案相比，我们的模型在运行时间和沟通规模方面都能达到竞争性能，尤其是在稀疏数据集上。

模型反转攻击（MIAS）旨在创建合成图像，通过利用模型的学习知识来反映目标分类器的私人培训数据中的班级特征。先前的研究开发了生成的MIA，该MIA使用生成的对抗网络（GAN）作为针对特定目标模型的图像先验。这使得攻击时间和资源消耗，不灵活，并且容易受到数据集之间的分配变化的影响。为了克服这些缺点，我们提出了插头攻击，从而放宽了目标模型和图像之前的依赖性，并启用单个GAN来攻击广泛的目标，仅需要对攻击进行少量调整。此外，我们表明，即使在公开获得的预训练的gan和强烈的分配转变下，也可以实现强大的MIA，而先前的方法无法产生有意义的结果。我们的广泛评估证实了插头攻击的鲁棒性和灵活性，以及​​它们创建高质量图像的能力，揭示了敏感的类特征。

本文研究了行人图像的新型隐私匿名问题，该问题保留了授权模型的个人身份信息（PII），并防止PII被第三方认可。常规的匿名方法不可避免地会导致语义信息丢失，从而导致数据实用性有限。此外，现有的学习匿名技术，同时保留各种身份 - 艾尔特尔维坦公用事业，将改变行人身份，因此不适合培训强大的重新识别模型。为了探索行人图像的隐私 - 实用性权衡取舍，我们提出了一个联合学习可逆的匿名框架，该框架可以可逆地生成全身匿名图像，而对人员重新识别任务的性能很小。核心思想是，我们采用常规方法生成的脱敏图像作为初始隐私的监督，并共同训练具有恢复解码器和身份不变模型的匿名编码器。我们进一步提出了一种渐进培训策略来改善绩效，迭代地升级了最初的匿名监督。实验进一步证明了我们的匿名行人图像对隐私保护的有效性，这在保留隐私时提高了重新识别性能。代码可在\ url {https://github.com/whuzjw/privacy-reid}中获得。

Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.

生成模型的面部匿名化已经变得越来越普遍，因为它们通过生成虚拟面部图像来消毒私人信息，从而确保隐私和图像实用程序。在删除或保护原始身份后，通常无法识别此类虚拟面部图像。在本文中，我们将生成可识别的虚拟面部图像的问题形式化和解决。我们的虚拟脸部图像在视觉上与原始图像不同，以保护隐私保护。此外，它们具有新的虚拟身份，可直接用于面部识别。我们建议可识别的虚拟面部发电机（IVFG）生成虚拟面部图像。 IVFG根据用户特定的键将原始面部图像的潜在矢量投射到虚拟图像中，该键基于该图像生成虚拟面部图像。为了使虚拟面部图像可识别，我们提出了一个多任务学习目标以及一个三联生的培训策略，以学习IVFG。我们使用不同面部图像数据集上的不同面部识别器评估虚拟面部图像的性能，所有这些都证明了IVFG在生成可识别的虚拟面部图像中的有效性。

Privacy of machine learning models is one of the remaining challenges that hinder the broad adoption of Artificial Intelligent (AI). This paper considers this problem in the context of image datasets containing faces. Anonymization of such datasets is becoming increasingly important due to their central role in the training of autonomous cars, for example, and the vast amount of data generated by surveillance systems. While most prior work de-identifies facial images by modifying identity features in pixel space, we instead project the image onto the latent space of a Generative Adversarial Network (GAN) model, find the features that provide the biggest identity disentanglement, and then manipulate these features in latent space, pixel space, or both. The main contribution of the paper is the design of a feature-preserving anonymization framework, StyleID, which protects the individuals' identity, while preserving as many characteristics of the original faces in the image dataset as possible. As part of the contribution, we present a novel disentanglement metric, three complementing disentanglement methods, and new insights into identity disentanglement. StyleID provides tunable privacy, has low computational complexity, and is shown to outperform current state-of-the-art solutions.

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。