我们提出了一种方法，可以针对加密域中的大型画廊搜索探针（或查询）图像表示。我们要求探针和画廊图像以固定长度表示形式表示，这对于从学习的网络获得的表示是典型的。我们的加密方案对如何获得固定长度表示不可知，因此可以应用于任何应用域中的任何固定长度表示。我们的方法被称为HERS（同派加密表示搜索），是通过（i）压缩表示其估计的固有维度的表示，而准确性的最小损失（ii）使用拟议的完全同质加密方案和（iii）有效地加密压缩表示形式（ii）直接在加密域中直接搜索加密表示的画廊，而不会解密它们。大型面部，指纹和对象数据集（例如ImageNet）上的数值结果表明，在加密域中，首次准确且快速的图像搜索是可行的（500秒； $ 275 \ times $ 275 \ times $ speed胜过状态 - 与1亿个画廊的加密搜索有关）。代码可从https://github.com/human-analysis/hers-ecrypted-image-search获得。

本文提出了一种非相互作用的端到端解决方案，用于使用完全同构加密（FHE）的生物识别模板的安全融合和匹配。给定一对加密的特征向量，我们执行以下密码操作，i）特征串联，ii）通过学习的线性投影降低融合和尺寸，iii）缩放到单位$ \ ell_2 $ -norm和iv）匹配分数计算。我们的方法被称为heft（生物识别模板的同派加密融合），是定制设计的，以克服FHE所施加的独特约束，即缺乏对非偏心操作的支持。从推论的角度来看，我们系统地探索了不同的数据包装方案，以进行计算有效的线性投影，并引入多项式近似来进行比例归一化。从训练的角度来看，我们引入了一种了解线性投影矩阵的FHE感知算法，以减轻近似归一化引起的错误。与各自的UNIBIOMETICTAINS相比，对面部和语音生物识别技术的模板融合和匹配的实验评估表明，（I）将生物识别验证性能提高了11.07％和9.58％的AUROC，同时将特征向量压缩为16（512d至32d）， ，（ii）融合了一对加密的特征向量，并计算出在884毫秒内的1024个画廊的匹配分数。代码和数据可在https://github.com/human-analysis/crypted-biometric-fusion上获得

大多数视觉检索应用程序商店都有用于下游匹配任务的向量。这些向量从可以监视用户信息的地方，如果不仔细保护，将导致隐私泄漏。为了减轻隐私风险，当前的作品主要利用不可变形的转换或完全加密算法。但是，基于转换的方法通常无法实现令人满意的匹配性能，而密码系统则遭受了大量的计算开销。此外，应提高当前方法的安全水平，以面对潜在的对手攻击。为了解决这些问题，本文提出了一个称为SecureVector的插件模块，该模块通过随机排列，4L-DEC转换和现有同构加密技术来保护功能。 SecureVector首次实现了实时的实时和无损的功能匹配，而且安全级别比当前的最新设备高得多。关于面部识别，重新识别，图像检索和隐私分析的广泛实验证明了我们方法的有效性。鉴于该领域的公共项目有限，我们的方法和实施基准的代码是在https://github.com/irvingmeng/securevector中进行开源的。

生物识别技术，尤其是人脸识别，已成为全球身份管理系统的重要组成部分。在Biometrics的部署中，必须安全地存储生物信息，以保护用户的隐私是必要的。在此上下文中，生物识别密码系统旨在满足生物识别信息保护的关键要求，从而实现隐私保留存储和生物识别数据的比较。该工作调查了通过深卷积神经网络提取的面部特征向量的改进的模糊Vault方案的应用。为此，引入了一个特征转换方法，将固定长度的实值深度特征向量映射到整数值的功能集。作为所述特征变换的一部分，进行了对不同特征量化和二碳技术的详细分析。在关键绑定处，获得的特征集被锁定在可解释的改进的模糊拱顶中。对于关键检索，研究了不同多项式重建技术的效率。所提出的特征转换方法和模板保护方案是生物识别特性的不可知。在实验中，构造了基于可解释的改进的深面模糊Vault基础模板保护方案，采用用培训的最先进的深卷积神经网络提取的特征，该特征在接受附加角度损失（arcFace）。为了最佳配置，在Furet和FRGCV2面部数据库的跨数据库实验中实现了0.01％的假匹配速率低于1％以下的假非匹配率。平均而言，获得高达约28位的安全级别。这项工作提出了一个有效的面基模糊Vault方案，提供了面部参考数据的隐私保护以及从脸部的数字键推导。

As automated face recognition applications tend towards ubiquity, there is a growing need to secure the sensitive face data used within these systems. This paper presents a survey of biometric template protection (BTP) methods proposed for securing face templates (images/features) in neural-network-based face recognition systems. The BTP methods are categorised into two types: Non-NN and NN-learned. Non-NN methods use a neural network (NN) as a feature extractor, but the BTP part is based on a non-NN algorithm, whereas NN-learned methods employ a NN to learn a protected template from the unprotected template. We present examples of Non-NN and NN-learned face BTP methods from the literature, along with a discussion of their strengths and weaknesses. We also investigate the techniques used to evaluate these methods in terms of the three most common BTP criteria: recognition accuracy, irreversibility, and renewability/unlinkability. The recognition accuracy of protected face recognition systems is generally evaluated using the same (empirical) techniques employed for evaluating standard (unprotected) biometric systems. However, most irreversibility and renewability/unlinkability evaluations are found to be based on theoretical assumptions/estimates or verbal implications, with a lack of empirical validation in a practical face recognition context. So, we recommend a greater focus on empirical evaluations to provide more concrete insights into the irreversibility and renewability/unlinkability of face BTP methods in practice. Additionally, an exploration of the reproducibility of the studied BTP works, in terms of the public availability of their implementation code and evaluation datasets/procedures, suggests that it would be difficult to faithfully replicate most of the reported findings. So, we advocate for a push towards reproducibility, in the hope of advancing face BTP research.

Machine learning is widely used in practice to produce predictive models for applications such as image processing, speech and text recognition. These models are more accurate when trained on large amount of data collected from different sources. However, the massive data collection raises privacy concerns.In this paper, we present new and efficient protocols for privacy preserving machine learning for linear regression, logistic regression and neural network training using the stochastic gradient descent method. Our protocols fall in the two-server model where data owners distribute their private data among two non-colluding servers who train various models on the joint data using secure two-party computation (2PC). We develop new techniques to support secure arithmetic operations on shared decimal numbers, and propose MPC-friendly alternatives to non-linear functions such as sigmoid and softmax that are superior to prior work. We implement our system in C++. Our experiments validate that our protocols are several orders of magnitude faster than the state of the art implementations for privacy preserving linear and logistic regressions, and scale to millions of data samples with thousands of features. We also implement the first privacy preserving system for training neural networks.

本文提出了一种保护用于代表基于神经网络的面部验证系统中的人面的敏感面嵌入的方法。 PolyProtect使用基于由用户特定系数和指数参数参数化的多变量多项式的映射将映射变换为更安全的模板。在这项工作中，在合作用户移动面验证上下文中的两个开源面部识别系统中，在最艰难的威胁模型中对PolyProtect进行评估，该模型具有完全通知的攻击者，具有完全了解系统和其所有参数。结果表明，可以调整聚类以在多保护面部验证系统的识别准确性和多保护模板的不可逆转之间实现令人满意的权衡。此外，示出了聚保模板可有效地解释，特别是如果以非天真的方式选择在聚类映射中使用的用户特定参数。评估使用实用方法进行了实用方法，以在实践中将方法的鲁棒性展示在该方法的侵略性保护方案中。使用公开可用的代码，此工作完全可再现：https://gitlab.idiap.ch/bob/bob.paper.polyprotect_2021。

神经网络的外包计算允许用户访问艺术模型的状态，而无需投资专门的硬件和专业知识。问题是用户对潜在的隐私敏感数据失去控制。通过同性恋加密（HE）可以在加密数据上执行计算，而不会显示其内容。在这种知识的系统化中，我们深入了解与隐私保留的神经网络相结合的方法。我们将更改分类为神经网络模型和架构，使其在他和这些变化的影响方面提供影响。我们发现众多挑战是基于隐私保留的深度学习，例如通过加密方案构成的计算开销，可用性和限制。

收集的数据量不断增长，其分析以提供更好的服务正在引起人们对数字隐私的担忧。为了解决隐私问题并提供实用的解决方案，文献依赖于安全的多方计算。但是，最近的研究主要集中在多达四个政党的小党诚实造成的设置上，并指出了效率的问题。在这项工作中，我们扩展了策略，以在中心舞台上以效率为诚实的多数参与者。在预处理范式中，我们的半冬季协议改善了Damg \ aa Rd和Nielson（Crypto'07）十年最先进的协议的在线复杂性。除了提高在线沟通成本外，我们还可以在在线阶段关闭几乎一半的各方，从而节省了系统的运营成本高达50％。我们恶意安全的协议也享有类似的好处，除了一次性验证外，只需要一半的当事方。为了展示设计协议的实用性，我们基准了使用原型实现的深度神经网络，图形神经网络，基因组序列匹配以及生物识别匹配等流行应用程序。我们改进的协议有助于在先前的工作中节省高达60-80％的货币成本。

安全的多方计算（MPC）允许当事方在数据私有的同时对数据进行计算。该功能具有机器学习应用程序的巨大潜力：它促进了对不同政党拥有的私人数据集的机器学习模型的培训，使用另一方的私人数据评估一方的私人模型等。尽管一系列研究实现了机器 - 通过安全MPC学习模型，此类实现尚未成为主流。没有灵活的软件框架“说话”机器学习研究人员和工程师的灵活软件框架的缺乏阻碍了安全MPC的采用。为了促进机器学习中安全MPC的采用，我们提出了Crypten：一个软件框架，该框架通过在现代机器学习框架中常见的抽象来揭示流行的安全MPC原语，例如张量计算，自动分化和模块化神经网络。本文描述了隐秘的设计，并在最新的文本分类，语音识别和图像分类的模型上衡量其性能。我们的基准表明，Crypten的GPU支持和（任意数量）各方之间的高性能通信使其能够在半honest威胁模型下对现代机器学习模型进行有效的私人评估。例如，使用密码的两方可以使用WAV2letter在语音记录中安全预测音素的速度比实时更快。我们希望Crypten能促使在机器学习社区中采用安全MPC。

随着功能加密的出现，已经出现了加密数据计算的新可能性。功能加密使数据所有者能够授予第三方访问执行指定的计算，而无需透露其输入。与完全同态加密不同，它还提供了普通的计算结果。机器学习的普遍性导致在云计算环境中收集了大量私人数据。这引发了潜在的隐私问题，并需要更多私人和安全的计算解决方案。在保护隐私的机器学习（PPML）方面已做出了许多努力，以解决安全和隐私问题。有基于完全同态加密（FHE），安全多方计算（SMC）的方法，以及最近的功能加密（FE）。但是，与基于FHE的PPML方法相比，基于FE的PPML仍处于起步阶段，并且尚未受到很多关注。在本文中，我们基于FE总结文献中的最新作品提供了PPML作品的系统化。我们专注于PPML应用程序的内部产品FE和基于二次FE的机器学习模型。我们分析了可用的FE库的性能和可用性及其对PPML的应用。我们还讨论了基于FE的PPML方法的潜在方向。据我们所知，这是系统化基于FE的PPML方法的第一项工作。

可取消的生物识别方案旨在通过将特定于用户特定令牌（例如密码，存储的秘密或盐）以及生物识别数据结合使用来生成安全的生物识别模板。这种类型的转换被构造为具有特征提取算法的生物特征转化的组成。可取消的生物特征方案的安全要求涉及模板的不可逆性，无键和可竞争性，而不会损失比较的准确性。尽管最近就这些要求攻击了几项方案，但这种组成的完全可逆性是为了产生碰撞的生物特征，特别是表现攻击，从未得到我们的最佳知识。在本文中，我们借助整数线性编程（ILP）和四次约束二次编程（QCQP）对传统可取消方案进行了形式化这些攻击。解决这些优化问题使对手可以稍微改变其指纹图像，以模仿任何人。此外，在更严重的情况下，有可能同时假冒几个人。

我们考虑了一个联合表示的学习框架，在中央服务器的协助下，一组$ n $分布式客户通过其私人数据协作培训一组实体的表示（或嵌入）（例如，用户在一个中的用户社交网络）。在此框架下，对于以私人方式汇总在客户培训的本地嵌入的关键步骤，我们开发了一个名为SECEA的安全嵌入聚合协议，该协议为一组实体提供信息理论隐私保证，并在每个客户端提供相应的嵌入$同时$ $，对好奇的服务器和最多$ t <n/2 $勾结的客户。作为SECEA的第一步，联合学习系统执行了一个私人实体联盟，让每个客户在不知道哪个实体属于哪个客户的情况下学习系统中的所有实体。在每个聚合回合中，使用Lagrange插值在客户端中秘密共享本地嵌入，然后每个客户端构造编码的查询以检索预期实体的聚合嵌入。我们对各种表示的学习任务进行全面的实验，以评估SECEA的效用和效率，并从经验上证明，与没有（或具有较弱的）隐私保证的嵌入聚合协议相比，SECEA会造成可忽略的绩效损失（5％以内）； SECEA的附加计算潜伏期减小，用于培训较大数据集的更深层次模型。

在最近的过去，不同的研究人员提出了新的隐私增强的人脸识别系统，旨在在特征级别隐藏软生物信息。这些作品报告了令人印象深刻的结果，但通常在他们对隐私保护的分析中不考虑具体攻击。在大多数情况下，通过简单的基于机器学习的分类器和维度减少工具的可视化测试这些方案的隐私保护能力。在这项工作中，我们介绍了一个关于基于级别的面部软生物识别隐私 - 增强技术的攻击。攻击基于两个观察：（1）实现高度识别准确性，面部陈述之间的某些相似之处必须保留在其隐私增强版本中; （2）高度相似的面部表示通常来自具有相似软生物识别属性的面部图像。基于这些观察，所提出的攻击将隐私增强的面部表示与具有已知的软生物识别属性的一组隐私增强的面部表示进行了比较。随后，分析了最佳获得的相似度分数以推断攻击隐私增强的面部表示的未知软生物识别属性。也就是说，攻击仅需要一个相对较小的任意面部图像数据库和作为黑盒的隐私增强的人脸识别算法。在实验中，该攻击应用于先前据报道的两种代表性方法，以可靠地隐藏在隐私增强的面部陈述中的性别。结果表明，所呈现的攻击能够规避隐私提升到相当程度，并且能够正确地对性别进行分类，以准确性为分析的隐私增强面部识别系统的准确性高达约90％。

Machine Learning as a service (MLaaS) permits resource-limited clients to access powerful data analytics services ubiquitously. Despite its merits, MLaaS poses significant concerns regarding the integrity of delegated computation and the privacy of the server's model parameters. To address this issue, Zhang et al. (CCS'20) initiated the study of zero-knowledge Machine Learning (zkML). Few zkML schemes have been proposed afterward; however, they focus on sole ML classification algorithms that may not offer satisfactory accuracy or require large-scale training data and model parameters, which may not be desirable for some applications. We propose ezDPS, a new efficient and zero-knowledge ML inference scheme. Unlike prior works, ezDPS is a zkML pipeline in which the data is processed in multiple stages for high accuracy. Each stage of ezDPS is harnessed with an established ML algorithm that is shown to be effective in various applications, including Discrete Wavelet Transformation, Principal Components Analysis, and Support Vector Machine. We design new gadgets to prove ML operations effectively. We fully implemented ezDPS and assessed its performance on real datasets. Experimental results showed that ezDPS achieves one-to-three orders of magnitude more efficient than the generic circuit-based approach in all metrics while maintaining more desirable accuracy than single ML classification approaches.

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

可取消的生物识别性是指一组技术，其中生物识别输入在处理或存储前用键有意地转换。该转换是可重复的，可以实现后续生物特征比较。本文介绍了一种可消除生物识别性的新方案，旨在保护模板免受潜在攻击，适用于任何基于生物识别的识别系统。我们所提出的方案基于从变形随机生物识别信息获得的时变键。给出了面部生物识别技术的实验实施。结果证实，该方法能够在提高识别性能的同时抵抗泄漏攻击。

随着基于位置的越来越多的社交网络，隐私保存位置预测已成为帮助用户发现新的兴趣点（POI）的主要任务。传统系统考虑一种需要传输和收集用户私有数据的集中方法。在这项工作中，我们展示了FedPoirec，隐私保留了联合学习方法的隐私，增强了用户社交界的功能，以获得最高$ N $ POI建议。首先，FedPoirec框架建立在本地数据永远不会离开所有者设备的原则上，而本地更新盲目地由参数服务器汇总。其次，本地推荐人通过允许用户交换学习参数来获得个性化，从而实现朋友之间的知识传输。为此，我们提出了一种隐私保留协议，用于通过利用CKKS完全同态加密方案的特性来集成用户朋友在联合计算之后的偏好。为了评估FEDPOIREC，我们使用两个推荐模型将我们的方法应用于五个现实世界数据集。广泛的实验表明，FEDPOIREC以集中方法实现了相当的推荐质量，而社会集成协议会突出用户侧的低计算和通信开销。

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.

增强隐私技术是实施基本数据保护原则的技术。关于生物识别识别，已经引入了不同类型的隐私增强技术来保护储存的生物特征识别数据，这些数据通常被归类为敏感。在这方面，已经提出了各种分类法和概念分类，并进行了标准化活动。但是，这些努力主要致力于某些隐私增强技术的子类别，因此缺乏概括。这项工作概述了统一框架中生物识别技术隐私技术的概念。在每个处理步骤中，详细介绍了现有概念之间的关键方面和差异。讨论了现有方法的基本属性和局限性，并与数据保护技术和原理有关。此外，提出了评估生物识别技术的隐私技术评估的场景和方法。本文是针对生物识别数据保护领域的进入点，并针对经验丰富的研究人员以及非专家。