As automated face recognition applications tend towards ubiquity, there is a growing need to secure the sensitive face data used within these systems. This paper presents a survey of biometric template protection (BTP) methods proposed for securing face templates (images/features) in neural-network-based face recognition systems. The BTP methods are categorised into two types: Non-NN and NN-learned. Non-NN methods use a neural network (NN) as a feature extractor, but the BTP part is based on a non-NN algorithm, whereas NN-learned methods employ a NN to learn a protected template from the unprotected template. We present examples of Non-NN and NN-learned face BTP methods from the literature, along with a discussion of their strengths and weaknesses. We also investigate the techniques used to evaluate these methods in terms of the three most common BTP criteria: recognition accuracy, irreversibility, and renewability/unlinkability. The recognition accuracy of protected face recognition systems is generally evaluated using the same (empirical) techniques employed for evaluating standard (unprotected) biometric systems. However, most irreversibility and renewability/unlinkability evaluations are found to be based on theoretical assumptions/estimates or verbal implications, with a lack of empirical validation in a practical face recognition context. So, we recommend a greater focus on empirical evaluations to provide more concrete insights into the irreversibility and renewability/unlinkability of face BTP methods in practice. Additionally, an exploration of the reproducibility of the studied BTP works, in terms of the public availability of their implementation code and evaluation datasets/procedures, suggests that it would be difficult to faithfully replicate most of the reported findings. So, we advocate for a push towards reproducibility, in the hope of advancing face BTP research.

本文提出了一种保护用于代表基于神经网络的面部验证系统中的人面的敏感面嵌入的方法。 PolyProtect使用基于由用户特定系数和指数参数参数化的多变量多项式的映射将映射变换为更安全的模板。在这项工作中，在合作用户移动面验证上下文中的两个开源面部识别系统中，在最艰难的威胁模型中对PolyProtect进行评估，该模型具有完全通知的攻击者，具有完全了解系统和其所有参数。结果表明，可以调整聚类以在多保护面部验证系统的识别准确性和多保护模板的不可逆转之间实现令人满意的权衡。此外，示出了聚保模板可有效地解释，特别是如果以非天真的方式选择在聚类映射中使用的用户特定参数。评估使用实用方法进行了实用方法，以在实践中将方法的鲁棒性展示在该方法的侵略性保护方案中。使用公开可用的代码，此工作完全可再现：https://gitlab.idiap.ch/bob/bob.paper.polyprotect_2021。

生物识别技术，尤其是人脸识别，已成为全球身份管理系统的重要组成部分。在Biometrics的部署中，必须安全地存储生物信息，以保护用户的隐私是必要的。在此上下文中，生物识别密码系统旨在满足生物识别信息保护的关键要求，从而实现隐私保留存储和生物识别数据的比较。该工作调查了通过深卷积神经网络提取的面部特征向量的改进的模糊Vault方案的应用。为此，引入了一个特征转换方法，将固定长度的实值深度特征向量映射到整数值的功能集。作为所述特征变换的一部分，进行了对不同特征量化和二碳技术的详细分析。在关键绑定处，获得的特征集被锁定在可解释的改进的模糊拱顶中。对于关键检索，研究了不同多项式重建技术的效率。所提出的特征转换方法和模板保护方案是生物识别特性的不可知。在实验中，构造了基于可解释的改进的深面模糊Vault基础模板保护方案，采用用培训的最先进的深卷积神经网络提取的特征，该特征在接受附加角度损失（arcFace）。为了最佳配置，在Furet和FRGCV2面部数据库的跨数据库实验中实现了0.01％的假匹配速率低于1％以下的假非匹配率。平均而言，获得高达约28位的安全级别。这项工作提出了一个有效的面基模糊Vault方案，提供了面部参考数据的隐私保护以及从脸部的数字键推导。

增强隐私技术是实施基本数据保护原则的技术。关于生物识别识别，已经引入了不同类型的隐私增强技术来保护储存的生物特征识别数据，这些数据通常被归类为敏感。在这方面，已经提出了各种分类法和概念分类，并进行了标准化活动。但是，这些努力主要致力于某些隐私增强技术的子类别，因此缺乏概括。这项工作概述了统一框架中生物识别技术隐私技术的概念。在每个处理步骤中，详细介绍了现有概念之间的关键方面和差异。讨论了现有方法的基本属性和局限性，并与数据保护技术和原理有关。此外，提出了评估生物识别技术的隐私技术评估的场景和方法。本文是针对生物识别数据保护领域的进入点，并针对经验丰富的研究人员以及非专家。

在最近的过去，不同的研究人员提出了新的隐私增强的人脸识别系统，旨在在特征级别隐藏软生物信息。这些作品报告了令人印象深刻的结果，但通常在他们对隐私保护的分析中不考虑具体攻击。在大多数情况下，通过简单的基于机器学习的分类器和维度减少工具的可视化测试这些方案的隐私保护能力。在这项工作中，我们介绍了一个关于基于级别的面部软生物识别隐私 - 增强技术的攻击。攻击基于两个观察：（1）实现高度识别准确性，面部陈述之间的某些相似之处必须保留在其隐私增强版本中; （2）高度相似的面部表示通常来自具有相似软生物识别属性的面部图像。基于这些观察，所提出的攻击将隐私增强的面部表示与具有已知的软生物识别属性的一组隐私增强的面部表示进行了比较。随后，分析了最佳获得的相似度分数以推断攻击隐私增强的面部表示的未知软生物识别属性。也就是说，攻击仅需要一个相对较小的任意面部图像数据库和作为黑盒的隐私增强的人脸识别算法。在实验中，该攻击应用于先前据报道的两种代表性方法，以可靠地隐藏在隐私增强的面部陈述中的性别。结果表明，所呈现的攻击能够规避隐私提升到相当程度，并且能够正确地对性别进行分类，以准确性为分析的隐私增强面部识别系统的准确性高达约90％。

我们提出了一种方法，可以针对加密域中的大型画廊搜索探针（或查询）图像表示。我们要求探针和画廊图像以固定长度表示形式表示，这对于从学习的网络获得的表示是典型的。我们的加密方案对如何获得固定长度表示不可知，因此可以应用于任何应用域中的任何固定长度表示。我们的方法被称为HERS（同派加密表示搜索），是通过（i）压缩表示其估计的固有维度的表示，而准确性的最小损失（ii）使用拟议的完全同质加密方案和（iii）有效地加密压缩表示形式（ii）直接在加密域中直接搜索加密表示的画廊，而不会解密它们。大型面部，指纹和对象数据集（例如ImageNet）上的数值结果表明，在加密域中，首次准确且快速的图像搜索是可行的（500秒； $ 275 \ times $ 275 \ times $ speed胜过状态 - 与1亿个画廊的加密搜索有关）。代码可从https://github.com/human-analysis/hers-ecrypted-image-search获得。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

大多数视觉检索应用程序商店都有用于下游匹配任务的向量。这些向量从可以监视用户信息的地方，如果不仔细保护，将导致隐私泄漏。为了减轻隐私风险，当前的作品主要利用不可变形的转换或完全加密算法。但是，基于转换的方法通常无法实现令人满意的匹配性能，而密码系统则遭受了大量的计算开销。此外，应提高当前方法的安全水平，以面对潜在的对手攻击。为了解决这些问题，本文提出了一个称为SecureVector的插件模块，该模块通过随机排列，4L-DEC转换和现有同构加密技术来保护功能。 SecureVector首次实现了实时的实时和无损的功能匹配，而且安全级别比当前的最新设备高得多。关于面部识别，重新识别，图像检索和隐私分析的广泛实验证明了我们方法的有效性。鉴于该领域的公共项目有限，我们的方法和实施基准的代码是在https://github.com/irvingmeng/securevector中进行开源的。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

可取消的生物识别性是指一组技术，其中生物识别输入在处理或存储前用键有意地转换。该转换是可重复的，可以实现后续生物特征比较。本文介绍了一种可消除生物识别性的新方案，旨在保护模板免受潜在攻击，适用于任何基于生物识别的识别系统。我们所提出的方案基于从变形随机生物识别信息获得的时变键。给出了面部生物识别技术的实验实施。结果证实，该方法能够在提高识别性能的同时抵抗泄漏攻击。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

很少有研究重点是研究人们如何识别变形攻击，即使有一些出版物已经检查了自动化FRS的敏感性并提供了变形攻击检测（MAD）方法。 MAD接近他们的决策要么基于单个图像，因此没有参考以比较（S-MAD）或使用参考图像（D-MAD）。一个普遍的误解是，审查员或观察者的面部变体检测能力取决于他们的主题专业知识，经验和对这个问题的熟悉程度，并且没有任何作品报告了定期验证身份（ID）文档的观察者的具体结果。当人类观察者参与检查具有面部图像的ID文件时，其能力的失误可能会面临重大的社会挑战。为了评估观察者的熟练程度，这项工作首先构建了来自48位不同受试者的现实变形攻击的新基准数据库，从而产生了400个变形图像。我们还捕获了从自动边界控制（ABC）门的图像，以模仿D-MAD设置中现实的边界横断场景，并使用400个探针图像研究人类观察者检测变形图像的能力。还生产了一个新的180个变形图像的数据集，以研究S-MAD环境中的人类能力。除了创建一个新的评估平台来进行S-MAD和D-MAD分析外，该研究还雇用了469位D-MAD的观察员，S-MAD的410位观察员和410位观察员，他们主要是来自40多个国家 /地区的政府雇员，以及103个科目谁不是考官。该分析提供了有趣的见解，并突出了缺乏专业知识和未能认识到专家大量变形攻击的缺乏。这项研究的结果旨在帮助制定培训计划，以防止安全失败，同时确定图像是真正的还是改变了图像。

与令人印象深刻的进步触动了我们社会的各个方面，基于深度神经网络（DNN）的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注，但是通过干扰培训过程来利用破坏DNN模型的可能性，代表了破坏训练过程的可能性，这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中，攻击者损坏了培训数据，以便在测试时间诱导错误的行为。然而，测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式，损坏的网络继续正常输入的预期工作，并且只有当攻击者决定激活网络内隐藏的后门时，才会发生恶意行为。在过去几年中，后门攻击一直是强烈的研究活动的主题，重点是新的攻击阶段的发展，以及可能对策的提议。此概述文件的目标是审查发表的作品，直到现在，分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量，以及防御者验证用于培训的数据的完整性，并监控DNN在培训和测试中的操作时间。因此，拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

近年来政府和商业实体的面部识别（FR）技术的快速采用提出了对公民自由和隐私的担忧。作为回应，已经开发了一套广泛的所谓“反面部识别”（AFR）工具，以帮助用户避免不需要的面部识别。在过去几年中提出的一组AFR工具是广泛的，快速发展，需要退回措施，以考虑AFR系统的更广泛的设计空间和长期挑战。本文旨在填补该差距，并提供对AFR研究景观的第一次综合分析。使用FR系统的运营级作为起点，我们创建了一个系统框架，用于分析不同AFR方法的益处和权衡。然后，我们考虑到AFR工具面临的技术和社会挑战，并提出在该领域的未来研究方向。

机器学习与服务（MLAAS）已成为广泛的范式，即使是通过例如，也是客户可用的最复杂的机器学习模型。一个按要求的原则。这使用户避免了数据收集，超参数调整和模型培训的耗时过程。但是，通过让客户访问（预测）模型，MLAAS提供商危害其知识产权，例如敏感培训数据，优化的超参数或学到的模型参数。对手可以仅使用预测标签创建模型的副本，并以（几乎）相同的行为。尽管已经描述了这种攻击的许多变体，但仅提出了零星的防御策略，以解决孤立的威胁。这增加了对模型窃取领域进行彻底系统化的必要性，以全面了解这些攻击是成功的原因，以及如何全面地捍卫它们。我们通过对模型窃取攻击，评估其性能以及探索不同设置中相应的防御技术来解决这一问题。我们为攻击和防御方法提出了分类法，并提供有关如何根据目标和可用资源选择正确的攻击或防御策略的准则。最后，我们分析了当前攻击策略使哪些防御能力降低。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

Adaptive attacks have (rightfully) become the de facto standard for evaluating defenses to adversarial examples. We find, however, that typical adaptive evaluations are incomplete. We demonstrate that thirteen defenses recently published at ICLR, ICML and NeurIPS-and which illustrate a diverse set of defense strategies-can be circumvented despite attempting to perform evaluations using adaptive attacks. While prior evaluation papers focused mainly on the end result-showing that a defense was ineffective-this paper focuses on laying out the methodology and the approach necessary to perform an adaptive attack. Some of our attack strategies are generalizable, but no single strategy would have been sufficient for all defenses. This underlines our key message that adaptive attacks cannot be automated and always require careful and appropriate tuning to a given defense. We hope that these analyses will serve as guidance on how to properly perform adaptive attacks against defenses to adversarial examples, and thus will allow the community to make further progress in building more robust models.