深度神经网络（DNN）在学习指纹的固定长度表示方面表现出了不可思议的希望。由于表示学习通常集中在捕获特定的先验知识（例如细节）上，因此没有普遍的表示可以全面地封装在指纹中的所有歧视性信息。在学习一系列表示的过程中可以缓解这个问题，但需要解决两个关键的挑战：（i）如何从相同的指纹图像中提取多种不同的表示？ （ii）如何在匹配过程中最佳利用这些表示形式？在这项工作中，我们在输入图像的不同转换上训练多个Deepprint（一种基于DNN的指纹编码器）的多个实例，以生成指纹嵌入的集合。我们还提出了一种功能融合技术，该技术将这些多个表示形式提炼成单个嵌入，该技术忠实地捕获了合奏中存在的多样性而不会增加计算复杂性。已在五个数据库中进行了全面评估所提出的方法，这些数据库包含滚动，普通和潜在的指纹（NIST SD4，NIST SD14，NIST SD14，NIST SD27，NIST SD302和FVC2004 DB2A）和统计上的显着改进，在验证范围内已始终如一地证明以及封闭式和开放设定的标识设置。提出的方法是能够提高任何基于DNN识别系统的准确性的包装器。

The use of vision transformers (ViT) in computer vision is increasing due to limited inductive biases (e.g., locality, weight sharing, etc.) and increased scalability compared to other deep learning methods. This has led to some initial studies on the use of ViT for biometric recognition, including fingerprint recognition. In this work, we improve on these initial studies for transformers in fingerprint recognition by i.) evaluating additional attention-based architectures, ii.) scaling to larger and more diverse training and evaluation datasets, and iii.) combining the complimentary representations of attention-based and CNN-based embeddings for improved state-of-the-art (SOTA) fingerprint recognition (both authentication and identification). Our combined architecture, AFR-Net (Attention-Driven Fingerprint Recognition Network), outperforms several baseline transformer and CNN-based models, including a SOTA commercial fingerprint system, Verifinger v12.3, across intra-sensor, cross-sensor, and latent to rolled fingerprint matching datasets. Additionally, we propose a realignment strategy using local embeddings extracted from intermediate feature maps within the networks to refine the global embeddings in low certainty situations, which boosts the overall recognition accuracy significantly across each of the models. This realignment strategy requires no additional training and can be applied as a wrapper to any existing deep learning network (including attention-based, CNN-based, or both) to boost its performance.

匹配的非接触式指纹或手指照片到基于接触的指纹印象在Covid-19尾之后，由于非接触式采集的优越性卫生以及能够以足够的分辨率捕获指纹照片的低成本移动电话的广泛可用性用于验证目的。本文介绍了一个名为C2CL的端到端自动化系统，包括移动手指照片捕获应用，预处理和匹配算法，以处理抑制先前交叉匹配方法的挑战;即i）低脊谷非接触式指纹对比，II）不同卷，俯仰，偏航和手指的距离，III的距离，III）非线性扭曲的基于接触的指纹，和VI）智能手机的不同图像质量。相机。我们的预处理算法段，增强，尺度和不可接受的非接触式指纹，而我们的匹配算法提取细节和纹理表示。使用我们的移动捕获App获取的206个受理接触式2D指纹和基于相应的基于接触的指纹的DataSet和来自206个受试者（每个受试者的2拇指和2个索引手指的指纹）用于评估我们所提出的算法的跨数据库性能。此外，在3个公共数据集上的额外实验结果表明，最先进的与非接触式指纹匹配（焦油为96.67％至98.30％，= 0.01％的焦油）显着提高。

鉴于完整的指纹图像（滚动或拍打），我们介绍了Cyclegan模型，以生成与完整印刷相同身份的多个潜在印象。我们的模型可以控制生成的潜在打印图像中的失真，噪声，模糊和遮挡程度，以获得NIST SD27潜在数据库中介绍的好，坏和丑陋的潜在图像类别。我们的工作的贡献是双重的：（i）证明合成生成的潜在指纹图像与NIST SD27和MSP数据库中的犯罪现场潜伏期的相似性，并由NIST NIST NFIQ 2质量度量和由SOTA指纹匹配器和ROC曲线评估。 （ii）使用合成潜伏期在公共领域增强小型的潜在训练数据库，以提高Deepprint的性能，Deepprint是一种SOTA指纹匹配器，设计用于在三个潜在数据库上滚动的指纹匹配（NIST SD27，NIST SD302和IIITD，以及IIITD，以及IIITD，以及IIITD，以及-slf）。例如，随着合成潜在数据的增强，在具有挑战性的NIST SD27潜在数据库中，Deepprint的排名1检索性能从15.50％提高到29.07％。我们生成合成潜在指纹的方法可用于改善任何潜在匹配器及其单个组件的识别性能（例如增强，分割和特征提取）。

指纹证据在识别个人的刑事调查中起着重要作用。尽管已经提出了各种指纹分类和特征提取的技术，但指纹的自动指纹识别仍处于最早的阶段。传统\ textIt {自动指纹识别系统}（AFIS）的性能取决于有效的小小的点，并且仍然需要人类的专家协助在功能提取和识别阶段。基于这种动机，我们提出了一种基于生成对抗网络和一声学习技术（FIGO）的指纹识别方法。我们的解决方案包含两个组件：指纹增强层和指纹识别层。首先，我们提出了一个PIX2PIX模型，将低质量的指纹图像转换为直接在指纹增强层中的Pixel的高水平的指纹图像像素。通过提出的增强算法，指纹识别模型的性能得到了显着提高。此外，我们通过观察指纹设备的识别精度来开发基于Gabor过滤器的另一种现有解决方案，作为与建议模型进行比较的基准。实验结果表明，我们提出的PIX2PIX模型比指纹识别的基线方法具有更好的支持。其次，我们使用单次学习方法在指纹识别过程中构建一个完全自动化的指纹特征提取模型。两个具有共享权重和参数的双卷积神经网络（CNN）用于在此过程中获得特征向量。使用提出的方法，我们证明只能以高精度从一个培训样本中学习必要的信息。

在指纹识别领域工作的研究人员的主要障碍是缺乏公开的，大规模的指纹数据集。确实存在的公开数据集包含每个手指的少数身份和印象。这限制了关于许多主题的研究，包括例如，使用深网络来学习固定长度指纹嵌入。因此，我们提出了Printsgan，一种能够产生独特指纹的合成指纹发生器以及给定指纹的多个印象。使用Printsgan，我们合成525,000个指纹的数据库（35,000个不同的手指，每次有15个印象）。接下来，我们通过训练深网络来提取来自指纹的固定长度嵌入的固定长度来显示Printsgan生成的数据集的实用程序。特别是，对我们的合成指纹培训并进行微调的嵌入式模型和在NIST SD302的25,000个印刷品上进行微调）在NIST SD4数据库上获得87.03％的焦点为87.03％（一个升压）当仅在NIST SD302上培训时，来自Tar = 73.37％）。普遍的合成指纹产生方法不会使I）缺乏现实主义或ii）无法产生多个印象。我们计划向公众释放我们的合成指纹数据库。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

指纹特征提取是使用全局或局部表示的求解的任务。最先进的全球方法使用大量深度学习模型一次处理完整的指纹图像，从而使相应的方法记忆密集型。另一方面，本地方法涉及基于细节的补丁提取，多个特征提取步骤和昂贵的匹配阶段，从而使相应的接近时间密集型。但是，这两种方法都为解决问题提供了有用的，有时甚至是独家见解。使用两种方法一起提取指纹表示，在语义上是有用的，但效率很低。我们采用内置小型萃取器的基于卷积变压器的方法为提取指纹的全局和局部表示提供了时间和记忆有效的解决方案。这些表示形式的使用以及智能匹配过程为我们提供了多个数据库的最先进性能。项目页面可以在https://saraansh199999.github.io/global-plus-plus-local-fp-transformer上找到。

潜在的指纹对于识别犯罪嫌疑人很重要。但是，认识到参考指纹集中的潜在指纹仍然是一个挑战。现有方法的大多数（如果不是全部）将独立提取每个指纹的表示特征，然后比较这些表示特征在不同过程中识别的相似性。如果没有对特征提取过程的相似性的监督，则很难在最佳地反映两种指纹的相似性，这是匹配决策的基础。在本文中，我们提出了一种新方案，可以将两个指纹的配对关系建模为识别的相似性功能。配对关系是由混合深网建模的，该网络可以处理随机大小的困难和潜在指纹的损坏区域。两个数据库的实验结果表明，所提出的方法的表现优于最新技术。

We report on experiments for the fingerprint modality conducted during the First BioSecure Residential Workshop. Two reference systems for fingerprint verification have been tested together with two additional non-reference systems. These systems follow different approaches of fingerprint processing and are discussed in detail. Fusion experiments I volving different combinations of the available systems are presented. The experimental results show that the best recognition strategy involves both minutiae-based and correlation-based measurements. Regarding the fusion experiments, the best relative improvement is obtained when fusing systems that are based on heterogeneous strategies for feature extraction and/or matching. The best combinations of two/three/four systems always include the best individual systems whereas the best verification performance is obtained when combining all the available systems.

我们提出了一种质量感知的多模式识别框架，其将来自多个生物特征的表示与不同的质量和样本数量相结合，以通过基于样本的质量提取互补识别信息来实现增加的识别准确性。我们通过使用以弱监督时尚估计的质量分数加权，为融合输入方式的质量意识框架，以融合输入方式的融合。此框架利用两个融合块，每个融合块由一组质量感知和聚合网络表示。除了架构修改外，我们还提出了两种特定于任务特定的损耗功能：多模式可分离性损失和多模式紧凑性损失。第一个损失确保了类的模态的表示具有可比的大小来提供更好的质量估计，而不同类别的多式数代表分布以实现嵌入空间中的最大判别。第二次丢失，被认为是正规化网络权重，通过规范框架来提高泛化性能。我们通过考虑由面部，虹膜和指纹方式组成的三个多模式数据集来评估性能。通过与最先进的算法进行比较来证明框架的功效。特别是，我们的框架优于BioMdata的模式的级别和得分级别融合超过30％以获得$ 10 ^ { - 4} $ 10 ^ { - 4} $的真正验收率。

潜在的指纹增强是潜在指纹识别的必要预处理步骤。大多数潜在的指纹增强方法试图恢复损坏的灰色山脊/山谷。在本文中，我们提出了一种新方法，该方法将潜在的指纹增强增强为生成对抗网络（GAN）框架中的指纹生成问题。我们将提议的网络命名为Fingergan。它可以在与相应的地面真相实例上强制执行其生成的指纹（即增强的潜在指纹），该实例无法与相应的地面真相实例相互区分。由于细节是指纹识别的主要特征，并且可以直接从指纹骨架图中检索细节，因此我们提供了一个整体框架，可以在直接优化细节信息的情况下执行潜在的指纹增强。这将有助于显着提高潜在的指纹识别性能。两个公共潜在指纹数据库的实验结果表明，我们的方法的表现大大优于艺术状态。这些代码可从\ url {https://github.com/hubyz/latentenhancement}提供非商业目的。

近年来，基于生理信号的认证表现出伟大的承诺，因为其固有的对抗伪造的鲁棒性。心电图（ECG）信号是最广泛研究的生物关像，也在这方面获得了最高的关注。已经证明，许多研究通过分析来自不同人的ECG信号，可以识别它们，可接受的准确性。在这项工作中，我们展示了EDITH，EDITH是一种基于深入的ECG生物识别认证系统的框架。此外，我们假设并证明暹罗架构可以在典型的距离指标上使用，以提高性能。我们使用4个常用的数据集进行了评估了伊迪丝，并使用少量节拍表现优于先前的工作。 Edith使用仅单一的心跳（精度为96-99.75％）进行竞争性，并且可以通过融合多个节拍（从3到6个节拍的100％精度）进一步提高。此外，所提出的暹罗架构管理以将身份验证等错误率（eer）降低至1.29％。具有现实世界实验数据的Edith的有限案例研究还表明其作为实际认证系统的潜力。

生物识别技术，尤其是人脸识别，已成为全球身份管理系统的重要组成部分。在Biometrics的部署中，必须安全地存储生物信息，以保护用户的隐私是必要的。在此上下文中，生物识别密码系统旨在满足生物识别信息保护的关键要求，从而实现隐私保留存储和生物识别数据的比较。该工作调查了通过深卷积神经网络提取的面部特征向量的改进的模糊Vault方案的应用。为此，引入了一个特征转换方法，将固定长度的实值深度特征向量映射到整数值的功能集。作为所述特征变换的一部分，进行了对不同特征量化和二碳技术的详细分析。在关键绑定处，获得的特征集被锁定在可解释的改进的模糊拱顶中。对于关键检索，研究了不同多项式重建技术的效率。所提出的特征转换方法和模板保护方案是生物识别特性的不可知。在实验中，构造了基于可解释的改进的深面模糊Vault基础模板保护方案，采用用培训的最先进的深卷积神经网络提取的特征，该特征在接受附加角度损失（arcFace）。为了最佳配置，在Furet和FRGCV2面部数据库的跨数据库实验中实现了0.01％的假匹配速率低于1％以下的假非匹配率。平均而言，获得高达约28位的安全级别。这项工作提出了一个有效的面基模糊Vault方案，提供了面部参考数据的隐私保护以及从脸部的数字键推导。

我们提出了一种方法，可以针对加密域中的大型画廊搜索探针（或查询）图像表示。我们要求探针和画廊图像以固定长度表示形式表示，这对于从学习的网络获得的表示是典型的。我们的加密方案对如何获得固定长度表示不可知，因此可以应用于任何应用域中的任何固定长度表示。我们的方法被称为HERS（同派加密表示搜索），是通过（i）压缩表示其估计的固有维度的表示，而准确性的最小损失（ii）使用拟议的完全同质加密方案和（iii）有效地加密压缩表示形式（ii）直接在加密域中直接搜索加密表示的画廊，而不会解密它们。大型面部，指纹和对象数据集（例如ImageNet）上的数值结果表明，在加密域中，首次准确且快速的图像搜索是可行的（500秒； $ 275 \ times $ 275 \ times $ speed胜过状态 - 与1亿个画廊的加密搜索有关）。代码可从https://github.com/human-analysis/hers-ecrypted-image-search获得。

我们提出Simprov-可扩展的图像出处框架，将查询图像匹配回到可信的原始数据库，并在查询上确定可能的操作。 Simprov由三个阶段组成：检索Top-K最相似图像的可扩展搜索阶段；一个重新排列和近乎解复的检测阶段，用于识别候选人之间的原件；最后，在查询中定位区域的操纵检测和可视化阶段可能被操纵与原始区域不同。 Simprov对在线再分配过程中通常发生的良性图像转换非常强大，例如由于噪声和重新压缩降解而引起的工件，以及由于图像填充，翘曲，尺寸和形状的变化而引起的过度转换。通过对比较器体系结构中可区分的翘曲模块的端到端训练，可以实现对实地转换的鲁棒性。我们证明了对1亿张图像的数据集的有效检索和操纵检测。

As automated face recognition applications tend towards ubiquity, there is a growing need to secure the sensitive face data used within these systems. This paper presents a survey of biometric template protection (BTP) methods proposed for securing face templates (images/features) in neural-network-based face recognition systems. The BTP methods are categorised into two types: Non-NN and NN-learned. Non-NN methods use a neural network (NN) as a feature extractor, but the BTP part is based on a non-NN algorithm, whereas NN-learned methods employ a NN to learn a protected template from the unprotected template. We present examples of Non-NN and NN-learned face BTP methods from the literature, along with a discussion of their strengths and weaknesses. We also investigate the techniques used to evaluate these methods in terms of the three most common BTP criteria: recognition accuracy, irreversibility, and renewability/unlinkability. The recognition accuracy of protected face recognition systems is generally evaluated using the same (empirical) techniques employed for evaluating standard (unprotected) biometric systems. However, most irreversibility and renewability/unlinkability evaluations are found to be based on theoretical assumptions/estimates or verbal implications, with a lack of empirical validation in a practical face recognition context. So, we recommend a greater focus on empirical evaluations to provide more concrete insights into the irreversibility and renewability/unlinkability of face BTP methods in practice. Additionally, an exploration of the reproducibility of the studied BTP works, in terms of the public availability of their implementation code and evaluation datasets/procedures, suggests that it would be difficult to faithfully replicate most of the reported findings. So, we advocate for a push towards reproducibility, in the hope of advancing face BTP research.

已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。

近年来，已经产生了大量的视觉内容，并从许多领域共享，例如社交媒体平台，医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战，特别是在寻找类似内容内容的图像检索（CBIR）-A的数据库中，即长期建立的研究区域，其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展，并大大促进了实例搜索过程。在本调查中，我们审查了最近基于深度学习算法和技术开发的实例检索工作，通过深网络架构类型，深度功能，功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法，在那里，我们识别里程碑工作，揭示各种方法之间的联系，并呈现常用的基准，评估结果，共同挑战，并提出未来的未来方向。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点