近年来,在自学学习(SSL)方面取得了重大成功,这有助于各种下游任务。但是,攻击者可能会窃取此类SSL模型并将其商业化以获利,这对于保护其知识产权(IP)至关重要。大多数现有的IP保护解决方案都是为监督学习模型而设计的,不能直接使用,因为它们要求模型的下游任务和目标标签在水印嵌入过程中已知并获得,这在SSL的域中并非总是可以的。为了解决此类问题,尤其是在水印嵌入过程中下游任务多样化且未知时,我们提出了一种新型的黑盒水印解决方案,名为SSL-WM,以保护SSL模型的所有权。 SSL-WM将水印编码器的水印输入映射到不变的表示空间中,该空间会导致任何下游分类器产生预期的行为,从而允许检测到嵌入式水印。我们使用不同的SSL模型(包括基于对比度和基于生成的生成型)来评估许多任务,例如计算机视觉(CV)和自然语言处理(NLP)等许多任务。实验结果表明,SSL-WM可以有效地验证各种下游任务中被盗SSL模型的所有权。此外,SSL-WM对模型进行微调和修剪攻击非常强大。最后,SSL-WM还可以从评估的水印检测方法中逃避检测,从而证明了其在保护SSL模型IP时的有希望的应用。
translated by 谷歌翻译
自我监督学习是一种新兴的机器学习(ML)范式。与监督的学习相比,哪些利用高质量标记的数据集以实现良好的性能相比,自我监督的学习依赖于未标记的数据集来预先培训功能强大的编码器,然后可以将其视为各种下游任务的功能提取器。大量的数据和计算资源消耗使编码器本身成为模型所有者的宝贵知识产权。最近的研究表明,ML模型的版权受到模型窃取攻击的威胁,该攻击旨在训练替代模型以模仿给定模型的行为。我们从经验上表明,预训练的编码器极易受到模型窃取攻击的影响。但是,版权保护算法(例如水印)的大多数努力集中在分类器上。同时,预先培训的编码器版权保护的内在挑战在很大程度上仍然没有研究。我们通过提出SSLGuard,这是第一种用于预训练的编码器的水印算法。鉴于干净的预训练编码器,SSLGuard向其中注入了水印,并输出了水印版本。还采用了阴影训练技术来保留潜在模型窃取攻击下的水印。我们广泛的评估表明,SSLGuard在水印注入和验证方面有效,并且可以防止模型窃取和其他水印去除攻击,例如输入噪声,输出扰动,覆盖,覆盖,模型修剪和微调。
translated by 谷歌翻译
作为一个自我监督的学习范式,对比度学习已被广​​泛用于预训练强大的编码器,作为各种下游任务的有效提取器。此过程需要大量未标记的培训数据和计算资源,这使得预培训的编码器成为所有者的宝贵知识产权。但是,缺乏对下游任务的先验知识,因此通过采用常规的水印方法来保护预训练编码器的知识产权并非平凡。为了解决这个问题,在本文中,我们介绍了Awencoder,这是一种对比度学习中预训练的编码器的对抗方法。首先,作为对抗性扰动,通过执行要标记的训练样品来偏离各自位置并包围嵌入空间中随机选择的关键图像来生成水印。然后,通过进一步优化关节损耗函数,将水印嵌入了预训练的编码器中。结果,水印编码器不仅在下游任务方面表现出色,而且还使我们能够通过分析使用Encoder作为白盒和黑盒条件下的骨架来验证其所有权。广泛的实验表明,拟议的工作对不同的对比度学习算法和下游任务具有相当良好的有效性和鲁棒性,这已经验证了拟议工作的优越性和适用性。
translated by 谷歌翻译
随着深度神经网络(DNN)的广泛应用,后门攻击逐渐引起了人们的关注。后门攻击是阴险的,中毒模型在良性样本上的表现良好,只有在给定特定输入时才会触发,这会导致神经网络产生不正确的输出。最先进的后门攻击工作是通过数据中毒(即攻击者注入中毒样品中的数据集中)实施的,并且用该数据集训练的模型被后门感染。但是,当前研究中使用的大多数触发因素都是在一小部分图像上修补的固定图案,并且经常被明显错误地标记,这很容易被人类或防御方法(例如神经清洁和前哨)检测到。同样,DNN很难在没有标记的情况下学习,因为它们可能会忽略小图案。在本文中,我们提出了一种基于频域的广义后门攻击方法,该方法可以实现后门植入而不会错标和访问训练过程。它是人类看不见的,能够逃避常用的防御方法。我们在三个数据集(CIFAR-10,STL-10和GTSRB)的无标签和清洁标签案例中评估了我们的方法。结果表明,我们的方法可以在所有任务上实现高攻击成功率(高于90%),而不会在主要任务上进行大量绩效降解。此外,我们评估了我们的方法的旁路性能,以进行各种防御措施,包括检测训练数据(即激活聚类),输入的预处理(即过滤),检测输入(即Sentinet)和检测模型(即神经清洁)。实验结果表明,我们的方法对这种防御能力表现出极好的鲁棒性。
translated by 谷歌翻译
随着自然语言处理(NLP)技术的快速发展,NLP模型在业务中表现出巨大的经济价值。但是,所有者的模型容易受到盗版再分配的威胁,这打破了模型所有者与消费者之间的对称关系。因此,需要一种模型保护机制来防止对称性被打破。当前,基于黑框验证的语言模型保护方案在触发样品的隐形方面的性能较差,这些触发样品很容易被人类或异常检测器检测到,从而防止验证。为了解决此问题,本文提出了无触发模式的触发样本,以进行所有权验证。此外,小偷可能会替换以水印模型来满足其特定分类任务并删除模型中存在的水印的分类模块。因此,本文进一步提出了一个新的威胁,以替换模型分类模块并对模型进行全局微调,并通过白色框方法成功验证模型所有权。同时,我们使用区块链的特性,例如防篡改和可追溯性,以防止盗贼的所有权声明。实验表明,所提出的方案成功地验证了100%水印验证精度的所有权,而不会影响模型的原始性能,并且具有强大的鲁棒性和低的虚假触发率。
translated by 谷歌翻译
与令人印象深刻的进步触动了我们社会的各个方面,基于深度神经网络(DNN)的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注,但是通过干扰培训过程来利用破坏DNN模型的可能性,代表了破坏训练过程的可能性,这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中,攻击者损坏了培训数据,以便在测试时间诱导错误的行为。然而,测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式,损坏的网络继续正常输入的预期工作,并且只有当攻击者决定激活网络内隐藏的后门时,才会发生恶意行为。在过去几年中,后门攻击一直是强烈的研究活动的主题,重点是新的攻击阶段的发展,以及可能对策的提议。此概述文件的目标是审查发表的作品,直到现在,分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量,以及防御者验证用于培训的数据的完整性,并监控DNN在培训和测试中的操作时间。因此,拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。
translated by 谷歌翻译
自我监督的学习在过去几年中取得了革命性的进展,并且通常被认为是通用AI的有希望的方法。特别是,自我监督的学习旨在使用大量未标记的数据预先列车。预先培训的编码器就像AI生态系统的“操作系统”。具体地,编码器可以用作许多下游任务的特征提取器,其中没有标记或未标记的训练数据。关于自我监督学习的现有研究主要专注于预先培训更好的编码器,以改善其在非对抗环境中的下游任务的性能,留下其在对抗环境中的安全性和隐私,这在很大程度上是未开发的。预先训练的编码器的安全性或隐私问题导致AI生态系统的单一失败点。在本书章节中,我们在自我监督学习中讨论了预训练的编码器的10个基本安全和隐私问题,包括六个机密性问题,三个完整性问题和一个可用性问题。对于每个问题,我们讨论潜在的机会和挑战。我们希望我们的书籍章节将激发未来的自我监督学习的安全和隐私的研究。
translated by 谷歌翻译
Backdoor attacks represent one of the major threats to machine learning models. Various efforts have been made to mitigate backdoors. However, existing defenses have become increasingly complex and often require high computational resources or may also jeopardize models' utility. In this work, we show that fine-tuning, one of the most common and easy-to-adopt machine learning training operations, can effectively remove backdoors from machine learning models while maintaining high model utility. Extensive experiments over three machine learning paradigms show that fine-tuning and our newly proposed super-fine-tuning achieve strong defense performance. Furthermore, we coin a new term, namely backdoor sequela, to measure the changes in model vulnerabilities to other attacks before and after the backdoor has been removed. Empirical evaluation shows that, compared to other defense methods, super-fine-tuning leaves limited backdoor sequela. We hope our results can help machine learning model owners better protect their models from backdoor threats. Also, it calls for the design of more advanced attacks in order to comprehensively assess machine learning models' backdoor vulnerabilities.
translated by 谷歌翻译
深度神经网络(DNNS)在训练过程中容易受到后门攻击的影响。该模型以这种方式损坏正常起作用,但是当输入中的某些模式触发时,会产生预定义的目标标签。现有防御通常依赖于通用后门设置的假设,其中有毒样品共享相同的均匀扳机。但是,最近的高级后门攻击表明,这种假设在动态后门中不再有效,在动态后门中,触发者因输入而异,从而击败了现有的防御。在这项工作中,我们提出了一种新颖的技术BEATRIX(通过革兰氏矩阵检测)。 BEATRIX利用革兰氏矩阵不仅捕获特征相关性,还可以捕获表示形式的适当高阶信息。通过从正常样本的激活模式中学习类条件统计,BEATRIX可以通过捕获激活模式中的异常来识别中毒样品。为了进一步提高识别目标标签的性能,BEATRIX利用基于内核的测试,而无需对表示分布进行任何先前的假设。我们通过与最先进的防御技术进行了广泛的评估和比较来证明我们的方法的有效性。实验结果表明,我们的方法在检测动态后门时达到了91.1%的F1得分,而最新技术只能达到36.9%。
translated by 谷歌翻译
最近,变压器架构已经证明了其在自然语言处理(NLP)和计算机视觉(CV)任务中的重要性。虽然已知其他网络模型容易受到后门攻击的影响,但是在模型中嵌入触发器并在呈现触发器时控制模型行为,众所周知,这种攻击是否仍然在变压器模型上仍然有效,如果是的话,是否有效它可以以更具成本效益的方式完成。在本文中,我们提出DBIA,一种对CV导向的变压器网络的一种新型无数据响应攻击,利用变压器的固有注意机制来产生触发器并使用中毒代理数据集注入后门。我们在两个主流图像分类任务中基于三个基准变压器,即Vit,Deit和Swin变压器进行了广泛的实验..,Cifar10和ImageNet。评估结果表明,消耗较少的资源,我们的方法可以嵌入高层的成功率和对受害者变压器性能的低影响。我们的代码可在https://anonmous.4open.science/r/dbia-825d获得。
translated by 谷歌翻译
深度神经网络(DNNS)已经在许多应用领域取得了巨大的成功,并为我们的社会带来了深刻的变化。但是,它也引发了新的安全问题,其中如何保护DNN的知识产权(IP)免受侵权的侵权是最重要但最具挑战性的主题之一。为了解决这个问题,最近的研究通过应用数字水印来关注DNN的IP保护,该水印将通过直接或间接调整网络参数将源信息和/或身份验证数据嵌入DNN模型中。但是,调整网络参数不可避免地会扭曲DNN,因此无疑会损害DNN模型在其最初任务上的性能,而不管性能降解的程度如何。它激发了本文中的作者提出一种称为\ emph {汇总会员推理(PMI)}的新技术,以保护DNN模型的IP。提出的PMI既没有改变给定DNN模型的网络参数,也没有用一系列精心制作的触发样品来微调DNN模型。取而代之的是,它使原始的DNN模型保持不变,但是可以通过推断出多个迷你数据集中的哪个迷你数据箱来确定DNN模型的所有权。实践。实验还证明了这项工作的优势和适用性。
translated by 谷歌翻译
Existing integrity verification approaches for deep models are designed for private verification (i.e., assuming the service provider is honest, with white-box access to model parameters). However, private verification approaches do not allow model users to verify the model at run-time. Instead, they must trust the service provider, who may tamper with the verification results. In contrast, a public verification approach that considers the possibility of dishonest service providers can benefit a wider range of users. In this paper, we propose PublicCheck, a practical public integrity verification solution for services of run-time deep models. PublicCheck considers dishonest service providers, and overcomes public verification challenges of being lightweight, providing anti-counterfeiting protection, and having fingerprinting samples that appear smooth. To capture and fingerprint the inherent prediction behaviors of a run-time model, PublicCheck generates smoothly transformed and augmented encysted samples that are enclosed around the model's decision boundary while ensuring that the verification queries are indistinguishable from normal queries. PublicCheck is also applicable when knowledge of the target model is limited (e.g., with no knowledge of gradients or model parameters). A thorough evaluation of PublicCheck demonstrates the strong capability for model integrity breach detection (100% detection accuracy with less than 10 black-box API queries) against various model integrity attacks and model compression attacks. PublicCheck also demonstrates the smooth appearance, feasibility, and efficiency of generating a plethora of encysted samples for fingerprinting.
translated by 谷歌翻译
大规模的未标记数据刺激了学习丰富的视觉表示的自我监督学习方法的最新进展。从图像中学习表示表示形式的最先进的自我监督方法(例如Moco,Byol,MSF)使用诱导性偏差,即图像的随机增强(例如随机农作物)应产生相似的嵌入。我们表明,这种方法容易受到后门攻击的影响 - 攻击者通过将触发器(攻击者选择的图像补丁)添加到图像中来毒害未标记数据的一小部分。模型性能在干净的测试图像上很好,但是攻击者可以通过在测试时间显示触发器来操纵模型的决策。在有监督的学习中对后门攻击进行了广泛的研究,据我们所知,我们是第一个研究他们进行自学学习的人。在自学学习中,后门攻击更为实用,因为使用大型未标记的数据使数据检查以消除毒药过敏。我们表明,在我们的目标攻击中,攻击者可以在测试时使用触发器为目标类别产生许多误报。我们还提出了一种基于知识蒸馏的防御方法,以成功中和攻击。我们的代码可在此处提供:https://github.com/umbcvision/ssl-backdoor。
translated by 谷歌翻译
自我监督学习(SSL)是一个日益流行的ML范式,它训练模型以将复杂的输入转换为表示形式而不依赖于明确的标签。这些表示编码的相似性结构可以有效学习多个下游任务。最近,ML-AS-A-A-Service提供商已开始为推理API提供训练有素的SSL模型,该模型将用户输入转换为有用的费用表示。但是,训练这些模型及其对API的曝光涉及的高昂成本都使黑盒提取成为现实的安全威胁。因此,我们探索了对SSL的窃取攻击的模型。与输出标签的分类器上的传统模型提取不同,受害者模型在这里输出表示;与分类器的低维预测分数相比,这些表示的维度明显更高。我们构建了几次新颖的攻击,发现直接在受害者被盗的陈述上训练的方法是有效的,并且能够为下游模型高精度。然后,我们证明现有针对模型提取的防御能力不足,并且不容易改装为SSL的特异性。
translated by 谷歌翻译
图形神经网络(GNNS)在各种现实世界应用中取得了有希望的性能。建立一个强大的GNN模型不是一个琐碎的任务,因为它需要大量的培训数据,强大的计算资源和微调模型的人类专业知识。更重要的是,随着对抗性攻击的发展,例如,模型窃取攻击,GNNS提出了模型认证的挑战。为避免对GNN的版权侵犯,有必要验证GNN模型的所有权。在本文中,我们为图形和节点分类任务提供了一种用于GNN的水印框架。我们1)设计两种策略来为图形分类生成水印数据,一个用于节点分类任务,2)通过培训将水印嵌入到主机模型中,以获得水印的GNN模型,3)验证可疑模型的所有权在黑盒设置中。实验表明,我们的框架可以验证GNN模型的所有权,具有非常高的概率(约100亿美元)的任务。此外,我们实验表明,即使在考虑到从不同架构获得的可疑模型比所有者的可疑模型,我们的水印方法也仍然有效。
translated by 谷歌翻译
最近的研究表明,深层神经网络容易受到不同类型的攻击,例如对抗性攻击,数据中毒攻击和后门攻击。其中,后门攻击是最狡猾的攻击,几乎可以在深度学习管道的每个阶段发生。因此,后门攻击吸引了学术界和行业的许多兴趣。但是,大多数现有的后门攻击方法对于某些轻松的预处理(例如常见数据转换)都是可见的或脆弱的。为了解决这些限制,我们提出了一种强大而无形的后门攻击,称为“毒药”。具体而言,我们首先利用图像结构作为目标中毒区域,并用毒药(信息)填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义,因此这种触发模式对数据转换本质上是强大的。然后,我们利用深度注射网络将这种触发模式嵌入封面图像中,以达到隐身性。与现有流行的后门攻击方法相比,毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验,我们证明了毒药不仅是不同数据集和网络体系结构的一般性,而且对于不同的攻击场景也很灵活。此外,它对许多最先进的防御技术也具有非常强烈的抵抗力。
translated by 谷歌翻译
We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.
translated by 谷歌翻译
机器学习(ML)模型应用于越来越多的域。大量数据和计算资源的可用性鼓励开发更复杂和有价值的模型。这些模型被认为是培训他们的合法缔约方的知识产权,这使得他们防止窃取,非法再分配和未经授权的应用迫切需要。数字水印为标记模型所有权提供了强大的机制,从而提供了对这些威胁的保护。这项工作介绍了ML模型的不同类别水印方案的分类识别和分析。它介绍了一个统一的威胁模型,以允许在不同场景中进行水印方法的有效性的结构化推理和比较。此外,它系统化了期望的安全要求和攻击ML模型水印。根据该框架,调查了该领域的代表文学以说明分类法。最后,讨论了现有方法的缺点和普遍局限性,给出了未来研究方向的前景。
translated by 谷歌翻译
由于具有强大的功能学习能力和高效率,深层哈希在大规模图像检索中取得了巨大的成功。同时,广泛的作品表明,深层神经网络(DNN)容易受到对抗例子的影响,并且探索针对深哈希的对抗性攻击吸引了许多研究工作。然而,尚未对Backdoor攻击(对DNNS的另一个著名威胁)进行深入研究。尽管图像分类领域已经提出了各种后门攻击,但现有方法未能实现真正的不可思议的后门攻击,该攻击享受着隐形触发器并同时享受清洁标签设置,而且它们也无法满足图像检索后门的内在需求。在本文中,我们提出了Badhash,这是第一个基于生成的无透感的后门攻击,对深哈希的攻击,它可以有效地用干净的标签产生隐形和投入特定的中毒图像。具体而言,我们首先提出了一种新的条件生成对抗网络(CGAN)管道,以有效生成中毒样品。对于任何给定的良性图像,它试图产生具有独特无形扳机的自然中毒对应物。为了提高攻击效果,我们引入了基于标签的对比学习网络LabCln来利用不同标签的语义特征,随后将其用于混淆和误导目标模型以学习嵌入式触发器。我们终于探索了在哈希空间中对图像检索的后门攻击的机制。在多个基准数据集上进行的广泛实验证明,Badhash可以生成不察觉的中毒样本,具有强大的攻击能力和对最新的深层哈希方案的可转移性。主要主题领域:[参与]多媒体搜索和建议
translated by 谷歌翻译
In this paper, we present a simple yet surprisingly effective technique to induce "selective amnesia" on a backdoored model. Our approach, called SEAM, has been inspired by the problem of catastrophic forgetting (CF), a long standing issue in continual learning. Our idea is to retrain a given DNN model on randomly labeled clean data, to induce a CF on the model, leading to a sudden forget on both primary and backdoor tasks; then we recover the primary task by retraining the randomized model on correctly labeled clean data. We analyzed SEAM by modeling the unlearning process as continual learning and further approximating a DNN using Neural Tangent Kernel for measuring CF. Our analysis shows that our random-labeling approach actually maximizes the CF on an unknown backdoor in the absence of triggered inputs, and also preserves some feature extraction in the network to enable a fast revival of the primary task. We further evaluated SEAM on both image processing and Natural Language Processing tasks, under both data contamination and training manipulation attacks, over thousands of models either trained on popular image datasets or provided by the TrojAI competition. Our experiments show that SEAM vastly outperforms the state-of-the-art unlearning techniques, achieving a high Fidelity (measuring the gap between the accuracy of the primary task and that of the backdoor) within a few minutes (about 30 times faster than training a model from scratch using the MNIST dataset), with only a small amount of clean data (0.1% of training data for TrojAI models).
translated by 谷歌翻译