随着自然语言处理（NLP）技术的快速发展，NLP模型在业务中表现出巨大的经济价值。但是，所有者的模型容易受到盗版再分配的威胁，这打破了模型所有者与消费者之间的对称关系。因此，需要一种模型保护机制来防止对称性被打破。当前，基于黑框验证的语言模型保护方案在触发样品的隐形方面的性能较差，这些触发样品很容易被人类或异常检测器检测到，从而防止验证。为了解决此问题，本文提出了无触发模式的触发样本，以进行所有权验证。此外，小偷可能会替换以水印模型来满足其特定分类任务并删除模型中存在的水印的分类模块。因此，本文进一步提出了一个新的威胁，以替换模型分类模块并对模型进行全局微调，并通过白色框方法成功验证模型所有权。同时，我们使用区块链的特性，例如防篡改和可追溯性，以防止盗贼的所有权声明。实验表明，所提出的方案成功地验证了100％水印验证精度的所有权，而不会影响模型的原始性能，并且具有强大的鲁棒性和低的虚假触发率。

近年来，在自学学习（SSL）方面取得了重大成功，这有助于各种下游任务。但是，攻击者可能会窃取此类SSL模型并将其商业化以获利，这对于保护其知识产权（IP）至关重要。大多数现有的IP保护解决方案都是为监督学习模型而设计的，不能直接使用，因为它们要求模型的下游任务和目标标签在水印嵌入过程中已知并获得，这在SSL的域中并非总是可以的。为了解决此类问题，尤其是在水印嵌入过程中下游任务多样化且未知时，我们提出了一种新型的黑盒水印解决方案，名为SSL-WM，以保护SSL模型的所有权。 SSL-WM将水印编码器的水印输入映射到不变的表示空间中，该空间会导致任何下游分类器产生预期的行为，从而允许检测到嵌入式水印。我们使用不同的SSL模型（包括基于对比度和基于生成的生成型）来评估许多任务，例如计算机视觉（CV）和自然语言处理（NLP）等许多任务。实验结果表明，SSL-WM可以有效地验证各种下游任务中被盗SSL模型的所有权。此外，SSL-WM对模型进行微调和修剪攻击非常强大。最后，SSL-WM还可以从评估的水印检测方法中逃避检测，从而证明了其在保护SSL模型IP时的有希望的应用。

后门攻击是对深度神经网络（DNN）的一种紧急培训时间威胁。它们可以操纵DNN的输出并具有高度思虑。在自然语言处理领域，已经提出了一些攻击方法，并在多个流行型号上实现了非常高的攻击成功率。尽管如此，很少有关于捍卫文本后门攻击的研究。在本文中，我们提出了一个简单且有效的文本后门防御，名为洋葱，这是基于异常字检测，并据我们所知，是可以处理所有文本后门攻击情况的第一种方法。实验证明了我们模型在捍卫Bilstm和BERT的措施与五种不同的后门攻击的有效性。本文的所有代码和数据都可以在https://github.com/thunlp/onion获得。

机器学习（ML）模型应用于越来越多的域。大量数据和计算资源的可用性鼓励开发更复杂和有价值的模型。这些模型被认为是培训他们的合法缔约方的知识产权，这使得他们防止窃取，非法再分配和未经授权的应用迫切需要。数字水印为标记模型所有权提供了强大的机制，从而提供了对这些威胁的保护。这项工作介绍了ML模型的不同类别水印方案的分类识别和分析。它介绍了一个统一的威胁模型，以允许在不同场景中进行水印方法的有效性的结构化推理和比较。此外，它系统化了期望的安全要求和攻击ML模型水印。根据该框架，调查了该领域的代表文学以说明分类法。最后，讨论了现有方法的缺点和普遍局限性，给出了未来研究方向的前景。

图形神经网络（GNNS）在各种现实世界应用中取得了有希望的性能。建立一个强大的GNN模型不是一个琐碎的任务，因为它需要大量的培训数据，强大的计算资源和微调模型的人类专业知识。更重要的是，随着对抗性攻击的发展，例如，模型窃取攻击，GNNS提出了模型认证的挑战。为避免对GNN的版权侵犯，有必要验证GNN模型的所有权。在本文中，我们为图形和节点分类任务提供了一种用于GNN的水印框架。我们1）设计两种策略来为图形分类生成水印数据，一个用于节点分类任务，2）通过培训将水印嵌入到主机模型中，以获得水印的GNN模型，3）验证可疑模型的所有权在黑盒设置中。实验表明，我们的框架可以验证GNN模型的所有权，具有非常高的概率（约100亿美元）的任务。此外，我们实验表明，即使在考虑到从不同架构获得的可疑模型比所有者的可疑模型，我们的水印方法也仍然有效。

与令人印象深刻的进步触动了我们社会的各个方面，基于深度神经网络（DNN）的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注，但是通过干扰培训过程来利用破坏DNN模型的可能性，代表了破坏训练过程的可能性，这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中，攻击者损坏了培训数据，以便在测试时间诱导错误的行为。然而，测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式，损坏的网络继续正常输入的预期工作，并且只有当攻击者决定激活网络内隐藏的后门时，才会发生恶意行为。在过去几年中，后门攻击一直是强烈的研究活动的主题，重点是新的攻击阶段的发展，以及可能对策的提议。此概述文件的目标是审查发表的作品，直到现在，分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量，以及防御者验证用于培训的数据的完整性，并监控DNN在培训和测试中的操作时间。因此，拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。

随着预训练的语言模型（PLM）的继续增长，精细调整PLM的硬件和数据要求也会增长。因此，研究人员提出了一种称为\ textit {提示学习}的较轻方法。但是，在调查过程中，我们观察到及时的学习方法是脆弱的，很容易被一些非法构造的提示攻击，从而导致分类错误和PLM的严重安全问题。当前的大多数研究都忽略了基于及时方法的安全问题。因此，在本文中，我们提出了一种恶意提示模板构建方法（\ textbf {stressAttack}）来探测PLM的安全性能。研究了几种不友好的模板构建方法，以指导模型错误分类任务。在三个数据集和三个PLM上进行了广泛的实验证明了我们提出的方法提示的有效性。我们还进行实验，以验证我们的方法是否适用于几种镜头。

最近，已经表明，自然语言处理（NLP）模型容易受到一种称为后门攻击的安全威胁，它利用“后门触发器”范例误导模型。最威胁的后门攻击是隐身的后门，它将触发器定义为文本样式或句法。虽然他们已经取得了令人难以置信的高攻击成功率（ASR），但我们发现为ASR的主要因素贡献不是“后门触发”范式。因此，当作为后门攻击分类时，这些隐身后门攻击的能力大得多。因此，为了评估后门攻击的真正攻击力，我们提出了一种称为攻击成功率差异（ASRD）的新度量，从而测量干净状态和毒药状态模型之间的ASR差异。此外，由于对抗隐蔽的后门攻击的防御，我们提出了触发破坏者，包括两个太简单的技巧，可以有效地防御隐秘的后门攻击。关于文本分类任务的实验表明，我们的方法比对隐身后门攻击的最先进的防御方法实现了更好的性能。

文本后门攻击是对NLP系统的实际威胁。通过在训练阶段注入后门，对手可以通过预定义的触发器控制模型预测。由于已经提出了各种攻击和防御模型，因此进行严格的评估至关重要。但是，我们在以前的后门学习评估中重点介绍了两个问题：（1）忽略了现实世界情景（例如释放中毒的数据集或模型）之间的差异，我们认为每种情况都有其自身的限制和关注点，因此需要特定的评估。协议； （2）评估指标仅考虑攻击是否可以翻转模型对中毒样品的预测并保留对良性样品的表演，但是忽略了中毒样品也应该是隐秘和语义上的。为了解决这些问题，我们将现有作品分为三种实际情况，在这种情况下，攻击者分别释放数据集，预培训模型和微调模型，然后讨论其独特的评估方法。关于指标，为了完全评估中毒样本，我们使用语法误差增加和隐形性差异以及有效性的文本相似性。对框架进行正式化后，我们开发了一个开源工具包openbackdoor，以促进文本后门学习的实现和评估。使用此工具包，我们在建议的范式下进行基准攻击和防御模型进行广泛的实验。为了促进针对中毒数据集的不充分的防御能力，我们进一步提出了Cube，这是一个简单而强大的基于聚类的防御基线。我们希望我们的框架和基准可以作为未来模型开发和评估的基石。

后门攻击对NLP模型构成了新的威胁。在后门攻击中构建中毒数据的标准策略是将触发器（例如，稀有字）插入所选句子，并将原始标签更改为目标标签。该策略具有从触发器和标签视角轻松检测到的严重缺陷：注入的触发器，通常是一种罕见的单词，导致异常的自然语言表达，因此可以通过防御模型容易地检测到异常的自然语言表达;改变的目标标签会导致误报标记的示例，因此可以通过手动检查容易地检测到。要处理此问题，请在本文中，我们提出了一种新的策略来执行不需要外部触发的文本后门攻击，并且中毒样品被正确标记。拟议策略的核心思想是构建清洁标记的例子，其标签是正确的，但可以导致测试标签在与培训集合融合时的变化。为了产生中毒清洁标记的例子，我们提出了一种基于遗传算法的句子生成模型，以满足文本数据的不可微差特性。广泛的实验表明，拟议的攻击策略不仅有效，而且更重要的是，由于其令人触发和清洁的性质，难以防御。我们的工作标志着在NLP中开发令人触发的攻击策略的第一步。

联合学习模型是根据多方拥有的宝贵培训数据进行协作开发的。在联合模型的开发和部署过程中，它们会面临风险，包括非法复制，重新分配，滥用和/或自由骑行。为了解决这些风险，联合学习模型的所有权验证是保护联合学习模型知识产权（IPR）（即Fedipr）的先决条件。我们提出了一种新颖的联邦深神经网络（FedDNN）所有权验证计划，该计划允许将专用水印嵌入并进行验证，以声称是FedDNN模型的合法IPR。在拟议的计划中，每个客户都独立验证了模型水印的存在，并索赔联合模型的所有权，而没有透露私人培训数据也没有私人水印信息。从理论上讲，嵌入式水印的有效性是通过对多个客户私下嵌入并检测到的水印的严格分析来证明的。此外，关于计算机视觉和自然语言处理任务的广泛实验结果表明，可以嵌入并可靠地检测到不同的位水印，而不会损害原始模型性能。我们的水印方案还具有各种联合训练环境的弹性，并防止拆除攻击。

视觉变压器（VITS）具有与卷积神经网络相比，具有较小的感应偏置的根本不同的结构。随着绩效的提高，VIT的安全性和鲁棒性也非常重要。与许多最近利用VIT反对对抗性例子的鲁棒性的作品相反，本文调查了代表性的病因攻击，即后门。我们首先检查了VIT对各种后门攻击的脆弱性，发现VIT也很容易受到现有攻击的影响。但是，我们观察到，VIT的清洁数据准确性和后门攻击成功率在位置编码之前对补丁转换做出了明显的反应。然后，根据这一发现，我们为VIT提出了一种通过补丁处理来捍卫基于补丁的触发后门攻击的有效方法。在包括CIFAR10，GTSRB和Tinyimagenet在内的几个基准数据集上评估了这些表演，这些数据表明，该拟议的新颖防御在减轻VIT的后门攻击方面非常成功。据我们所知，本文提出了第一个防御性策略，该策略利用了反对后门攻击的VIT的独特特征。

深层神经网络容易受到恶意微调攻击，例如数据中毒和后门攻击。因此，在最近的研究中，提出了如何检测神经网络模型的恶意微调。但是，它通常会对受保护模型的性能产生负面影响。因此，我们提出了一个新的神经网络脆弱的水印，没有模型性能降解。在水印过程中，我们训练具有特定损耗函数和秘密键的生成模型，以生成对目标分类器微调敏感的触发器。在验证过程中，我们采用了水印的分类器来获取每个脆弱的触发器的标签。然后，可以通过比较秘密键和标签来检测恶意微调。经典数据集和分类器上的实验表明，所提出的方法可以有效地检测模型恶意调整，而不会降解模型性能。

Existing integrity verification approaches for deep models are designed for private verification (i.e., assuming the service provider is honest, with white-box access to model parameters). However, private verification approaches do not allow model users to verify the model at run-time. Instead, they must trust the service provider, who may tamper with the verification results. In contrast, a public verification approach that considers the possibility of dishonest service providers can benefit a wider range of users. In this paper, we propose PublicCheck, a practical public integrity verification solution for services of run-time deep models. PublicCheck considers dishonest service providers, and overcomes public verification challenges of being lightweight, providing anti-counterfeiting protection, and having fingerprinting samples that appear smooth. To capture and fingerprint the inherent prediction behaviors of a run-time model, PublicCheck generates smoothly transformed and augmented encysted samples that are enclosed around the model's decision boundary while ensuring that the verification queries are indistinguishable from normal queries. PublicCheck is also applicable when knowledge of the target model is limited (e.g., with no knowledge of gradients or model parameters). A thorough evaluation of PublicCheck demonstrates the strong capability for model integrity breach detection (100% detection accuracy with less than 10 black-box API queries) against various model integrity attacks and model compression attacks. PublicCheck also demonstrates the smooth appearance, feasibility, and efficiency of generating a plethora of encysted samples for fingerprinting.

水印是保护创作者对数字图像，视频和音频的权利的常用策略。最近，水印方法已扩展到深度学习模型 - 原则上，当对手试图复制该模型时，应保留水印。但是，实际上，智能对手通常可以去除水印。几篇论文提出了水印方法，这些方法声称对不同类型的拆除攻击具有耐药性，但是在面对新的或更好的对手时，这些新技术通常会失败。在本文中，我们提出了一种可认证的水印方法。使用Chiang等人提出的随机平滑技术，我们表明我们的水印是不明显的，除非模型参数的更改超过一定的L2阈值。除了获得认证外，与以前的水印方法相比，我们的水印在经验上也更强。我们的实验可以在https://github.com/arpitbansal297/certified_watermarks上复制。

最近的研究表明，深层神经网络容易受到不同类型的攻击，例如对抗性攻击，数据中毒攻击和后门攻击。其中，后门攻击是最狡猾的攻击，几乎可以在深度学习管道的每个阶段发生。因此，后门攻击吸引了学术界和行业的许多兴趣。但是，大多数现有的后门攻击方法对于某些轻松的预处理（例如常见数据转换）都是可见的或脆弱的。为了解决这些限制，我们提出了一种强大而无形的后门攻击，称为“毒药”。具体而言，我们首先利用图像结构作为目标中毒区域，并用毒药（信息）填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义，因此这种触发模式对数据转换本质上是强大的。然后，我们利用深度注射网络将这种触发模式嵌入封面图像中，以达到隐身性。与现有流行的后门攻击方法相比，毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验，我们证明了毒药不仅是不同数据集和网络体系结构的一般性，而且对于不同的攻击场景也很灵活。此外，它对许多最先进的防御技术也具有非常强烈的抵抗力。

被证明深度神经网络（DNN）被证明是易受后门攻击的影响。后门通常通过将后门触发注入训练示例中的目标DNN嵌入到目标DNN中，这可能导致目标DNN消除附加的输入附加的输入。现有的后门检测方法通常需要访问原始中毒训练数据，目标DNN的参数，或对每个给定输入的预测置信度，这在许多实际应用中是不切实际的，例如，在设备上部署的DNN。我们地址DNN是完全黑盒的黑匣子硬标签检测问题，只能访问其最终输出标签。我们从优化角度方面接近这个问题，并表明回程检测的目标受到对抗目标的界定。进一步的理论和实证研究表明，这种对抗性物镜导致具有高度偏斜分布的溶液;在后门感染的例子的对抗性地图中经常观察到奇点，我们称之为对抗性奇点现象。基于该观察，我们提出了对抗极值分析（AEVA）来检测黑匣子神经网络中的后门。 AEVA基于来自Monte-Carlo梯度估计计算的对抗地图的极值分析。在多个流行的任务和后门攻击中通过广泛的实验证明，我们的方法有效地检测了黑匣子硬标的场景下的后门攻击。

目前，深度神经网络（DNN）在不同的应用中被广泛采用。尽管具有商业价值，但培训良好的DNN仍在资源消费。因此，训练有素的模型是其所有者的宝贵知识产权。但是，最近的研究揭示了模型窃取的威胁，即使他们只能查询模型，对手也可以获得受害者模型的功能相似的副本。在本文中，我们提出了一个有效且无害的模型所有权验证（移动），以防御不同类型的模型窃取，而无需引入新的安全风险。通常，我们通过验证可疑模型是否包含辩护人指定的外部特征的知识来进行所有权验证。具体而言，我们通过将一些训练样本带来样式转移来嵌入外部功能。然后，我们训练一个元分类器，以确定模型是否被受害者偷走了。这种方法的灵感来自于理解，即被盗模型应包含受害者模型学到的功能的知识。特别是，我们在白色框和黑框设置下开发了移动方法，以提供全面的模型保护。基准数据集的广泛实验验证了我们方法的有效性及其对潜在适应性攻击的抵抗力。复制我们方法的主要实验的代码可在\ url {https://github.com/thuyimingli/move}上获得。

深度学习（DL）模型的功能可以通过模型提取被盗，其中攻击者通过利用原始模型的预测API来获得替代模型。在这项工作中，我们提出了一种称为Dynamarks的新型水印技术，以保护DL模型的知识产权（IP）免受黑箱设置中的模型提取攻击。与现有方法不同，Dynamarks不会改变原始模型的训练过程，而是通过基于推理运行时的某些秘密参数从原始模型预测API中动态更改输出响应来将水印嵌入替代模型中。时尚MNIST，CIFAR-10和Imagenet数据集的实验结果证明了Dynamarks方案对水印替代模型的功效，同时保留了部署在边缘设备中的原始模型的准确性。此外，我们还执行实验，以评估Dynamarks对各种水印策略的鲁棒性，从而使DL模型所有者可以可靠地证明模型所有权。

Pre-trained language models allowed us to process downstream tasks with the help of fine-tuning, which aids the model to achieve fairly high accuracy in various Natural Language Processing (NLP) tasks. Such easily-downloaded language models from various websites empowered the public users as well as some major institutions to give a momentum to their real-life application. However, it was recently proven that models become extremely vulnerable when they are backdoor attacked with trigger-inserted poisoned datasets by malicious users. The attackers then redistribute the victim models to the public to attract other users to use them, where the models tend to misclassify when certain triggers are detected within the training sample. In this paper, we will introduce a novel improved textual backdoor defense method, named MSDT, that outperforms the current existing defensive algorithms in specific datasets. The experimental results illustrate that our method can be effective and constructive in terms of defending against backdoor attack in text domain. Code is available at https://github.com/jcroh0508/MSDT.