先前的研究证明，黑盒模型的功能可以被完全概率输出偷走。但是，在更实用的硬牌环境下，我们观察到现有的方法遭受灾难性的性能降解。我们认为这是由于概率预测中缺乏丰富的信息以及硬标签引起的过度拟合。为此，我们提出了一种称为\ emph {black-box disector}的新型硬标签模型窃取方法，该方法由两个基于擦除的模块组成。一种是一种凸轮驱动的擦除策略，旨在增加受害者模型中隐藏在硬标签中的信息能力。另一个是一个基于随机的自我知识蒸馏模块，该模块利用替代模型的软标签来减轻过度拟合。在四个广泛使用的数据集上进行的广泛实验始终表明，我们的方法优于最先进的方法，最多提高了$ 8.27 \％$。我们还验证了我们方法对现实世界API和防御方法的有效性和实际潜力。此外，我们的方法促进了其他下游任务，\ emph {i.e。}，转移对抗攻击。

在模型提取攻击中，对手可以通过反复查询并根据获得的预测来窃取通过公共API暴露的机器学习模型。为了防止模型窃取，现有的防御措施专注于检测恶意查询，截断或扭曲输出，因此必然会为合法用户引入鲁棒性和模型实用程序之间的权衡。取而代之的是，我们建议通过要求用户在阅读模型的预测之前完成工作证明来阻碍模型提取。这可以通过大大增加（甚至高达100倍）来阻止攻击者，以利用查询访问模型提取所需的计算工作。由于我们校准完成每个查询的工作证明所需的努力，因此这仅为常规用户（最多2倍）引入一个轻微的开销。为了实现这一目标，我们的校准应用了来自差异隐私的工具来衡量查询揭示的信息。我们的方法不需要对受害者模型进行任何修改，可以通过机器学习从业人员来应用其公开暴露的模型免于轻易被盗。

最近对机器学习（ML）模型的攻击，例如逃避攻击，具有对抗性示例，并通过提取攻击窃取了一些模型，构成了几种安全性和隐私威胁。先前的工作建议使用对抗性训练从对抗性示例中保护模型，以逃避模型的分类并恶化其性能。但是，这种保护技术会影响模型的决策边界及其预测概率，因此可能会增加模型隐私风险。实际上，仅使用对模型预测输出的查询访问的恶意用户可以提取它并获得高智能和高保真替代模型。为了更大的提取，这些攻击利用了受害者模型的预测概率。实际上，所有先前关于提取攻击的工作都没有考虑到出于安全目的的培训过程中的变化。在本文中，我们提出了一个框架，以评估具有视觉数据集对对抗训练的模型的提取攻击。据我们所知，我们的工作是第一个进行此类评估的工作。通过一项广泛的实证研究，我们证明了受对抗训练的模型比在自然训练情况下获得的模型更容易受到提取攻击的影响。他们可以达到高达$ \ times1.2 $更高的准确性和同意，而疑问低于$ \ times0.75 $。我们还发现，与从自然训练的（即标准）模型中提取的DNN相比，从鲁棒模型中提取的对抗性鲁棒性能力可通过提取攻击（即从鲁棒模型提取的深神经网络（DNN）提取的深神网络（DNN））传递。

We introduce camouflaged data poisoning attacks, a new attack vector that arises in the context of machine unlearning and other settings when model retraining may be induced. An adversary first adds a few carefully crafted points to the training dataset such that the impact on the model's predictions is minimal. The adversary subsequently triggers a request to remove a subset of the introduced points at which point the attack is unleashed and the model's predictions are negatively affected. In particular, we consider clean-label targeted attacks (in which the goal is to cause the model to misclassify a specific test point) on datasets including CIFAR-10, Imagenette, and Imagewoof. This attack is realized by constructing camouflage datapoints that mask the effect of a poisoned dataset.

目前，深度神经网络（DNN）在不同的应用中被广泛采用。尽管具有商业价值，但培训良好的DNN仍在资源消费。因此，训练有素的模型是其所有者的宝贵知识产权。但是，最近的研究揭示了模型窃取的威胁，即使他们只能查询模型，对手也可以获得受害者模型的功能相似的副本。在本文中，我们提出了一个有效且无害的模型所有权验证（移动），以防御不同类型的模型窃取，而无需引入新的安全风险。通常，我们通过验证可疑模型是否包含辩护人指定的外部特征的知识来进行所有权验证。具体而言，我们通过将一些训练样本带来样式转移来嵌入外部功能。然后，我们训练一个元分类器，以确定模型是否被受害者偷走了。这种方法的灵感来自于理解，即被盗模型应包含受害者模型学到的功能的知识。特别是，我们在白色框和黑框设置下开发了移动方法，以提供全面的模型保护。基准数据集的广泛实验验证了我们方法的有效性及其对潜在适应性攻击的抵抗力。复制我们方法的主要实验的代码可在\ url {https://github.com/thuyimingli/move}上获得。

尽管机器学习系统的效率和可扩展性，但最近的研究表明，许多分类方法，尤其是深神经网络（DNN），易受对抗的例子;即，仔细制作欺骗训练有素的分类模型的例子，同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 （2013）和Szegedy等人。（2014年），在这一领域已经完成了很多工作，包括开发攻击方法，以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展，主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码（在Python和R）公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。

转移对抗性攻击是一种非普通的黑匣子逆势攻击，旨在对替代模型进行对抗的对抗扰动，然后对受害者模型应用这种扰动。然而，来自现有方法的扰动的可转移性仍然有限，因为对逆势扰动易于用单个替代模型和特定数据模式容易接收。在本文中，我们建议学习学习可转让的攻击（LLTA）方法，这使得对逆势扰动更广泛地通过学习数据和模型增强。对于数据增强，我们采用简单的随机调整大小和填充。对于模型增强，我们随机更改后部传播而不是前向传播，以消除对模型预测的影响。通过将特定数据和修改模型作为任务的攻击处理，我们预计对抗扰动采用足够的任务来普遍。为此，在扰动生成的迭代期间进一步引入了元学习算法。基础使用的数据集上的经验结果证明了我们的攻击方法的有效性，与最先进的方法相比，转移攻击的成功率较高的12.85％。我们还评估我们在真实世界在线系统上的方法，即Google Cloud Vision API，进一步展示了我们方法的实际潜力。

深度学习（DL）在许多与人类相关的任务中表现出巨大的成功，这导致其在许多计算机视觉的基础应用中采用，例如安全监控系统，自治车辆和医疗保健。一旦他们拥有能力克服安全关键挑战，这种安全关键型应用程序必须绘制他们的成功部署之路。在这些挑战中，防止或/和检测对抗性实例（AES）。对手可以仔细制作小型，通常是难以察觉的，称为扰动的噪声被添加到清洁图像中以产生AE。 AE的目的是愚弄DL模型，使其成为DL应用的潜在风险。在文献中提出了许多测试时间逃避攻击和对策，即防御或检测方法。此外，还发布了很少的评论和调查，理论上展示了威胁的分类和对策方法，几乎​​没有焦点检测方法。在本文中，我们专注于图像分类任务，并试图为神经网络分类器进行测试时间逃避攻击检测方法的调查。对此类方法的详细讨论提供了在四个数据集的不同场景下的八个最先进的探测器的实验结果。我们还为这一研究方向提供了潜在的挑战和未来的观点。

Machine Learning (ML) models are increasingly deployed in the wild to perform a wide range of tasks. In this work, we ask to what extent can an adversary steal functionality of such "victim" models based solely on blackbox interactions: image in, predictions out. In contrast to prior work, we present an adversary lacking knowledge of train/test data used by the model, its internals, and semantics over model outputs. We formulate model functionality stealing as a two-step approach: (i) querying a set of input images to the blackbox model to obtain predictions; and (ii) training a "knockoff" with queried image-prediction pairs. We make multiple remarkable observations: (a) querying random images from a different distribution than that of the blackbox training data results in a well-performing knockoff; (b) this is possible even when the knockoff is represented using a different architecture; and (c) our reinforcement learning approach additionally improves query sample efficiency in certain settings and provides performance gains. We validate model functionality stealing on a range of datasets and tasks, as well as on a popular image analysis API where we create a reasonable knockoff for as little as $30.

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.

自我监督学习（SSL）是一个日益流行的ML范式，它训练模型以将复杂的输入转换为表示形式而不依赖于明确的标签。这些表示编码的相似性结构可以有效学习多个下游任务。最近，ML-AS-A-A-Service提供商已开始为推理API提供训练有素的SSL模型，该模型将用户输入转换为有用的费用表示。但是，训练这些模型及其对API的曝光涉及的高昂成本都使黑盒提取成为现实的安全威胁。因此，我们探索了对SSL的窃取攻击的模型。与输出标签的分类器上的传统模型提取不同，受害者模型在这里输出表示；与分类器的低维预测分数相比，这些表示的维度明显更高。我们构建了几次新颖的攻击，发现直接在受害者被盗的陈述上训练的方法是有效的，并且能够为下游模型高精度。然后，我们证明现有针对模型提取的防御能力不足，并且不容易改装为SSL的特异性。

许多最先进的ML模型在各种任务中具有优于图像分类的人类。具有如此出色的性能，ML模型今天被广泛使用。然而，存在对抗性攻击和数据中毒攻击的真正符合ML模型的稳健性。例如，Engstrom等人。证明了最先进的图像分类器可以容易地被任意图像上的小旋转欺骗。由于ML系统越来越纳入安全性和安全敏感的应用，对抗攻击和数据中毒攻击构成了相当大的威胁。本章侧重于ML安全的两个广泛和重要的领域：对抗攻击和数据中毒攻击。

获得训练有素的模型涉及昂贵的数据收集和培训程序，因此该模型是有价值的知识产权。最近的研究表明，即使在没有培训样本，也可以“窃取”部署模型，无法访问模型参数或结构。目前，有一些防御方法可以减轻这种威胁，主要是提高模型窃取的成本。在本文中，我们通过验证可疑模型是否包含对Defender指定的知识{外部特征}来探讨其他角度的防御。具体而言，我们通过用风格的转移回火，嵌入外部特征。然后，我们培训一个元分类器以确定模型是否从受害者中偷走。这种方法是通过了解偷窃模型应该包含受害者模型学习的特征知识的启发。我们在Cifar-10和Imagenet数据集中检查我们的方法。实验结果表明，即使通过多级窃取过程获得被盗模型，我们的方法在同时检测不同类型的模型窃取。再现主要结果的代码可在Github（https://github.com/zlh-thu/stealing验证）上获得。

深度神经网络（DNNS）的广泛应用要求越来越多的关注对其现实世界的鲁棒性，即DNN是否抵抗黑盒对抗性攻击，其中包括基于得分的查询攻击（SQA）是最威胁性的。由于它们的实用性和有效性：攻击者只需要在模型输出上进行数十个查询即可严重伤害受害者网络。针对SQA的防御需要对用户的服务目的而略有但巧妙的输出变化，这些用户与攻击者共享相同的输出信息。在本文中，我们提出了一种称为统一梯度（UNIG）的现实世界防御，以统一不同数据的梯度，以便攻击者只能探究不同样本相似的较弱的攻击方向。由于这种普遍的攻击扰动的验证与投入特定的扰动相比，Unig通过指示攻击者一个扭曲且信息不足的攻击方向来保护现实世界中的DNN。为了增强Unig在现实世界应用中的实际意义，我们将其实现为Hadamard产品模块，该模块具有计算效率且很容易插入任何模型。根据对5个SQA和4个防御基线的广泛实验，Unig显着改善了现实世界的鲁棒性，而不会伤害CIFAR10和Imagenet上的清洁准确性。例如，Unig在2500 Query Square攻击下保持了77.80％精度的CIFAR-10模型，而最先进的对手训练的模型仅在CIFAR10上具有67.34％的速度。同时，Unig在清洁精度和输出的修改程度上大大超过了所有基准。代码将发布。

最近的研究表明，对对抗性攻击的鲁棒性可以跨网络转移。换句话说，在强大的教师模型的帮助下，我们可以使模型更加强大。我们问是否从静态教师那里学习，可以模特“学习”和“互相教导”来实现更好的稳健性？在本文中，我们研究模型之间的相互作用如何通过知识蒸馏来影响鲁棒性。我们提出了互联土训练（垫子），其中多种模型一起培训并分享对抗性示例的知识，以实现改善的鲁棒性。垫允许强大的模型来探索更大的对抗样本空间，并找到更强大的特征空间和决策边界。通过对CIFAR-10和CIFAR-100的广泛实验，我们证明垫可以在白盒攻击下有效地改善模型稳健性和最优异的现有方法，使$ \ SIM为8％的准确性增益对香草对抗培训（在PGD-100袭击下。此外，我们表明垫子还可以在不同的扰动类型中减轻鲁棒性权衡，从$ l_ \ infty $，$ l_2 $和$ l_1 $攻击中带来基线的基线。这些结果表明了该方法的优越性，并证明协作学习是设计强大模型的有效策略。

作为对培训数据隐私的长期威胁，会员推理攻击（MIA）在机器学习模型中无处不在。现有作品证明了培训的区分性与测试损失分布与模型对MIA的脆弱性之间的密切联系。在现有结果的激励下，我们提出了一个基于轻松损失的新型培训框架，并具有更可实现的学习目标，从而导致概括差距狭窄和隐私泄漏减少。 RelaseLoss适用于任何分类模型，具有易于实施和可忽略不计的开销的额外好处。通过对具有不同方式（图像，医疗数据，交易记录）的五个数据集进行广泛的评估，我们的方法始终优于针对MIA和模型效用的韧性，以最先进的防御机制优于最先进的防御机制。我们的防御是第一个可以承受广泛攻击的同时，同时保存（甚至改善）目标模型的效用。源代码可从https://github.com/dingfanchen/relaxloss获得

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

Recent increases in the computational demands of deep neural networks (DNNs) have sparked interest in efficient deep learning mechanisms, e.g., quantization or pruning. These mechanisms enable the construction of a small, efficient version of commercial-scale models with comparable accuracy, accelerating their deployment to resource-constrained devices. In this paper, we study the security considerations of publishing on-device variants of large-scale models. We first show that an adversary can exploit on-device models to make attacking the large models easier. In evaluations across 19 DNNs, by exploiting the published on-device models as a transfer prior, the adversarial vulnerability of the original commercial-scale models increases by up to 100x. We then show that the vulnerability increases as the similarity between a full-scale and its efficient model increase. Based on the insights, we propose a defense, $similarity$-$unpairing$, that fine-tunes on-device models with the objective of reducing the similarity. We evaluated our defense on all the 19 DNNs and found that it reduces the transferability up to 90% and the number of queries required by a factor of 10-100x. Our results suggest that further research is needed on the security (or even privacy) threats caused by publishing those efficient siblings.

人群计数已被广泛用于估计安全至关重要的场景中的人数，被证明很容易受到物理世界中对抗性例子的影响（例如，对抗性斑块）。尽管有害，但对抗性例子也很有价值，对于评估和更好地理解模型的鲁棒性也很有价值。但是，现有的对抗人群计算的对抗性示例生成方法在不同的黑盒模型之间缺乏强大的可传递性，这限制了它们对现实世界系统的实用性。本文提出了与模型不变特征正相关的事实，本文提出了感知的对抗贴片（PAP）生成框架，以使用模型共享的感知功能来定制对对抗性的扰动。具体来说，我们将一种自适应人群密度加权方法手工制作，以捕获各种模型中不变的量表感知特征，并利用密度引导的注意力来捕获模型共享的位置感知。证明它们都可以提高我们对抗斑块的攻击性转移性。广泛的实验表明，我们的PAP可以在数字世界和物理世界中实现最先进的进攻性能，并且以大幅度的优于以前的提案（最多+685.7 MAE和+699.5 MSE）。此外，我们从经验上证明，对我们的PAP进行的对抗训练可以使香草模型的性能受益，以减轻人群计数的几个实际挑战，包括跨数据集的概括（高达-376.0 MAE和-376.0 MAE和-354.9 MSE）和对复杂背景的鲁棒性（上升）至-10.3 MAE和-16.4 MSE）。