发现深神经网络（DNN）容易受到对抗噪声的影响。它们通常被对抗样本误导，以做出错误的预测。为了减轻本文，我们从信息理论的角度研究了目标模型的输出与输入对抗样本之间的依赖性，并提出了一种对抗性防御方法。具体而言，我们首先通过估计输入和自然模式之间的相互信息（MI）（称为天然MI）以及分别在输出和输入的对抗模式之间的依赖性（称为对抗MI）。我们发现，与W.R.T.相比，对抗样品通常具有更大的对抗性MI和较小的天然MI。天然样品。在这一观察结果的推动下，我们建议通过在训练过程中最大化自然MI并最大程度地减少对抗性MI来增强对抗性的鲁棒性。这样，目标模型应更加关注包含客观语义的自然模式。经验评估表明，我们的方法可以有效地提高针对多次攻击的对抗精度。

已证明深度神经网络容易受到对抗噪声的影响，从而促进了针对对抗攻击的防御。受到对抗噪声包含良好的特征的动机，并且对抗数据和自然数据之间的关系可以帮助推断自然数据并做出可靠的预测，在本文中，我们研究通过学习对抗性标签之间的过渡关系来建模对抗性噪声（即用于生成对抗数据的翻转标签）和天然标签（即自然数据的地面真实标签）。具体而言，我们引入了一个依赖实例的过渡矩阵来关联对抗标签和天然标签，可以将其无缝嵌入目标模型（使我们能够建模更强的自适应对手噪声）。经验评估表明，我们的方法可以有效提高对抗性的准确性。

对抗训练（AT）在防御对抗例子方面表现出色。最近的研究表明，示例对于AT期间模型的最终鲁棒性并不同样重要，即，所谓的硬示例可以攻击容易表现出比对最终鲁棒性的鲁棒示例更大的影响。因此，保证硬示例的鲁棒性对于改善模型的最终鲁棒性至关重要。但是，定义有效的启发式方法来寻找辛苦示例仍然很困难。在本文中，受到信息瓶颈（IB）原则的启发，我们发现了一个具有高度共同信息及其相关的潜在表示的例子，更有可能受到攻击。基于此观察，我们提出了一种新颖有效的对抗训练方法（Infoat）。鼓励Infoat找到具有高相互信息的示例，并有效利用它们以提高模型的最终鲁棒性。实验结果表明，与几种最先进的方法相比，Infoat在不同数据集和模型之间达到了最佳的鲁棒性。

对抗性例子的现象说明了深神经网络最基本的漏洞之一。在推出这一固有的弱点的各种技术中，对抗性训练已成为学习健壮模型的最有效策略。通常，这是通过平衡强大和自然目标来实现的。在这项工作中，我们旨在通过执行域不变的功能表示，进一步优化鲁棒和标准准确性之间的权衡。我们提出了一种新的对抗训练方法，域不变的对手学习（DIAL），该方法学习了一个既健壮又不变的功能表示形式。拨盘使用自然域及其相应的对抗域上的域对抗神经网络（DANN）的变体。在源域由自然示例组成和目标域组成的情况下，是对抗性扰动的示例，我们的方法学习了一个被限制的特征表示，以免区分自然和对抗性示例，因此可以实现更强大的表示。拨盘是一种通用和模块化技术，可以轻松地将其纳入任何对抗训练方法中。我们的实验表明，将拨号纳入对抗训练过程中可以提高鲁棒性和标准精度。

We present a new algorithm to learn a deep neural network model robust against adversarial attacks. Previous algorithms demonstrate an adversarially trained Bayesian Neural Network (BNN) provides improved robustness. We recognize the adversarial learning approach for approximating the multi-modal posterior distribution of a Bayesian model can lead to mode collapse; consequently, the model's achievements in robustness and performance are sub-optimal. Instead, we first propose preventing mode collapse to better approximate the multi-modal posterior distribution. Second, based on the intuition that a robust model should ignore perturbations and only consider the informative content of the input, we conceptualize and formulate an information gain objective to measure and force the information learned from both benign and adversarial training instances to be similar. Importantly. we prove and demonstrate that minimizing the information gain objective allows the adversarial risk to approach the conventional empirical risk. We believe our efforts provide a step toward a basis for a principled method of adversarially training BNNs. Our model demonstrate significantly improved robustness--up to 20%--compared with adversarial training and Adv-BNN under PGD attacks with 0.035 distortion on both CIFAR-10 and STL-10 datasets.

In the scenario of black-box adversarial attack, the target model's parameters are unknown, and the attacker aims to find a successful adversarial perturbation based on query feedback under a query budget. Due to the limited feedback information, existing query-based black-box attack methods often require many queries for attacking each benign example. To reduce query cost, we propose to utilize the feedback information across historical attacks, dubbed example-level adversarial transferability. Specifically, by treating the attack on each benign example as one task, we develop a meta-learning framework by training a meta-generator to produce perturbations conditioned on benign examples. When attacking a new benign example, the meta generator can be quickly fine-tuned based on the feedback information of the new task as well as a few historical attacks to produce effective perturbations. Moreover, since the meta-train procedure consumes many queries to learn a generalizable generator, we utilize model-level adversarial transferability to train the meta-generator on a white-box surrogate model, then transfer it to help the attack against the target model. The proposed framework with the two types of adversarial transferability can be naturally combined with any off-the-shelf query-based attack methods to boost their performance, which is verified by extensive experiments.

作为反对攻击的最有效的防御方法之一，对抗性训练倾向于学习包容性的决策边界，以提高深度学习模型的鲁棒性。但是，由于沿对抗方向的边缘的大幅度和不必要的增加，对抗性训练会在自然实例和对抗性示例之间引起严重的交叉，这不利于平衡稳健性和自然准确性之间的权衡。在本文中，我们提出了一种新颖的对抗训练计划，以在稳健性和自然准确性之间进行更好的权衡。它旨在学习一个中度包容的决策边界，这意味着决策边界下的自然示例的边缘是中等的。我们称此方案为中等边缘的对抗训练（MMAT），该方案生成更细粒度的对抗示例以减轻交叉问题。我们还利用了经过良好培训的教师模型的逻辑来指导我们的模型学习。最后，MMAT在Black-Box和White-Box攻击下都可以实现高自然的精度和鲁棒性。例如，在SVHN上，实现了最新的鲁棒性和自然精度。

Adversarial training is an effective approach to make deep neural networks robust against adversarial attacks. Recently, different adversarial training defenses are proposed that not only maintain a high clean accuracy but also show significant robustness against popular and well studied adversarial attacks such as PGD. High adversarial robustness can also arise if an attack fails to find adversarial gradient directions, a phenomenon known as `gradient masking'. In this work, we analyse the effect of label smoothing on adversarial training as one of the potential causes of gradient masking. We then develop a guided mechanism to avoid local minima during attack optimization, leading to a novel attack dubbed Guided Projected Gradient Attack (G-PGA). Our attack approach is based on a `match and deceive' loss that finds optimal adversarial directions through guidance from a surrogate model. Our modified attack does not require random restarts, large number of attack iterations or search for an optimal step-size. Furthermore, our proposed G-PGA is generic, thus it can be combined with an ensemble attack strategy as we demonstrate for the case of Auto-Attack, leading to efficiency and convergence speed improvements. More than an effective attack, G-PGA can be used as a diagnostic tool to reveal elusive robustness due to gradient masking in adversarial defenses.

对抗训练（AT）方法有效地防止对抗性攻击，但它们在不同阶级之间引入了严重的准确性和鲁棒性差异，称为强大的公平性问题。以前建议的公平健壮的学习（FRL）适应重新重量不同的类别以提高公平性。但是，表现良好的班级的表现降低了，导致表现强劲。在本文中，我们在对抗训练中观察到了两种不公平现象：在产生每个类别的对抗性示例（源级公平）和产生对抗性示例时（目标级公平）时产生对抗性示例的不​​同困难。从观察结果中，我们提出平衡对抗训练（BAT）来解决强大的公平问题。关于源阶级的公平性，我们调整了每个班级的攻击强度和困难，以在决策边界附近生成样本，以便更容易，更公平的模型学习；考虑到目标级公平，通过引入统一的分布约束，我们鼓励每个班级的对抗性示例生成过程都有公平的趋势。在多个数据集（CIFAR-10，CIFAR-100和IMAGENETTE）上进行的广泛实验表明，我们的方法可以显着超过其他基线，以减轻健壮的公平性问题（最坏的类精度为+5-10 \％）

为了应对对抗性实例的威胁，对抗性培训提供了一种有吸引力的选择，可以通过在线增强的对抗示例中的培训模型提高模型稳健性。然而，大多数现有的对抗训练方法通过强化对抗性示例来侧重于提高鲁棒的准确性，但忽略了天然数据和对抗性实施例之间的增加，导致自然精度急剧下降。为了维持自然和强大的准确性之间的权衡，我们从特征适应的角度缓解了转变，并提出了一种特征自适应对抗训练（FAAT），这些培训（FAAT）跨越自然数据和对抗示例优化类条件特征适应。具体而言，我们建议纳入一类条件鉴别者，以鼓励特征成为（1）类鉴别的和（2）不变导致对抗性攻击的变化。新型的FAAT框架通过在天然和对抗数据中产生具有类似分布的特征来实现自然和强大的准确性之间的权衡，并实现从类鉴别特征特征中受益的更高的整体鲁棒性。在各种数据集上的实验表明，FAAT产生更多辨别特征，并对最先进的方法表现有利。代码在https://github.com/visionflow/faat中获得。

This paper investigates recently proposed approaches for defending against adversarial examples and evaluating adversarial robustness. We motivate adversarial risk as an objective for achieving models robust to worst-case inputs. We then frame commonly used attacks and evaluation metrics as defining a tractable surrogate objective to the true adversarial risk. This suggests that models may optimize this surrogate rather than the true adversarial risk. We formalize this notion as obscurity to an adversary, and develop tools and heuristics for identifying obscured models and designing transparent models. We demonstrate that this is a significant problem in practice by repurposing gradient-free optimization techniques into adversarial attacks, which we use to decrease the accuracy of several recently proposed defenses to near zero. Our hope is that our formulations and results will help researchers to develop more powerful defenses.

与此同时，黑匣子对抗攻击已经吸引了令人印象深刻的注意，在深度学习安全领域的实际应用，同时，由于无法访问目标模型的网络架构或内部权重，非常具有挑战性。基于假设：如果一个例子对多种型号保持过逆势，那么它更有可能将攻击能力转移到其他模型，基于集合的对抗攻击方法是高效的，用于黑匣子攻击。然而，集合攻击的方式相当不那么调查，并且现有的集合攻击只是均匀地融合所有型号的输出。在这项工作中，我们将迭代集合攻击视为随机梯度下降优化过程，其中不同模型上梯度的变化可能导致众多局部Optima差。为此，我们提出了一种新的攻击方法，称为随机方差减少了整体（SVRE）攻击，这可以降低集合模型的梯度方差，并充分利用集合攻击。标准想象数据集的经验结果表明，所提出的方法可以提高对抗性可转移性，并且优于现有的集合攻击显着。

到目前为止对抗训练是抵御对抗例子的最有效的策略。然而，由于每个训练步骤中的迭代对抗性攻击，它遭受了高的计算成本。最近的研究表明，通过随机初始化执行单步攻击，可以实现快速的对抗训练。然而，这种方法仍然落后于稳定性和模型稳健性的最先进的对手训练算法。在这项工作中，我们通过观察随机平滑的随机初始化来更好地优化内部最大化问题，对快速对抗培训进行新的理解。在这种新的视角之后，我们还提出了一种新的初始化策略，向后平滑，进一步提高单步强大培训方法的稳定性和模型稳健性。多个基准测试的实验表明，我们的方法在使用更少的训练时间（使用相同的培训计划时，使用更少的培训时间（$ \ sim $ 3x改进）时，我们的方法达到了类似的模型稳健性。

几个数据增强方法部署了未标记的分配（UID）数据，以弥合神经网络的培训和推理之间的差距。然而，这些方法在UID数据的可用性方面具有明确的限制和伪标签上的算法的依赖性。在此，我们提出了一种数据增强方法，通过使用缺乏上述问题的分发（OOD）数据来改善对抗和标准学习的泛化。我们展示了如何在理论上使用每个学习场景中的数据来改进泛化，并通过Cifar-10，CiFar-100和ImageNet的子集进行化学理论分析。结果表明，即使在似乎与人类角度几乎没有相关的图像数据中也是不希望的特征。我们还通过与其他数据增强方法进行比较，介绍了所提出的方法的优点，这些方法可以在没有UID数据的情况下使用。此外，我们证明该方法可以进一步改善现有的最先进的对抗培训。

当有大量的计算资源可用时，AutoAttack（AA）是评估对抗性鲁棒性的最可靠方法。但是，高计算成本（例如，比项目梯度下降攻击的100倍）使AA对于具有有限计算资源的从业者来说是不可行的，并且也阻碍了AA在对抗培训中的应用（AT）。在本文中，我们提出了一种新颖的方法，即最小利润率（MM）攻击，以快速可靠地评估对抗性鲁棒性。与AA相比，我们的方法可实现可比的性能，但在广泛的实验中仅占计算时间的3％。我们方法的可靠性在于，我们使用两个目标之间的边缘来评估对抗性示例的质量，这些目标可以精确地识别最对抗性的示例。我们方法的计算效率在于有效的顺序目标排名选择（星形）方法，以确保MM攻击的成本与类数无关。 MM攻击开辟了一种评估对抗性鲁棒性的新方法，并提供了一种可行且可靠的方式来生成高质量的对抗示例。

改善深度神经网络（DNN）对抗对抗示例的鲁棒性是安全深度学习的重要而挑战性问题。跨越现有的防御技术，具有预计梯度体面（PGD）的对抗培训是最有效的。对手训练通过最大化分类丢失，通过最大限度地减少从内在最大化生成的逆势示例的丢失来解决\ excepitient {内部最大化}生成侵略性示例的初始最大优化问题。 。因此，衡量内部最大化的衡量标准是如何对对抗性培训至关重要的。在本文中，我们提出了这种标准，即限制优化（FOSC）的一阶静止条件，以定量评估内部最大化中发现的对抗性实例的收敛质量。通过FOSC，我们发现，为了确保更好的稳健性，必须在培训的\ Texit {稍后的阶段}中具有更好的收敛质量的对抗性示例。然而，在早期阶段，高收敛质量的对抗例子不是必需的，甚至可能导致稳健性差。基于这些观察，我们提出了一种\ Texit {动态}培训策略，逐步提高产生的对抗性实例的收敛质量，这显着提高了对抗性培训的鲁棒性。我们的理论和经验结果表明了该方法的有效性。

由明确的反对派制作的对抗例子在机器学习中引起了重要的关注。然而，潜在虚假朋友带来的安全风险基本上被忽视了。在本文中，我们揭示了虚伪的例子的威胁 - 最初被错误分类但是虚假朋友扰乱的投入，以强迫正确的预测。虽然这种扰动的例子似乎是无害的，但我们首次指出，它们可能是恶意地用来隐瞒评估期间不合格（即，不如所需）模型的错误。一旦部署者信任虚伪的性能并在真实应用程序中应用“良好的”模型，即使在良性环境中也可能发生意外的失败。更严重的是，这种安全风险似乎是普遍存在的：我们发现许多类型的不合标准模型易受多个数据集的虚伪示例。此外，我们提供了第一次尝试，以称为虚伪风险的公制表征威胁，并试图通过一些对策来规避它。结果表明对策的有效性，即使在自适应稳健的培训之后，风险仍然是不可忽视的。

卷积神经网络（CNN）的违反直觉性能是它们对对抗性示例的固有敏感性，这严重阻碍了CNN在安全至关重要的领域中的应用。对抗性示例类似于原始示例，但包含恶意扰动。对抗训练是一种简单有效的训练方法，可以提高CNN对对抗性例子的鲁棒性。对抗性实例和对抗训练的机制值得探索。因此，这项工作通过观察相互信息的趋势来研究信息提取中两种类型的CNN（正常和强大）之间的相似性和差异。我们表明，1）CNN从原始和对抗性示例中提取的CNN的互助数量几乎相似，无论CNN是在正常训练中还是对抗性训练；对抗性示例误导CNN的原因可能是它们包含有关其他类别的更多基于纹理的信息； 2）与正常训练相比，对抗训练更加困难，并且强大的CNN提取的信息量较小； 3）接受不同方法训练的CNN对某些类型的信息具有不同的偏好；通常，受过训练的CNN倾向于从输入中提取基于纹理的信息，而受对抗训练的模型则喜欢基于基于基于的信息。此外，我们还分析了这项工作中使用的共同信息估计器，内核密度估计和固定方法，并发现这些估计器在一定程度上概述了中间层输出的几何特性。

深度神经网络已成为现代图像识别系统的驱动力。然而，神经网络对抗对抗性攻击的脆弱性对受这些系统影响的人构成严重威胁。在本文中，我们专注于一个真实的威胁模型，中间对手恶意拦截和erturbs网页用户上传在线。这种类型的攻击可以在简单的性能下降之上提高严重的道德问题。为了防止这种攻击，我们设计了一种新的双层优化算法，该算法在对抗对抗扰动的自然图像附近找到点。CiFar-10和Imagenet的实验表明我们的方法可以有效地强制在给定的修改预算范围内的自然图像。我们还显示所提出的方法可以在共同使用随机平滑时提高鲁棒性。

通过对数据集的样本应用小而有意的最差情况扰动可以产生对抗性输入，这导致甚至最先进的深神经网络，以高信任输出不正确的答案。因此，开发了一些对抗防御技术来提高模型的安全性和稳健性，并避免它们被攻击。逐渐，攻击者和捍卫者之间的游戏类似的竞争，其中两个玩家都会试图在最大化自己的收益的同时互相反对发挥最佳策略。为了解决游戏，每个玩家都基于对对手的战略选择的预测来选择反对对手的最佳策略。在这项工作中，我们正处于防守方面，以申请防止攻击的游戏理论方法。我们使用两个随机化方法，随机初始化和随机激活修剪，以创造网络的多样性。此外，我们使用一种去噪技术，超级分辨率，通过在攻击前预处理图像来改善模型的鲁棒性。我们的实验结果表明，这三种方法可以有效提高深度学习神经网络的鲁棒性。