神经常规差分方程(ODES)最近在各种研究域中引起了不断的关注。有一些作品研究了神经杂物的优化问题和近似能力,但他们的鲁棒性尚不清楚。在这项工作中,我们通过探索神经杂物经验和理论上的神经杂物的鲁棒性质来填补这一重要差异。我们首先通过将它们暴露于具有各种类型的扰动并随后研究相应输出的变化来提出基于神经竞争的网络(odeNets)的鲁棒性的实证研究。与传统的卷积神经网络(CNNS)相反,我们发现odeenets对随机高斯扰动和对抗性攻击示例的更稳健。然后,我们通过利用连续时间颂的流动的某种理想性能来提供对这种现象的富有识别理解,即积分曲线是非交叉的。我们的工作表明,由于其内在的稳健性,它很有希望使用神经杂散作为构建强大的深网络模型的基本块。为了进一步增强香草神经杂物杂物的鲁棒性,我们提出了时间不变的稳定神经颂(Tisode),其通过时间不变性和施加稳态约束来规则地规则地规则地对扰动数据的流程。我们表明,Tisode方法优于香草神经杂物,也可以与其他最先进的架构方法一起制造更强大的深网络。 \ url {https://github.com/hanshuyan/tisode}
translated by 谷歌翻译
我们从频道明智激活的角度调查CNN的对抗性鲁棒性。通过比较\ Textit {非鲁棒}(通常训练)和\ exingit {REXITIT {REARUSTIFIED}(普及培训的)模型,我们观察到对抗性培训(AT)通过将频道明智的数据与自然的渠道和自然的对抗激活对齐来强调CNN同行。然而,在处理逆势数据时仍仍会过度激活以\ texit {excy-computive}(nr)的频道仍会过度激活。此外,我们还观察到,在所有课程上不会导致类似的稳健性。对于强大的类,具有较大激活大小的频道通常是更长的\ extedit {正相关}(pr)到预测,但这种对齐不适用于非鲁棒类。鉴于这些观察结果,我们假设抑制NR通道并对齐PR与其相关性进一步增强了在其下的CNN的鲁棒性。为了检查这个假设,我们介绍了一种新的机制,即\下划线{C} Hannel-Wise \ Underline {i} Mportance的\下划线{F} eature \ Underline {s}选举(CIFS)。 CIFS通过基于与预测的相关性产生非负乘法器来操纵某些层的激活。在包括CIFAR10和SVHN的基准数据集上的广泛实验明确验证了强制性CNN的假设和CIFS的有效性。 \ url {https://github.com/hanshuyan/cifs}
translated by 谷歌翻译
本文介绍了独立的神经颂歌(Snode),这是一种连续深入的神经模型,能够描述完整的深神经网络。这使用了一种新型的非线性结合梯度(NCG)下降优化方案,用于训练,在该方案中可以合并Sobolev梯度以提高模型权重的平滑度。我们还提出了神经敏感性问题的一般表述,并显示了它在NCG训练中的使用方式。灵敏度分析提供了整个网络中不确定性传播的可靠度量,可用于研究模型鲁棒性并产生对抗性攻击。我们的评估表明,与Resnet模型相比,我们的新型配方会提高鲁棒性和性能,并且为设计和开发机器学习的新机会提供了改善的解释性。
translated by 谷歌翻译
尽管深度学习模型在图像语义细分中取得了巨大进展,但它们通常需要大的注释示例,并且越来越多的注意力转移到了诸如少数射击学习(FSL)之类的问题设置中,在这些设置中,只需要少量注释才能泛化才能概括地进行概括的概括。新颖的课程。这尤其在医疗领域中可以看到,那里的像素级注释昂贵。在本文中,我们提出了正则原型神经差微分方程(R-PNODE),该方法利用神经模型的固有特性,通过额外的簇和一致性损失来辅助和增强,以执行几个器官的几分片段分割(FSS)。 R-Pnode将同一类的支持和查询功能限制在表示空间中,从而改善了基于现有的卷积神经网络(CNN)的FSS方法的性能。我们进一步证明,尽管许多现有的基于CNN的现有方法往往非常容易受到对抗攻击的影响,但R-Pnode表现出对各种攻击的对抗性鲁棒性的提高。我们在内域和跨域FSS设置中使用三个公开可用的多器官分割数据集,以证明我们方法的疗效。此外,我们在各种设置中使用七个常用的对抗攻击进行实验,以证明R-Pnode的鲁棒性。 R-Pnode的表现优于FSS的基线,并且在强度和设计方面也显示出卓越的性能。
translated by 谷歌翻译
已知深度神经网络(DNN)容易受到用不可察觉的扰动制作的对抗性示例的影响,即,输入图像的微小变化会引起错误的分类,从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练(AT)来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是,大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的,这些方法是生成以欺骗各种防御模型的生成的,因此无法满足现实情况下提出的概括要求。此外,对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测,而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中,我们提出了一种基于Jacobian规范和选择性输入梯度正则化(J-SIGR)的方法,该方法通过Jacobian归一化提出了线性化的鲁棒性,还将基于扰动的显着性图正规化,以模仿模型的可解释预测。因此,我们既可以提高DNN的防御能力和高解释性。最后,我们评估了跨不同体系结构的方法,以针对强大的对抗性攻击。实验表明,提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性,我们还表明,来自神经网络的预测易于解释。
translated by 谷歌翻译
Recent work has demonstrated that deep neural networks are vulnerable to adversarial examples-inputs that are almost indistinguishable from natural data and yet classified incorrectly by the network. In fact, some of the latest findings suggest that the existence of adversarial attacks may be an inherent weakness of deep learning models. To address this problem, we study the adversarial robustness of neural networks through the lens of robust optimization. This approach provides us with a broad and unifying view on much of the prior work on this topic. Its principled nature also enables us to identify methods for both training and attacking neural networks that are reliable and, in a certain sense, universal. In particular, they specify a concrete security guarantee that would protect against any adversary. These methods let us train networks with significantly improved resistance to a wide range of adversarial attacks. They also suggest the notion of security against a first-order adversary as a natural and broad security guarantee. We believe that robustness against such well-defined classes of adversaries is an important stepping stone towards fully resistant deep learning models. 1
translated by 谷歌翻译
哪种卷积神经网络(CNN)结构表现良好的问题令人着迷。在这项工作中,我们通过连接零稳定性和模型性能,再通过一步向答案转向答案。具体而言,我们发现,如果普通微分方程的离散求解器为零稳定,则与该求解器相对应的CNN表现良好。我们首先在深度学习的背景下对零稳定性进行解释,然后在不同的零稳定情况下研究现有的一阶和二阶CNN的性能。基于初步观察,我们为构建CNN提供了高阶离散化,然后提出了一个零稳定的网络(ZeroSNET)。为了确保零稳定性的零稳定性,我们首先推断出满足一致性条件的结构,然后给出无训练参数的零稳定区域。通过分析特征方程的根,我们从理论上获得特征图的最佳系数。从经验上讲,我们从三个方面介绍了结果:我们提供了不同数据集上不同深度的广泛经验证据,以表明特征方程式的根源是需要历史特征的CNN表现的关键;我们的实验表明,零值优于基于高级离散化的现有CNN。零件在输入上显示出更好的鲁棒性。源代码可在\ url {https://github.com/longjin-lab/zerosnet}中获得。
translated by 谷歌翻译
尽管机器学习系统的效率和可扩展性,但最近的研究表明,许多分类方法,尤其是深神经网络(DNN),易受对抗的例子;即,仔细制作欺骗训练有素的分类模型的例子,同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 (2013)和Szegedy等人。(2014年),在这一领域已经完成了很多工作,包括开发攻击方法,以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展,主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码(在Python和R)公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。
translated by 谷歌翻译
深度神经网络(DNNS)最近在许多分类任务中取得了巨大的成功。不幸的是,它们容易受到对抗性攻击的影响,这些攻击会产生对抗性示例,这些示例具有很小的扰动,以欺骗DNN模型,尤其是在模型共享方案中。事实证明,对抗性训练是最有效的策略,它将对抗性示例注入模型训练中,以提高DNN模型的稳健性,以对对抗性攻击。但是,基于现有的对抗性示例的对抗训练无法很好地推广到标准,不受干扰的测试数据。为了在标准准确性和对抗性鲁棒性之间取得更好的权衡,我们提出了一个新型的对抗训练框架,称为潜在边界引导的对抗训练(梯子),该训练(梯子)在潜在的边界引导的对抗性示例上对对手进行对手训练DNN模型。与大多数在输入空间中生成对抗示例的现有方法相反,梯子通过增加对潜在特征的扰动而产生了无数的高质量对抗示例。扰动是沿SVM构建的具有注意机制的决策边界的正常情况进行的。我们从边界场的角度和可视化视图分析了生成的边界引导的对抗示例的优点。与Vanilla DNN和竞争性底线相比,对MNIST,SVHN,CELEBA和CIFAR-10的广泛实验和详细分析验证了梯子在标准准确性和对抗性鲁棒性之间取得更好的权衡方面的有效性。
translated by 谷歌翻译
有必要提高某些特殊班级的表现,或者特别保护它们免受对抗学习的攻击。本文提出了一个将成本敏感分类和对抗性学习结合在一起的框架,以训练可以区分受保护和未受保护的类的模型,以使受保护的类别不太容易受到对抗性示例的影响。在此框架中,我们发现在训练深神经网络(称为Min-Max属性)期间,一个有趣的现象,即卷积层中大多数参数的绝对值。基于这种最小的最大属性,该属性是在随机分布的角度制定和分析的,我们进一步建立了一个针对对抗性示例的新防御模型,以改善对抗性鲁棒性。构建模型的一个优点是,它的性能比标准模型更好,并且可以与对抗性训练相结合,以提高性能。在实验上证实,对于所有类别的平均准确性,我们的模型在没有发生攻击时几乎与现有模型一样,并且在发生攻击时比现有模型更好。具体而言,关于受保护类的准确性,提议的模型比发生攻击时的现有模型要好得多。
translated by 谷歌翻译
We identify a trade-off between robustness and accuracy that serves as a guiding principle in the design of defenses against adversarial examples. Although this problem has been widely studied empirically, much remains unknown concerning the theory underlying this trade-off. In this work, we decompose the prediction error for adversarial examples (robust error) as the sum of the natural (classification) error and boundary error, and provide a differentiable upper bound using the theory of classification-calibrated loss, which is shown to be the tightest possible upper bound uniform over all probability distributions and measurable predictors. Inspired by our theoretical analysis, we also design a new defense method, TRADES, to trade adversarial robustness off against accuracy. Our proposed algorithm performs well experimentally in real-world datasets. The methodology is the foundation of our entry to the NeurIPS 2018 Adversarial Vision Challenge in which we won the 1st place out of ~2,000 submissions, surpassing the runner-up approach by 11.41% in terms of mean 2 perturbation distance.
translated by 谷歌翻译
关于深度学习鲁棒性的最新研究表明,视觉变形金刚(VIT)在某些扰动下超过了卷积神经网络(CNN),例如自然腐败,对抗性攻击等。一些论文认为,VIT的优势鲁棒性来自其输入图像的分割;其他人则说,多头自我注意力(MSA)是保持鲁棒性的关键。在本文中,我们旨在引入一个原则和统一的理论框架,以调查有关VIT鲁棒性的这种论点。首先,我们首先证明,与自然语言处理中的变压器不同,VIT是Lipschitz的连续。然后,我们从理论上分析了VIT的对抗性鲁棒性,从库奇问题的角度来看,通过该问题,我们可以量化鲁棒性如何通过层传播。我们证明,第一层也是最后一层是影响VIT稳健性的关键因素。此外,根据我们的理论,我们从经验上表明,与现有研究的主张不同,MSA仅在弱对抗性攻击下有助于VIT的对抗性鲁棒性,例如,FGSM和令人惊讶的是,MSA实际上构成了该模型的对抗性稳健性,在强大的攻击下,强劲的攻击,强烈的攻击下,例如,PGD攻击。
translated by 谷歌翻译
通过快速梯度符号方法(FGSM)生成的样品(也称为FGSM-AT)生成的样品是一种计算上的简单方法,可以训练训练强大的网络。然而,在训练过程中,在Arxiv:2001.03994 [CS.LG]中发现了一种不稳定的“灾难性过度拟合”模式,在单个训练步骤中,强大的精度突然下降到零。现有方法使用梯度正规化器或随机初始化技巧来减轻此问题,而它们要么承担高计算成本或导致较低的稳健精度。在这项工作中,我们提供了第一项研究,该研究从三个角度彻底研究了技巧的集合:数据初始化,网络结构和优化,以克服FGSM-AT中的灾难性过度拟合。令人惊讶的是,我们发现简单的技巧,即a)掩盖部分像素(即使没有随机性),b)设置较大的卷积步幅和平滑的激活功能,或c)正规化第一卷积层的重量,可以有效地应对过度拟合问题。对一系列网络体系结构的广泛结果验证了每个提出的技巧的有效性,还研究了技巧的组合。例如,在CIFAR-10上接受了PREACTRESNET-18培训,我们的方法对PGD-50攻击者的准确性为49.8%,并且针对AutoAttack的精度为46.4%,这表明Pure FGSM-AT能够启用健壮的学习者。代码和模型可在https://github.com/ucsc-vlaa/bag-of-tricks-for-for-fgsm-at上公开获得。
translated by 谷歌翻译
对抗性的鲁棒性已经成为深度学习的核心目标,无论是在理论和实践中。然而,成功的方法来改善对抗的鲁棒性(如逆势训练)在不受干扰的数据上大大伤害了泛化性能。这可能会对对抗性鲁棒性如何影响现实世界系统的影响(即,如果它可以提高未受干扰的数据的准确性),许多人可能选择放弃鲁棒性)。我们提出内插对抗培训,该培训最近雇用了在对抗培训框架内基于插值的基于插值的培训方法。在CiFar -10上,对抗性训练增加了标准测试错误(当没有对手时)从4.43%到12.32%,而我们的内插对抗培训我们保留了对抗性的鲁棒性,同时实现了仅6.45%的标准测试误差。通过我们的技术,强大模型标准误差的相对增加从178.1%降至仅为45.5%。此外,我们提供内插对抗性培训的数学分析,以确认其效率,并在鲁棒性和泛化方面展示其优势。
translated by 谷歌翻译
这项工作系统地调查了深度图像去噪者(DIDS)的对抗性稳健性,即,可以从嘈杂的观察中恢复地面真理的噪音,因对抗性扰动而变化。首先,为了评估DIDS的稳健性,我们提出了一种新的逆势攻击,即观察到的零平均攻击({\ SC obsatk}),对给定嘈杂的图像来制作对抗零均匀扰动。我们发现现有的确实容易受到{\ SC Obsatk}产生的对抗噪声。其次,为了强化犯罪,我们提出了一种对抗性培训策略,混合对抗训练({\ SC帽}),共同列车与对抗性和非对抗性嘈杂的数据做出,以确保重建质量很高,并且围绕非对抗性数据是局部光滑的。所得到的确实可以有效去除各种类型的合成和对抗性噪声。我们还发现,DIDS的稳健性使其在看不见的真实噪音上的概括能力。实际上,{\ SC帽子} -Tromed DID可以从真实世界的噪音中恢复高质量的清洁图像,即使没有真正的嘈杂数据训练。基准数据集的广泛实验,包括SET68,PolyU和SIDD,证实了{\ SC Obsatk}和{\ SC帽}的有效性。
translated by 谷歌翻译
The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.
translated by 谷歌翻译
对抗性例子的现象说明了深神经网络最基本的漏洞之一。在推出这一固有的弱点的各种技术中,对抗性训练已成为学习健壮模型的最有效策略。通常,这是通过平衡强大和自然目标来实现的。在这项工作中,我们旨在通过执行域不变的功能表示,进一步优化鲁棒和标准准确性之间的权衡。我们提出了一种新的对抗训练方法,域不变的对手学习(DIAL),该方法学习了一个既健壮又不变的功能表示形式。拨盘使用自然域及其相应的对抗域上的域对抗神经网络(DANN)的变体。在源域由自然示例组成和目标域组成的情况下,是对抗性扰动的示例,我们的方法学习了一个被限制的特征表示,以免区分自然和对抗性示例,因此可以实现更强大的表示。拨盘是一种通用和模块化技术,可以轻松地将其纳入任何对抗训练方法中。我们的实验表明,将拨号纳入对抗训练过程中可以提高鲁棒性和标准精度。
translated by 谷歌翻译
对抗性训练及其变体已成为使用神经网络实现对抗性稳健分类的普遍方法。但是,它的计算成本增加,以及标准性能和稳健性能之间的显着差距阻碍了进步,并提出了我们是否可以做得更好的问题。在这项工作中,我们退后一步,问:模型可以通过适当优化的集合通过标准培训来实现鲁棒性吗?为此,我们设计了一种用于鲁棒分类的元学习方法,该方法以原则性的方式在部署之前优化了数据集,并旨在有效地删除数据的非稳定部分。我们将优化方法作为内核回归的多步PGD程序进行了,其中一类核描述了无限宽的神经网(神经切线核-NTKS)。 MNIST和CIFAR-10的实验表明,当在内核回归分类器和神经网络中部署时,我们生成的数据集对PGD攻击都非常鲁棒性。但是,这种鲁棒性有些谬误,因为替代性攻击设法欺骗了模型,我们发现文献中以前的类似作品也是如此。我们讨论了这一点的潜在原因,并概述了进一步的研究途径。
translated by 谷歌翻译
最近,Wong等人。表明,使用单步FGSM的对抗训练导致一种名为灾难性过度拟合(CO)的特征故障模式,其中模型突然变得容易受到多步攻击的影响。他们表明,在FGSM(RS-FGSM)之前添加随机扰动似乎足以防止CO。但是,Andriushchenko和Flammarion观察到RS-FGSM仍会导致更大的扰动,并提出了一个昂贵的常规化器(Gradalign),DEMATER(GARGALIGN)DES昂贵(Gradalign)Dust Forrasiniger(Gradalign)Dust co避免在这项工作中,我们有条不紊地重新审视了噪声和剪辑在单步对抗训练中的作用。与以前的直觉相反,我们发现在干净的样品周围使用更强烈的噪声与不剪接相结合在避免使用大扰动半径的CO方面非常有效。基于这些观察结果,我们提出了噪声-FGSM(N-FGSM),尽管提供了单步对抗训练的好处,但在大型实验套件上没有经验分析,这表明N-FGSM能够匹配或超越以前的单步方法的性能,同时达到3 $ \ times $加速。代码可以在https://github.com/pdejorge/n-fgsm中找到
translated by 谷歌翻译
已经提出了神经常规差分方程(节点)作为流行深度学习模型的连续深度概括,例如残留网络(RESNET)。它们提供参数效率并在一定程度上在深度学习模型中自动化模型选择过程。然而,它们缺乏大量的不确定性建模和稳健性能力,这对于他们在几个现实世界应用中的使用至关重要,例如自主驾驶和医疗保健。我们提出了一种新颖的和独特的方法来通过考虑在ode求解器的结束时间$ t $上的分布来模拟节点的不确定性。所提出的方法,潜在的时间节点(LT节点)将$ T $视为潜在变量,并应用贝叶斯学习,以获得超过数据的$ $ $。特别地,我们使用变分推理来学习近似后的后验和模型参数。通过考虑来自后部的不同样本的节点表示来完成预测,并且可以使用单个向前通过有效地完成。由于$ t $隐含地定义节点的深度,超过$ t $的后部分发也会有助于节点的模型选择。我们还提出了一种自适应潜在的时间节点(Alt-Node),其允许每个数据点在终点上具有不同的后分布。 Alt-Node使用摊销变分推理来使用推理网络学习近似后的后验。我们展示了通过合成和几个现实世界图像分类数据的实验来建立不确定性和鲁棒性的提出方法的有效性。
translated by 谷歌翻译