歧管假说(现实世界数据集中在低维流形附近)被认为是在非常高的维度问题中,在诸如视觉和言语等领域常见的非常高的维度问题中,机器学习算法的有效性。已经提出了多种方法将歧管假设纳入现代深度神经网络(DNNS)的先验,并取得了不同的成功。在本文中,我们提出了一种新方法,即远程学习者,以将基于DNN的分类器提前整合。对距离学习者进行了训练,以预测一个点与每个类别的基础歧管的距离,而不是类标签。对于分类,远程学习者然后选择与最接近预测类歧管相对应的类。距离学习者还可以将点识别为超出分布(属于两类),如果与最接近的歧管的距离高于阈值。我们在多个合成数据集上评估了我们的方法,并表明距离学习者与标准分类器相比学习了更有意义的分类边界。我们还评估了我们的方法对对抗性鲁棒性的任务,并发现它不仅要优于标准分类器,而且还可以与通过最先进的对抗训练进行培训的分类器相当。
translated by 谷歌翻译
Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.
translated by 谷歌翻译
许多深度学习方法已成功地解决了计算机视觉和语音识别应用中的复杂任务。但是,已经发现这些模型的鲁棒性很容易受到扰动的输入或对抗性示例的攻击,这些示例是人眼无法察觉的,但导致该模型做出错误的输出决策。在这项研究中,我们适应并介绍了两个几何指标,密度和覆盖范围,并评估它们在未见数据批次中检测对抗样本中的使用。我们使用MNIST和两个来自MedMnist的现实世界生物医学数据集的经验研究这些指标,并受到了两种不同的对抗攻击。我们的实验显示了两个指标检测对抗示例的有希望的结果。我们认为,他的工作可以为这些指标在部署的机器学习系统中的使用而进一步研究,以监视对抗性示例或相关病理(例如数据集移动)可能攻击的攻击。
translated by 谷歌翻译
投影技术经常用于可视化高维数据,使用户能够更好地理解在2D屏幕上的多维空间的总体结构。尽管存在着许多这样的方法,相当小的工作已经逆投影的普及方法来完成 - 绘制投影点,或者更一般的过程中,投影空间回到原来的高维空间。在本文中我们提出NNInv,用近似的任何突起或映射的逆的能力的深学习技术。 NNInv学会重建上的二维投影空间从任意点高维数据,给用户在视觉分析系统所学习的高维表示的能力进行交互。我们提供NNInv的参数空间的分析,并在选择这些参数提供指导。我们通过一系列定量和定性分析的延长NNInv的有效性验证。交互式实例中插值,分级协议,梯度可视化:然后,我们把它应用到三个可视化任务,验证了该方法的效用。
translated by 谷歌翻译
自动编码是表示学习的一种流行方法。常规的自动编码器采用对称编码编码程序和简单的欧几里得潜在空间,以无监督的方式检测隐藏的低维结构。这项工作介绍了一个图表自动编码器,其中具有不对称编码编码过程,该过程可以包含其他半监督信息,例如类标签。除了增强使用复杂的拓扑结构和几何结构处理数据的能力外,这些模型还可以成功区分附近的数据,但仅与少量监督相交并与歧管相交。此外,该模型仅需要较低的复杂性编码器,例如局部线性投影。我们讨论了此类网络的理论近似能力,基本上取决于数据歧管的固有维度,而不是观测值的维度。我们对合成和现实世界数据的数值实验验证了所提出的模型可以有效地通过附近的多类,但分离不同类别,重叠的歧管和具有非平凡拓扑的歧管的数据。
translated by 谷歌翻译
缺乏精心校准的置信度估计值使神经网络在安全至关重要的领域(例如自动驾驶或医疗保健)中不足。在这些设置中,有能力放弃对分布(OOD)数据进行预测的能力,就像正确分类分布数据一样重要。我们介绍了$ P $ -DKNN,这是一种新颖的推理程序,该过程采用了经过训练的深神经网络,并分析了其中间隐藏表示形式的相似性结构,以计算与端到端模型预测相关的$ p $值。直觉是,在潜在表示方面执行的统计测试不仅可以用作分类器,还可以提供统计上有充分根据的不确定性估计。 $ P $ -DKNN是可扩展的,并利用隐藏层学到的表示形式的组成,这使深度表示学习成功。我们的理论分析基于Neyman-Pearson的分类,并将其与选择性分类的最新进展(拒绝选项)联系起来。我们证明了在放弃预测OOD输入和保持分布输入的高精度之间的有利权衡。我们发现,$ p $ -DKNN强迫自适应攻击者制作对抗性示例(一种最差的OOD输入形式),以对输入引入语义上有意义的更改。
translated by 谷歌翻译
反事实可以以人类的可解释方式解释神经网络的分类决策。我们提出了一种简单但有效的方法来产生这种反事实。更具体地说,我们执行合适的差异坐标转换,然后在这些坐标中执行梯度上升,以查找反事实,这些反事实是由置信度良好的指定目标类别分类的。我们提出了两种方法来利用生成模型来构建完全或大约差异的合适坐标系。我们使用Riemannian差异几何形状分析了生成过程,并使用各种定性和定量测量方法验证了生成的反事实质量。
translated by 谷歌翻译
基于梯度的解释算法何时提供有意义的解释?我们提出了一个必要的标准:它们的特征归因需要与数据歧管的切线空间保持一致。为了提供这一假设的证据,我们介绍了一个基于变异自动编码器的框架,该框架允许估计和生成图像歧管。通过跨各种不同数据集的实验 - MNIST,EMNIST,CIFAR10,X射线肺炎和糖尿病性视网膜病变检测 - 我们证明,功能归因与数据的切线相符,结构化和解释性越多倾向于。特别是,由流行的事后方法(例如集成梯度,SmoothGrad和Input $ \ times $梯度)提供的归因往往比原始梯度更与数据歧管更强烈。结果,我们建议解释算法应积极努力将其解释与数据歧管保持一致。在某种程度上,这可以通过对抗训练来实现,从而可以使所有数据集更好地对齐。必须对模型架构或训练算法进行某种形式的调整,因为我们表明单独的神经网络的概括并不意味着模型梯度与数据歧管的一致性。
translated by 谷歌翻译
宇宙学调查实验中的数据处理和分析管道引入了数据扰动,可以显着降低基于深度学习的模型的性能。鉴于加工和分析宇宙学调查数据的监督深度学习方法的增加,数据扰动效应的评估以及增加模型稳健性的方法的发展越来越重要。在星系形态分类的背景下,我们研究了扰动在成像数据中的影响。特别是,我们在基线数据培训和扰动数据测试时检查使用神经网络的后果。我们考虑与两个主要来源相关的扰动:1)通过泊松噪声和2)诸如图像压缩或望远镜误差的图像压缩或望远粉误差所产生的步骤所产生的数据处理噪声提高了观测噪声。我们还测试了域适应技术在减轻扰动驱动误差时的功效。我们使用分类准确性,潜在空间可视化和潜在空间距离来评估模型稳健性。如果没有域适应,我们发现处理像素级别错误容易将分类翻转成一个不正确的类,并且更高的观察噪声使得模型在低噪声数据上培训无法对Galaxy形态进行分类。另一方面,我们表明,具有域适应的培训改善了模型稳健性并减轻了这些扰动的影响,以更高的观测噪声的数据提高了23%的分类精度。域适应也增加了基线与错误分类的错误分类的潜在空间距离〜2.3的倍数距离,使模型更强大地扰动。
translated by 谷歌翻译
尽管机器学习系统的效率和可扩展性,但最近的研究表明,许多分类方法,尤其是深神经网络(DNN),易受对抗的例子;即,仔细制作欺骗训练有素的分类模型的例子,同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 (2013)和Szegedy等人。(2014年),在这一领域已经完成了很多工作,包括开发攻击方法,以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展,主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码(在Python和R)公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。
translated by 谷歌翻译
Adversarial training has been empirically shown to be more prone to overfitting than standard training. The exact underlying reasons still need to be fully understood. In this paper, we identify one cause of overfitting related to current practices of generating adversarial samples from misclassified samples. To address this, we propose an alternative approach that leverages the misclassified samples to mitigate the overfitting problem. We show that our approach achieves better generalization while having comparable robustness to state-of-the-art adversarial training methods on a wide range of computer vision, natural language processing, and tabular tasks.
translated by 谷歌翻译
Deep neural networks excel at learning the training data, but often provide incorrect and confident predictions when evaluated on slightly different test examples. This includes distribution shifts, outliers, and adversarial examples. To address these issues, we propose Manifold Mixup, a simple regularizer that encourages neural networks to predict less confidently on interpolations of hidden representations. Manifold Mixup leverages semantic interpolations as additional training signal, obtaining neural networks with smoother decision boundaries at multiple levels of representation. As a result, neural networks trained with Manifold Mixup learn class-representations with fewer directions of variance. We prove theory on why this flattening happens under ideal conditions, validate it on practical situations, and connect it to previous works on information theory and generalization. In spite of incurring no significant computation and being implemented in a few lines of code, Manifold Mixup improves strong baselines in supervised learning, robustness to single-step adversarial attacks, and test log-likelihood.
translated by 谷歌翻译
在过去的十年中,基于深度学习的网络在包括图像分类在内的许多任务中取得了前所未有的成功。尽管取得了非凡的成就,但最近的研究表明,这种网络很容易被小小的恶意扰动(也称为对抗性例子)所愚弄。这种安全弱点导致广泛的研究旨在获得强大的模型。除了此类模型的明显鲁棒性优势之外,还观察到,它们相对于人类感知的梯度。几项作品已将感知一致的梯度(PAG)确定为强大训练的副产品,但没有人认为它是独立现象,也没有研究其自身的含义。在这项工作中,我们专注于这种特征,并测试感知一致性梯度是否暗示着稳健性。为此,我们开发了一个新颖的目标,可以直接在训练分类器中促进PAG,并检查具有此类梯度的模型是否对对抗性攻击更强大。关于CIFAR-10和STL的广泛实验验证了此类模型可以提高稳健性能,从而揭示了PAG和稳健性之间令人惊讶的双向连接。
translated by 谷歌翻译
The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.
translated by 谷歌翻译
时间序列数据在许多现实世界中(例如,移动健康)和深神经网络(DNNS)中产生,在解决它们方面已取得了巨大的成功。尽管他们成功了,但对他们对对抗性攻击的稳健性知之甚少。在本文中,我们提出了一个通过统计特征(TSA-STAT)}称为时间序列攻击的新型对抗框架}。为了解决时间序列域的独特挑战,TSA-STAT对时间序列数据的统计特征采取限制来构建对抗性示例。优化的多项式转换用于创建比基于加性扰动的攻击(就成功欺骗DNN而言)更有效的攻击。我们还提供有关构建对抗性示例的统计功能规范的认证界限。我们对各种现实世界基准数据集的实验表明,TSA-STAT在欺骗DNN的时间序列域和改善其稳健性方面的有效性。 TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/time-series-series-attacks-via-statity-features上获得
translated by 谷歌翻译
Neural networks are known to be a class of highly expressive functions able to fit even random inputoutput mappings with 100% accuracy. In this work we present properties of neural networks that complement this aspect of expressivity. By using tools from Fourier analysis, we highlight a learning bias of deep networks towards low frequency functions -i.e. functions that vary globally without local fluctuations -which manifests itself as a frequency-dependent learning speed. Intuitively, this property is in line with the observation that over-parameterized networks prioritize learning simple patterns that generalize across data samples. We also investigate the role of the shape of the data manifold by presenting empirical and theoretical evidence that, somewhat counter-intuitively, learning higher frequencies gets easier with increasing manifold complexity.
translated by 谷歌翻译
The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.
translated by 谷歌翻译
当前,随机平滑被认为是获得确切可靠分类器的最新方法。尽管其表现出色,但该方法仍与各种严重问题有关,例如``认证准确性瀑布'',认证与准确性权衡甚至公平性问题。已经提出了依赖输入的平滑方法,目的是克服这些缺陷。但是,我们证明了这些方法缺乏正式的保证,因此所产生的证书是没有道理的。我们表明,一般而言,输入依赖性平滑度遭受了维数的诅咒,迫使方差函数具有低半弹性。另一方面,我们提供了一个理论和实用的框架,即使在严格的限制下,即使在有维度的诅咒的情况下,即使在存在维度的诅咒的情况下,也可以使用依赖输入的平滑。我们提供平滑方差功能的一种混凝土设计,并在CIFAR10和MNIST上进行测试。我们的设计减轻了经典平滑的一些问题,并正式下划线,但仍需要进一步改进设计。
translated by 谷歌翻译
We propose a new framework for the sampling, compression, and analysis of distributions of point sets and other geometric objects embedded in Euclidean spaces. Nearest neighbors of points on a set of randomly selected rays are recorded into a tensor, called the RaySense signature. From the signature, statistical information about the data set, as well as certain geometrical information, can be extracted, independent of the ray set. We present a few examples illustrating applications of the proposed sampling strategy.
translated by 谷歌翻译
对抗性的鲁棒性已成为机器学习越来越兴趣的话题,因为观察到神经网络往往会变得脆弱。我们提出了对逆转防御的信息几何表述,并引入Fire,这是一种针对分类跨透明镜损失的新的Fisher-Rao正则化,这基于对应于自然和受扰动输入特征的软磁输出之间的测量距离。基于SoftMax分布类的信息几何特性,我们为二进制和多类案例提供了Fisher-Rao距离(FRD)的明确表征,并绘制了一些有趣的属性以及与标准正则化指标的连接。此外,对于一个简单的线性和高斯模型,我们表明,在精度 - 舒适性区域中的所有帕累托最佳点都可以通过火力达到,而其他最先进的方法则可以通过火灾。从经验上讲,我们评估了经过标准数据集拟议损失的各种分类器的性能,在清洁和健壮的表现方面同时提高了1 \%的改进,同时将培训时间降低了20 \%,而不是表现最好的方法。
translated by 谷歌翻译