事实证明,半监督学习是利用未标记数据来减轻对大型标记数据集的依赖的有力范例。在这项工作中,我们统一了当前用于半监督学习的主要方法,产生了一种新算法MixMatch,它通过猜测低熵标签来处理数据增强的未标记示例,并使用MixUp混合标记和未标记数据。我们展示了MixMatch通过许多数据集和标记数据量的大数据获得最先进的结果。例如,在具有250个标签的CIFAR-10上,我们将错误率降低了4倍(从38%降至11%),在STL-10上降低了2倍。我们还演示了MixMatch如何帮助实现更好的准确性 - 隐私折衷以实现差异隐私。最后,我们进行了一项消融研究,以分辨出MixMatch的哪些组件对其成功最重要。
translated by 谷歌翻译
Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
对抗性示例是由对手设计的机器学习模型的输入,以导致不正确的输出。到目前为止,在图像领域中最广泛地研究了对抗性的例子。在这个领域中,adversarialexamples可以通过不知不觉地修改图像来构造以引起分类,并且在物理世界中是实用的。相比之下,应用于语音识别系统的当前有针对性的对抗性示例既不具备这些属性:人类可以轻松识别对抗性扰动,并且在空中播放时它们无效。本文在这两方面都取得了进展。首先,我们通过平均听觉掩蔽的心理声学原理,有效地发展不易受感知的音频对抗性例子(通过人类研究验证),同时保留100%的任意全句目标成功率。接下来,我们通过构建即使在应用了实际模拟的环境扭曲之后仍然有效的扰动,向物理世界的无线音频对抗性实例进展。
translated by 谷歌翻译
我们引入了一个双人竞赛,用于评估机器学习系统的安全性和稳健性,并提供大量奖池。与研究规范约束对手的MLrobustness中的大多数先前工作不同,我们将焦点转移到受限制的对手身上。防御者提交机器学习模型,并尝试在非对抗性数据上实现高准确性和覆盖率,同时在对抗性输入上犯下无意义的错误。攻击者试图通过寻找任意明确的输入来破坏防御,其中模型以高置信度分配不正确的标签。我们提出了一个简单明确的数据集(“鸟或自行车”)作为本次比赛的一部分。我们希望这次比赛将有助于全面评估机器学习模型的最坏情况对抗风险。
translated by 谷歌翻译
我们识别出模糊的渐变,一种渐变掩蔽,作为一种现象,导致对抗逆向样本的防御中的错误安全感。虽然导致混淆渐变的防御似乎是基于失败优化的攻击,但我们发现依赖于此效果的防御可以被规避。我们描述了防御效应的特征行为,并且对于我们发现的三种类型的混淆梯度中的每一种,我们开发了攻击技术来克服它。在一个案例研究中,在ICLR 2018上检查未经认证的白盒安全防御,我们发现混淆的梯度是常见的,9个防御中的7个依赖于混淆的梯度。在每篇论文所考虑的原始威胁模型中,我们的新攻击成功完全绕过了6个,并且部分地绕过了1个。
translated by 谷歌翻译
众所周知,神经网络容易受到对抗性的影响:输入接近自然输入但分类不正确。为了更好地理解对抗性实例的空间,我们调查了最近提出的十项建议,这些建议旨在用于检测和比较它们的功效。我们表明,通过构建新的损失函数可以打败所有人。我们得出结论,对抗性实例比先前所认识的更难以检测,并且被认为是adversarialexamples固有的属性实际上并非如此。最后,我们提出了一些简单的指导方针,用于评估未来提出的防御措
translated by 谷歌翻译
CleverHans是一个软件库,提供对抗性示例构造技术和对抗训练的标准化参考实现。该库可用于开发更强大的机器学习模型,并在对抗设置中提供模型性能的标准化基准。在没有标准化实施对抗性示例构造的情况下构建的基准与彼此不可比较,因为良好的结果可能表示稳健的模型,或者它可能仅表示对抗性示例构造过程的弱实现。本技术报告的结构如下。第1节提供了机器学习和CleverHanssoftware中对抗性示例的概述。第2节介绍了图书馆的核心功能:即基于对抗性示例和防御的攻击,以提高机器学习模型对这些攻击的鲁棒性。第3节描述了如何使用库报告基准测试结果。第4节描述了版本系统。
translated by 谷歌翻译
神经网络为大多数机器学习任务提供最先进的结果。不幸的是,神经网络容易受到对抗性的影响:给定输入$ x $和任何目标分类$ t $,可以找到类似于$ x $但分类为$ t $的新输入$ x'$。这使得在安全关键领域应用神经网络变得困难。 Defensivedistillation是最近提出的一种方法,它可以采用任意神经网络,并提高其稳健性,降低当前攻击者从$ 95 \%$到$ 0.5 \%$找到对抗性示例的成功率。在本文中,我们证明了防御性蒸馏并没有显着增加神经网络的鲁棒性,引入了三种新的攻击算法,这些算法在蒸馏和未蒸馏神经网络上都是成功的,具有100美元/%的概率。我们的攻击是针对之前在文献中使用的三维度指标量身定制的,并且当比较先前的对抗性示例生成算法时,我们的攻击通常更有效(并且永远不会更糟)。此外,我们建议在简单的可转移性测试中使用高可信度对等实例,我们展示也可用于打破防御性蒸馏。我们希望我们的攻击将在未来的防御尝试中用作创造神经网络以抵抗对抗性例子。
translated by 谷歌翻译
Variational Audo-Encoders (VAEs) are capable of learning latent representations for high dimensional data. However, due to the i.i.d. assumption , VAEs only optimize the singleton variational distributions and fail to account for the correlations between data points, which might be crucial for learning latent representations from datasets where a priori we know correlations exist. We propose Correlated Variational Auto-Encoders (CVAEs) that can take the correlation structure into consideration when learning latent representations with VAEs. CVAEs apply a prior based on the correlation structure. To address the intractability introduced by the correlated prior, we develop an approximation by the average of a set of tractable lower bounds over all maximal acyclic subgraphs of the undirected correlation graph. Experimental results on matching and link prediction on public benchmark rating datasets and spectral clustering on a synthetic dataset show the effectiveness of the proposed method over baseline algorithms.
translated by 谷歌翻译