我们提出了引导式缩放,这种方法利用空间接地来做出更明智的预测。它通过确保模型具有预测的“正确理由”来实现,被定义为与在训练时间做出类似正确决策的一致的原因。深度神经网络进行预测的原因/证据被定义为在像素空间中对于模型输出中的特定类条件概率的空间基础。引导缩放问题用于进行预测的证据是多么合理。在最先进的深单标签分类模型中,top-k(k = 2,3,4,...)精度通常显着高于top-1精度。这是更明显的细粒度数据集,其中类之间的差异非常微妙。通过引导式缩放,可以在三个细粒度分类数据集上细化模型的分类精度。我们还探讨了不同基础技术的互补性,通过将它们的整体与一种对抗性擦除方法进行比较,该方法迭代地揭示了下一个最具歧视性的证据。
translated by 谷歌翻译
深度神经网络越来越多地用于自动化数据分析和决策制定,但他们的决策过程基本上不清楚,并且难以向最终用户解释。在本文中,我们解决了深度神经网络的可解释AI问题,该神经网络将图像作为输入并输出类概率。我们提出了一种称为RISE的方法,它生成一个重要的图,表明每个像素对于模型预测的显着程度。与使用梯度或其他内部网络状态估计像素重要性的白盒方法相比,RISE适用于黑盒模型。通过使用输入图像的随机掩模转换探测模型并获得相应的输出,从而凭经验判断重要性。我们使用自动删除/插入度量和基于人类注释的对象段的指向度量来比较我们对最先进的重要性提取方法的方法。几个基准数据集上的大量实验表明,我们的方法匹配或超过其他方法的性能,包括白盒方法。项目页面:http://cs-people.bu.edu/vpetsiuk/rise/
translated by 谷歌翻译
传统的冯·诺依曼计算机体系结构在小型化和热量产生方面都面临着严重的障碍,从而提高了性能。人工神经(神经形态)基质代表了解决这一挑战的另一种方法。这些系统的一个特殊子集遵循“物理建模”的原理,因为它们直接使用底层衬底的物理特性来实现计算组件的计算。虽然这些系统可能比传统计算机更快和/或更高能效,但它们需要可靠的模型,以应对其在可控性和参数范围方面的固有限制。由于大脑面临着类似的挑战,因此健壮模型的灵感来源于自然科学。最近人们提出,采用神经元的尖峰动力学进行采样可能既适合作为人工神经基质的生成模型,也可作为判别模型。在这项工作中,我们介绍了在BrainScaleS物理模型系统上采用泄漏整合和激发神经元的采样实现。我们证明了网络的采样特性,并证明了它对高维数据集的适用性。所需的随机性由同一衬底上的尖峰随机网络提供。这允许系统以自己的方式运行而无需来自恶臭环境的外部随机输入。该实现提供了作为大规模生物相关仿真的构建块的基础,作为快速近似采样器或实现(未来几代)加速尖峰神经形态硬件的片上学习的框架。我们的工作有助于在物理模型系统上开发可靠的计算。
translated by 谷歌翻译
Machine Learning (ML) algorithms are used to train computers to perform avariety of complex tasks and improve with experience. Computers learn how torecognize patterns, make unintended decisions, or react to a dynamicenvironment. Certain trained machines may be more effective than others becausethey are based on more suitable ML algorithms or because they were trainedthrough superior training sets. Although ML algorithms are known and publiclyreleased, training sets may not be reasonably ascertainable and, indeed, may beguarded as trade secrets. While much research has been performed about theprivacy of the elements of training sets, in this paper we focus our attentionon ML classifiers and on the statistical information that can be unconsciouslyor maliciously revealed from them. We show that it is possible to inferunexpected but useful information from ML classifiers. In particular, we builda novel meta-classifier and train it to hack other classifiers, obtainingmeaningful information about their training sets. This kind of informationleakage can be exploited, for example, by a vendor to build more effectiveclassifiers or to simply acquire trade secrets from a competitor's apparatus,potentially violating its intellectual property rights.
translated by 谷歌翻译