在最近的文章中,Guo等人。[ARXIV:2206.11228]报告说,深网中对抗训练的神经表示可能已经像相应的灵长类动物IT神经表示一样强大。尽管我们发现该论文的主要实验有所照明,但我们对论文中介绍的结果的解释和措辞有疑问。
translated by 谷歌翻译
灵长类动物的视觉系统是强大感知的黄金标准。因此,人们普遍认为,模仿这些系统基础的神经表现形式将产生具有对手稳健的人工视觉系统。在这项工作中,我们开发了一种直接对灵长类动物大脑活动进行对抗性视觉攻击的方法。然后,我们利用这种方法来证明上述信念可能不是很好的基础。具体而言,我们报告说,组成灵长类动物视觉系统的生物神经元表现出对对抗性扰动的敏感性,这些扰动与现有(训练有素的)人工神经网络相当。
translated by 谷歌翻译
随着卷积神经网络(CNN)在物体识别方面变得更加准确,它们的表示与灵长类动物的视觉系统越来越相似。这一发现激发了我们和其他研究人员询问该含义是否也以另一种方式运行:如果CNN表示更像大脑,网络会变得更加准确吗?以前解决这个问题的尝试显示出非常适中的准确性,部分原因是正则化方法的局限性。为了克服这些局限性,我们开发了一种新的CNN神经数据正常化程序,该数据正常化程序使用深层规范相关分析(DCCA)来优化CNN图像表示与猴子视觉皮层的相似之处。使用这种新的神经数据正常化程序,与先前的最新神经数据正则化器相比,我们看到分类准确性和少级精度的性能提高得多。这些网络对对抗性攻击也比未注册的攻击更强大。这些结果共同证实,神经数据正则化可以提高CNN的性能,并引入了一种获得更大性能提升的新方法。
translated by 谷歌翻译
最近的研究表明,与哺乳动物视觉皮层的光谱特性相匹配的人工神经网络(ANN) - 即,神经活动的协方差矩阵的$ \ sim 1/n $特征 - 实现更高的对象识别性能和稳健性的性能对抗攻击比没有的攻击。然而,据我们所知,以前的工作没有系统地探讨修改ANN光谱属性如何影响性能。为了填补这一空白,我们对频谱正规化程序进行了系统的搜索,迫使Ann的特征范围遵循$ 1/n^\ alpha $ power Laws Laws,带有不同的指数$ \ alpha $。我们发现,较大的力量(大约2--3)可以提高验证精度,并对对浓缩网络的对抗性攻击具有更大的鲁棒性。这个令人惊讶的发现适用于浅网和深网,它推翻了这样的观念,即脑状光谱(对应于$ \ alpha \ sim 1 $)始终优化ANN性能和/或稳健性。对于卷积网络,最佳$ \ alpha $值取决于任务复杂性和评估度量:较低$ \ alpha $值优化验证精度和对对抗性攻击的稳健性,用于执行简单对象识别任务的网络(对手稿数字的MNIST图像进行分类) ;对于更复杂的任务(对CIFAR-10自然图像进行分类),我们发现较低的$ \ alpha $值优化验证精度,而较高的$ \ alpha $值优化的对抗性稳健性。这些结果具有两个主要含义。首先,他们对脑般的光谱属性($ \ alpha \ sim 1 $)\ emph {始终}优化ANN性能的观念提出了怀疑。其次,它们证明了微调光谱正规化器优化所选设计度量的潜力,即准确性和/或鲁棒性。
translated by 谷歌翻译
尽管取得了巨大的成功,但深入的学习严重遭受鲁棒性;也就是说,深度神经网络非常容易受到对抗的攻击,即使是最简单的攻击。灵感来自脑科学最近的进步,我们提出了一种新的内部模型(DIM),这是一种基于新的生成自动化器的模型来解决这一挑战。模拟人类大脑中的管道进行视觉信号处理,暗淡采用两级方法。在第一阶段,DIM使用丹组器来减少输入的噪声和尺寸,反映了塔马拉姆的信息预处理。从主视觉皮质中的内存相关迹线的稀疏编码启发,第二阶段产生一组内部模型,一个用于每个类别。我们评估了42次对抗攻击的衰弱,表明Dim有效地防御所有攻击,并且优于整体鲁棒性的SOTA。
translated by 谷歌翻译
使用动态视觉传感器的基于事件的感测是在低功耗视觉应用中获得牵引力。尖峰神经网络与基于事件的数据的稀疏性质良好,并在低功率神经胸壁上进行部署。作为一个新生的领域,尖刺神经网络到潜在恶意的对抗性攻击的敏感性迄今为止受到重视很少。在这项工作中,我们展示了白盒对抗攻击算法如何适应基于事件的视觉数据的离散和稀疏性,以及尖刺神经网络的连续时间设置。我们在N-Mnist和IBM手势上测试我们的方法神经胸视觉数据集,并显示对逆势扰动来实现高成功率,通过注入相对少量的适当放置的事件。我们还首次验证这些扰动的有效性直接对神经族硬件。最后,我们讨论了所产生的扰动和可能的未来方向的性质。
translated by 谷歌翻译
实验神经科学的进步改变了我们探索神经电路结构和功能的能力。与此同时,机器学习的进步已经释放了人工神经网络(ANNS)的显着计算能力。虽然这两个字段具有不同的工具和应用程序,但它们存在类似的挑战:即,了解如何通过高维表示来嵌入信息并通过高维表示来解决复杂任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状,即神经人口几何形状。我们审查了解生物和人工神经网络功能的几何方法的示例:感知的代表性,在认知系统中的分类能力,解剖和抽象的几何理论,认知地图的拓扑表示,电机系统中的动态不包含一种动态的认知方法。这些发现在一起说明了机器学习,神经科学和几何形状的令人兴奋的趋势,其中神经人口几何形状提供了有用的人口级机械描述符基础任务实现。重要的是,几何描述适用于感官模态,脑区,网络架构和时间尺度。因此,神经人口几何形状有可能统一我们对生物和人工神经网络的结构和功能的理解,弥合单一神经元,人口和行为之间的差距。
translated by 谷歌翻译
深度神经网络在计算机视觉中的许多任务中设定了最先进的,但它们的概括对象扭曲的能力令人惊讶地是脆弱的。相比之下,哺乳动物视觉系统对广泛的扰动是强大的。最近的工作表明,这种泛化能力可以通过在整个视觉皮层中的视觉刺激的表示中编码的有用的电感偏差来解释。在这里,我们成功利用了多任务学习方法的这些归纳偏差:我们共同训练了深度网络以进行图像分类并预测猕猴初级视觉皮层(V1)中的神经活动。我们通过测试其对图像扭曲的鲁棒性来衡量我们网络的分发广泛性能力。我们发现,尽管在训练期间没有这些扭曲,但猴子V1数据的共同训练导致鲁棒性增加。此外,我们表明,我们的网络的鲁棒性非常接近Oracle网络的稳定性,其中架构的部分在嘈杂的图像上直接培训。我们的结果还表明,随着鲁布利的改善,网络的表示变得更加大脑。使用新颖的约束重建分析,我们调查了我们的大脑正规网络更加强大的原因。与我们仅对图像分类接受培训的基线网络相比,我们的共同训练网络对内容比噪声更敏感。使用深度预测的显着性图,用于想象成像图像,我们发现我们的猴子共同训练的网络对场景中的突出区域倾向更敏感,让人想起V1在对象边界的检测中的作用和自下而上的角色显着性。总体而言,我们的工作扩大了从大脑转移归纳偏见的有前途的研究途径,并为我们转移的影响提供了新的分析。
translated by 谷歌翻译
In order for machine learning to be trusted in many applications, it is critical to be able to reliably explain why the machine learning algorithm makes certain predictions. For this reason, a variety of methods have been developed recently to interpret neural network predictions by providing, for example, feature importance maps. For both scientific robustness and security reasons, it is important to know to what extent can the interpretations be altered by small systematic perturbations to the input data, which might be generated by adversaries or by measurement biases. In this paper, we demonstrate how to generate adversarial perturbations that produce perceptively indistinguishable inputs that are assigned the same predicted label, yet have very different interpretations. We systematically characterize the robustness of interpretations generated by several widely-used feature importance interpretation methods (feature importance maps, integrated gradients, and DeepLIFT) on ImageNet and CIFAR-10. In all cases, our experiments show that systematic perturbations can lead to dramatically different interpretations without changing the label. We extend these results to show that interpretations based on exemplars (e.g. influence functions) are similarly susceptible to adversarial attack. Our analysis of the geometry of the Hessian matrix gives insight on why robustness is a general challenge to current interpretation approaches.
translated by 谷歌翻译
In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.
translated by 谷歌翻译
关于对抗攻击方法的先前文献主要集中在攻击和防御单个威胁模型的攻击和防御,例如在LP Ball中遇到的扰动。但是,多个威胁模型可以合并为复合扰动。一种这样的方法,即复合对抗攻击(CAA),不仅扩大了图像的扰动空间,而且还可以被当前的鲁棒性评估模式忽略。本文展示了CAA的攻击顺序如何影响所得图像,并提供了不同模型的实时推断,这将促进用户对攻击级别参数的配置及其对模型预测的快速评估。还引入了针对CAA的基准对抗性鲁棒性的排行榜。
translated by 谷歌翻译
Spiking neural networks (SNNs) attract great attention due to their low power consumption, low latency, and biological plausibility. As they are widely deployed in neuromorphic devices for low-power brain-inspired computing, security issues become increasingly important. However, compared to deep neural networks (DNNs), SNNs currently lack specifically designed defense methods against adversarial attacks. Inspired by neural membrane potential oscillation, we propose a novel neural model that incorporates the bio-inspired oscillation mechanism to enhance the security of SNNs. Our experiments show that SNNs with neural oscillation neurons have better resistance to adversarial attacks than ordinary SNNs with LIF neurons on kinds of architectures and datasets. Furthermore, we propose a defense method that changes model's gradients by replacing the form of oscillation, which hides the original training gradients and confuses the attacker into using gradients of 'fake' neurons to generate invalid adversarial samples. Our experiments suggest that the proposed defense method can effectively resist both single-step and iterative attacks with comparable defense effectiveness and much less computational costs than adversarial training methods on DNNs. To the best of our knowledge, this is the first work that establishes adversarial defense through masking surrogate gradients on SNNs.
translated by 谷歌翻译
在人类和其他动物中分类的众所周知的感知后果称为分类感知,是由类别内部压缩和类别分离之间的特别特征:两个项目,在输入空间内,如果它们属于与属于不同类别的类别相同。在这里阐述认知科学的实验和理论结果,我们在这里研究人工神经网络中的分类效果。我们结合了利用互联网信息量的理论分析,以及关于增加复杂性的网络的一系列数值模拟。这些形式和数值分析提供了深层层内神经表示的几何形状的见解,随着类别边界附近的空间膨胀,远离类别边界。我们通过使用两个互补方法调查分类表示:通过不同类别的刺激之间的变形连续进行动态物理学和认知神经科学的一种模仿实验,而另一个介绍网络中的每层的分类指数,量化的分类指数量化了神经人口水平的类别。我们展示了类别学习的浅层和深度神经网络,自动诱导分类感知。我们进一步表明层更深,分类效果越强。作为我们研究的结果,我们提出了辍学正规化技术不同启发式实践的效果的相干观点。更一般地,我们的观点在神经科学文献中发现回声,坚持根据所学习的神经表示的几何形状的任何给定层中的噪声对噪声的差异影响,即该几何形状如何反映类别的结构。
translated by 谷歌翻译
Visual representations can be defined as the activations of neuronal populations in response to images. The activation of a neuron as a function over all image space has been described as a "tuning landscape". As a function over a high-dimensional space, what is the structure of this landscape? In this study, we characterize tuning landscapes through the lens of level sets and Morse theory. A recent study measured the in vivo two-dimensional tuning maps of neurons in different brain regions. Here, we developed a statistically reliable signature for these maps based on the change of topology in level sets. We found this topological signature changed progressively throughout the cortical hierarchy, with similar trends found for units in convolutional neural networks (CNNs). Further, we analyzed the geometry of level sets on the tuning landscapes of CNN units. We advanced the hypothesis that higher-order units can be locally regarded as isotropic radial basis functions, but not globally. This shows the power of level sets as a conceptual tool to understand neuronal activations over image space.
translated by 谷歌翻译
简短答案:是的,长答案:不!实际上,对对抗性鲁棒性的研究导致了宝贵的见解,帮助我们理解和探索问题的不同方面。在过去的几年中,已经提出了许多攻击和防御。然而,这个问题在很大程度上尚未解决和理解不足。在这里,我认为该问题的当前表述实现了短期目标,需要修改以实现更大的收益。具体而言,扰动的界限创造了一个人为的设置,需要放松。这使我们误导了我们专注于不够表达的模型类。取而代之的是,受到人类视野的启发以及我们更多地依赖于形状,顶点和前景对象的功能,而不是纹理等非稳定功能,应努力寻求显着不同的模型类别。也许我们应该攻击一个更普遍的问题,而不是缩小不可察觉的对抗性扰动,该问题是找到与可感知的扰动,几何变换(例如旋转,缩放),图像失真(照明,模糊)等同时稳健的体系结构,等等。阻塞,阴影)。只有这样,我们才能解决对抗脆弱性的问题。
translated by 谷歌翻译
The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.
translated by 谷歌翻译
大脑中的类别选择性描述了脑皮质的某些空间局部区域区域倾向于从特定有限类别鲁棒地和选择性地响应刺激。类别选择性的最熟知的示例之一是梭形面积区域(FFA),其在与物体或其他通用刺激相比时优先对面部的图像响应于面部的较低时间皮层的面积。在这项工作中,我们利用新引进的地形变形式自动拓码以无监督方式模拟此类局部类别选择性的出现。通过实验,我们展示了我们的模型产生的空间密集的神经集群,通过COHEN的D度量的可视化图选择性地面临面部,身体和地点。我们将模型与相关的监督方法进行比较,即Lee等人的地形深层人工神经网络(TDANN),并讨论理论和经验相似之处。最后,我们展示了初步结果,表明我们的模型产生了越来越抽象的类别的嵌套空间层次,类似于人类腹侧颞型皮质的观察。
translated by 谷歌翻译
HEBBIAN在获奖者全方位(WTA)网络中的可塑性对于神经形态的片上学习非常有吸引力,这是由于其高效,本地,无监督和在线性质。此外,它的生物学合理性可能有助于克服人工算法的重要局限性,例如它们对对抗攻击和长期训练时间的敏感性。但是,Hebbian WTA学习在机器学习(ML)中很少使用,这可能是因为它缺少与深度学习兼容的优化理论(DL)。在这里,我们严格地表明,由标准DL元素构建的WTA网络与我们得出的Hebbian样可塑性结合在一起,维持数据的贝叶斯生成模型。重要的是,在没有任何监督的情况下,我们的算法,SOFTHEBB,可以最大程度地减少跨渗透性,即监督DL中的共同损失函数。我们在理论上和实践中展示了这一点。关键是“软” WTA,那里没有绝对的“硬”赢家神经元。令人惊讶的是,在浅网络比较与背面的比较(BP)中,SOFTHEBB表现出超出其HEBBIAN效率的优势。也就是说,它的收敛速度更快,并且对噪声和对抗性攻击更加强大。值得注意的是,最大程度地混淆SoftheBB的攻击也使人眼睛混淆,可能将人类感知的鲁棒性与Hebbian WTA Cortects联系在一起。最后,SOFTHEBB可以将合成对象作为真实对象类的插值生成。总而言之,Hebbian效率,理论的基础,跨透明拷贝最小化以及令人惊讶的经验优势,表明SOFTHEBB可能会激发高度神经态和彻底不同,但实用且有利的学习算法和硬件加速器。
translated by 谷歌翻译
在面部识别领域,一方面猕猴神经生理学与人类电生理学之间存在令人困惑的时序差异。猕猴中的单个单位记录已显示出100毫秒刺激发作以内的外部视觉皮层中的面部身份特定响应。但是,在人类的脑电图和梅格实验中,据报道,与不熟悉和熟悉的面孔相对应的神经活动之间存在一致的区别,大约在250毫秒内出现。这表明可能存在迄今未发现的人类电生理痕迹的面部熟悉感的早期相关性。我们在这里报告了使用模式分类技术在密集的MEG录音中成功搜索这种相关性。我们的分析表明,早在刺激发作后85毫秒内,面部熟悉程度的标记。图像的低级属性(例如亮度和颜色分布)无法解释这种早期新兴响应差异。这些结果有助于调和人类和猕猴的数据,并提供有关熟悉面部感知的神经机制的线索。
translated by 谷歌翻译
模型解释性的方法对于测试深度学习的公平性和健全性变得越来越重要。基于概念的可解释性技术使用了一系列人类解剖概念典范,以衡量概念对模型的内部输入表示的影响,这是这一研究中的重要线索。在这项工作中,我们表明,这些解释性方法可能会遭受对抗攻击的脆弱性,与他们要分析的模型相同。我们在两种著名的基于概念的可解释性方法上证明了这种现象:TCAV和刻面特征可视化。我们表明,通过仔细扰动正在研究的概念的示例,我们可以从根本上更改可解释性方法的输出。我们提出的攻击可以诱导积极的解释(对斑马进行分类时,圆点是模型的重要概念)或负面解释(条纹不是识别斑马图像的重要因素)。我们的工作强调了这样一个事实,即在安全至关重要的应用中,不仅需要机器学习管道,而且需要模型解释过程。
translated by 谷歌翻译