经常性的神经网络(RNNS)已被示出比视觉对象分类任务中的前馈架构更好地执行,尤其是在诸如杂乱的图像之类的具有挑战性的条件下。然而,关于在这些条件下复发信息流动的确切计算作用几乎熟知。在这里,我们测试RNNS培训用于对象分类的假设,以通过类别正交辅助变量(对象的位置,方向和比例)迭代地辅助对象分类。使用诊断线性读数,我们发现:(a)有关辅助变量的信息在所有网络层中的时间越大,(b)此信息确实存在于经常性信息流中,并且其操作显着影响任务性能。这些观察结果确认了通过反复连接的类别 - 正交辅助变量信息传达的假设,并用于优化杂乱环境中的类别推断。
translated by 谷歌翻译
深度神经网络在图像分类中Excel Excel,但它们对输入扰动的性能比人类感知更强。在这项工作中,我们可以通过在深卷积网络中纳入脑激发的经常性动态来探讨此缺点是否可以部分地解决。我们从神经科学的一个受欢迎的框架中获取灵感:“预测编码”。在分层模型的每层,生成反馈'预测'(即,重建)前一层中的活动模式。重建错误用于迭代地更新时间间隔内的网络的表示,并通过自然图像数据集来优化网络的反馈权重 - 一种无监督的培训形式。我们展示将此策略实施到两个流行的网络中,VGG16和高效网络,从而提高了对各种损坏和对抗的攻击的鲁棒性。我们假设其他前馈网络可以类似地受益于所提出的框架。为了在这种方向上促进研究,我们提供称为PRIGEIFY的基于开放的Pytorch的包,其可用于实施和研究预测编码动态在任何卷积神经网络中的影响。
translated by 谷歌翻译
虽然深馈神经网络与灵长类动物视觉系统共享一些特征,但一个关键区别是他们的动态。深网络通常在串行阶段操作,其中每个层在处理开始于后续层之前完成其计算。相反,生物系统具有级联动力学:信息从所有层的神经元并行地传播,但是逐渐发生变速器,即使在馈送架构中也逐渐发生速度准确性贸易。我们通过构造级联的RESNET来探讨生物学激活的并行硬件的后果,其中每个残差块具有传播延迟,但所有块以状态方式更新。由于通过跳过连接传输的信息避免了延迟,所以架构的功能深度随着时间的推移而增加,因此随时通过内部处理时间来改善的任何时间预测。我们介绍了一个时间差异的培训损失,通过标准损耗实现了严格卓越的速度准确性概况,并使级联架构能够以最先进的任何时间预测方法。级联体系结构具有迷恋属性,包括:它比非典型实例更快地分类典型实例;对于持久性和瞬态噪声比传统的reset来说更强大;其时变输出跟踪提供了一种可以利用以改善信息处理和推理的信号。
translated by 谷歌翻译
解释视觉场景的含义不仅需要识别其成分对象,还需要对象相互关系的丰富语义表征。在这里,我们通过将现代计算技术应用于复杂自然场景引起的人类脑反应的大规模7T fMRI数据集,研究视觉语义转换的神经机制。使用通过将语言深度学习模型应用于人类生成的场景描述获得的语义嵌入,我们确定了编码语义场景描述的大脑区域的广泛分布网络。重要的是,这些语义嵌入比传统对象类别标签更好地解释了这些区域的活动。此外,尽管参与者没有积极从事语义任务,但它们还是活动的有效预测指标,这表明Visuo-Semantic转换是默认的视觉方式。为了支持这种观点,我们表明,可以直接通过大脑活动模式直接将场景字幕的高度精确重建。最后,经过语义嵌入训练的经常性卷积神经网络进一步超过了语义嵌入在预测大脑活动时的语义嵌入,从而提供了大脑视觉语义转换的机械模型。这些实验和计算结果在一起表明,将视觉输入转换为丰富的语义场景描述可能是视觉系统的核心目标,并且将重点放在这一新目标上可能会导致改进人类大脑中视觉信息处理的模型。
translated by 谷歌翻译
可解释的人工智能(XAI)的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测,从而确定了重要特征的发生位置(但没有提供有关其代表的信息),但全局解释技术可视化模型通常学会的编码的概念。因此,两种方法仅提供部分见解,并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来,以获取更多信息的解释。但是,这些方法通常仅限于特定的模型体系结构,或对培训制度或数据和标签可用性施加其他要求,这实际上使事后应用程序成为任意预训练的模型。在这项工作中,我们介绍了概念相关性传播方法(CRP)方法,该方法结合了XAI的本地和全球观点,因此允许回答“何处”和“ where”和“什么”问题,而没有其他约束。我们进一步介绍了相关性最大化的原则,以根据模型对模型的有用性找到代表性的示例。因此,我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力,展示了概念相关性传播和相关性最大化导致了更加可解释的解释,并通过概念图表,概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。
translated by 谷歌翻译
深度卷积神经网络(DCNN)最初是受生物视觉原理的启发,已演变为对象识别的最佳当前计算模型,因此表明在整个与神经图像和神经时间序列数据的比较中,都表明了与腹视觉途径的强大结构和功能并行性。随着深度学习的最新进展似乎降低了这种相似性,计算神经科学面临挑战,以逆转工程,以获得有用模型的生物学合理性。虽然先前的研究表明,生物学启发的体系结构能够扩大模型的人类风格,但在本研究中,我们研究了一种纯粹的数据驱动方法。我们使用人类的眼睛跟踪数据来直接修改训练示例,从而指导模型在自然图像中对象识别期间的视觉注意力朝着或远离人类固定的焦点。我们通过GARGCAM显着性图比较和验证不同的操纵类型(即标准,类人类和非人类的注意力)与人类参与者的眼动数据。我们的结果表明,与人类相比,所提出的指导焦点操作的作用是在负方向上的意图,而非人类样模型则集中在明显不同的图像部分上。观察到的效果是高度类别特异性的,它通过动画和面部的存在增强,仅在完成前馈处理后才开发,并表明对面部检测产生了强烈的影响。然而,使用这种方法,没有发现人类的类似性。讨论了公开视觉注意力在DCNN中的可能应用,并讨论了对面部检测理论的进一步影响。
translated by 谷歌翻译
阅读和驾驶等日常任务的核心是主动对象识别。目前无法合并时间来阻碍建模此类任务的尝试。人们在速度和准确性之间表现出灵活的权衡,而这种权衡是至关重要的人类技能。深层神经网络已成为预测人类对象识别峰值和神经活动的有前途的候选人。但是,建模时间维度,即速度准确性权衡(SAT),对于它们作为人类如何识别对象的有用计算模型至关重要。为此,我们在这里介绍了第一个大规模(148个观察者,4个神经网络,8个任务)数据集,该数据集是识别Imagenet图像时速度准确性折衷(SAT)。在每个人类试验中,哔哔声表示所需的反应时间,在显示图像后以固定的延迟发出声音,并且观察者的响应仅在哔哔声附近发生时才计算。在一系列块中,我们测试了许多蜂鸣延迟,即反应时间。我们观察到人类的准确性随反应时间的增加而增加,并继续将其特征与能够推理时间自适应计算的几个动态神经网络的行为进行比较。我们将FLOPS作为反应时间的模拟,我们将网络与人类在曲线拟合误差,类别相关性和曲线陡度中进行比较,并得出结论,级联的动态神经网络是对象识别任务中人类反应时间的有希望的模型。
translated by 谷歌翻译
深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中,我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标,可以计算使得发射强度最佳地满足这些目标的权重。有人认为,通过我们称之为级联解压缩的过程,使用培训的目标解决爆炸梯度的问题,并使损失功能表面更加光滑,因此导致更容易,培训更快,以及潜在的概括,神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用,这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合,以额外收益。实验结果表明了使用目标空间的速度,以及改进的泛化的示例,用于全连接的网络和卷积网络,以及调用和处理长时间序列的能力,并使用经常性网络进行自然语言处理。
translated by 谷歌翻译
最近的研究表明,卷积神经网络(CNNS)不是图像分类的唯一可行的解决方案。此外,CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案,我们设计了使用峰值定时依赖性塑性(STDP)和其奖励调制变体(R-STDP)学习规则训练的本地连接的尖峰神经网络(SNN)。使用尖刺神经元和局部连接以及强化学习(RL)将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成,后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性,并评估我们有益于于不同目标响应的奖励系统的稳健性。
translated by 谷歌翻译
Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.
translated by 谷歌翻译
第五代(5G)网络和超越设想巨大的东西互联网(物联网)推出,以支持延长现实(XR),增强/虚拟现实(AR / VR),工业自动化,自主驾驶和智能所有带来的破坏性应用一起占用射频(RF)频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战,这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术,可以与加密和零信任安全措施相结合,以确保无线网络中的数据隐私,机密性和完整性。在未来的通信网络中,在这项工作中,在未来的通信网络中的相关性,我们对RF指纹识别方法进行了全面的调查,从传统观点到最近的基于深度学习(DL)的算法。现有的调查大多专注于无线指纹方法的受限制呈现,然而,许多方面仍然是不可能的。然而,在这项工作中,我们通过解决信号智能(SIGINT),应用程序,相关DL算法,RF指纹技术的系统文献综述来缓解这一点,跨越过去二十年的RF指纹技术的系统文献综述,对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。
translated by 谷歌翻译
A capsule is a group of neurons whose activity vector represents the instantiation parameters of a specific type of entity such as an object or an object part. We use the length of the activity vector to represent the probability that the entity exists and its orientation to represent the instantiation parameters. Active capsules at one level make predictions, via transformation matrices, for the instantiation parameters of higher-level capsules. When multiple predictions agree, a higher level capsule becomes active. We show that a discrimininatively trained, multi-layer capsule system achieves state-of-the-art performance on MNIST and is considerably better than a convolutional net at recognizing highly overlapping digits. To achieve these results we use an iterative routing-by-agreement mechanism: A lower-level capsule prefers to send its output to higher level capsules whose activity vectors have a big scalar product with the prediction coming from the lower-level capsule.
translated by 谷歌翻译
手写数字识别(HDR)是光学特征识别(OCR)领域中最具挑战性的任务之一。不管语言如何,HDR都存在一些固有的挑战,这主要是由于个人跨个人的写作风格的变化,编写媒介和环境的变化,无法在反复编写任何数字等时保持相同的笔触。除此之外,特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来,研究人员开发了许多离线和在线HDR管道,其中不同的图像处理技术与传统的机器学习(ML)基于基于的和/或基于深度学习(DL)的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据,例如:英语,阿拉伯语,印度,法尔西,中文等,但几乎没有对孟加拉人HDR(BHDR)的调查,这缺乏对孟加拉语HDR(BHDR)的研究,而这些调查缺乏对孟加拉语HDR(BHDR)的研究。挑战,基础识别过程以及可能的未来方向。在本文中,已经分析了孟加拉语手写数字的特征和固有的歧义,以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外,还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编,煽动了对相关研究的新途径的探索,这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。
translated by 谷歌翻译
Applying convolutional neural networks to large images is computationally expensive because the amount of computation scales linearly with the number of image pixels. We present a novel recurrent neural network model that is capable of extracting information from an image or video by adaptively selecting a sequence of regions or locations and only processing the selected regions at high resolution. Like convolutional neural networks, the proposed model has a degree of translation invariance built-in, but the amount of computation it performs can be controlled independently of the input image size. While the model is non-differentiable, it can be trained using reinforcement learning methods to learn task-specific policies. We evaluate our model on several image classification tasks, where it significantly outperforms a convolutional neural network baseline on cluttered images, and on a dynamic visual control problem, where it learns to track a simple object without an explicit training signal for doing so.
translated by 谷歌翻译
Large Convolutional Network models have recently demonstrated impressive classification performance on the ImageNet benchmark (Krizhevsky et al., 2012). However there is no clear understanding of why they perform so well, or how they might be improved. In this paper we address both issues. We introduce a novel visualization technique that gives insight into the function of intermediate feature layers and the operation of the classifier. Used in a diagnostic role, these visualizations allow us to find model architectures that outperform Krizhevsky et al. on the ImageNet classification benchmark. We also perform an ablation study to discover the performance contribution from different model layers. We show our ImageNet model generalizes well to other datasets: when the softmax classifier is retrained, it convincingly beats the current state-of-the-art results on Caltech-101 and Caltech-256 datasets.
translated by 谷歌翻译
预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关,在过去的二十年中,在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型,以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度,但仍未对预测编码理论,尤其是该领域的最新发展进行全面回顾。在这里,我们提供了核心数学结构和预测编码的逻辑的全面综述,从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作,从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系,以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。
translated by 谷歌翻译
人类和其他动物学会从感觉体验中提取一般概念,没有大量的教学。这种能力被认为是睡眠的离线状态,如睡眠,以前的经验在全身重放。然而,梦想的特征创造性本质表明,学习语义表示可能超越仅仅重播以前的经历。我们通过实施由生成的对冲网络(GANS)启发的皮质架构来支持这一假设。我们模型中的学习是在三种不同的全球脑状态下组织,模仿清醒,NREM和REM睡眠,优化不同但互补的客观功能。我们在自然图像的标准数据集上培训模型,并评估学习符号的质量。我们的结果表明,通过对抗睡眠期间通过对抗梦想产生新的虚拟感官输入对于提取语义概念至关重要,同时通过在NREM睡眠期间通过扰动梦想重放剧集的集更记忆,提高了潜在表示的鲁棒性。该模型在睡眠状态,记忆重放和梦想中提供了一种新的计算透视,并提出了GAN的皮质实施。
translated by 谷歌翻译
Deep convolutional networks have proven to be very successful in learning task specific features that allow for unprecedented performance on various computer vision tasks. Training of such networks follows mostly the supervised learning paradigm, where sufficiently many input-output pairs are required for training. Acquisition of large training sets is one of the key challenges, when approaching a new task. In this paper, we aim for generic feature learning and present an approach for training a convolutional network using only unlabeled data. To this end, we train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled 'seed' image patch. In contrast to supervised network training, the resulting feature representation is not class specific. It rather provides robustness to the transformations that have been applied during training. This generic feature representation allows for classification results that outperform the state of the art for unsupervised learning on several popular datasets . While such generic features cannot compete with class specific features from supervised training on a classification task, we show that they are advantageous on geometric matching problems, where they also outperform the SIFT descriptor.
translated by 谷歌翻译
人类可以通过最小的相互干扰连续学习几项任务,但一次接受多个任务进行培训时的表现较差。标准深神经网络相反。在这里,我们提出了针对人工神经网络的新型计算限制,灵感来自灵长类动物前额叶皮层的较​​早作品,以捕获交织训练的成本,并允许网络在不忘记的情况下按顺序学习两个任务。我们通过两个算法主题,所谓的“呆滞”任务单元和HEBBIAN训练步骤增强了标准随机梯度下降,该步骤加强了任务单元和编码与任务相关信息的隐藏单元之间的连接。我们发现,“缓慢”的单元在培训期间引入了转换成本,该单元在交错训练下偏向表示的表示,而忽略了上下文提示的联合表示,而Hebbian步骤则促进了从任务单元到隐藏层的门控方案的形成这会产生正交表示,完全防止干扰。在先前发布的人类行为数据上验证该模型表明,它与接受过封锁或交错课程训练的参与者的表现相匹配,并且这些绩效差异是由真实类别边界的误解驱动的。
translated by 谷歌翻译
联想记忆一直是大规模复发新皮层网络进行的计算的重要候选者。实施关联记忆的吸引者网络为许多认知现象提供了机械解释。但是,吸引子记忆模型通常是使用正交或随机模式训练的,以避免记忆之间的干扰,这使得它们对于自然存在的复杂相关刺激(如图像)而言是不可行的。我们通过将经常性吸引子网络与馈电网络相结合,该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示形式。最终的网络模型涵盖了许多已知的生物学特性:无监督的学习,HEBBIAN可塑性,稀疏分布激活,稀疏连接性,柱状和层状皮质体系结构等。我们评估了FeefForward和Recurrent网络组件在复杂模式识别任务中对FeefForward和Recurrent Network组件的协同效应MNIST手写数字数据集。我们证明,经过训练在前馈驱动的内部(隐藏)表示上时,经常性吸引子组件会实现关联内存。还显示了关联内存可以从训练数据中进行原型提取,并使表示强大到严重失真的输入。我们认为,从机器学习的角度来看,提议集成的馈电和复发计算的整合尤其有吸引力。
translated by 谷歌翻译