将早期视觉信号转换为v4中的曲率表示的机制是未知的。我们提出了一种分层模型,揭示了V1 / V2编码,该编码是对v4中报告的曲率表示的这种转换的基本组件。然后,通过放松单个高斯之前的经常施加的,在从猕猴V4响应的层次结构的最后一层中学习V4形选择性。我们发现V4电池与具有相似兴奋性和抑制贡献的接收领域的完整空间范围集成多个形状部分。我们的成果在V4神经元中发现了关于形状选择性的现有数据的新细节,通过进一步的实验可以提高我们对该领域的处理的理解。因此,我们提出了一种刺激装置的设计,该刺激装置允许在不干扰曲率信号的情况下消除形状部分以隔离部分贡献至V4响应。
translated by 谷歌翻译
We describe a model of visual processing in which feedback connections from a higher-to a lowerorder visual cortical area carry predictions of lower-level neural activities, whereas the feedforward connections carry the residual errors between the predictions and the actual lower-level activities. When exposed to natural images, a hierarchical network of model neurons implementing such a model developed simple-cell-like receptive fields. A subset of neurons responsible for carrying the residual errors showed endstopping and other extra-classical receptive-field effects. These results suggest that rather than being exclusively feedforward phenomena, nonclassical surround effects in the visual cortex may also result from cortico-cortical feedback as a consequence of the visual system using an efficient hierarchical strategy for encoding natural images.
translated by 谷歌翻译
稀疏编码已在视觉皮层的模型中纳入其计算优势和与生物学的连接。但是,稀疏程度如何在视觉任务上有助于表现,并不充分了解。在这项工作中,稀疏的编码已集成到现有的分层V2型号(Hosoya和Hyv \“Arinen,2015),但更换其独立的分量分析(ICA),具有明确的稀疏编码,其中可以控制稀疏程度。在训练之后,稀疏编码基础函数具有更高程度的稀疏性类似于定性不同的结构,例如曲线和角落。使用图像分类任务进行评估模型的贡献,特别是与中级视觉相关的任务,包括图 - 地面分类,纹理分类和两条线刺激之间的角度预测。此外,与v2(Freman等,2013)中报道的纹理敏感度量相比,评估模型(Freeman等,2013)和删除区域推理任务。该实验结果表明,同时在分类图像中比ICA差的稀疏编码差,只能稀疏编码能够更好地匹配纹理森通过提高稀疏编码的稀疏度,v2和推断删除图像区域的定位等级。在较大删除的图像区域上允许推断推断出更高程度的稀疏性。这里描述允许在稀疏编码中进行这种推理能力的机制。
translated by 谷歌翻译
Visual representations can be defined as the activations of neuronal populations in response to images. The activation of a neuron as a function over all image space has been described as a "tuning landscape". As a function over a high-dimensional space, what is the structure of this landscape? In this study, we characterize tuning landscapes through the lens of level sets and Morse theory. A recent study measured the in vivo two-dimensional tuning maps of neurons in different brain regions. Here, we developed a statistically reliable signature for these maps based on the change of topology in level sets. We found this topological signature changed progressively throughout the cortical hierarchy, with similar trends found for units in convolutional neural networks (CNNs). Further, we analyzed the geometry of level sets on the tuning landscapes of CNN units. We advanced the hypothesis that higher-order units can be locally regarded as isotropic radial basis functions, but not globally. This shows the power of level sets as a conceptual tool to understand neuronal activations over image space.
translated by 谷歌翻译
In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.
translated by 谷歌翻译
可解释的人工智能(XAI)的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测,从而确定了重要特征的发生位置(但没有提供有关其代表的信息),但全局解释技术可视化模型通常学会的编码的概念。因此,两种方法仅提供部分见解,并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来,以获取更多信息的解释。但是,这些方法通常仅限于特定的模型体系结构,或对培训制度或数据和标签可用性施加其他要求,这实际上使事后应用程序成为任意预训练的模型。在这项工作中,我们介绍了概念相关性传播方法(CRP)方法,该方法结合了XAI的本地和全球观点,因此允许回答“何处”和“ where”和“什么”问题,而没有其他约束。我们进一步介绍了相关性最大化的原则,以根据模型对模型的有用性找到代表性的示例。因此,我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力,展示了概念相关性传播和相关性最大化导致了更加可解释的解释,并通过概念图表,概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。
translated by 谷歌翻译
预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关,在过去的二十年中,在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型,以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度,但仍未对预测编码理论,尤其是该领域的最新发展进行全面回顾。在这里,我们提供了核心数学结构和预测编码的逻辑的全面综述,从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作,从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系,以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。
translated by 谷歌翻译
Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.
translated by 谷歌翻译
在感知变化下的自然对象的不变性在突触连接图中的对称性可能在大脑中编码。该图可以通过在不同感知方式的生物学上卓越的过程中通过无监督学习建立。该假设编码方案由自然主义音频和图像数据的相关结构支持,并且它预测了神经连接架构,这与关于主要感觉皮质的许多经验观察一致。
translated by 谷歌翻译
视觉搜索是一项普遍存在的,通常挑战日常任务,是通过寻找家中的汽车钥匙或在人群中的朋友。一些经典搜索任务的有趣性属性是一种不对称性,使得在分散的人B中找到目标A可以比找到A中的B.为了阐明对视觉搜索中的不对称负责的机制,我们提出了一种占据目标的计算模型和将搜索图像作为输入,并在找到目标之前产生一系列眼睛移动。该模型将偏心依赖性视觉识别与目标相关的自上而下的提示集成在一起。我们将六种范式搜索任务中的人类行为与人类显示不对称的案式进行比较。如果没有先前接触刺激或任务特定的培训,则该模型提供了搜索不对称的合理机制。我们假设搜索不对称的极性来自自然环境的经验。我们通过培训模型在想象中的增强版本的模型进行测试,其中自然图像的偏差被移除或逆转。根据训练协议,搜索不对称的极性消失或被改变。本研究强调了神经网络模型可以出现古典感知特性如何,而无需特定于任务培训,而是由于馈送到模型的发育饮食的统计特性。所有源代码和数据都在https://github.com/kreimanlab/visualsearchaseSearmmetry上公开使用。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
在翻译,旋转和形状下定义形状和形式作为等同类 - 也是规模的,我们将广义添加剂回归扩展到平面曲线和/或地标配置的形状/形式的模型。该模型尊重响应的所得到的商几何形状,采用平方的测量距离作为损耗函数和测地响应函数来将添加剂预测器映射到形状/形状空间。为了拟合模型,我们提出了一种riemannian $ l_2 $ -boosting算法,适用于可能大量可能的参数密集型模型术语,其还产生了自动模型选择。我们通过合适的张量 - 产品分解为形状/形状空间中的(甚至非线性)协变量提供新的直观可解释的可视化。所提出的框架的有用性在于1)的野生和驯养绵羊和2)细胞形式的分析中,在生物物理模型中产生的细胞形式,以及3)在具有反应形状和形式的现实模拟研究中,具有来自a的响应形状和形式在瓶轮廓上的数据集。
translated by 谷歌翻译
$ \ Texit {Fermi} $数据中的银河系中多余(GCE)的两个领先假设是一个未解决的微弱毫秒脉冲条件(MSP)和暗物质(DM)湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而,诸如MSP的点源(PSS)在超微弱的极限中具有统计变质的泊松发射(正式的位置,预期每个来源平均贡献远低于一个光子),导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法,以统一的方式描述PS和泊松发射,并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法,我们利用深度学习技术,围绕基于神经网络的方法,用于直方图回归,其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统,特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中,我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $(对应于$ \ sim3 - 4 $每pL期望计数),这需要$ n \ sim \ mathcal {o}( 10 ^ 4)$源来解释整个过剩(中位数价值$ n = \文本{29,300} $横跨天空)。虽然微弱,但这种SCD允许我们获得95%信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \%$。这表明大量的GCE通量是由于PSS 。
translated by 谷歌翻译
大脑中的类别选择性描述了脑皮质的某些空间局部区域区域倾向于从特定有限类别鲁棒地和选择性地响应刺激。类别选择性的最熟知的示例之一是梭形面积区域(FFA),其在与物体或其他通用刺激相比时优先对面部的图像响应于面部的较低时间皮层的面积。在这项工作中,我们利用新引进的地形变形式自动拓码以无监督方式模拟此类局部类别选择性的出现。通过实验,我们展示了我们的模型产生的空间密集的神经集群,通过COHEN的D度量的可视化图选择性地面临面部,身体和地点。我们将模型与相关的监督方法进行比较,即Lee等人的地形深层人工神经网络(TDANN),并讨论理论和经验相似之处。最后,我们展示了初步结果,表明我们的模型产生了越来越抽象的类别的嵌套空间层次,类似于人类腹侧颞型皮质的观察。
translated by 谷歌翻译
手写数字识别(HDR)是光学特征识别(OCR)领域中最具挑战性的任务之一。不管语言如何,HDR都存在一些固有的挑战,这主要是由于个人跨个人的写作风格的变化,编写媒介和环境的变化,无法在反复编写任何数字等时保持相同的笔触。除此之外,特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来,研究人员开发了许多离线和在线HDR管道,其中不同的图像处理技术与传统的机器学习(ML)基于基于的和/或基于深度学习(DL)的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据,例如:英语,阿拉伯语,印度,法尔西,中文等,但几乎没有对孟加拉人HDR(BHDR)的调查,这缺乏对孟加拉语HDR(BHDR)的研究,而这些调查缺乏对孟加拉语HDR(BHDR)的研究。挑战,基础识别过程以及可能的未来方向。在本文中,已经分析了孟加拉语手写数字的特征和固有的歧义,以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外,还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编,煽动了对相关研究的新途径的探索,这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。
translated by 谷歌翻译
This chapter sheds light on the synaptic organization of the brain from the perspective of computational neuroscience. It provides an introductory overview on how to account for empirical data in mathematical models, implement them in software, and perform simulations reflecting experiments. This path is demonstrated with respect to four key aspects of synaptic signaling: the connectivity of brain networks, synaptic transmission, synaptic plasticity, and the heterogeneity across synapses. Each step and aspect of the modeling and simulation workflow comes with its own challenges and pitfalls, which are highlighted and addressed in detail.
translated by 谷歌翻译
我们提出了一种基于错误的神经模型模型,用于在级别集方法中近似二维曲率。我们的主要贡献是重新设计的混合求解器[Larios-C \'Ardenas和Gibou,J。Comput。物理。 (2022年5月),10.1016/j.jcp.2022.111291]依靠数值方案来按需启用机器学习操作。特别是,我们的常规特征是双重预测对线束曲率对称不变性,以支持精度和稳定性。该求解器的核心是在圆形和正弦式接口样品上训练的多层感知器。它的作用是量化数值曲率近似值中的误差,并沿自由边界发射校正的校正估计值。这些校正是针对预处理上下文级别,曲率和梯度数据而产生的。为了促进神经能力,我们采用了样品阴性屈肌的归一化,重新定位和基于反射的增强。以相同的方式,我们的系统结合了降低,平衡性良好和正则化,以最大程度地减少外围影响。我们的训练方法同样可以跨网格尺寸扩展。为此,我们在数据生产过程中引入了无量纲的参数化和概率子采样。总之,所有这些元素都提高了分辨不足区域周围曲率计算的准确性和效率。在大多数实验中,我们的策略的表现优于数值基线,是重新涉及步骤数的两倍,同时仅需要一小部分成本。
translated by 谷歌翻译
我们提出了一个机器学习框架,该框架将图像超分辨率技术与级别测量方法中的被动标量传输融为一体。在这里,我们研究是否可以计算直接数据驱动的校正,以最大程度地减少界面的粗晶石演化中的数值粘度。拟议的系统的起点是半拉格朗日配方。并且,为了减少数值耗散,我们引入了一个易于识别的多层感知器。该神经网络的作用是改善数值估计的表面轨迹。为此,它在单个时间范围内处理局部级别集,速度和位置数据,以便在移动前部附近的选择顶点。因此,我们的主要贡献是一种新型的机器学习调音算法,该算法与选择性重新融为一体并与常规对流交替运行,以保持调整后的界面轨迹平滑。因此,我们的程序比基于全卷卷积的应用更有效,因为它仅在自由边界周围集中计算工作。同样,我们通过各种测试表明,我们的策略有效地抵消了数值扩散和质量损失。例如,在简单的对流问题中,我们的方法可以达到与基线方案相同的精度,分辨率是分辨率的两倍,但成本的一小部分。同样,我们的杂种技术可以产生可行的固化前端,以进行结晶过程。另一方面,切向剪切流和高度变形的模拟会导致偏置伪像和推理恶化。同样,严格的设计速度约束可以将我们的求解器的应用限制为涉及快速接口更改的问题。在后一种情况下,我们已经确定了几个机会来增强鲁棒性,而没有放弃我们的方法的基本概念。
translated by 谷歌翻译
深度学习网络通常使用非生物学学习方法。相比之下,基于更生物学卓越的学习的网络,如休斯学习,表现出相对较差的性能和实施困难。在这里,我们表明Hebbian在分层中的学习,卷积神经网络可以通过使用现代深度学习框架来实现,通过使用梯度产生所需的Hebbian更新的特定损失,几乎具有现代深度学习框架。我们提供表达式,其渐变精确地实现了普通的Hebbian规则(DW〜= XY),Grossberg的Instar规则(DW〜= Y(X-W))和OJA的规则(DW〜= Y(X-YW))。作为一个应用程序,我们构建了Hebbian卷积多层网络以进行对象识别。我们观察到较高层的这种网络倾向于学习大,简单的特征(类似Gabor样滤波器和斑点),解释先前报告的连续层的解码性能的降低。为了打击这种趋势,我们引入干预措施(具有稀疏可塑性的密集激活,层之间的连接灌注),这导致稀疏学习特征,大量提高性能,并允许信息增加连续层。我们假设具有现代深度学习框架提供的大量计算提升的更先进的技术(动态刺激,追踪,反馈连接等)可以大大提高多层Hebbian网络的性能和生物学相关性。
translated by 谷歌翻译
神经网络经常将许多无关的概念包装到一个神经元中 - 一种令人困惑的现象被称为“多疾病”,这使解释性更具挑战性。本文提供了一个玩具模型,可以完全理解多义,这是由于模型在“叠加”中存储其他稀疏特征的结果。我们证明了相变的存在,与均匀多型的几何形状的令人惊讶的联系以及与对抗性例子联系的证据。我们还讨论了对机械解释性的潜在影响。
translated by 谷歌翻译