皮质假体是植入视觉皮层中的设备，试图通过电刺激神经元来恢复视力失去视力。当前，这些设备提供的视觉是有限的，并且准确预测刺激引起的视觉感知是一个开放的挑战。我们建议通过利用“大脑样”卷积神经网络（CNN）来应对这一挑战，这些卷积神经网络已成为视觉系统的有前途的模型。为了研究适应大脑样的CNN来建模视觉假体的可行性，我们开发了一种概念验证模型，以预测电刺激引起的感知。我们表明，CNN激活的神经学启发的解码会产生定性准确的磷酸，可与实际患者报道的磷酸相媲美。总体而言，这是建立类似大脑的电刺激模型的重要第一步，这可能不仅可以提高皮质假体提供的视力质量，而且还可以进一步提高我们对神经视力守则的理解。

生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集​​中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。

深度神经网络在计算机视觉中的许多任务中设定了最先进的，但它们的概括对象扭曲的能力令人惊讶地是脆弱的。相比之下，哺乳动物视觉系统对广泛的扰动是强大的。最近的工作表明，这种泛化能力可以通过在整个视觉皮层中的视觉刺激的表示中编码的有用的电感偏差来解释。在这里，我们成功利用了多任务学习方法的这些归纳偏差：我们共同训练了深度网络以进行图像分类并预测猕猴初级视觉皮层（V1）中的神经活动。我们通过测试其对图像扭曲的鲁棒性来衡量我们网络的分发广泛性能力。我们发现，尽管在训练期间没有这些扭曲，但猴子V1数据的共同训练导致鲁棒性增加。此外，我们表明，我们的网络的鲁棒性非常接近Oracle网络的稳定性，其中架构的部分在嘈杂的图像上直接培训。我们的结果还表明，随着鲁布利的改善，网络的表示变得更加大脑。使用新颖的约束重建分析，我们调查了我们的大脑正规网络更加强大的原因。与我们仅对图像分类接受培训的基线网络相比，我们的共同训练网络对内容比噪声更敏感。使用深度预测的显着性图，用于想象成像图像，我们发现我们的猴子共同训练的网络对场景中的突出区域倾向更敏感，让人想起V1在对象边界的检测中的作用和自下而上的角色显着性。总体而言，我们的工作扩大了从大脑转移归纳偏见的有前途的研究途径，并为我们转移的影响提供了新的分析。

We describe a model of visual processing in which feedback connections from a higher-to a lowerorder visual cortical area carry predictions of lower-level neural activities, whereas the feedforward connections carry the residual errors between the predictions and the actual lower-level activities. When exposed to natural images, a hierarchical network of model neurons implementing such a model developed simple-cell-like receptive fields. A subset of neurons responsible for carrying the residual errors showed endstopping and other extra-classical receptive-field effects. These results suggest that rather than being exclusively feedforward phenomena, nonclassical surround effects in the visual cortex may also result from cortico-cortical feedback as a consequence of the visual system using an efficient hierarchical strategy for encoding natural images.

稀疏编码已在视觉皮层的模型中纳入其计算优势和与生物学的连接。但是，稀疏程度如何在视觉任务上有助于表现，并不充分了解。在这项工作中，稀疏的编码已集成到现有的分层V2型号（Hosoya和Hyv \“Arinen，2015），但更换其独立的分量分析（ICA），具有明确的稀疏编码，其中可以控制稀疏程度。在训练之后，稀疏编码基础函数具有更高程度的稀疏性类似于定性不同的结构，例如曲线和角落。使用图像分类任务进行评估模型的贡献，特别是与中级视觉相关的任务，包括图 - 地面分类，纹理分类和两条线刺激之间的角度预测。此外，与v2（Freman等，2013）中报道的纹理敏感度量相比，评估模型（Freeman等，2013）和删除区域推理任务。该实验结果表明，同时在分类图像中比ICA差的稀疏编码差，只能稀疏编码能够更好地匹配纹理森通过提高稀疏编码的稀疏度，v2和推断删除图像区域的定位等级。在较大删除的图像区域上允许推断推断出更高程度的稀疏性。这里描述允许在稀疏编码中进行这种推理能力的机制。

灵长类动物的视觉系统是强大感知的黄金标准。因此，人们普遍认为，模仿这些系统基础的神经表现形式将产生具有对手稳健的人工视觉系统。在这项工作中，我们开发了一种直接对灵长类动物大脑活动进行对抗性视觉攻击的方法。然后，我们利用这种方法来证明上述信念可能不是很好的基础。具体而言，我们报告说，组成灵长类动物视觉系统的生物神经元表现出对对抗性扰动的敏感性，这些扰动与现有（训练有素的）人工神经网络相当。

将早期视觉信号转换为v4中的曲率表示的机制是未知的。我们提出了一种分层模型，揭示了V1 / V2编码，该编码是对v4中报告的曲率表示的这种转换的基本组件。然后，通过放松单个高斯之前的经常施加的，在从猕猴V4响应的层次结构的最后一层中学习V4形选择性。我们发现V4电池与具有相似兴奋性和抑制贡献的接收领域的完整空间范围集成多个形状部分。我们的成果在V4神经元中发现了关于形状选择性的现有数据的新细节，通过进一步的实验可以提高我们对该领域的处理的理解。因此，我们提出了一种刺激装置的设计，该刺激装置允许在不干扰曲率信号的情况下消除形状部分以隔离部分贡献至V4响应。

In the brain, information is encoded, transmitted and used to inform behaviour at the level of timing of action potentials distributed over population of neurons. To implement neural-like systems in silico, to emulate neural function, and to interface successfully with the brain, neuromorphic circuits need to encode information in a way compatible to that used by populations of neuron in the brain. To facilitate the cross-talk between neuromorphic engineering and neuroscience, in this Review we first critically examine and summarize emerging recent findings about how population of neurons encode and transmit information. We examine the effects on encoding and readout of information for different features of neural population activity, namely the sparseness of neural representations, the heterogeneity of neural properties, the correlations among neurons, and the time scales (from short to long) at which neurons encode information and maintain it consistently over time. Finally, we critically elaborate on how these facts constrain the design of information coding in neuromorphic circuits. We focus primarily on the implications for designing neuromorphic circuits that communicate with the brain, as in this case it is essential that artificial and biological neurons use compatible neural codes. However, we also discuss implications for the design of neuromorphic systems for implementation or emulation of neural computation.

最初受生物神经网络（BNN）启发的人工神经网络（ANN）在许多任务（例如视觉表示学习）中取得了巨大的成功。但是，由于缺乏有效的工具来链接和互为两个不同的域，并且缺乏代表的一般有效的框架，ANN和BNN中的视觉表示之间是否存在语义相关性/连接仍然很大程度上尚未探索。 BNN中的视觉语义，例如人类功能性脑网络（FBN）。为了回答这个问题，我们提出了一个新颖的计算框架，即同步激活（同步性），以基于自然主义的功能磁共振成像（NFMRI）数据来对人脑中的ANN和BNN之间的视觉表示空间和语义进行。通过这种方法，我们能够在第一次以人类脑成像得出的生物学上有意义的描述中对神经元进行注释。我们在两个公开观看的NFMRI数据集上评估了同步操作框架。该实验证明了a）FBN中视觉表示与各种卷积神经网络（CNN）模型中的视觉表示之间的显着相关性和相似性； b）CNN的视觉表示与BNN的相似性与其在图像分类任务中的性能之间的紧密关系。总体而言，我们的研究介绍了一个一般有效的范式，以融入ANN和BNNS，并为未来的研究提供新的见解，例如脑启发的人工智能。

实验神经科学的进步改变了我们探索神经电路结构和功能的能力。与此同时，机器学习的进步已经释放了人工神经网络（ANNS）的显着计算能力。虽然这两个字段具有不同的工具和应用程序，但它们存在类似的挑战：即，了解如何通过高维表示来嵌入信息并通过高维表示来解决复杂任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状，即神经人口几何形状。我们审查了解生物和人工神经网络功能的几何方法的示例：感知的代表性，在认知系统中的分类能力，解剖和抽象的几何理论，认知地图的拓扑表示，电机系统中的动态不包含一种动态的认知方法。这些发现在一起说明了机器学习，神经科学和几何形状的令人兴奋的趋势，其中神经人口几何形状提供了有用的人口级机械描述符基础任务实现。重要的是，几何描述适用于感官模态，脑区，网络架构和时间尺度。因此，神经人口几何形状有可能统一我们对生物和人工神经网络的结构和功能的理解，弥合单一神经元，人口和行为之间的差距。

A visual attention system, inspired by the behavior and the neuronal architecture of the early primate visual system, is presented. Multiscale image features are combined into a single topographical saliency map. A dynamical neural network then selects attended locations in order of decreasing saliency. The system breaks down the complex problem of scene understanding by rapidly selecting, in a computationally efficient manner, conspicuous locations to be analyzed in detail.

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

贝叶斯脑假设假设大脑根据贝叶斯定理进行准确地运行统计分布。突触前囊泡释放神经递质的随机性失效可以让大脑从网络参数的后部分布中样本，被解释为认知不确定性。尚未显示出先前随机故障可能允许网络从观察到的分布中采样，也称为炼肠或残留不确定性。两个分布的采样使概率推断，高效搜索和创造性或生成问题解决。我们证明，在基于人口码的神经活动的解释下，可以用单独的突触衰竭来表示和对两种类型的分布进行分布。我们首先通过突触故障和横向抑制来定义生物学限制的神经网络和采样方案。在该框架内，我们派生基于辍学的认知不确定性，然后从突触功效证明了允许网络从任意，由接收层表示的分布来释放概率的分析映射。其次，我们的结果导致了本地学习规则，突触将适应其发布概率。我们的结果表明，在生物学限制的网络中，仅使用本地学习的突触失败率，与变分的贝叶斯推断相关的完整贝叶斯推断。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

Visual representations can be defined as the activations of neuronal populations in response to images. The activation of a neuron as a function over all image space has been described as a "tuning landscape". As a function over a high-dimensional space, what is the structure of this landscape? In this study, we characterize tuning landscapes through the lens of level sets and Morse theory. A recent study measured the in vivo two-dimensional tuning maps of neurons in different brain regions. Here, we developed a statistically reliable signature for these maps based on the change of topology in level sets. We found this topological signature changed progressively throughout the cortical hierarchy, with similar trends found for units in convolutional neural networks (CNNs). Further, we analyzed the geometry of level sets on the tuning landscapes of CNN units. We advanced the hypothesis that higher-order units can be locally regarded as isotropic radial basis functions, but not globally. This shows the power of level sets as a conceptual tool to understand neuronal activations over image space.

从大脑活动中解码图像一直是一个挑战。由于深度学习的发展，有可用的工具可以解决此问题。解码图像旨在将神经尖峰列车映射到低级视觉特征和高级语义信息空间。最近，有一些关于从尖峰列车解码的研究，但是，这些研究更少关注神经科学的基础，很少有研究将接受场合并为视觉图像重建。在本文中，我们提出了一种具有生物学特性的深度学习神经网络体系结构，以从尖峰火车中重建视觉图像。据我们所知，我们实施了一种将接收场属性矩阵集成到损失函数中的方法。我们的模型是从神经尖峰火车到图像的端到端解码器。我们不仅将Gabor过滤器合并到自动编码器中，该自动编码器用于生成图像，还提出了具有接收场特性的损失函数。我们在两个数据集上评估了我们的解码器，这些数据集包含猕猴的一级视觉皮层神经尖峰和sal虫视网膜神经节细胞（RGC）峰值。我们的结果表明，我们的方法可以有效地结合感受的特征以重建图像，从而根据神经信息提供一种新的视觉重建方法。

过去几十年来看，越来越多地采用的非侵入性神经影像学技术越来越大的进步，以检查人脑发展。然而，这些改进并不一定是更复杂的数据分析措施，能够解释功能性大脑发育的机制。例如，从单变量（大脑中的单个区域）转变为多变量（大脑中的多个区域）分析范式具有重要意义，因为它允许调查不同脑区之间的相互作用。然而，尽管对发育大脑区域之间的相互作用进行了多变量分析，但应用了人工智能（AI）技术，使分析不可解释。本文的目的是了解电流最先进的AI技术可以通知功能性大脑发展的程度。此外，还审查了哪种AI技术基于由发育认知神经科学（DCN）框架所定义的大脑发展的过程来解释他们的学习。这项工作还提出说明可解释的AI（Xai）可以提供可行的方法来调查功能性大脑发育，如DCN框架的假设。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。