从大脑活动中解码图像一直是一个挑战。由于深度学习的发展，有可用的工具可以解决此问题。解码图像旨在将神经尖峰列车映射到低级视觉特征和高级语义信息空间。最近，有一些关于从尖峰列车解码的研究，但是，这些研究更少关注神经科学的基础，很少有研究将接受场合并为视觉图像重建。在本文中，我们提出了一种具有生物学特性的深度学习神经网络体系结构，以从尖峰火车中重建视觉图像。据我们所知，我们实施了一种将接收场属性矩阵集成到损失函数中的方法。我们的模型是从神经尖峰火车到图像的端到端解码器。我们不仅将Gabor过滤器合并到自动编码器中，该自动编码器用于生成图像，还提出了具有接收场特性的损失函数。我们在两个数据集上评估了我们的解码器，这些数据集包含猕猴的一级视觉皮层神经尖峰和sal虫视网膜神经节细胞（RGC）峰值。我们的结果表明，我们的方法可以有效地结合感受的特征以重建图像，从而根据神经信息提供一种新的视觉重建方法。
translated by 谷歌翻译
人工智能和神经科学都深受互动。人工神经网络（ANNS）是一种多功能的工具，用于研究腹侧视觉流中的神经表现，以及神经科学中的知识返回激发了ANN模型，以提高任务的性能。但是，如何将这两个方向合并到统一模型中较少研究。这里，我们提出了一种混合模型，称为深度自动编码器，具有神经响应（DAE-NR），其将来自视觉皮质的信息包含在ANN中，以实现生物和人造神经元之间的更好的图像重建和更高的神经表示相似性。具体地，对小鼠脑和DAE-NR的输入相同的视觉刺激（即自然图像）。 DAE-NR共同学会通过映射函数将编码器网络的特定层映射到腹侧视觉流中的生物神经响应，并通过解码器重建视觉输入。我们的实验表明，如果只有在联合学习，DAE-NRS可以（i）可以提高图像重建的性能，并且（ii）增加生物神经元和人工神经元之间的代表性相似性。 DAE-NR提供了一种关于计算机视觉和视觉神经科学集成的新视角。
translated by 谷歌翻译
深度神经网络在关键视觉挑战（例如对象识别）中超过了人类的表现，但需要大量的能量，计算和记忆。相反，尖峰神经网络（SNN）具有提高对象识别系统的效率和生物学合理性的潜力。在这里，我们提出了一种SNN模型，该模型使用Spike-Latency编码和赢家全部抑制（WTA-I）有效地表示时尚MNIST数据集的视觉刺激。将刺激用中心旋转的接受场进行预处理，然后喂入一层尖刺神经元，其突触权重使用Spike-Timing依赖性塑性（STDP）进行更新。我们研究了代表对象的质量如何在不同的WTA-I方案下变化，并证明150个尖峰神经元的网络可以有效地表示40个尖峰的对象。研究如何使用SNN中的生物学上合理的学习规则来研究核心对象识别，这不仅可能进一步我们对大脑的理解，而且还会导致新颖而有效的人工视觉系统。
translated by 谷歌翻译
在这个时代，智能和低功率视网膜假体的需求高度要求，在这个时代，可穿戴和可植入的设备用于众多医疗保健应用。在本文中，我们提出了一个节能动态场景处理框架（Spikesee），该框架结合了尖峰代表编码技术和生物启发的尖峰复发性神经网络（SRNN）模型，以实现智能处理和极端的低功耗计算。尖峰表示编码技术可以用稀疏的尖峰火车来解释动态场景，从而减少数据量。采用受人视网膜特殊结构和尖峰加工方法的启发的SRNN模型，以预测神经节细胞对动态场景的响应。实验结果表明，所提出的SRNN模型的Pearson相关系数达到0.93，这表现优于视网膜假体的最先进的处理框架。得益于尖峰表示和SRNN处理，该模型可以以无倍数的方式提取视觉特征。与基于卷积的复发神经网络（CRNN）处理框架相比，该框架可实现12倍的功率。我们提出的Spikesee可以通过较低的能源消耗来更准确地预测神经节细胞的响应，从而减轻了视网膜假体的精度和功率问题，并为可穿戴或可植入的假体提供了潜在的解决方案。
translated by 谷歌翻译
与传统CS方法相比，基于深度学习（DL）的压缩传感（CS）已被应用于图像重建的更好性能。但是，大多数现有的DL方法都利用逐个块测量，每个测量块分别恢复，这引入了重建的有害阻塞效应。此外，这些方法的神经元接受场被设计为每一层的大小相同，这只能收集单尺度的空间信息，并对重建过程产生负面影响。本文提出了一个新的框架，称为CS测量和重建的多尺度扩张卷积神经网络（MSDCNN）。在测量期间，我们直接从训练有素的测量网络中获得所有测量，该测量网络采用了完全卷积结构，并通过输入图像与重建网络共同训练。它不必将其切成块，从而有效地避免了块效应。在重建期间，我们提出了多尺度特征提取（MFE）体系结构，以模仿人类视觉系统以捕获同一功能映射的多尺度特征，从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中，有多个并行卷积通道以获取多尺度特征信息。然后，将多尺度功能信息融合在一起，并以高质量重建原始图像。我们的实验结果表明，根据PSNR和SSIM，该提出的方法对最新方法的性能有利。
translated by 谷歌翻译
2021-07-29
深度神经网络在计算机视觉中的许多任务中设定了最先进的，但它们的概括对象扭曲的能力令人惊讶地是脆弱的。相比之下，哺乳动物视觉系统对广泛的扰动是强大的。最近的工作表明，这种泛化能力可以通过在整个视觉皮层中的视觉刺激的表示中编码的有用的电感偏差来解释。在这里，我们成功利用了多任务学习方法的这些归纳偏差：我们共同训练了深度网络以进行图像分类并预测猕猴初级视觉皮层（V1）中的神经活动。我们通过测试其对图像扭曲的鲁棒性来衡量我们网络的分发广泛性能力。我们发现，尽管在训练期间没有这些扭曲，但猴子V1数据的共同训练导致鲁棒性增加。此外，我们表明，我们的网络的鲁棒性非常接近Oracle网络的稳定性，其中架构的部分在嘈杂的图像上直接培训。我们的结果还表明，随着鲁布利的改善，网络的表示变得更加大脑。使用新颖的约束重建分析，我们调查了我们的大脑正规网络更加强大的原因。与我们仅对图像分类接受培训的基线网络相比，我们的共同训练网络对内容比噪声更敏感。使用深度预测的显着性图，用于想象成像图像，我们发现我们的猴子共同训练的网络对场景中的突出区域倾向更敏感，让人想起V1在对象边界的检测中的作用和自下而上的角色显着性。总体而言，我们的工作扩大了从大脑转移归纳偏见的有前途的研究途径，并为我们转移的影响提供了新的分析。
translated by 谷歌翻译
The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).
translated by 谷歌翻译
本文提出了一种用于红外和可见图像的新型Res2net的融合框架。所提出的融合模型分别有三个部分：分别是编码器，融合层和解码器。基于RES2Net的编码器用于提取源图像的多尺度特征，该文件引入了用于培训仅使用单个图像的Res2net的编码器的新培训策略。然后，基于注意模型开发了一种新的融合策略。最后，解码器重建融合图像。还详细分析了所提出的方法。实验表明，我们的方法通过与现有方法进行比较，实现了客观和主观评估中的最先进的融合性能。
translated by 谷歌翻译
光学系统的可区分模拟可以与基于深度学习的重建网络结合使用，以通过端到端（E2E）优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序（例如3D定位显微镜，深度估计和无透镜摄影）通过优化局部光学编码器。更具挑战性的计算成像应用，例如将3D卷压入单个2D图像的3D快照显微镜，需要高度非本地光学编码器。我们表明，现有的深网解码器具有局部性偏差，可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络（Fouriernets）基于浅神经网络体系结构的解码器来解决此问题。我们表明，在高度非本地分散镜头光学编码器捕获的照片中，傅立叶网络超过了现有的基于网络的解码器。此外，我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合，我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态，并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。
translated by 谷歌翻译
模仿Retina Fovea的尖峰相机可以通过点燃尖峰报告每个像素亮度强度累积。作为具有高颞分辨率的生物启发视觉传感器，它具有巨大的计算机视觉潜力。然而，当前尖峰相机中的采样模型非常容易受到量化和噪声的影响，即它无法有效地捕获物体的纹理细节。在这项工作中，提出了一种由接收场（RVSM）启发的强大的视觉采样模型，其中使用高斯（狗）和高斯滤波器的差异产生的小波滤波器来模拟接收领域。使用类似于逆小波变换的相应方法，来自RVSM的尖峰数据可以转换为图像。为了测试性能，我们还提出了一个高速运动尖峰数据集（HMD），包括各种运动场景。通过比较HMD中的重建图像，我们发现RVSM可以提高大大捕获钉相机信息的能力。更重要的是，由于模仿接受现场机制来收集区域信息，RVSM可以有效地过滤高强度噪声并提高尖峰相机在很大程度上对噪声敏感的问题。此外，由于采样结构的强概率，RVSM也适用于其他神经形态视觉传感器。上面的实验在钉相机模拟器中完成。
translated by 谷歌翻译
近年来，尖峰神经网络（SNN）由于其丰富的时空动力学，各种编码方法和事件驱动的特征而自然拟合神经形态硬件，因此在脑启发的智能上受到了广泛的关注。随着SNN的发展，受到脑科学成就启发和针对人工通用智能的新兴研究领域的脑力智能变得越来越热。本文回顾了最新进展，并讨论了来自五个主要研究主题的SNN的新领域，包括基本要素（即尖峰神经元模型，编码方法和拓扑结构），神经形态数据集，优化算法，软件，软件和硬件框架。我们希望我们的调查能够帮助研究人员更好地了解SNN，并激发新作品以推进这一领域。
translated by 谷歌翻译
稀疏编码已在视觉皮层的模型中纳入其计算优势和与生物学的连接。但是，稀疏程度如何在视觉任务上有助于表现，并不充分了解。在这项工作中，稀疏的编码已集成到现有的分层V2型号（Hosoya和Hyv \“Arinen，2015），但更换其独立的分量分析（ICA），具有明确的稀疏编码，其中可以控制稀疏程度。在训练之后，稀疏编码基础函数具有更高程度的稀疏性类似于定性不同的结构，例如曲线和角落。使用图像分类任务进行评估模型的贡献，特别是与中级视觉相关的任务，包括图 - 地面分类，纹理分类和两条线刺激之间的角度预测。此外，与v2（Freman等，2013）中报道的纹理敏感度量相比，评估模型（Freeman等，2013）和删除区域推理任务。该实验结果表明，同时在分类图像中比ICA差的稀疏编码差，只能稀疏编码能够更好地匹配纹理森通过提高稀疏编码的稀疏度，v2和推断删除图像区域的定位等级。在较大删除的图像区域上允许推断推断出更高程度的稀疏性。这里描述允许在稀疏编码中进行这种推理能力的机制。
translated by 谷歌翻译
了解任务学习后神经电路中的活动如何重新成像，可以揭示学习的基本机制。由于神经成像技术的最近进步，高质量的记录可以在多天甚至几周内从数百个神经元获得。然而，人口响应的复杂性和维度对分析构成了重大挑战。研究神经元适应和学习的现有方法通常对数据或模型产生强烈的假设，导致不概括的偏置描述。在这项工作中，我们使用一个叫做 - Cycleangan的深度生成模型的变种，了解预先和后学后神经活动之间的未知映射，记录了$ \ texit {vivo} $。我们开发一个端到端的管道到预处理，火车和评估荧光信号，以及解释所得到的深度学习模型的过程。为了评估我们方法的有效性，我们首先在具有已知地面实话转换的合成数据集中测试我们的框架。随后，我们将我们的方法应用于从初级视觉皮层记录的表现小鼠记录的神经活动，其中小鼠从新手转换到基于视觉的虚拟现实实验中的专家级性能。我们评估了产生的钙信号的模型性能及其推断的尖峰列车。为了最大限度地提高性能，我们推导了一种新的预选神经元方法，使得基于卷积的网络可以利用神经活动中存在的空间信息。此外，我们还纳入了视觉解释方法，以提高我们工作的可解释性，并进入学习过程中的洞察力，表现在细胞活动中。我们的结果表明，分析具有数据驱动的深度无监督方法的神经元学习过程，其可能以不偏不倚的方式解开变化的可能性。
translated by 谷歌翻译
随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。
translated by 谷歌翻译
2021-09-12
最近的研究表明，卷积神经网络（CNNS）不是图像分类的唯一可行的解决方案。此外，CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案，我们设计了使用峰值定时依赖性塑性（STDP）和其奖励调制变体（R-STDP）学习规则训练的本地连接的尖峰神经网络（SNN）。使用尖刺神经元和局部连接以及强化学习（RL）将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成，后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性，并评估我们有益于于不同目标响应的奖励系统的稳健性。
translated by 谷歌翻译
生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。
translated by 谷歌翻译
Medical images play an important role in clinical applications. Multimodal medical images could provide rich information about patients for physicians to diagnose. The image fusion technique is able to synthesize complementary information from multimodal images into a single image. This technique will prevent radiologists switch back and forth between different images and save lots of time in the diagnostic process. In this paper, we introduce a novel Dilated Residual Attention Network for the medical image fusion task. Our network is capable to extract multi-scale deep semantic features. Furthermore, we propose a novel fixed fusion strategy termed Softmax-based weighted strategy based on the Softmax weights and matrix nuclear norm. Extensive experiments show our proposed network and fusion strategy exceed the state-of-the-art performance compared with reference image fusion methods on four commonly used fusion metrics.
translated by 谷歌翻译
受认知科学中知名的预测编码理论的启发，我们为视觉框架预测任务提出了一种新型的神经网络模型。在本文中，我们的主要工作是结合预测编码和深度学习体系结构的理论框架，为视觉框架预测设计有效的预测网络模型。该模型分别由一系列复发和卷积单元组成，分别形成自上而下和自下而上的流。它学会了以视觉序列预测未来的帧，网络中的每一层中的弯曲器可以从上到下进行本地预测。我们模型的主要创新是，该层上神经单位的更新频率随着网络级别的提高而降低，从时间维度的角度来看，模型中的导致模型看起来像金字塔，因此我们称其为金字塔预测性网络（PPNET）。特别是，这种类似金字塔的设计与预测性编码框架涉及的神经科学发现中的神经元活性一致。根据实验结果，该模型与现有作品显示出更好的紧凑性和可比的预测性能，这意味着较低的计算成本和较高的预测准确性。代码将在https://github.com/ling-cf/ppnet上找到。
translated by 谷歌翻译
本文研究了从快照编码的LDR视频重建高动态范围（HDR）视频。构建HDR视频需要为每个帧恢复HDR值并保持连续帧之间的一致性。从单个图像捕获的HDR图像获取，也称为快照HDR成像，可以通过多种方式实现。例如，通过将光学元件引入相机的光学堆叠来实现可重新配置的快照HDR相机;通过将编码掩模放置在传感器前方的小支座距离处。可以使用深度学习方法从捕获的编码图像中恢复高质量的HDR图像。本研究利用3D-CNNS从编码LDR视频执行联合去脱模，去噪和HDR视频重建。我们通过引入考虑短期和长期一致性的时间损耗函数来执行更季度一致的HDR视频重建。获得的结果是有前途的，可以使用传统相机导致经济实惠的HDR视频捕获。
translated by 谷歌翻译
尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。
translated by 谷歌翻译