自主代理需要自定位才能在未知环境中导航。他们可以使用视觉进程（VO）来估计自我运动并使用视觉传感器定位自己。作为惯性传感器或滑板作为轮编码器，这种运动估算策略不会因漂移而受到损害。但是，带有常规摄像机的VO在计算上是要求的，它限制了其在严格的低延迟， - 内存和 - 能量要求的系统中的应用。使用基于事件的相机和神经形态计算硬件为VO问题提供了有希望的低功率解决方案。但是，VO的常规算法不容易转换为神经形态硬件。在这项工作中，我们提出了一种完全由适合神经形态实现的神经元构件构建的VO算法。构建块是代表向量符号体系结构（VSA）计算框架中向量的神经元组，该框架是作为编程神经形态硬件的抽象层提出的。我们提出的VO网络生成并存储了对展示的视觉环境的工作记忆。它更新了此工作内存，同时估计相机的位置和方向的变化。我们证明了如何将VSA作为神经形态机器人技术的计算范式借用。此外，我们的结果代表了使用神经形态计算硬件进行快速和效率的VO以及同时定位和映射（SLAM）的相关任务的重要步骤。我们通过机器人任务和基于事件的数据集对实验进行了实验验证这种方法，并证明了最先进的性能。
translated by 谷歌翻译
2022-08-26
在视觉场景理解中，推断对象的位置及其刚性转换仍然是一个开放的问题。在这里，我们提出了一种使用有效的分解网络的神经形态解决方案，该解决方案基于三个关键概念：（1）基于矢量符号体系结构（VSA）的计算框架，带有复杂值值矢量； （2）分层谐振器网络（HRN）的设计，以处理视觉场景中翻译和旋转的非交换性质，而两者都被组合使用； （3）设计多室尖峰拟态神经元模型，用于在神经形态硬件上实现复杂值的矢量结合。 VSA框架使用矢量结合操作来产生生成图像模型，其中绑定充当了几何变换的模棱两可的操作。因此，场景可以描述为向量产物的总和，从而可以通过谐振器网络有效地分解以推断对象及其姿势。 HRN启用了分区体系结构的定义，其中矢量绑定是一个分区内的水平和垂直翻译，以及另一个分区内的旋转和缩放的定义。尖峰神经元模型允许将谐振网络映射到有效且低功耗的神经形态硬件上。在这项工作中，我们使用由简单的2D形状组成的合成场景展示了我们的方法，经历了刚性的几何变换和颜色变化。同伴论文在现实世界的应用程序方案中为机器视觉和机器人技术展示了这种方法。
translated by 谷歌翻译
可拍照的分子显示了可以使用光访问的两个或多个异构体形式。将这些异构体的电子吸收带分开是选择性解决特定异构体并达到高光稳态状态的关键，同时总体红色转移带来的吸收带可以限制因紫外线暴露而限制材料损害，并增加了光疗法应用中的渗透深度。但是，通过合成设计将这些属性工程为系统仍然是一个挑战。在这里，我们提出了一条数据驱动的发现管道，用于由数据集策划和使用高斯过程的多任务学习支撑的分子照片开关。在对电子过渡波长的预测中，我们证明了使用来自四个Photoswitch转变波长的标签训练的多输出高斯过程（MOGP）产生相对于单任务模型的最强预测性能，并且在操作上超过了时间依赖时间依赖性的密度理论（TD） -dft）就预测的墙壁锁定时间而言。我们通过筛选可商购的可拍摄分子库来实验验证我们提出的方法。通过此屏幕，我们确定了几个图案，这些基序显示了它们的异构体的分离电子吸收带，表现出红移的吸收，并且适用于信息传输和光电学应用。我们的策划数据集，代码以及所有型号均可在https://github.com/ryan-rhys/the-photoswitch-dataset上提供
translated by 谷歌翻译