神经形态视觉是一个快速增长的领域，在自动驾驶汽车的感知系统中有许多应用。不幸的是，由于传感器的工作原理，事件流中有很大的噪声。在本文中，我们提出了一种基于IIR滤波器矩阵的新算法，用于过滤此类噪声和硬件体系结构，该算法允许使用SOC FPGA加速。我们的方法具有非常好的过滤效率，无法相关噪声 - 删除了超过99％的嘈杂事件。已经对几个事件数据集进行了测试，并增加了随机噪声。我们设计了硬件体系结构，以减少FPGA内部BRAM资源的利用。这使得每秒的潜伏期非常低，最多可达3858元MERP的事件。在模拟和Xilinx Zynx Zynx Ultrascale+ MPSOC+ MPSOC芯片上，拟议的硬件体系结构在Mercury+ XU9模块上进行了验证。

基于事件的视觉传感器基于视觉场景的变化产生具有高时间分辨率的异步事件流。随着事件的生成，这些传感器的特性允许精确快速地计算光学流量。对于从事件数据计算光学流的现有解决方案未能由于孔径问题而无法捕获真正的运动方向，请勿使用传感器的高时间分辨率，或者在嵌入式平台上实时运行太昂贵。在这项研究中，我们首先提供了我们之前的算法，武器（光圈稳健的多尺度流）的更快版本。新的优化软件版本（农场）显着提高了传统CPU的吞吐量。此外，我们呈现危害，一种农场算法的硬件实现，允许实时计算低功耗，嵌入式平台上的真实流量。建议的危害架构针对混合系统的片上器件，旨在最大限度地提高可配置性和吞吐量。硬件架构和农场算法是用异步的神经形态处理而开发的，放弃了事件帧的常用使用，而是仅使用不同事件的小历史运行，允许独立于传感器分辨率进行缩放。与现有方法相比，处理范例的这种变化将流量方向的估计变为高达73％，并在选择的基准配置上显示出危害最高为1.21 Mevent / s的危害。此吞吐量使实时性能能够实现迄今为止迄今为止最快速的基于活动的事件的光流的实现。

This paper proposes the use of an event camera as a component of a vision system that enables counting of fast-moving objects - in this case, falling corn grains. These type of cameras transmit information about the change in brightness of individual pixels and are characterised by low latency, no motion blur, correct operation in different lighting conditions, as well as very low power consumption. The proposed counting algorithm processes events in real time. The operation of the solution was demonstrated on a stand consisting of a chute with a vibrating feeder, which allowed the number of grains falling to be adjusted. The objective of the control system with a PID controller was to maintain a constant average number of falling objects. The proposed solution was subjected to a series of tests to determine the correctness of the developed method operation. On their basis, the validity of using an event camera to count small, fast-moving objects and the associated wide range of potential industrial applications can be confirmed.

近年来，事件摄像机（DVS - 动态视觉传感器）已在视觉系统中用作传统摄像机的替代或补充。它们的特征是高动态范围，高时间分辨率，低潜伏期和在有限的照明条件下可靠的性能 - 在高级驾驶员辅助系统（ADAS）和自动驾驶汽车的背景下，参数尤为重要。在这项工作中，我们测试这些相当新颖的传感器是否可以应用于流行的交通标志检测任务。为此，我们分析事件数据的不同表示：事件框架，事件频率和指数衰减的时间表面，并使用称为FireNet的深神经网络应用视频框架重建。我们将深度卷积神经网络Yolov4用作检测器。对于特定表示，我们获得了86.9-88.9％map@0.5的检测准确性。使用融合所考虑的表示形式的使用使我们能够获得更高准确性的检测器89.9％map@0.5。相比之下，用Firenet重建的框架的检测器的特征是52.67％map@0.5。获得的结果说明了汽车应用中事件摄像机的潜力，无论是独立传感器还是与典型的基于框架的摄像机密切合作。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

神经形态的愿景是一种生物启发技术，它已经引发了计算机视觉界的范式转变，并作为众多应用的关键推动器。该技术提供了显着的优势，包括降低功耗，降低处理需求和通信加速。然而，神经形态摄像机患有大量的测量噪声。这种噪声恶化了基于神经形态事件的感知和导航算法的性能。在本文中，我们提出了一种新的噪声过滤算法来消除不代表观察场景中的实际记录强度变化的事件。我们采用图形神经网络（GNN） - 驱动的变压器算法，称为GNN变换器，将原始流中的每个活动事件像素分类为实木强度变化或噪声。在GNN中，传递一个名为EventConv的消息传递框架，以反映事件之间的时空相关性，同时保留它们的异步性质。我们还介绍了在各种照明条件下生成事件流的近似地面真理标签（KogT1）方法。 Kogtl用于生成标记的数据集，从记录在充满挑战的照明条件下进行的实验。这些数据集用于培训和广泛测试我们所提出的算法。在取消检测的数据集上测试时，所提出的算法在过滤精度方面优于现有方法12％。还对公共数据集进行了额外的测试，以展示在存在照明变化和不同运动动态的情况下所提出的算法的泛化能力。与现有解决方案相比，定性结果验证了所提出的算法的卓越能力，以消除噪音，同时保留有意义的场景事件。

事件摄像机捕获观察到的场景中的照明的变化，而不是累积光以创建图像。因此，它们允许在高速运动和复杂的照明条件下的应用，其中传统的框架传感器显示它们的模糊和过度或未出现的像素的限制。由于这些独特的属性，它们表示现在是与其相关的应用的高度有吸引力的传感器。在这些神经形式相机的普及升高之后，已经研究了基于事件的光流（EBOF）。然而，最近的高清神经晶体传感器的到来挑战现有方法，因为事件像素阵列的分辨率增加和更高的吞吐量。作为这些点的答案，我们提出了一种用于实时计算光流的优化框架，以及低分辨率的事件摄像机。我们以“逆指数距离表面”的形式为稀疏事件流制定了一种新的密集表示。它用作临时框架，专为使用证明，最先进的基于框架的光流量计算方法而设计。我们评估我们在低分辨率和高分辨率驾驶序列上的方法，并表明它通常比当前现有技术更好地实现更好的结果，同时也达到更高的帧速率，250Hz在346 x 260像素和77Hz在1280 x 720像素。

本文介绍了在异质SOC FPGA计算平台上实施的无人机（UAV）控制算法的硬件（HIL）模拟系统。使用了在PC上运行的Airsim模拟器和带有来自AMD Xilinx的Zynq Soc芯片的Arty Z7开发板。通信是通过串行USB链接进行的。选择了在特殊标记的着陆条上自动着陆的申请作为案例研究。在Zynq SoC平台上实施了着陆点检测算法。这样可以实时处理1280 x 720 @ 60 fps视频流。执行的测试表明，该系统正常工作，并且没有可能对控制的稳定性产生负面影响。所提出的概念的特征是相对简单和实施成本较低。同时，它可以应用于在嵌入式平台上实现的无人机测试各种类型的高级感知和控制算法。我们提供在GitHub上开发的代码，该代码包括在PC上运行的Python脚本和在Arty Z7上运行的C代码。

在复杂，非结构化和动态环境中导航的董事会机器人基于在线事件的感知技术可能会遭受进入事件速率及其处理时间的不可预测的变化，这可能会导致计算溢出或响应能力损失。本文提出了尽快的：一种新型的事件处理框架，该框架将事件传输到处理算法，保持系统响应能力并防止溢出。尽快由两种自适应机制组成。第一个通过丢弃传入事件的自适应百分比来防止事件处理溢出。第二种机制动态调整事件软件包的大小，以减少事件生成和处理之间的延迟。ASAP保证了收敛性，并且对处理算法具有灵活性。它已在具有挑战性的条件下在船上进行了验证。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

This paper presents a method for detection and recognition of traffic signs based on information extracted from an event camera. The solution used a FireNet deep convolutional neural network to reconstruct events into greyscale frames. Two YOLOv4 network models were trained, one based on greyscale images and the other on colour images. The best result was achieved for the model trained on the basis of greyscale images, achieving an efficiency of 87.03%.

脊椎动物视网膜在加工琐碎的视觉任务中是高效的，例如检测移动物体，但是现代计算机的复杂任务。对象运动的检测由名为对象 - 运动敏感神经节细胞（OMS-GC）的专用视网膜神经节细胞完成。 OMS-GC处理连续信号并生成由Visual Cortex后处理的尖峰模式。本工作中提出的神经晶杂交尖峰运动检测器（NeurohSMD）使用现场可编程门阵列（FPGA）加速了HSMD算法。混合尖峰运动检测器（HSMD）算法是增强动态背景减法（DBS）算法的混合算法，其具有定制的3层尖峰神经网络（SNN），该扫描神经网络（SNN）产生OMS-GC Spiking的响应。将NeurokSmd算法与HSMD算法进行比较，使用相同的2012年改变检测（CDNET2012）和2014更改检测（CDNET2014）基准数据集。结果表明，NeurohSMD在实时生产与HSMD算法相同的结果，而不会降低质量。此外，本文提出的NeurokSMD以开放的计算机语言（OpenCL）完全实现，因此在其他设备中容易复制，例如图形处理器单元（GPU）和中央处理器单元（CPU）的集群。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

通过在图像传感器设计中加入可编程的兴趣区域（ROI）读数来提高嵌入式视觉系统的能量效率的巨大范围。在这项工作中，我们研究如何利用ROI可编程性，以便通过预期ROI将位于未来帧中的位置并在该区域之外切换像素来进行跟踪应用程序。我们将ROI预测的该过程和对应的传感器配置称为自适应限制。我们的自适应数据采样算法包括对象检测器和ROI预测器（卡尔曼滤波器），其结合地操作以优化视觉管道的能量效率，其结束任务是对象跟踪。为了进一步促进现实生活中的自适应算法的实施，我们选择候选算法并将其映射到FPGA上。利用Xilinx血管AI工具，我们设计并加速了基于YOLO对象探测器的自适应数据采样算法。为了进一步改进算法的部署后，我们在OTB100和LASOT数据集中评估了几个竞争的基线。我们发现将ECO跟踪器与Kalman滤波器耦合，在OTB100和Lasot Datasets上具有0.4568和0.3471的竞争性AUC分数。此外，该算法的功率效率与另一个基线优于相同的情况，并且在几个外部的情况下。基于ECO的算法在两个数据集上发生大约4W的功耗，而基于YOLO的方法需要大约6 W的功耗（根据我们的功耗模型）。在精度延迟权衡方面，基于ECO的算法在管理达到竞争跟踪精度的同时提供近实时性能（19.23 FPS）。

更具体地说，神经系统能够简单有效地解决复杂的问题，超过现代计算机。在这方面，神经形态工程是一个研究领域，重点是模仿控制大脑的基本原理，以开发实现此类计算能力的系统。在该领域中，生物启发的学习和记忆系统仍然是要解决的挑战，这就是海马涉及的地方。正是大脑的区域充当短期记忆，从而从大脑皮层的所有感觉核中学习，非结构化和快速存储信息及其随后的回忆。在这项工作中，我们提出了一个基于海马的新型生物启发的记忆模型，具有学习记忆的能力，从提示中回顾它们（与其他内容相关的记忆的一部分），甚至在尝试时忘记记忆通过相同的提示学习其他人。该模型已在使用尖峰神经网络上在大型摩托车硬件平台上实现，并进行了一组实验和测试以证明其正确且预期的操作。所提出的基于SPIKE的内存模型仅在接收输入，能提供节能的情况下才能生成SPIKES，并且需要7个时间步，用于学习步骤和6个时间段来召回以前存储的存储器。这项工作介绍了基于生物启发的峰值海马记忆模型的第一个硬件实现，为开发未来更复杂的神经形态系统的发展铺平了道路。

我们提出了Neuricam，这是一种基于钥匙帧的视频超分辨率和着色系统，可从双模式IoT摄像机获得低功耗视频捕获。我们的想法是设计一个双模式摄像机系统，其中第一个模式是低功率（1.1〜MW），但仅输出灰度，低分辨率和嘈杂的视频，第二种模式会消耗更高的功率（100〜MW），但输出会输出。颜色和更高分辨率的图像。为了减少总能源消耗，我们在高功率模式下高功率模式仅输出图像每秒一次。然后将来自该相机系统的数据无线流传输到附近的插入网关，在那里我们运行实时神经网络解码器，以重建更高的分辨率颜色视频。为了实现这一目标，我们基于每个空间位置的特征映射和输入框架的内容之间的相关性，引入了一种注意力特征滤波器机制，该机制将不同的权重分配给不同的特征。我们使用现成的摄像机设计无线硬件原型，并解决包括数据包丢失和透视不匹配在内的实用问题。我们的评估表明，我们的双摄像机硬件可减少相机的能耗，同时在先前的视频超级分辨率方法中获得平均的灰度PSNR增益为3.7〜db，而在现有的颜色传播方法上，我们的灰度尺度PSNR增益为3.7 〜db。开源代码：https：//github.com/vb000/neuricam。

先进的可穿戴设备越来越多地利用高分辨率多摄像头系统。作为用于处理所得到的图像数据的最先进的神经网络是计算要求的，对于利用第五代（5G）无线连接和移动边缘计算，已经越来越感兴趣，以将该处理卸载到云。为了评估这种可能性，本文提出了一个详细的仿真和评估，用于5G无线卸载，用于对象检测，在一个名为Vis4ion的强大新型智能可穿戴物中，用于盲目损害（BVI）。目前的Vis4ion系统是一种具有高分辨率摄像机，视觉处理和触觉和音频反馈的仪表簿。本文认为将相机数据上载到移动边缘云以执行实时对象检测并将检测结果传输回可穿戴。为了确定视频要求，纸张评估视频比特率和分辨率对物体检测精度和范围的影响。利用与BVI导航相关的标记对象的新街道场景数据集进行分析。视觉评估与详细的全堆栈无线网络仿真结合，以确定吞吐量的分布和延迟，具有来自城市环境中的新高分辨率3D模型的实际导航路径和射线跟踪。为了比较，无线仿真考虑了标准的4G长期演进（LTE）载波和高速度5G毫米波（MMWAVE）载波。因此，该工作提供了对具有高带宽和低延迟要求的应用中的MMWAVE连接的边缘计算的彻底和现实评估。

基于von-neumann架构的传统计算系统，数据密集型工作负载和应用程序（如机器学习）和应用程序都是基本上限制的。随着数据移动操作和能量消耗成为计算系统设计中的关键瓶颈，对近数据处理（NDP），机器学习和特别是神经网络（NN）的加速器等非传统方法的兴趣显着增加。诸如Reram和3D堆叠的新兴内存技术，这是有效地架构基于NN的基于NN的加速器，因为它们的工作能力是：高密度/低能量存储和近记忆计算/搜索引擎。在本文中，我们提出了一种为NN设计NDP架构的技术调查。通过基于所采用的内存技术对技术进行分类，我们强调了它们的相似之处和差异。最后，我们讨论了需要探索的开放挑战和未来的观点，以便改进和扩展未来计算平台的NDP架构。本文对计算机学习领域的计算机架构师，芯片设计师和研究人员来说是有价值的。

在过去的几十年中，人工智能领域大大进展，灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中，我们开发了一个原始的脑激发神经模型，将自组织地图（SOM）和Hebbian学习在重新参与索马里（RESOM）模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比，该模型增强了最先进的结果。这项工作还通过在名为SPARP（自配置3D蜂窝自适应平台）的专用FPGA的平台上的模拟结果和硬件执行，演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连，以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果，通过专用串行链路在每个板之间的通信。由于多模式关联，所提出的统一架构，由RESOM模型和头皮硬件平台组成的精度显着提高，与集中式GPU实现相比，延迟和功耗之间的良好折衷。

最新的努力改善了满足当今应用程序要求的神经网络（NN）加速器的性能，这引起了基于逻辑NN推理的新趋势，该趋势依赖于固定功能组合逻辑。将如此大的布尔函数与许多输入变量和产品项绘制到现场可编程门阵列（FPGA）上的数字信号处理器（DSP）需要一个新颖的框架，考虑到此过程中DSP块的结构和可重构性。本文中提出的方法将固定功能组合逻辑块映射到一组布尔功能，其中与每个功能相对应的布尔操作映射到DSP设备，而不是FPGA上的查找表（LUTS），以利用高性能，DSP块的低潜伏期和并行性。 ％本文还提出了一种用于NNS编译和映射的创新设计和优化方法，并利用固定功能组合逻辑与DSP进行了使用高级合成流的FPGA上的DSP。 ％我们在几个\ revone {DataSets}上进行的实验评估和选定的NNS与使用DSP的基于ART FPGA的NN加速器相比，根据推理潜伏期和输出准确性，证明了我们框架的可比性。