我们建议第一个通过对弱的微型计算机进行深入学习的实时语义细分的系统,例如Raspberry Pi Zero Zero V2(其价格\ 15美元)附加到玩具无人机上。特别是,由于Raspberry Pi的重量不到$ 16 $,并且其大小是信用卡的一半,因此我们可以轻松地将其连接到普通的商业DJI Tello玩具器中(<\ $ 100,<90克,98 $ \ \时间$ 92.5 $ \ times $ 41毫米)。结果是可以从板载单眼RGB摄像头(无GPS或LIDAR传感器)实时检测和分类对象的自动无人机(无笔记本电脑或人类)。伴侣视频展示了这款Tello无人机如何扫描实验室的人(例如使用消防员或安全部队)以及在实验室外的空停车位。现有的深度学习解决方案要么在这种物联网设备上实时计算要么太慢,要么提供不切实际的质量结果。我们的主要挑战是设计一个系统,该系统在网络,深度学习平台/框架,压缩技术和压缩比的众多组合中占有最好的选择。为此,我们提供了一种有效的搜索算法,旨在找到最佳组合,从而导致网络运行时间与其准确性/性能之间的最佳权衡。
translated by 谷歌翻译
Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.
translated by 谷歌翻译
Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.
translated by 谷歌翻译
自治机器人目前是最受欢迎的人工智能问题之一,在过去十年中,从自动驾驶汽车和人形系统到交付机器人和无人机,这是一项最受欢迎的智能问题。部分问题是获得一个机器人,以模仿人类的感知,我们的视觉感,用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题,因此来自感知和视觉的观点来看,这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术,机器学习和各种算法来实现对环境感知的关注,使机器人理解环境或场景,移动,调整其轨迹并执行其任务(维护,探索,等。)无需人为干预。在这项工作中,我们从头开始开发一个小型自动车辆,能够仅使用视觉信息理解场景,通过工业环境导航,检测人员和障碍,或执行简单的维护任务。我们审查了基本问题的最先进问题,并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后,我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。
translated by 谷歌翻译
Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.
translated by 谷歌翻译
深度学习技术在各种任务中都表现出了出色的有效性,并且深度学习具有推进多种应用程序(包括在边缘计算中)的潜力,其中将深层模型部署在边缘设备上,以实现即时的数据处理和响应。一个关键的挑战是,虽然深层模型的应用通常会产生大量的内存和计算成本,但Edge设备通常只提供非常有限的存储和计算功能,这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案,以释放边缘设备的潜力,同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计,这些模型轻巧,仅需少量存储,并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较,这些指标通常用于量化模型在有效性,轻度和计算成本方面的水平。然后,该调查涵盖了深层设计自动化技术的三类最新技术:自动化神经体系结构搜索,自动化模型压缩以及联合自动化设计和压缩。最后,调查涵盖了未来研究的开放问题和方向。
translated by 谷歌翻译
现代设备(例如智能手机,卫星和医疗设备)中的摄像机能够捕获非常高分辨率的图像和视频。这种高分辨率数据通常需要通过深度学习模型来处理癌症检测,自动化道路导航,天气预测,监视,优化农业过程和许多其他应用。使用高分辨率的图像和视频作为深度学习模型的直接输入,由于其参数数量大,计算成本,推理延迟和GPU内存消耗而造成了许多挑战。简单的方法(例如将图像调整为较低的分辨率大小)在文献中很常见,但是它们通常会显着降低准确性。文献中的几项作品提出了更好的替代方案,以应对高分辨率数据的挑战并提高准确性和速度,同时遵守硬件限制和时间限制。这项调查描述了这种高效的高分辨率深度学习方法,总结了高分辨率深度学习的现实应用程序,并提供了有关可用高分辨率数据集的全面信息。
translated by 谷歌翻译
近年来,无人驾驶航空公司(无人机)的扩散急剧增加。无人机可以以可靠且具有成本效益的方式完成复杂或危险的任务,但仍然受到功耗问题的限制,这对飞行持续时间和能源苛刻任务的完成构成了严重的限制。以能源有效的方式提供具有高级决策功能的无人机的可能性是非常有益的。在本文中,我们提出了一个实际的解决方案,对这个问题进行了深入学习的问题。开发系统将OpenMV微控制器集成到DJI Tello Micro Acial车辆(MAV)中。微控制器托管一组机器学习的推理工具,协作控制无人机的导航并完成给定的任务目标。这种方法的目标是利用TINYML的新机遇特征通过OpenMV,包括离线推断,低延迟,能效和数据安全性。该方法在实际应用程序上成功验证,该应用程序包括在拥挤环境中穿着保护面具的人们的船上检测。
translated by 谷歌翻译
对将AI功能从云上的数据中心转移到边缘或最终设备的需求越来越大,这是由在智能手机,AR/VR设备,自动驾驶汽车和各种汽车上运行的快速实时AI的应用程序举例说明的。物联网设备。然而,由于DNN计算需求与边缘或最终设备上的计算能力之间的较大增长差距,这种转变受到了严重的阻碍。本文介绍了XGEN的设计,这是DNN的优化框架,旨在弥合差距。 XGEN将横切共同设计作为其一阶考虑。它的全栈AI面向AI的优化包括在DNN软件堆栈的各个层的许多创新优化,所有这些优化都以合作的方式设计。独特的技术使XGEN能够优化各种DNN,包括具有极高深度的DNN(例如Bert,GPT,其他变形金刚),并生成代码比现有DNN框架中的代码快几倍,同时提供相同的准确性水平。
translated by 谷歌翻译
纳米大小的无人机具有探索未知和复杂环境的巨大潜力。它们的尺寸很小,使它们敏捷且安全地靠近人类,并使他们能够穿过狭窄的空间。但是,它们的尺寸很小和有效载荷限制了板载计算和传感的可能性,从而使完全自主的飞行极具挑战性。迈向完全自主权的第一步是可靠的避免障碍,这在通用的室内环境中被证明在技术上具有挑战性。当前的方法利用基于视觉或一维传感器来支持纳米无人机感知算法。这项工作为基于新颖的毫米尺寸64像素多区域飞行时间(TOF)传感器和通用的无模型控制策略提供了轻巧的避免障碍系统。报告的现场测试基于Crazyflie 2.1,该测试由定制的多区TOF甲板扩展,总质量为35克。该算法仅使用0.3%的车载处理能力(210US执行时间),帧速率为15fps,为许多未来应用提供了绝佳的基础。运行提出的感知系统(包括抬起和操作传感器)所需的总无人机功率不到10%。在通用且以前未开发的室内环境中,提出的自动纳米大小无人机以0.5m/s的速度达到100%可靠性。所提出的系统释放出具有广泛数据集的开源,包括TOF和灰度摄像头数据,并与运动捕获中的无人机位置地面真相结合在一起。
translated by 谷歌翻译
机器学习的进步为低端互联网节点(例如微控制器)带来了新的机会,将情报带入了情报。传统的机器学习部署具有较高的记忆力,并计算足迹阻碍了其在超资源约束的微控制器上的直接部署。本文强调了为MicroController类设备启用机载机器学习的独特要求。研究人员为资源有限的应用程序使用专门的模型开发工作流程,以确保计算和延迟预算在设备限制之内,同时仍保持所需的性能。我们表征了微控制器类设备的机器学习模型开发的广泛适用的闭环工作流程,并表明几类应用程序采用了它的特定实例。我们通过展示多种用例,将定性和数值见解介绍到模型开发的不同阶段。最后,我们确定了开放的研究挑战和未解决的问题,要求仔细考虑前进。
translated by 谷歌翻译
在这项工作中,我们呈现了DCC(更深层兼容的压缩),用于实时无人机的辅助边缘辅助视频分析的一个启用技术,内置于现有编解码器之上。DCC解决了一个重要的技术问题,以将流动的视频从无人机压缩到边缘,而不会严格地在边缘执行的视频分析任务的准确性和及时性。DCC通过流式视频中的每一位对视频分析同样有价值,这是对视频分析的同样有价值,这在传统的分析透视技术编解码器技术上打开了新的压缩室。我们利用特定的无人机的上下文和中级提示,从物体检测中追求保留分析质量所需的自适应保真度。我们在一个展示车辆检测应用中有原型DCC,并验证了其代表方案的效率。DCC通过基线方法减少9.5倍,在最先进的检测精度上,19-683%的速度减少了9.5倍。
translated by 谷歌翻译
In recent decades, several assistive technologies for visually impaired and blind (VIB) people have been developed to improve their ability to navigate independently and safely. At the same time, simultaneous localization and mapping (SLAM) techniques have become sufficiently robust and efficient to be adopted in the development of assistive technologies. In this paper, we first report the results of an anonymous survey conducted with VIB people to understand their experience and needs; we focus on digital assistive technologies that help them with indoor and outdoor navigation. Then, we present a literature review of assistive technologies based on SLAM. We discuss proposed approaches and indicate their pros and cons. We conclude by presenting future opportunities and challenges in this domain.
translated by 谷歌翻译
现在,诸如无人机之类的无人机,从捕获和目标检测的各种目的中,从Ariel Imagery等捕获和目标检测的各种目的很大使用。轻松进入这些小的Ariel车辆到公众可能导致严重的安全威胁。例如,可以通过使用无人机在公共公共场合中混合的间谍来监视关键位置。在手中研究提出了一种改进和高效的深度学习自治系统,可以以极大的精度检测和跟踪非常小的无人机。建议的系统由自定义深度学习模型Tiny Yolov3组成,其中一个非常快速的物体检测模型的口味之一,您只能构建并用于检测一次(YOLO)。物体检测算法将有效地检测无人机。与以前的Yolo版本相比,拟议的架构表现出显着更好的性能。在资源使用和时间复杂性方面观察到改进。使用召回和精度分别为93%和91%的测量来测量性能。
translated by 谷歌翻译
通过在计算机视觉(CV)领域深度学习算法的良好性能,卷积神经网络(CNN)体系结构已成为计算机视觉任务的主要骨干。随着移动设备的广泛使用,基于计算能力低的平台的神经网络模型逐渐引起人们的注意。但是,由于计算能力的限制,移动设备上通常无法使用深度学习算法。本文提出了一个轻巧的卷积神经网络TripLenet,可以在Raspberry Pi上轻松运行。从阈值中的块连接概念中采用,新提出的网络模型会压缩并加速网络模型,减少网络的参数量,并在确保准确性的同时缩短每个图像的推理时间。我们提出的TripLenet和其他最先进的(SOTA)神经网络在Raspberry Pi上使用CIFAR-10和SVHN数据集进行了图像分类实验。实验结果表明,与GhostNet,Mobilenet,Theashnet,EdefityNet和HardNet相比,每图像的推理时间分别缩短了15%,16%,17%,24%和30%。
translated by 谷歌翻译
We focus on the challenging task of real-time semantic segmentation in this paper. It finds many practical applications and yet is with fundamental difficulty of reducing a large portion of computation for pixel-wise label inference. We propose an image cascade network (ICNet) that incorporates multi-resolution branches under proper label guidance to address this challenge. We provide in-depth analysis of our framework and introduce the cascade feature fusion unit to quickly achieve highquality segmentation. Our system yields real-time inference on a single GPU card with decent quality results evaluated on challenging datasets like Cityscapes, CamVid and COCO-Stuff.
translated by 谷歌翻译
在微型微控制器单元(MCUS)上运行深层神经网络(DNNS),由于其计算,内存和存储容量的局限性。幸运的是,MCU硬件和机器学习软件框架的最新进展使得在现代MCUS上运行相当复杂的神经网络成为可能,从而导致了一个新的研究领域,被称为Tinyml。然而,很少有研究表明在网络物理系统(CPS)中使用替符的可能性。在本文中,我们提出了一种小型的自动驾驶RC汽车测试床Deeppicarmicro,它在Raspberry Pi Pico MCU上运行卷积神经网络(CNN)。我们应用最先进的DNN优化,以成功地拟合著名的Pilotnet CNN体系结构,该体系结构用于在MCU上驾驶NVIDIA的真正自动驾驶汽车。我们应用最先进的网络体系结构搜索(NAS)方法来找到进一步的优化网络,这些网络可以有效地实时控制汽车。从一项广泛的系统实验评估研究中,我们观察到系统的准确性,延迟和控制性能之间的有趣关系。由此,我们提出了一种联合优化策略,该策略在启用AI的CPS网络体系结构搜索过程中同时采用了模型的准确性和延迟。
translated by 谷歌翻译
可以使用具有快速有效分割网络的深度学习方法来实施医疗图像分割。单板计算机(SBC)由于内存和处理限制而难以用于训练深网。诸如Google Edge TPU之类的特定硬件使其适合使用复杂的预训练网络进行实时预测。在这项工作中,我们研究了两个SBC的性能,具有和不进行硬件加速度进行底面图像分割,尽管这项研究的结论可以通过其他类型的医学图像的深层神经网络应用于分割。为了测试硬件加速的好处,我们使用先前已发布的工作中的网络和数据集,并通过使用具有超声甲状腺图像的数据集进行测试来概括它们。我们在SBC中测量预测时间,并将其与基于云的TPU系统进行比较。结果表明,使用Edge TPU,机器学习加速SBC的可行性可加速光盘和杯赛分段,每图像可获得低于25毫秒的时间。
translated by 谷歌翻译
通过流行和通用的计算机视觉挑战来判断,如想象成或帕斯卡VOC,神经网络已经证明是在识别任务中特别准确。然而,最先进的准确性通常以高计算价格出现,需要硬件加速来实现实时性能,而使用案例(例如智能城市)需要实时分析固定摄像机的图像。由于网络带宽的数量,这些流将生成,我们不能依赖于卸载计算到集中云。因此,预期分布式边缘云将在本地处理图像。但是,边缘是由性质资源约束的,这给了可以执行的计算复杂性限制。然而,需要边缘与准确的实时视频分析之间的会面点。专用轻量级型号在每相机基础上可能有所帮助,但由于相机的数量增长,除非该过程是自动的,否则它很快就会变得不可行。在本文中,我们展示并评估COVA(上下文优化的视频分析),这是一个框架,可以帮助在边缘相机中自动专用模型专业化。 COVA通过专业化自动提高轻质模型的准确性。此外,我们讨论和审查过程中涉及的每个步骤,以了解每个人所带来的不同权衡。此外,我们展示了静态相机的唯一假设如何使我们能够制定一系列考虑因素,这大大简化了问题的范围。最后,实验表明,最先进的模型,即能够概括到看不见的环境,可以有效地用作教师以以恒定的计算成本提高较小网络的教师,提高精度。结果表明,我们的COVA可以平均提高预先训练的型号的准确性,平均为21%。
translated by 谷歌翻译
The ubiquity of camera-embedded devices and the advances in deep learning have stimulated various intelligent mobile video applications. These applications often demand on-device processing of video streams to deliver real-time, high-quality services for privacy and robustness concerns. However, the performance of these applications is constrained by the raw video streams, which tend to be taken with small-aperture cameras of ubiquitous mobile platforms in dim light. Despite extensive low-light video enhancement solutions, they are unfit for deployment to mobile devices due to their complex models and and ignorance of system dynamics like energy budgets. In this paper, we propose AdaEnlight, an energy-aware low-light video stream enhancement system on mobile devices. It achieves real-time video enhancement with competitive visual quality while allowing runtime behavior adaptation to the platform-imposed dynamic energy budgets. We report extensive experiments on diverse datasets, scenarios, and platforms and demonstrate the superiority of AdaEnlight compared with state-of-the-art low-light image and video enhancement solutions.
translated by 谷歌翻译