自主机时代的一个主要技术挑战是自动驾驶机器的编程，它要求跨多个领域的协同作用，包括基本的计算机科学，计算机架构和机器人技术，并且需要学术界和行业的专业知识。本文讨论了与生产现实生活自动驾驶机器相关的编程理论和实践，并在特定功能要求，性能期望和自主机的实施约束的背景下涵盖了从高级概念到低级代码生成的各个方面。

商业自主机器是一个蓬勃发展的扇区，它可能是下一个无处不在的计算平台，它是在个人计算机（PC），云计算和移动计算之后的。然而，缺少适用于自动机器的合适计算基板，许多公司被迫开发既不原则也不可扩展的临时计算解决方案。通过分析自动机器计算的需求，本文提出了数据流加速器体系结构（DAA），这是经典数据流原理的现代实例化，与自动机器软件的特性相匹配。

感官反应系统（例如机器人技术和AR/VR）必须采取高度响应的实时操作，这是由涉及感应，感知，计划和反应任务的复杂决策驱动的。这些任务必须安排在资源约束的设备上，以便满足应用程序的性能目标和要求。这是一个困难的调度问题，需要处理多个调度维度以及资源使用和可用性的变化。实际上，系统设计师手动调整其特定硬件和应用参数，从而导致泛化不良并增加了开发负担。在这项工作中，我们强调了在有感觉反应系统中在运行时安排CPU资源的新兴需求。我们研究三个规范应用程序（面部跟踪，机器人导航和VR），以首先了解此类系统的关键调度要求。凭借这种理解，我们开发了一个调度框架Catan，该框架动态调度了在应用程序的不同组件上计算资源，以满足指定的应用程序要求。通过在广泛使用的机器人技术框架（ROS）和开源AR/VR平台上实施的原型实验，我们显示了系统计划对达到三个应用程序的性能目标的影响，Catan能够更好地取得更好的成就应用程序性能比手工调整的配置以及如何动态适应运行时变化。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

在新兴应用中，自主机器人对日常生活的潜在影响是明显的，如精密农业，搜救，救援和基础设施检查。然而，这种应用需要在不明和复杂的一组目标中具有广泛而非结构化的环境，所有这些应用都在严格的计算和功率限制下。因此，我们认为必须安排和优化支持机器人自主权的计算内核，以保证及时和正确的行为，同时允许在运行时重新配置调度参数。在本文中，我们考虑了一个必要的第一步，迈出了自主机器人的计算意识的目标：从资源管理角度来看，基础计算内核的实证研究。具体地，我们对三个嵌入式计算平台进行了用于定位和映射，路径规划，任务分配，深度估计和光流的核的定时，电源和内存性能的数据驱动的研究。我们配置文件并分析这些内核，为计算感知自治机器人提供了解调度和动态资源管理的洞察。值得注意的是，我们的结果表明，内核性能与机器人的运营环境有关，证明了计算感知机器人的概念以及为什么我们的作品对这一目标的关键步骤。

深度神经网络（DNN）由于其高度的感知，决策和控制而被广泛用于自主驾驶中。在诸如自动驾驶之类的安全至关重要系统中，实时执行感测和感知等任务对于车辆的安全至关重要，这需要应用程序的执行时间才能预测。但是，在DNN推断中观察到不可忽略的时间变化。当前的DNN推理研究要么忽略时间变化问题，要么依靠调度程序来处理它。当前的工作都没有解释DNN推理时间变化的根本原因。了解DNN推理的时间变化成为自动驾驶实时计划的基本挑战。在这项工作中，我们从六个角度分析了DNN推断的时间变化：数据，I/O，模型，运行时，硬件和端到端感知系统。在理解DNN推断的时间变化方面得出了六个见解。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

已知尝试构建自主机器人依赖复杂的控制架构，通常使用机器人操作系统平台（ROS）实现。在这些系统中需要运行时适应，以应对组件故障，并使用动态环境引起的突发事件 - 否则，这些系统会影响任务执行的可靠性和质量。关于如何在机器人中构建自适应系统的现有提案通常需要重大重新设计控制架构，并依赖于对机器人社区不熟悉的复杂工具。此外，它们很难重复使用应用程序。本文介绍了MRO：基于ROS的机器人控制架构的运行时调整的基于模型的框架。 MRO使用域特定语言的组合来模拟架构变体，并捕获任务质量问题，以及基于本体的Mape-K和Meta-Contoil Visions的运行时适应的愿望。在两个现实ROS的机器人示范器中施加MRO的实验结果在特派团执行的质量方面，展示了我们的方法的好处，以及机器人应用程序的MROS的可扩展性和可重复性。

There is an increasing need to bring machine learning to a wide diversity of hardware devices. Current frameworks rely on vendor-specific operator libraries and optimize for a narrow range of server-class GPUs. Deploying workloads to new platforms -such as mobile phones, embedded devices, and accelerators (e.g., FPGAs, ASICs) -requires significant manual effort. We propose TVM, a compiler that exposes graph-level and operator-level optimizations to provide performance portability to deep learning workloads across diverse hardware back-ends. TVM solves optimization challenges specific to deep learning, such as high-level operator fusion, mapping to arbitrary hardware primitives, and memory latency hiding. It also automates optimization of low-level programs to hardware characteristics by employing a novel, learning-based cost modeling method for rapid exploration of code optimizations. Experimental results show that TVM delivers performance across hardware back-ends that are competitive with state-ofthe-art, hand-tuned libraries for low-power CPU, mobile GPU, and server-class GPUs. We also demonstrate TVM's ability to target new accelerator back-ends, such as the FPGA-based generic deep learning accelerator.The system is open sourced and in production use inside several major companies.

机器人系统的长期自主权隐含地需要可靠的平台，这些平台能够自然处理硬件和软件故障，行为问题或缺乏知识。基于模型的可靠平台还需要在系统开发过程中应用严格的方法，包括使用正确的构造技术来实现机器人行为。随着机器人的自治水平的提高，提供系统可靠性的提供成本也会增加。我们认为，自主机器人的可靠性可靠性可以从几种认知功能，知识处理，推理和元评估的正式模型中受益。在这里，我们为自动机器人代理的认知体系结构的生成模型提出了案例，该模型订阅了基于模型的工程和可靠性，自主计算和知识支持机器人技术的原则。

对将AI功能从云上的数据中心转移到边缘或最终设备的需求越来越大，这是由在智能手机，AR/VR设备，自动驾驶汽车和各种汽车上运行的快速实时AI的应用程序举例说明的。物联网设备。然而，由于DNN计算需求与边缘或最终设备上的计算能力之间的较大增长差距，这种转变受到了严重的阻碍。本文介绍了XGEN的设计，这是DNN的优化框架，旨在弥合差距。 XGEN将横切共同设计作为其一阶考虑。它的全栈AI面向AI的优化包括在DNN软件堆栈的各个层的许多创新优化，所有这些优化都以合作的方式设计。独特的技术使XGEN能够优化各种DNN，包括具有极高深度的DNN（例如Bert，GPT，其他变形金刚），并生成代码比现有DNN框架中的代码快几倍，同时提供相同的准确性水平。

In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

计算机架构和系统已优化了很长时间，以便高效执行机器学习（ML）模型。现在，是时候重新考虑ML和系统之间的关系，并让ML转换计算机架构和系统的设计方式。这有一个双重含义：改善设计师的生产力，以及完成良性周期。在这篇论文中，我们对应用ML进行计算机架构和系统设计的工作进行了全面的审查。首先，我们考虑ML技术在架构/系统设计中的典型作用，即快速预测建模或设计方法，我们执行高级分类学。然后，我们总结了通过ML技术解决的计算机架构/系统设计中的常见问题，并且所用典型的ML技术来解决它们中的每一个。除了在狭义中强调计算机架构外，我们采用数据中心可被认为是仓库规模计算机的概念;粗略的计算机系统中提供粗略讨论，例如代码生成和编译器;我们还注意ML技术如何帮助和改造设计自动化。我们进一步提供了对机会和潜在方向的未来愿景，并设想应用ML的计算机架构和系统将在社区中蓬勃发展。

边缘计算是一项有前途的技术，可以在需要瞬时数据处理的技术领域提供新功能。机器和深度学习等领域的研究人员对其应用程序进行了广泛的边缘和云计算，这主要是由于他们提供的大量计算和存储资源。目前，机器人技术也正在寻求利用这些功能，并且随着5G网络的开发，可以克服该领域的一些现有限制。在这种情况下，重要的是要知道如何利用新兴的边缘体系结构，当今存在哪些类型的边缘体系结构和平台，以及哪些可以并且应该基于每个机器人应用程序使用。一般而言，边缘平台可以以不同的方式实现和使用，尤其是因为有几个提供商提供或多或少提供的一组服务以及一些基本差异。因此，本研究针对那些从事下一代机器人系统开发的人解决了这些讨论，并将有助于理解每个边缘计算体系结构的优势和缺点，以便明智地选择适合每个应用程序的功能。

即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中，我们面临各种工程挑战，因为它以有益的方式协调所体现的系统的行为至关重要，确保他们与我们以人为本的社会价值观的兼容性，并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说，引发系统工程将来自嵌入到体现系统的温室，并确保动态联合的可信度，这种情况意识到的情境意识，意图，探索，探险，不断发展，主要是不可预测的，越来越自主的体现系统在不确定，复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战，包括可信赖的体现系统，包括强大而人为的AI，认知架构，不确定性量化，值得信赖的自融化以及持续的分析和保证。

机器学习的进步为低端互联网节点（例如微控制器）带来了新的机会，将情报带入了情报。传统的机器学习部署具有较高的记忆力，并计算足迹阻碍了其在超资源约束的微控制器上的直接部署。本文强调了为MicroController类设备启用机载机器学习的独特要求。研究人员为资源有限的应用程序使用专门的模型开发工作流程，以确保计算和延迟预算在设备限制之内，同时仍保持所需的性能。我们表征了微控制器类设备的机器学习模型开发的广泛适用的闭环工作流程，并表明几类应用程序采用了它的特定实例。我们通过展示多种用例，将定性和数值见解介绍到模型开发的不同阶段。最后，我们确定了开放的研究挑战和未解决的问题，要求仔细考虑前进。

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。

丹尼德缩放结束和摩尔法的放缓使能量使用数据中心在不可持续的道路上。数据中心已经是全球电力使用的大部分，应用需求以快速缩放。我们认为，数据中心计算的碳强度的大幅减少可以通过以软件为中心的方法来实现：通过修改系统API，通过修改系统API来使应用程序开发人员可见的能量和碳，使其成为可能进行知情的贸易性能和碳排放之间，并通过提高应用程序编程水平，以便灵活地使用更节能的计算和存储方法。我们还为系统软件奠定了一个研究议程，以减少数据中心计算的碳足迹。