人类比赛无人机比针对端到端自治飞行所培训的神经网络更快。这可能与人类飞行员有效地选择任务相关的视觉信息的能力有关。这项工作调查了能够模仿人眼凝视行为和注意力的神经网络可以提高基于视觉的自主无人机赛车的挑战性的神经网络性能。我们假设基于凝视的注意预测可以是基于模拟器的无人机赛任务中的视觉信息选择和决策的有效机制。我们使用来自18个人的无人机飞行员的眼睛凝视和飞行轨迹数据来测试这个假设，以培训视觉注意预测模型。然后，我们使用这种视觉注意预测模型来使用模仿学习训练基于视觉的自主无人机赛车的端到端控制器。我们将注意力预测控制器的无人机赛竞赛性能与使用原始图像输入和基于图像的抽象（即，特征曲目）进行比较。我们的研究结果表明，关注预测的控制器优于基线，能够始终如一地完成挑战性的竞赛赛道，最高可达88％的成功率。此外，当在对凝固参考轨迹进行评估时，视觉注意力预测和基于特征轨迹的模型显示出比基于图像的模型更好的泛化性能。我们的结果表明，人类视觉注意力预测可提高基于视觉视觉的无人机赛车的性能，为最终可以达到甚至超过人类性能的基于视觉，快速和敏捷的自主飞行提供了重要步骤。

我们解决了在存在障碍物的情况下，通过一系列航路点来解决四肢飞行的最低时间飞行问题，同时利用了完整的四型动力学。早期作品依赖于简化的动力学或多项式轨迹表示，而这些动力学或多项式轨迹表示，这些表示没有利用四四光的全部执行器电位，因此导致了次优溶液。最近的作品可以计划最小的时间轨迹；然而，轨迹是通过无法解释障碍的控制方法执行的。因此，由于模型不匹配和机上干扰，成功执行此类轨迹很容易出现错误。为此，我们利用深厚的强化学习和经典的拓扑路径计划来训练强大的神经网络控制器，以在混乱的环境中为最少的四型四型飞行。由此产生的神经网络控制器表现出比最新方法相比，高达19％的性能要高得多。更重要的是，博学的政策同时在线解决了计划和控制问题，以解决干扰，从而实现更高的鲁棒性。因此，提出的方法在没有碰撞的情况下实现了100％的最低时间策略的成功率，而传统的计划和控制方法仅获得40％。所提出的方法在模拟和现实世界中均已验证，四速速度高达42公里/小时，加速度为3.6g。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

在自主和移动机器人技术中，主要挑战之一是对环境的坚强感知，通常是未知和动态的，例如自主无人机赛车。在这项工作中，我们提出了一种新型的基于神经网络的感知方法，用于赛车门检测 - 铅笔网 - 依赖于铅笔过滤器顶部的轻质神经网络骨架。这种方法统一了对盖茨的2D位置，距离和方向的预测。我们证明我们的方法对于不需要任何现实世界训练样本的零射击SIM到运行转移学习有效。此外，与最先进的方法相比，在快速飞行下通常看到的照明变化非常强大。一组彻底的实验证明了这种方法在多种挑战的情况下的有效性，在多种挑战性的情况下，无人机在不同的照明条件下完成了各种轨道。

本报告提出了微型航空车辆（MAV）自主导航的组合最优控制和感知框架在新颖的室内封闭环境中，专门用于车载传感器数据。我们使用模拟器的特权信息来为我们的感知系统生成3D空间中的最佳航点，以便我们学会模仿。培训的基于学习的感知模块又能够单独生成类似障碍避免从传感器数据（RGB + IMU）的航点。我们展示了框架跨IGIBSON模拟环境中的新颖场景的功效。

Recently, learning-based controllers have been shown to push mobile robotic systems to their limits and provide the robustness needed for many real-world applications. However, only classical optimization-based control frameworks offer the inherent flexibility to be dynamically adjusted during execution by, for example, setting target speeds or actuator limits. We present a framework to overcome this shortcoming of neural controllers by conditioning them on an auxiliary input. This advance is enabled by including a feature-wise linear modulation layer (FiLM). We use model-free reinforcement-learning to train quadrotor control policies for the task of navigating through a sequence of waypoints in minimum time. By conditioning the policy on the maximum available thrust or the viewing direction relative to the next waypoint, a user can regulate the aggressiveness of the quadrotor's flight during deployment. We demonstrate in simulation and in real-world experiments that a single control policy can achieve close to time-optimal flight performance across the entire performance envelope of the robot, reaching up to 60 km/h and 4.5g in acceleration. The ability to guide a learned controller during task execution has implications beyond agile quadrotor flight, as conditioning the control policy on human intent helps safely bringing learning based systems out of the well-defined laboratory environment into the wild.

Aerial view of test environment (b) Vision-based driving, view from onboard camera (c) Side view of vehicle Fig. 1. Conditional imitation learning allows an autonomous vehicle trained end-to-end to be directed by high-level commands. (a) We train and evaluate robotic vehicles in the physical world (top) and in simulated urban environments (bottom). (b) The vehicles drive based on video from a forward-facing onboard camera. At the time these images were taken, the vehicle was given the command "turn right at the next intersection". (c) The trained controller handles sensorimotor coordination (staying on the road, avoiding collisions) and follows the provided commands.

本文提出了针对四方的通用自适应控制器，可以将其部署为零射击到具有截然不同的质量，手臂长度和运动常数的四轮驱动器，并且还显示出对运行时未知干扰的快速适应。核心算法的想法是学习一个单一的策略，该策略不仅可以在测试时间在线适应无人机的干扰，还可以在同一框架中适用于机器人动力学和硬件。我们通过训练神经网络来估计机器人和环境参数的潜在表示，该参数用于调节控制器的行为，也表示为神经网络。我们专门训练两个网络进行模拟，目的是将四轮驱动器飞往目标位置并避免撞击地面。我们直接在模拟中训练了相同的控制器，而没有对两个四肢旋转器进行任何修改，其中质量，惯性差异差异，最大电动机速度最大为4次。此外，我们显示了四肢和惯性的突然和大型干扰（最高35.7％）的快速适应。我们在模拟和物理世界中进行了广泛的评估，在该评估中，我们的表现优于最先进的基于学习的自适应控制器和专门针对每个平台的传统PID控制器。视频结果可以在https://dz298.github.io/universal-drone-controller/上找到。

纳米大小的无人机具有探索未知和复杂环境的巨大潜力。它们的尺寸很小，使它们敏捷且安全地靠近人类，并使他们能够穿过狭窄的空间。但是，它们的尺寸很小和有效载荷限制了板载计算和传感的可能性，从而使完全自主的飞行极具挑战性。迈向完全自主权的第一步是可靠的避免障碍，这在通用的室内环境中被证明在技术上具有挑战性。当前的方法利用基于视觉或一维传感器来支持纳米无人机感知算法。这项工作为基于新颖的毫米尺寸64像素多区域飞行时间（TOF）传感器和通用的无模型控制策略提供了轻巧的避免障碍系统。报告的现场测试基于Crazyflie 2.1，该测试由定制的多区TOF甲板扩展，总质量为35克。该算法仅使用0.3％的车载处理能力（210US执行时间），帧速率为15fps，为许多未来应用提供了绝佳的基础。运行提出的感知系统（包括抬起和操作传感器）所需的总无人机功率不到10％。在通用且以前未开发的室内环境中，提出的自动纳米大小无人机以0.5m/s的速度达到100％可靠性。所提出的系统释放出具有广泛数据集的开源，包括TOF和灰度摄像头数据，并与运动捕获中的无人机位置地面真相结合在一起。

我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策，该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策，在具有现实的四轮流物理学的模拟环境中训练，展示了先进的植绒行为，在紧张的地层中执行侵略性的操作，同时避免彼此的碰撞，破裂和重新建立地层，以避免与移动障碍的碰撞，并有效地协调追求障碍，并有效地协调追求逃避任务。在模拟中，我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示，在https://sites.google.com/view/swarm-rl上获得。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体

我们解决了动态环境中感知力的问题。在这个问题中，四足动物的机器人必须对环境混乱和移动的障碍物表现出强大而敏捷的步行行为。我们提出了一个名为Prelude的分层学习框架，该框架将感知力的问题分解为高级决策，以预测导航命令和低级步态生成以实现目标命令。在此框架中，我们通过在可进入手推车上收集的人类示范和使用加固学习（RL）的低级步态控制器（RL）上收集的人类示范中的模仿学习来训练高级导航控制器。因此，我们的方法可以从人类监督中获取复杂的导航行为，并从反复试验中发现多功能步态。我们证明了方法在模拟和硬件实验中的有效性。可以在https://ut-aut-autin-rpl.github.io/prelude上找到视频和代码。

二次运动的准确轨迹跟踪控制对于在混乱环境中的安全导航至关重要。但是，由于非线性动态，复杂的空气动力学效应和驱动约束，这在敏捷飞行中具有挑战性。在本文中，我们通过经验比较两个最先进的控制框架：非线性模型预测控制器（NMPC）和基于差异的控制器（DFBC），通过以速度跟踪各种敏捷轨迹，最多20 m/s（即72 km/h）。比较在模拟和现实世界环境中进行，以系统地评估这两种方法从跟踪准确性，鲁棒性和计算效率的方面。我们以更高的计算时间和数值收敛问题的风险来表明NMPC在跟踪动态不可行的轨迹方面的优势。对于这两种方法，我们还定量研究了使用增量非线性动态反演（INDI）方法添加内环控制器的效果，以及添加空气动力学阻力模型的效果。我们在世界上最大的运动捕获系统之一中进行的真实实验表明，NMPC和DFBC的跟踪误差降低了78％以上，这表明有必要使用内环控制器和用于敏捷轨迹轨迹跟踪的空气动力学阻力模型。

深度加强学习算法需要大型和多样化的数据集，以便学习基于感知的移动导航的成功策略。但是，通过单个机器人收集此类数据集可能会非常昂贵。使用多个不同的机器人平台收集数据可能不同的动态是一种更可扩展的大规模数据收集方法。但是深度加强学习算法如何利用这种异构数据集？在这项工作中，我们提出了一种具有分层集成模型（提示）的深增强学习算法。在培训时间，提示了解单独的感知和动态模型，并且在测试时间内，提示以分层方式集成了两个模型，并计划使用集成模型的操作。这种使用分层集成模型的规划方法允许算法在由各种不同平台收集的数据集上训练，同时尊重部署机器人的物理功能在测试时间。我们的移动导航实验表明，提示优于传统的等级政策和单源方法。

仿真与现实世界之间的差距在计算机视觉和加强学习中抑制了许多机器学习突破，从适用于现实世界。在这项工作中，我们对基于相机导航的具体情况进行了解决这个差距，将其制定为遵循与任意背景的前景中的视觉提示。前景中的视觉提示通常可以逼真地模拟，例如线，门或锥体。然后挑战在于应对未知背景并整合两者。因此，目标是培训在空模拟环境中捕获的数据的视觉代理，除了这个前景提示并直接在视觉各种现实世界中测试此模型。为了弥合这一巨大差距，我们表明它是结合以下技术的重要意义：随机增强前后背景，正规化与深度监督和三态丢失，并通过使用航点而不是直接速度命令来最终抽象动态。各种技术在我们的实验结果中被定性，定量最终展示从模拟到现实世界的成功转移。

仿真是对机器人系统（例如自动驾驶汽车）进行扩展验证和验证的关键。尽管高保真物理和传感器模拟取得了进步，但在模拟道路使用者的现实行为方面仍然存在一个危险的差距。这是因为，与模拟物理和图形不同，设计人类行为的第一个原理模型通常是不可行的。在这项工作中，我们采用了一种数据驱动的方法，并提出了一种可以学会从现实世界驱动日志中产生流量行为的方法。该方法通过将交通仿真问题分解为高级意图推理和低级驾驶行为模仿，通过利用驾驶行为的双层层次结构来实现高样本效率和行为多样性。该方法还结合了一个计划模块，以获得稳定的长马行为。我们从经验上验证了我们的方法，即交通模拟（位）的双层模仿，并具有来自两个大规模驾驶数据集的场景，并表明位表明，在现实主义，多样性和长途稳定性方面可以达到平衡的交通模拟性能。我们还探索了评估行为现实主义的方法，并引入了一套评估指标以进行交通模拟。最后，作为我们的核心贡献的一部分，我们开发和开源一个软件工具，该工具将跨不同驱动数据集的数据格式统一，并将现有数据集将场景转换为交互式仿真环境。有关其他信息和视频，请参见https://sites.google.com/view/nvr-bits2022/home

基于视觉的感知任务在机器人技术中扮演着重要角色，促进解决许多具有挑战性的情景的解决方案，例如自动无人驾驶汽车（UAV）的杂技演习以及机器人辅助的高精度手术。大多数以控制为导向的和以自负的感知问题通常是通过利用机器人状态估计作为辅助输入来解决的，尤其是当人工智能进入图片时。在这项工作中，我们建议第一次采用类似的方法（据我们所知），将目标变量引用于外部主题。我们证明了我们的一般和直观方法论如何改善深层卷积神经网络（CNN）的回归性能，并具有模棱两可的问题，例如同类3D姿势估计。通过分析三个高度差异的用例，从用机器人臂抓住到具有袖珍尺寸无人机的人类受试者，我们的结果始终将R2度量提高到+0.514，而不是其无状态基准。最后，我们验证了人类姿势估计任务中闭环自动袋大小的无人机的现场性能。我们的结果表明，在我们的状态CNN的平均绝对误差上，平均降低了24％。

Machine learning driven image-based controllers allow robotic systems to take intelligent actions based on the visual feedback from their environment. Understanding when these controllers might lead to system safety violations is important for their integration in safety-critical applications and engineering corrective safety measures for the system. Existing methods leverage simulation-based testing (or falsification) to find the failures of vision-based controllers, i.e., the visual inputs that lead to closed-loop safety violations. However, these techniques do not scale well to the scenarios involving high-dimensional and complex visual inputs, such as RGB images. In this work, we cast the problem of finding closed-loop vision failures as a Hamilton-Jacobi (HJ) reachability problem. Our approach blends simulation-based analysis with HJ reachability methods to compute an approximation of the backward reachable tube (BRT) of the system, i.e., the set of unsafe states for the system under vision-based controllers. Utilizing the BRT, we can tractably and systematically find the system states and corresponding visual inputs that lead to closed-loop failures. These visual inputs can be subsequently analyzed to find the input characteristics that might have caused the failure. Besides its scalability to high-dimensional visual inputs, an explicit computation of BRT allows the proposed approach to capture non-trivial system failures that are difficult to expose via random simulations. We demonstrate our framework on two case studies involving an RGB image-based neural network controller for (a) autonomous indoor navigation, and (b) autonomous aircraft taxiing.

Many aerial robotic applications require the ability to land on moving platforms, such as delivery trucks and marine research boats. We present a method to autonomously land an Unmanned Aerial Vehicle on a moving vehicle. A visual servoing controller approaches the ground vehicle using velocity commands calculated directly in image space. The control laws generate velocity commands in all three dimensions, eliminating the need for a separate height controller. The method has shown the ability to approach and land on the moving deck in simulation, indoor and outdoor environments, and compared to the other available methods, it has provided the fastest landing approach. Unlike many existing methods for landing on fast-moving platforms, this method does not rely on additional external setups, such as RTK, motion capture system, ground station, offboard processing, or communication with the vehicle, and it requires only the minimal set of hardware and localization sensors. The videos and source codes are also provided.