本文介绍了在异质SOC FPGA计算平台上实施的无人机（UAV）控制算法的硬件（HIL）模拟系统。使用了在PC上运行的Airsim模拟器和带有来自AMD Xilinx的Zynq Soc芯片的Arty Z7开发板。通信是通过串行USB链接进行的。选择了在特殊标记的着陆条上自动着陆的申请作为案例研究。在Zynq SoC平台上实施了着陆点检测算法。这样可以实时处理1280 x 720 @ 60 fps视频流。执行的测试表明，该系统正常工作，并且没有可能对控制的稳定性产生负面影响。所提出的概念的特征是相对简单和实施成本较低。同时，它可以应用于在嵌入式平台上实现的无人机测试各种类型的高级感知和控制算法。我们提供在GitHub上开发的代码，该代码包括在PC上运行的Python脚本和在Arty Z7上运行的C代码。

Many aerial robotic applications require the ability to land on moving platforms, such as delivery trucks and marine research boats. We present a method to autonomously land an Unmanned Aerial Vehicle on a moving vehicle. A visual servoing controller approaches the ground vehicle using velocity commands calculated directly in image space. The control laws generate velocity commands in all three dimensions, eliminating the need for a separate height controller. The method has shown the ability to approach and land on the moving deck in simulation, indoor and outdoor environments, and compared to the other available methods, it has provided the fastest landing approach. Unlike many existing methods for landing on fast-moving platforms, this method does not rely on additional external setups, such as RTK, motion capture system, ground station, offboard processing, or communication with the vehicle, and it requires only the minimal set of hardware and localization sensors. The videos and source codes are also provided.

在过去的十年中，自动驾驶航空运输车辆引起了重大兴趣。这是通过空中操纵器和新颖的握手的技术进步来实现这一目标的。此外，改进的控制方案和车辆动力学能够更好地对有效载荷进行建模和改进的感知算法，以检测无人机（UAV）环境中的关键特征。在这项调查中，对自动空中递送车辆的技术进步和开放研究问题进行了系统的审查。首先，详细讨论了各种类型的操纵器和握手，以及动态建模和控制方法。然后，讨论了降落在静态和动态平台上的。随后，诸如天气状况，州估计和避免碰撞之类的风险以确保安全过境。最后，调查了交付的UAV路由，该路由将主题分为两个领域：无人机操作和无人机合作操作。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

我们提供了机器人智能系统和控制（RISC）LAB MULTIAGEGGENT测试，用于在室外环境中的可靠搜索和救援和空中运输。该系统包括三个多陆无人机（无人机）的团队，能够在室外场中自主搜索，拾取和运输随机分布的物体。该方法涉及基于视觉的物体检测和定位，具有我们的新颖设计，基于GPS的UAV导航和下降区的物体的安全释放。我们的合作策略可确保无人机之间安全的空间分离，我们可以使用已启用的通信共识，防止下落区域的冲突。所有计算都在每个UAV上执行。我们描述了系统的完整软件和硬件架构，并使用全面的户外实验展示其可靠的性能，并通过将我们的结果与最近的一些类似的作品进行比较。

Filming sport videos from an aerial view has always been a hard and an expensive task to achieve, especially in sports that require a wide open area for its normal development or the ones that put in danger human safety. Recently, a new solution arose for aerial filming based on the use of Unmanned Aerial Vehicles (UAVs), which is substantially cheaper than traditional aerial filming solutions that require conventional aircrafts like helicopters or complex structures for wide mobility. In this paper, we describe the design process followed for building a customized UAV suitable for sports aerial filming. The process includes the requirements definition, technical sizing and selection of mechanical, hardware and software technologies, as well as the whole integration and operation settings. One of the goals is to develop technologies allowing to build low cost UAVs and to manage them for a wide range of usage scenarios while achieving high levels of flexibility and automation. This work also shows some technical issues found during the development of the UAV as well as the solutions implemented.

纳米大小的无人机具有探索未知和复杂环境的巨大潜力。它们的尺寸很小，使它们敏捷且安全地靠近人类，并使他们能够穿过狭窄的空间。但是，它们的尺寸很小和有效载荷限制了板载计算和传感的可能性，从而使完全自主的飞行极具挑战性。迈向完全自主权的第一步是可靠的避免障碍，这在通用的室内环境中被证明在技术上具有挑战性。当前的方法利用基于视觉或一维传感器来支持纳米无人机感知算法。这项工作为基于新颖的毫米尺寸64像素多区域飞行时间（TOF）传感器和通用的无模型控制策略提供了轻巧的避免障碍系统。报告的现场测试基于Crazyflie 2.1，该测试由定制的多区TOF甲板扩展，总质量为35克。该算法仅使用0.3％的车载处理能力（210US执行时间），帧速率为15fps，为许多未来应用提供了绝佳的基础。运行提出的感知系统（包括抬起和操作传感器）所需的总无人机功率不到10％。在通用且以前未开发的室内环境中，提出的自动纳米大小无人机以0.5m/s的速度达到100％可靠性。所提出的系统释放出具有广泛数据集的开源，包括TOF和灰度摄像头数据，并与运动捕获中的无人机位置地面真相结合在一起。

We designed and constructed an A-sized base autonomous underwater vehicle (AUV), augmented with a stack of modular and extendable hardware and software, including autonomy, navigation, control and high fidelity simulation capabilities (A-size stands for the standard sonobuoy form factor, with a maximum diameter of 124 mm). Subsequently, we extended this base vehicle with a novel tuna-inspired morphing fin payload module (referred to as the Morpheus AUV), to achieve good directional stability and exceptional maneuverability; properties that are highly desirable for rigid hull AUVs, but are presently difficult to achieve because they impose contradictory requirements. The morphing fin payload allows the base AUV to dynamically change its stability-maneuverability qualities by using morphing fins, which can be deployed, deflected and retracted, as needed. The base vehicle and Morpheus AUV were both extensively field tested in-water in the Charles river, Massachusetts, USA; by conducting hundreds of hours of operations over a period of two years. The maneuvering capability of the Morpheus AUV was evaluated with and without the use of morphing fins to quantify the performance improvement. The Morpheus AUV was able to showcase an exceptional turning rate of around 25-35 deg/s. A maximum turn rate improvement of around 35% - 50% was gained through the use of morphing fins.

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体

我们提出了通过现实的模拟和现实世界实验来支持可复制研究的多运动无人机控制（UAV）和估计系统。我们提出了一个独特的多帧本地化范式，用于同时使用多个传感器同时估算各种参考框架中的无人机状态。该系统可以在GNSS和GNSS贬低的环境中进行复杂的任务，包括室外室内过渡和执行冗余估计器，以备份不可靠的本地化源。提出了两种反馈控制设计：一个用于精确和激进的操作，另一个用于稳定和平稳的飞行，并进行嘈杂的状态估计。拟议的控制和估计管道是在3D中使用Euler/Tait-Bryan角度表示的，而无需使用Euler/Tait-Bryan角度表示。取而代之的是，我们依靠旋转矩阵和一个新颖的基于标题的惯例来代表标准多电流直升机3D中的一个自由旋转自由度。我们提供了积极维护且有据可查的开源实现，包括对无人机，传感器和本地化系统的现实模拟。拟议的系统是多年应用系统，空中群，空中操纵，运动计划和遥感的多年研究产物。我们所有的结果都得到了现实世界中的部署的支持，该系统部署将系统塑造成此处介绍的表单。此外，该系统是在我们团队从布拉格的CTU参与期间使用的，该系统在享有声望的MBZIRC 2017和2020 Robotics竞赛中，还参加了DARPA SubT挑战赛。每次，我们的团队都能在世界各地最好的竞争对手中获得最高位置。在每种情况下，挑战都促使团队改善系统，并在紧迫的期限内获得大量高质量的体验。

自动检测飞行无人机是一个关键问题，其存在（特别是未经授权）可以造成风险的情况或损害安全性。在这里，我们设计和评估了多传感器无人机检测系统。结合常见的摄像机和麦克风传感器，我们探索了热红外摄像机的使用，指出是一种可行且有希望的解决方案，在相关文献中几乎没有解决。我们的解决方案还集成了鱼眼相机，以监视天空的更大部分，并将其他摄像机转向感兴趣的对象。传感溶液与ADS-B接收器，GPS接收器和雷达模块相辅相成，尽管由于其有限的检测范围，后者未包含在我们的最终部署中。即使此处使用的摄像机的分辨率较低，热摄像机也被证明是与摄像机一样好的可行解决方案。我们作品的另外两个新颖性是创建一个新的公共数据集的多传感器注释数据，该数据与现有的类别相比扩大了类的数量，以及对探测器性能的研究作为传感器到传感器的函数的研究目标距离。还探索了传感器融合，表明可以以这种方式使系统更强大，从而减轻对单个传感器的虚假检测

随着现代机器人技术的发展，自主代理现在能够托管复杂的算法，这使他们能够做出聪明的决定。但是，直接在现实世界中开发和测试这种算法是乏味的，可能导致浪费宝贵的资源。尤其是对于战场环境中的异质多机构系统，在确定系统的行为和可用性方面至关重要。由于必须在部署前模拟单独的范式（共模拟）模拟此类情况，因此这些模拟器之间的同步至关重要。旨在解决此问题的现有作品无法解决部署的代理之间的多样性。在这项工作中，我们建议\ textit {SynchroSim}，这是一种集成的共模拟中间件，以模拟异质的多机器人系统。在这里，我们提出了一个速度差驱动的可调窗口大小方法，以减少数据包损耗概率。它考虑了部署代理的各个速度，以在它们之间传输数据之前计算合适的窗口大小。我们考虑了我们的算法特异性模拟器不可知论，但是为了实现结果，我们已将凉亭用作物理模拟器，而NS-3用作网络模拟器。此外，我们设计了算法，考虑到封闭的通信渠道内的感知行动循环，这是有争议的情况下的基本因素之一，在数据传输方面需要高保真度。我们在视线（LOS）和非视线（NLOS）方案的模拟和系统级别上均通过经验验证我们的方法。与基于固定的窗口大小的同步方法相比，我们的方法在减少数据包损耗概率（$ \ $ 11 \％）和平均数据包延迟（$ \ $ 10 \％）方面取得了显着改善。

移动机器人和无人机的异构团队在对环境的自主探索方面提供了可观的好处。然而，尽管广泛讨论了此类系统的联合勘探方案，但它们仍未对无人机对接过程中外部条件变化和群体断层的适应性低。当一个代理商失去其位置信号时，我们提出了一种基于视觉的无人机群对接系统，以在移动平台上稳健地着陆。拟议的蜂鹰系统依靠基于视觉的检测来进行移动平台跟踪和导航其代理。群的每架无人机都带有RGB摄像头和APRILTAG3 QR代码标记。 Swarmhawk可以在两种操作模式之间切换，在全球无人机本地化的情况下充当均匀的群，或者在一个无人机或全球本地化故障中出现相机故障的情况下，将领导者的无人机指向其邻居。进行了两项实验，以通过静态和移动平台在全球和本地定位下评估Swarmhawk的性能。实验结果表明，静态移动平台上的群体着陆任务具有足够的准确性（均匀地层的4.2 cm误差为4.2厘米，领导者 - 追随者形成中的1.9厘米）和移动平台（同质地层中的6.9厘米和4.7 cm的误差为6.9 cm，在4.7 cm中的误差领导者追随者组）。此外，无人机在领导者追随者组中沿着复杂的轨迹（平均误差为19.4 cm）移动的平台上显示出良好的降落。拟议的蜂鹰技术可以潜在地应用于各种群情景中，包括复杂的环境勘探，检查和无人机交付。

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。

Reliable and efficient validation technologies are critical for the recent development of multi-vehicle cooperation and vehicle-road-cloud integration. In this paper, we introduce our miniature experimental platform, Mixed Cloud Control Testbed (MCCT), developed based on a new notion of Mixed Digital Twin (mixedDT). Combining Mixed Reality with Digital Twin, mixedDT integrates the virtual and physical spaces into a mixed one, where physical entities coexist and interact with virtual entities via their digital counterparts. Under the framework of mixedDT, MCCT contains three major experimental platforms in the physical, virtual and mixed spaces respectively, and provides a unified access for various human-machine interfaces and external devices such as driving simulators. A cloud unit, where the mixed experimental platform is deployed, is responsible for fusing multi-platform information and assigning control instructions, contributing to synchronous operation and real-time cross-platform interaction. Particularly, MCCT allows for multi-vehicle coordination composed of different multi-source vehicles (\eg, physical vehicles, virtual vehicles and human-driven vehicles). Validations on vehicle platooning demonstrate the flexibility and scalability of MCCT.

There are many artificial intelligence algorithms for autonomous driving, but directly installing these algorithms on vehicles is unrealistic and expensive. At the same time, many of these algorithms need an environment to train and optimize. Simulation is a valuable and meaningful solution with training and testing functions, and it can say that simulation is a critical link in the autonomous driving world. There are also many different applications or systems of simulation from companies or academies such as SVL and Carla. These simulators flaunt that they have the closest real-world simulation, but their environment objects, such as pedestrians and other vehicles around the agent-vehicle, are already fixed programmed. They can only move along the pre-setting trajectory, or random numbers determine their movements. What is the situation when all environmental objects are also installed by Artificial Intelligence, or their behaviors are like real people or natural reactions of other drivers? This problem is a blind spot for most of the simulation applications, or these applications cannot be easy to solve this problem. The Neurorobotics Platform from the TUM team of Prof. Alois Knoll has the idea about "Engines" and "Transceiver Functions" to solve the multi-agents problem. This report will start with a little research on the Neurorobotics Platform and analyze the potential and possibility of developing a new simulator to achieve the true real-world simulation goal. Then based on the NRP-Core Platform, this initial development aims to construct an initial demo experiment. The consist of this report starts with the basic knowledge of NRP-Core and its installation, then focus on the explanation of the necessary components for a simulation experiment, at last, about the details of constructions for the autonomous driving system, which is integrated object detection and autonomous control.

本文介绍了设计，开发，并通过IISC-TCS团队为穆罕默德·本·扎耶德国际机器人挑战赛2020年挑战1的目标的挑战1硬件 - 软件系统的测试是抓住从移动和机动悬挂球UAV和POP气球锚定到地面，使用合适的操纵器。解决这一挑战的重要任务包括具有高效抓取和突破机制的硬件系统的设计和开发，考虑到体积和有效载荷的限制，使用适用于室外环境的可视信息的准确目标拦截算法和开发动态多功能机空中系统的软件架构，执行复杂的动态任务。在本文中，设计了具有末端执行器的单个自由度机械手设计用于抓取和突发，并且开发了鲁棒算法以拦截在不确定的环境中的目标。基于追求参与和人工潜在功能的概念提出了基于视觉的指导和跟踪法。本工作中提供的软件架构提出了一种操作管理系统（OMS）架构，其在多个无人机之间协同分配静态和动态任务，以执行任何给定的任务。这项工作的一个重要方面是所有开发的系统都设计用于完全自主模式。在这项工作中还包括对凉亭环境和现场实验结果中完全挑战的模拟的详细描述。所提出的硬件软件系统对反UAV系统特别有用，也可以修改以满足其他几种应用。

近年来，无人驾驶航空公司（无人机）的扩散急剧增加。无人机可以以可靠且具有成本效益的方式完成复杂或危险的任务，但仍然受到功耗问题的限制，这对飞行持续时间和能源苛刻任务的完成构成了严重的限制。以能源有效的方式提供具有高级决策功能的无人机的可能性是非常有益的。在本文中，我们提出了一个实际的解决方案，对这个问题进行了深入学习的问题。开发系统将OpenMV微控制器集成到DJI Tello Micro Acial车辆（MAV）中。微控制器托管一组机器学习的推理工具，协作控制无人机的导航并完成给定的任务目标。这种方法的目标是利用TINYML的新机遇特征通过OpenMV，包括离线推断，低延迟，能效和数据安全性。该方法在实际应用程序上成功验证，该应用程序包括在拥挤环境中穿着保护面具的人们的船上检测。