机器人模拟在开发智能地面车辆（IGV）期间提供了许多优势，例如在不同的情况下测试软件组件而无需完整的物理机器人。本文讨论了使用快速应用程序开发和Unity游戏引擎创建的3D仿真环境，以在移动机器人竞争中启用测试。我们的经验表明，模拟环境为竞争的软件开发做出了巨大贡献。模拟器还为机器人的硬件开发做出了贡献。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

We designed and constructed an A-sized base autonomous underwater vehicle (AUV), augmented with a stack of modular and extendable hardware and software, including autonomy, navigation, control and high fidelity simulation capabilities (A-size stands for the standard sonobuoy form factor, with a maximum diameter of 124 mm). Subsequently, we extended this base vehicle with a novel tuna-inspired morphing fin payload module (referred to as the Morpheus AUV), to achieve good directional stability and exceptional maneuverability; properties that are highly desirable for rigid hull AUVs, but are presently difficult to achieve because they impose contradictory requirements. The morphing fin payload allows the base AUV to dynamically change its stability-maneuverability qualities by using morphing fins, which can be deployed, deflected and retracted, as needed. The base vehicle and Morpheus AUV were both extensively field tested in-water in the Charles river, Massachusetts, USA; by conducting hundreds of hours of operations over a period of two years. The maneuvering capability of the Morpheus AUV was evaluated with and without the use of morphing fins to quantify the performance improvement. The Morpheus AUV was able to showcase an exceptional turning rate of around 25-35 deg/s. A maximum turn rate improvement of around 35% - 50% was gained through the use of morphing fins.

We discuss a platform that has both software and hardware components, and whose purpose is to support research into characterizing and mitigating the sim-to-real gap in robotics and vehicle autonomy engineering. The software is operating-system independent and has three main components: a simulation engine called Chrono, which supports high-fidelity vehicle and sensor simulation; an autonomy stack for algorithm design and testing; and a development environment that supports visualization and hardware-in-the-loop experimentation. The accompanying hardware platform is a 1/6th scale vehicle augmented with reconfigurable mountings for computing, sensing, and tracking. Since this vehicle platform has a digital twin within the simulation environment, one can test the same autonomy perception, state estimation, or controls algorithms, as well as the processors they run on, in both simulation and reality. A demonstration is provided to show the utilization of this platform for autonomy research. Future work will concentrate on augmenting ART/ATK with support for a full-sized Chevy Bolt EUV, which will be made available to this group in the immediate future.

尽管机器人学课程在高等教育方面已建立，但这些课程通常专注于理论，有时缺乏对开发，部署和将软件应用于真实硬件的技术的系统覆盖。此外，大多数用于机器人教学的硬件平台是针对中学水平的年轻学生的低级玩具。为了解决这一差距，开发了一个自动驾驶汽车硬件平台，称为第1 f1 f1tth，用于教授自动驾驶系统。本文介绍了以“赛车”和替换考试的竞赛为主题的各种教育水平教学模块和软件堆栈。第1辆车提供了一个模块化硬件平台及其相关软件，用于教授自动驾驶算法的基础知识。从基本的反应方法到高级计划算法，教学模块通过使用第1辆车的自动驾驶来增强学生的计算思维。第1辆汽车填补了研究平台和低端玩具车之间的空白，并提供了学习自主系统中主题的动手经验。多年的四所大学为他们的学期本科和研究生课程采用了教学模块。学生反馈用于分析第1个平台的有效性。超过80％的学生强烈同意，硬件平台和模块大大激发了他们的学习，而超过70％的学生强烈同意，硬件增强了他们对学科的理解。调查结果表明，超过80％的学生强烈同意竞争激励他们参加课程。

我们提出Dave Aquatic Virtual Environals（Dave），这是用于水下机器人，传感器和环境的开源仿真堆栈。传统的机器人模拟器并非旨在应对海洋环境带来的独特挑战，包括但不限于在空间和时间上变化的环境条件，受损或具有挑战性的感知以及在通常未探索的环境中数据的不可用。考虑到各种传感器和平台，对于不可避免地抵制更广泛采用的特定用例，车轮通常会重新发明。在现有模拟器的基础上，我们提供了一个框架，以帮助加快算法的开发和评估，否则这些算法需要在海上需要昂贵且耗时的操作。该框架包括基本的构建块（例如，新车，水跟踪多普勒速度记录仪，基于物理的多微型声纳）以及开发工具（例如，动态测深的产卵，洋流），使用户可以专注于方法论，而不是方法。比软件基础架构。我们通过示例场景，测深数据导入，数据检查的用户界面和操纵运动计划以及可视化来演示用法。

我们描述了一个软件框架和用于串联的硬件平台，用于设计和分析模拟和现实中机器人自主算法。该软件是开源的，独立的容器和操作系统（OS）的软件，具有三个主要组件：COS ++车辆仿真框架（Chrono）的ROS 2接口（Chrono），该框架提供了高保真的轮毂/跟踪的车辆和传感器仿真；基于ROS 2的基本基于算法设计和测试的自治堆栈；以及一个开发生态系统，可在感知，状态估计，路径计划和控制中进行可视化和硬件实验。随附的硬件平台是1/6刻度的车辆，并具有可重新配置的用于计算，传感和跟踪的可重新配置的安装。其目的是允许对算法和传感器配置进行物理测试和改进。由于该车辆平台在模拟环境中具有数字双胞胎，因此可以测试和比较模拟和现实中相同的算法和自主堆栈。该平台的构建是为了表征和管理模拟到现实差距。在此，我们描述了如何建立，部署和用于改善移动应用程序的自主权。

我们提出了通过现实的模拟和现实世界实验来支持可复制研究的多运动无人机控制（UAV）和估计系统。我们提出了一个独特的多帧本地化范式，用于同时使用多个传感器同时估算各种参考框架中的无人机状态。该系统可以在GNSS和GNSS贬低的环境中进行复杂的任务，包括室外室内过渡和执行冗余估计器，以备份不可靠的本地化源。提出了两种反馈控制设计：一个用于精确和激进的操作，另一个用于稳定和平稳的飞行，并进行嘈杂的状态估计。拟议的控制和估计管道是在3D中使用Euler/Tait-Bryan角度表示的，而无需使用Euler/Tait-Bryan角度表示。取而代之的是，我们依靠旋转矩阵和一个新颖的基于标题的惯例来代表标准多电流直升机3D中的一个自由旋转自由度。我们提供了积极维护且有据可查的开源实现，包括对无人机，传感器和本地化系统的现实模拟。拟议的系统是多年应用系统，空中群，空中操纵，运动计划和遥感的多年研究产物。我们所有的结果都得到了现实世界中的部署的支持，该系统部署将系统塑造成此处介绍的表单。此外，该系统是在我们团队从布拉格的CTU参与期间使用的，该系统在享有声望的MBZIRC 2017和2020 Robotics竞赛中，还参加了DARPA SubT挑战赛。每次，我们的团队都能在世界各地最好的竞争对手中获得最高位置。在每种情况下，挑战都促使团队改善系统，并在紧迫的期限内获得大量高质量的体验。

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

Experiments using large numbers of miniature swarm robots are desirable to teach, study, and test multi-robot and swarm intelligence algorithms and their applications. To realize the full potential of a swarm robot, it should be capable of not only motion but also sensing, computing, communication, and power management modules with multiple options. Current swarm robot platforms developed for commercial and academic research purposes lack several of these critical attributes by focusing only on a few of these aspects. Therefore, in this paper, we propose the HeRoSwarm, a fully-capable swarm robot platform with open-source hardware and software support. The proposed robot hardware is a low-cost design with commercial off-the-shelf components that uniquely integrates multiple sensing, communication, and computing modalities with various power management capabilities into a tiny footprint. Moreover, our swarm robot with odometry capability with Robot Operating Systems (ROS) support is unique in its kind. This simple yet powerful swarm robot design has been extensively verified with different prototyping variants and multi-robot experimental demonstrations.

设置机器人环境快速测试新开发的算法仍然是一个困难且耗时的过程。这给有兴趣执行现实世界机器人实验的研究人员带来了重大障碍。Robotio是一个旨在解决此问题的Python库。它着重于为机器人，抓地力和摄像机等提供常见，简单和结构化的Python接口。这些接口以及这些接口的实现为常见硬件提供了。此启用使用机器人的代码可以在不同的机器人设置上可移植。在建筑方面，Robotio旨在与OpenAI健身房环境以及ROS兼容。提供了这两种示例。该库与许多有用的工具一起融合在一起，例如相机校准脚本和情节记录功能，这些功能进一步支持算法开发。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

谷仓（基准自动驾驶机器人导航）挑战在宾夕法尼亚州费城的2022年IEEE国际机器人和自动化国际会议（ICRA 2022）举行。挑战的目的是评估最先进的自动地面导航系统，以安全有效的方式将机器人通过高度约束的环境移动。具体而言，任务是将标准化的差分驱动地面机器人从预定义的开始位置导航到目标位置，而不会与模拟和现实世界中的任何障碍相撞。来自世界各地的五支球队参加了合格的模拟比赛，其中三支受邀在费城会议中心的一组身体障碍课程中相互竞争。竞争结果表明，尽管表面上显得简单，即使对于经验丰富的机器人主义者来说，在高度约束空间中的自主地面导航实际上远非解决问题。在本文中，我们讨论了挑战，前三名获胜团队所使用的方法以及学到的教训以指导未来的研究。

在不久的将来，自动驾驶的开发将变得更加复杂，因为这些车辆不仅会依靠自己的传感器，而且还与其他车辆和基础设施进行交流以合作和改善驾驶体验。为此，需要进行一些研究领域，例如机器人技术，沟通和控制，以实施未来的方法。但是，每个领域首先关注其组件的开发，而组件可能对整个系统产生的影响仅在后期考虑。在这项工作中，我们集成了机器人技术，通信和控制的仿真工具，即ROS2，Omnet ++和MATLAB来评估合作驾驶场景。可以利用该框架使用指定工具来开发各个组件，而最终评估可以在完整的情况下进行，从而可以模拟高级多机器人应用程序以进行合作驾驶。此外，它可以用于集成其他工具，因为集成以模块化方式完成。我们通过在合作自适应巡航控制（CACC）和ETSI ITS-G5通信体系结构下展示排量场景来展示该框架。此外，我们比较了理论分析和实际案例研究之间控制器性能的差异。

为了在真实硬件平台上安全可靠的任何机器人控制器的安全部署，通常是在现实的仿真环境中使用特定机器人全面评估控制器的性能的必要练习。尽管有几种可以为此目的提供核心物理引擎的软件解决方案，但通常是繁琐且容易出错的努力，将模拟环境与机器人控制器进行评估。控制器可能具有一个复杂的结构，该结构由有限状态机（FSM）内的多个状态和过渡组成，甚至可能需要通过GUI输入。在这项工作中，我们提出了MC-Mujoco，这是一个开源软件框架，该框架在Mujoco Physics Simulator和MC-RTC机器人控制框架之间形成接口。我们提供实施详细信息，并描述为基本上任何新机器人提供支持的过程。我们还展示并发布了一个样品FSM控制器，用于通过Mujoco中的HRP-5P人形机器人对刚性对象进行两足球运动和稳定的抓握。 MC-Mujoco，已开发的机器人模块和FSM控制器的代码和使用说明可在线获得。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

Developing and testing algorithms for autonomous vehicles in real world is an expensive and time consuming process. Also, in order to utilize recent advances in machine intelligence and deep learning we need to collect a large amount of annotated training data in a variety of conditions and environments. We present a new simulator built on Unreal Engine that offers physically and visually realistic simulations for both of these goals. Our simulator includes a physics engine that can operate at a high frequency for real-time hardware-in-the-loop (HITL) simulations with support for popular protocols (e.g. MavLink). The simulator is designed from the ground up to be extensible to accommodate new types of vehicles, hardware platforms and software protocols. In addition, the modular design enables various components to be easily usable independently in other projects. We demonstrate the simulator by first implementing a quadrotor as an autonomous vehicle and then experimentally comparing the software components with real-world flights.

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

为了使机器人系统在高风险，现实世界中取得成功，必须快速部署和强大的环境变化，表现不佳的硬件以及任务子任务失败。这些机器人通常被设计为考虑一系列任务事件，复杂的算法在某些关键的约束下降低了单个子任务失败率。我们的方法在视觉和控制中利用了共同的技术，并通过结果监测和恢复策略将鲁棒性编码为任务结构。此外，我们的系统基础架构可以快速部署，并且不需要中央通信。该报告还包括快速现场机器人开发和测试的课程。我们通过现实机器人实验在美国宾夕法尼亚州匹兹堡的户外测试地点以及2020年的穆罕默德·本·扎耶德国际机器人挑战赛开发和评估了我们的系统。所有竞争试验均在没有RTK-GP的情况下以完全自主模式完成。我们的系统在挑战2中排名第四，在大挑战赛中排名第七，诸如弹出五个气球（挑战1）之类的显着成就，成功地挑选和放置了一个障碍（挑战2），并将最多的水分配到户外，带有真正的户外火，并与自治无人机（挑战3）。

我们介绍了ThreedWorld（TDW），是交互式多模态物理模拟的平台。 TDW能够模拟高保真感官数据和富裕的3D环境中的移动代理和对象之间的物理交互。独特的属性包括：实时近光 - 真实图像渲染;对象和环境库，以及他们定制的例程;有效构建新环境课程的生成程序;高保真音频渲染;各种材料类型的现实物理相互作用，包括布料，液体和可变形物体;可定制的代理体现AI代理商;并支持与VR设备的人类交互。 TDW的API使多个代理能够在模拟中进行交互，并返回一系列表示世界状态的传感器和物理数据。我们在计算机视觉，机器学习和认知科学中的新兴的研究方向上提供了通过TDW的初始实验，包括多模态物理场景理解，物理动态预测，多代理交互，像孩子一样学习的模型，并注意研究人类和神经网络。