由于捕获高角度和时间分辨率测量的能力，毫米波（MMWAVE）带引起了高精度定位应用的显着关注。本文探讨了基于MMWAVE的定位，用于目标本地化问题，其中固定目标广播MMWAVE信号和移动机器人代理尝试侦听信号以定位和导航到目标。提出了三个韵律过程：首先，移动代理使用张量分解方法来检测无线路径及其角度。其次，然后使用机器学习培训的分类器来预测链路状态，这意味着如果最强的路径是视线（LOS）或非LOS（NLO）。对于NLOS案例，链路状态预测器还确定最强路径是否通过一个或多个反射到达。第三，基于链路状态，代理人遵循估计的角度或探索环境。该方法在补充有线跟踪的室内环境的大型数据集上进行了演示，以模拟无线传播。路径估计和链路状态分类也集成到最先进的神经同时定位和映射（SLAM）模块中，以增强相机和基于LIDAR的导航。结果表明，链路状态分类器可以成功地推广到培训集外的完全新环境。另外，具有无线路径估计和链路状态分类器的神经基模块为目标提供快速导航，接近了解目标位置的基线。

位点特异性的射频（RF）传播预测越来越多地取决于由相机和LIDAR传感器等视觉数据构建的模型。在动态设置中运行时，只能部分观察到环境。本文介绍了一种提取统计通道模型的方法，鉴于对周围环境的部分观察。我们提出了一种简单的启发式算法，该算法在部分环境上执行射线跟踪，然后使用机器学习训练的预测指标来估算从部分射线跟踪结果中提取的功能中估算该通道及其不确定性。结果表明，当没有部分信息可用并完全观察到环境时，提出的方法可以在完全统计模型之间插值。该方法还可以根据已探索的区域数量来捕获传播预测的不确定性程度。该方法在在一组室内图上模拟的机器人导航应用程序中进行了证明，该应用程序使用最先进的导航，同时定位和映射（SLAM）和计算机视觉方法构建的详细模型。

低成本毫米波（MMWAVE）通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透，为第五代（5G）的大规模和致密的部署铺平了道路（5G） - 而且以及6G网络。同时，普遍存在MMWAVE访问将使设备定位和无设备的感测，以前所未有的精度，特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查，重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后，我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面，包括每个工作的主要目标，技术和性能，每个研究是否达到了一定程度的实现，并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法，密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途，相关和及时的研究方向的结论。

先进的可穿戴设备越来越多地利用高分辨率多摄像头系统。作为用于处理所得到的图像数据的最先进的神经网络是计算要求的，对于利用第五代（5G）无线连接和移动边缘计算，已经越来越感兴趣，以将该处理卸载到云。为了评估这种可能性，本文提出了一个详细的仿真和评估，用于5G无线卸载，用于对象检测，在一个名为Vis4ion的强大新型智能可穿戴物中，用于盲目损害（BVI）。目前的Vis4ion系统是一种具有高分辨率摄像机，视觉处理和触觉和音频反馈的仪表簿。本文认为将相机数据上载到移动边缘云以执行实时对象检测并将检测结果传输回可穿戴。为了确定视频要求，纸张评估视频比特率和分辨率对物体检测精度和范围的影响。利用与BVI导航相关的标记对象的新街道场景数据集进行分析。视觉评估与详细的全堆栈无线网络仿真结合，以确定吞吐量的分布和延迟，具有来自城市环境中的新高分辨率3D模型的实际导航路径和射线跟踪。为了比较，无线仿真考虑了标准的4G长期演进（LTE）载波和高速度5G毫米波（MMWAVE）载波。因此，该工作提供了对具有高带宽和低延迟要求的应用中的MMWAVE连接的边缘计算的彻底和现实评估。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

Efficient localization plays a vital role in many modern applications of Unmanned Ground Vehicles (UGV) and Unmanned aerial vehicles (UAVs), which would contribute to improved control, safety, power economy, etc. The ubiquitous 5G NR (New Radio) cellular network will provide new opportunities for enhancing localization of UAVs and UGVs. In this paper, we review the radio frequency (RF) based approaches for localization. We review the RF features that can be utilized for localization and investigate the current methods suitable for Unmanned vehicles under two general categories: range-based and fingerprinting. The existing state-of-the-art literature on RF-based localization for both UAVs and UGVs is examined, and the envisioned 5G NR for localization enhancement, and the future research direction are explored.

在本文中，我们推导了机器人来测量相对方向或到达角度（AOA）的新能力，以在非视线和未映射的环境中运行的其他机器人，而无需外部基础架构。我们通过捕获WiFi信号在从发送到接收机器人时遍历的所有路径来这样做，这是我们术语AOA简档。当机器人在3D空间中移动时，关键直觉是“在空中模拟空气中的天线阵列”，一种类似于合成孔径雷达（SAR）的方法。主要贡献包括i）一个框架，以适应任意3D轨迹的框架，以及所有机器人的持续移动性，而计算AOA配置文件和II）随附的分析，其提供了作为机器人轨迹的函数的AOA估计方差的较低限制基于Cramer Rao绑定的几何。这是一个关键的区别与先前的SAR的工作，限制机器人移动到规定的运动模式，不概括到3D空间，和/或在数据采集时段期间需要将机器人发送到静态。我们的方法导致更准确的AOA配置文件，从而更好地估计，并正式地将该观察表征为轨迹的信息性;我们推导出封闭形式的可计算量。所有理论发展都是通过广泛的模拟和硬件实验证实的。我们还表明，我们的配方可以与现成的轨迹估计传感器一起使用。最后，我们展示了我们系统对多机器人动态集合任务的表现。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

基于RF信号的方向查找和定位系统因多径传播而受到显着影响，特别是在室内环境中。现有算法（例如音乐）在多径存在的情况下解决到达角度（AOA）或在弱信号方案中操作时表现不佳。我们注意到数字采样的RF前端允许轻松分析信号和延迟组件。低成本软件定义的无线电（SDR）模块使能跨宽频谱的通道状态信息（CSI）提取，激励增强的到达角度（AOA）解决方案的设计。我们提出了一种深入的学习方法，可以从SDR多通道数据的单一快照派生AOA。我们比较和对比基于深度学习的角度分类和回归模型，准确地估计最多两个AOA。我们已经在不同平台上实施了推理引擎，实时提取了AOA，展示了我们方法的计算途径。为了证明我们的方法的效用，我们在各种视角（LOS）和非线视线中收集了来自四元通用线性阵列（ULA）的IQ（同步和正交组件）样本（ NLOS）环境，并发布了数据集。我们所提出的方法在确定撞击信号的数量并实现平均值为2 ^ {\ rIC} $ 2 ^ {\ cird} $时，我们提出的方法展示了出色的可靠性。

随着Terahertz（THZ）信号产生和辐射方法的最新进展，关节通信和传感应用正在塑造无线系统的未来。为此，预计将在用户设备设备上携带THZ光谱，以识别感兴趣的材料和气态组件。 THZ特异性的信号处理技术应补充这种对THZ感应的重新兴趣，以有效利用THZ频带。在本文中，我们介绍了这些技术的概述，重点是信号预处理（标准的正常差异归一化，最小值 - 最大归一化和Savitzky-Golay滤波），功能提取（主成分分析，部分最小二乘，t，T，T部分，t部分，t部分正方形，T - 分布的随机邻居嵌入和非负矩阵分解）和分类技术（支持向量机器，k-nearest邻居，判别分析和天真的贝叶斯）。我们还通过探索他们在THZ频段的有希望的传感能力来解决深度学习技术的有效性。最后，我们研究了在联合通信和传感的背景下，研究方法的性能和复杂性权衡；我们激励相应的用例，并在该领域提供未来的研究方向。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

全球导航卫星系统通常在城市环境中表现较差，在城市环境中，设备和卫星之间的视线条件的可能性很低，因此需要替代的定位方法才能良好准确。我们提出了Locunet：用于本地化任务的卷积，端到端训练的神经网络，能够从少数基站（BSS）的接收信号强度（RSS）中估算用户的位置。在提出的方法中，要本地化的用户只需将测量的RSS报告给可能位于云中的中央处理单元。使用BSS和RSS测量值的Pathloss无线电图的估计，Locunet可以以最先进的精度定位用户，并在无线电图估计中享有高度鲁棒性。所提出的方法不需要对新环境进行预采样，并且适用于实时应用。此外，提供了两个新颖的数据集，可以在现实的城市环境中对RSS和TOA方法进行数值评估，并为研究社区公开提供。通过使用这些数据集，我们还提供了密集的城市场景中最先进的RSS和基于TOA的方法的公平比较，并以数值显示Locunet优于所有比较方法。

毫米波（MMWAVE）定位算法利用MMWAVE信号的准光传播，从而在接收器处产生稀疏角谱。基于角度的定位的几何方法通常需要了解环境的地图和接入点的位置。因此，若干作品求助于自动学习，以便从接收的MMWAVE信号的特性推断设备的位置。但是，为这些模型收集培训数据是一个重大负担。在这项工作中，我们提出了一个浅色神经网络模型，以便在室内本地化MMWAVE设备。该模型需要比文献中提出的更少的重量。因此，可以在资源受限的硬件中实现，并且需要更少的培训样本来汇聚。我们还建议通过从基于几何形状的MMWAVE定位算法检索（固有的不完美）位置估计来缓解培训数据收集工作。即使在这种情况下，我们的结果表明，所提出的神经网络也表现出与最先进的算法一样好或更好。

传感器是将物理参数或环境特征（例如温度，距离，速度等）转换为可以通过数字测量和处理以执行特定任务的信号的设备。移动机器人需要传感器来测量其环境的属性，从而允许安全导航，复杂的感知和相应的动作以及与填充环境的其他代理的有效相互作用。移动机器人使用的传感器范围从简单的触觉传感器（例如保险杠）到复杂的基于视觉的传感器，例如结构化灯相机。所有这些都提供了可以由机器人计算机处理的数字输出（例如，字符串，一组值，矩阵等）。通常通过使用传感器中包含的数字转换器（ADC）的类似物来离散一个或多个模拟电信号来获得此类输出。在本章中，我们介绍了移动机器人技术中最常见的传感器，并提供了其分类法，基本特征和规格的介绍。对功能和应用程序类型的描述遵循一种自下而上的方法：在描述现实世界传感器之前，介绍了传感器所基于的基本原理和组件，这些传感器通常基于多种技术和基本设备。

研究界，工业和社会中地面移动机器人（MRS）和无人机（UAV）的重要性正在迅速发展。如今，这些代理中的许多代理都配备了通信系统，在某些情况下，对于成功完成某些任务至关重要。在这种情况下，我们已经开始见证在机器人技术和通信的交集中开发一个新的跨学科研究领域。该研究领域的意图是将无人机集成到5G和6G通信网络中。这项研究无疑将在不久的将来导致许多重要的应用。然而，该研究领域发展的主要障碍之一是，大多数研究人员通过过度简化机器人技术或通信方面来解决这些问题。这阻碍了达到这个新的跨学科研究领域的全部潜力的能力。在本教程中，我们介绍了一些建模工具，从跨学科的角度来解决涉及机器人技术和通信的问题所需的一些建模工具。作为此类问题的说明性示例，我们将重点放在本教程上，讨论通信感知轨迹计划的问题。

The connectivity-aware path design is crucial in the effective deployment of autonomous Unmanned Aerial Vehicles (UAVs). Recently, Reinforcement Learning (RL) algorithms have become the popular approach to solving this type of complex problem, but RL algorithms suffer slow convergence. In this paper, we propose a Transfer Learning (TL) approach, where we use a teacher policy previously trained in an old domain to boost the path learning of the agent in the new domain. As the exploration processes and the training continue, the agent refines the path design in the new domain based on the subsequent interactions with the environment. We evaluate our approach considering an old domain at sub-6 GHz and a new domain at millimeter Wave (mmWave). The teacher path policy, previously trained at sub-6 GHz path, is the solution to a connectivity-aware path problem that we formulate as a constrained Markov Decision Process (CMDP). We employ a Lyapunov-based model-free Deep Q-Network (DQN) to solve the path design at sub-6 GHz that guarantees connectivity constraint satisfaction. We empirically demonstrate the effectiveness of our approach for different urban environment scenarios. The results demonstrate that our proposed approach is capable of reducing the training time considerably at mmWave.

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

我们在执行姿势图优化（PGO）的机器人团队中提供了一份新颖的合作框架，该团队解决了解决多机器人SLAM的两个重要挑战：i）通过在不使用地图的情况下通过活动的Rendezvous实现信息交换“按需”的两个重要挑战机器人的位置和ii）拒绝偏远的测量。我们的主要洞察力是利用机器人之间的通信信道中存在的相对位置数据来提高PGO的基地精度。我们开发一种用于将信道状态信息（CSI）与多机器人PGO集成的算法和实验框架;它是分布式的，适用于低灯或无特色环境，传统传感器经常失败。我们对实际机器人提供了广泛的实验结果，并观察了使用活跃的Rendezvous导致在地面真理姿势错误的64％减少中，使用CSI观察援助异常拒绝将地面真理造成错误减少32％。这些结果表明，将通信作为新颖的Slam传感器集成的可能性。