基于干涉视觉的导航（IVISNAV）是一种用于自主接近操作的新型光电传感器。 ivisnav采用激光发射结构化的信标，并通过测量传输激光脉冲的相变的变化来精确地表征六个自由度相对运动速率。 Ivisnav的嵌入式软件包必须有效地处理高频动力学，以进行健壮的感应和估计。本文开发了一种新的嵌入式系统，用于基于最小二乘的速率估计。所得系统能够与光子学连接并在现场可编程的门数阵列中实现估计算法。嵌入式软件包被证明是使用有限的精度算术进行高速计算的硬件/软件共同设计估计程序。将有限精度FPGA硬件设计的准确性与MATLAB上算法的浮点软件评估进行了比较，以基于其性能和与错误度量的统计一致性。实施结果证明了使用IVISNAV进行高速接近导航的FPGA计算功能的实用性。

基于事件的视觉传感器基于视觉场景的变化产生具有高时间分辨率的异步事件流。随着事件的生成，这些传感器的特性允许精确快速地计算光学流量。对于从事件数据计算光学流的现有解决方案未能由于孔径问题而无法捕获真正的运动方向，请勿使用传感器的高时间分辨率，或者在嵌入式平台上实时运行太昂贵。在这项研究中，我们首先提供了我们之前的算法，武器（光圈稳健的多尺度流）的更快版本。新的优化软件版本（农场）显着提高了传统CPU的吞吐量。此外，我们呈现危害，一种农场算法的硬件实现，允许实时计算低功耗，嵌入式平台上的真实流量。建议的危害架构针对混合系统的片上器件，旨在最大限度地提高可配置性和吞吐量。硬件架构和农场算法是用异步的神经形态处理而开发的，放弃了事件帧的常用使用，而是仅使用不同事件的小历史运行，允许独立于传感器分辨率进行缩放。与现有方法相比，处理范例的这种变化将流量方向的估计变为高达73％，并在选择的基准配置上显示出危害最高为1.21 Mevent / s的危害。此吞吐量使实时性能能够实现迄今为止迄今为止最快速的基于活动的事件的光流的实现。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

We designed and constructed an A-sized base autonomous underwater vehicle (AUV), augmented with a stack of modular and extendable hardware and software, including autonomy, navigation, control and high fidelity simulation capabilities (A-size stands for the standard sonobuoy form factor, with a maximum diameter of 124 mm). Subsequently, we extended this base vehicle with a novel tuna-inspired morphing fin payload module (referred to as the Morpheus AUV), to achieve good directional stability and exceptional maneuverability; properties that are highly desirable for rigid hull AUVs, but are presently difficult to achieve because they impose contradictory requirements. The morphing fin payload allows the base AUV to dynamically change its stability-maneuverability qualities by using morphing fins, which can be deployed, deflected and retracted, as needed. The base vehicle and Morpheus AUV were both extensively field tested in-water in the Charles river, Massachusetts, USA; by conducting hundreds of hours of operations over a period of two years. The maneuvering capability of the Morpheus AUV was evaluated with and without the use of morphing fins to quantify the performance improvement. The Morpheus AUV was able to showcase an exceptional turning rate of around 25-35 deg/s. A maximum turn rate improvement of around 35% - 50% was gained through the use of morphing fins.

LIDAR（光检测和测距）SLAM（同时定位和映射）作为室内清洁，导航和行业和家庭中许多其他有用应用的基础。从一系列LIDAR扫描，它构建了一个准确的全球一致的环境模型，并估计它内部的机器人位置。 SLAM本质上是计算密集的;在具有有限的加工能力的移动机器人上实现快速可靠的SLAM系统是一个具有挑战性的问题。为了克服这种障碍，在本文中，我们提出了一种普遍，低功耗和资源有效的加速器设计，用于瞄准资源限制的FPGA。由于扫描匹配位于SLAM的核心，所提出的加速器包括可编程逻辑部分上的专用扫描匹配核心，并提供软件接口以便于使用。我们的加速器可以集成到各种SLAM方法，包括基于ROS（机器人操作系统） - 基于ROS（机器人操作系统），并且用户可以切换到不同的方法而不修改和重新合成逻辑部分。我们将加速器集成为三种广泛使用的方法，即扫描匹配，粒子滤波器和基于图形的SLAM。我们使用现实世界数据集评估资源利用率，速度和输出结果质量方面的设计。 Pynq-Z2板上的实验结果表明，我们的设计将扫描匹配和循环闭合检测任务加速高达14.84倍和18.92倍，分别在上述方法中产生4.67倍，4.00倍和4.06倍的整体性能改进。我们的设计能够实现实时性能，同时仅消耗2.4W并保持精度，可与软件对应物乃至最先进的方法相当。

传感器是将物理参数或环境特征（例如温度，距离，速度等）转换为可以通过数字测量和处理以执行特定任务的信号的设备。移动机器人需要传感器来测量其环境的属性，从而允许安全导航，复杂的感知和相应的动作以及与填充环境的其他代理的有效相互作用。移动机器人使用的传感器范围从简单的触觉传感器（例如保险杠）到复杂的基于视觉的传感器，例如结构化灯相机。所有这些都提供了可以由机器人计算机处理的数字输出（例如，字符串，一组值，矩阵等）。通常通过使用传感器中包含的数字转换器（ADC）的类似物来离散一个或多个模拟电信号来获得此类输出。在本章中，我们介绍了移动机器人技术中最常见的传感器，并提供了其分类法，基本特征和规格的介绍。对功能和应用程序类型的描述遵循一种自下而上的方法：在描述现实世界传感器之前，介绍了传感器所基于的基本原理和组件，这些传感器通常基于多种技术和基本设备。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

We propose a multisensor fusion framework for onboard real-time navigation of a quadrotor in an indoor environment, by integrating sensor readings from an Inertial Measurement Unit (IMU), a camera-based object detection algorithm, and an Ultra-WideBand (UWB) localization system. The sensor readings from the camera-based object detection algorithm and the UWB localization system arrive intermittently, since the measurements are not readily available. We design a Kalman filter that manages intermittent observations in order to handle and fuse the readings and estimate the pose of the quadrotor for tracking a predefined trajectory. The system is implemented via a Hardware-in-the-loop (HIL) simulation technique, in which the dynamic model of the quadrotor is simulated in an open-source 3D robotics simulator tool, and the whole navigation system is implemented on Artificial Intelligence (AI) enabled edge GPU. The simulation results show that our proposed framework offers low positioning and trajectory errors, while handling intermittent sensor measurements.

We propose AstroSLAM, a standalone vision-based solution for autonomous online navigation around an unknown target small celestial body. AstroSLAM is predicated on the formulation of the SLAM problem as an incrementally growing factor graph, facilitated by the use of the GTSAM library and the iSAM2 engine. By combining sensor fusion with orbital motion priors, we achieve improved performance over a baseline SLAM solution. We incorporate orbital motion constraints into the factor graph by devising a novel relative dynamics factor, which links the relative pose of the spacecraft to the problem of predicting trajectories stemming from the motion of the spacecraft in the vicinity of the small body. We demonstrate the excellent performance of AstroSLAM using both real legacy mission imagery and trajectory data courtesy of NASA's Planetary Data System, as well as real in-lab imagery data generated on a 3 degree-of-freedom spacecraft simulator test-bed.

配备高速数字化器的前端电子设备正在使用并建议将来的核检测器。最近的文献表明，在处理来自核检测器的数字信号时，深度学习模型，尤其是一维卷积神经网络。模拟和实验证明了该领域神经网络的令人满意的准确性和其他好处。但是，仍需要研究特定的硬件加速在线操作。在这项工作中，我们介绍了Pulsedl-II，这是一种专门设计的，专门为事件功能（时间，能量等）从具有深度学习的脉冲中提取的应用。根据先前的版本，PULSEDL-II将RISC CPU纳入系统结构，以更好地功能灵活性和完整性。 SOC中的神经网络加速器采用三级（算术单元，处理元件，神经网络）层次结构，并促进数字设计的参数优化。此外，我们设计了一种量化方案和相关的实现方法（恢复和位移位），以在所选层类型的选定子集中与深度学习框架（例如Tensorflow）完全兼容。通过当前方案，支持神经网络的量化训练，并通过专用脚本自动将网络模型转换为RISC CPU软件，几乎没有准确性损失。我们在现场可编程门阵列（FPGA）上验证pulsedl-ii。最后，通过由直接数字合成（DDS）信号发生器和带有模数转换器（ADC）的FPGA开发板组成的实验设置进行系统验证。拟议的系统实现了60 PS的时间分辨率和0.40％的能量分辨率，在线神经网络推断在信号与噪声比（SNR）为47.4 dB时。

The performance of inertial navigation systems is largely dependent on the stable flow of external measurements and information to guarantee continuous filter updates and bind the inertial solution drift. Platforms in different operational environments may be prevented at some point from receiving external measurements, thus exposing their navigation solution to drift. Over the years, a wide variety of works have been proposed to overcome this shortcoming, by exploiting knowledge of the system current conditions and turning it into an applicable source of information to update the navigation filter. This paper aims to provide an extensive survey of information aided navigation, broadly classified into direct, indirect, and model aiding. Each approach is described by the notable works that implemented its concept, use cases, relevant state updates, and their corresponding measurement models. By matching the appropriate constraint to a given scenario, one will be able to improve the navigation solution accuracy, compensate for the lost information, and uncover certain internal states, that would otherwise remain unobservable.

信号处理是几乎任何传感器系统的基本组件，具有不同科学学科的广泛应用。时间序列数据，图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能，数据驱动，信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述，旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题，从基础到工业研究，以简明的主题部分组织，反映了每个研究领域的当前和未来发展的趋势和影响。此外，它为研究人员和资助机构提供了识别新前景的指导。

滑动检测对于在外星人表面驾驶的流浪者的安全性和效率至关重要。当前的行星流动站滑移检测系统依赖于视觉感知，假设可以在环境中获得足够的视觉特征。然而，基于视觉的方法容易受到感知降解的行星环境，具有主要低地形特征，例如岩石岩，冰川地形，盐散发物以及较差的照明条件，例如黑暗的洞穴和永久阴影区域。仅依靠视觉传感器进行滑动检测也需要额外的计算功率，并降低了流动站的遍历速率。本文回答了如何检测行星漫游者的车轮滑移而不取决于视觉感知的问题。在这方面，我们提出了一个滑动检测系统，该系统从本体感受的本地化框架中获取信息，该框架能够提供数百米的可靠，连续和计算有效的状态估计。这是通过使用零速度更新，零角度更新和非独立限制作为惯性导航系统框架的伪测量更新来完成的。对所提出的方法进行了对实际硬件的评估，并在行星 - 分析环境中进行了现场测试。该方法仅使用IMU和车轮编码器就可以达到150 m左右的92％滑动检测精度。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

通过在图像传感器设计中加入可编程的兴趣区域（ROI）读数来提高嵌入式视觉系统的能量效率的巨大范围。在这项工作中，我们研究如何利用ROI可编程性，以便通过预期ROI将位于未来帧中的位置并在该区域之外切换像素来进行跟踪应用程序。我们将ROI预测的该过程和对应的传感器配置称为自适应限制。我们的自适应数据采样算法包括对象检测器和ROI预测器（卡尔曼滤波器），其结合地操作以优化视觉管道的能量效率，其结束任务是对象跟踪。为了进一步促进现实生活中的自适应算法的实施，我们选择候选算法并将其映射到FPGA上。利用Xilinx血管AI工具，我们设计并加速了基于YOLO对象探测器的自适应数据采样算法。为了进一步改进算法的部署后，我们在OTB100和LASOT数据集中评估了几个竞争的基线。我们发现将ECO跟踪器与Kalman滤波器耦合，在OTB100和Lasot Datasets上具有0.4568和0.3471的竞争性AUC分数。此外，该算法的功率效率与另一个基线优于相同的情况，并且在几个外部的情况下。基于ECO的算法在两个数据集上发生大约4W的功耗，而基于YOLO的方法需要大约6 W的功耗（根据我们的功耗模型）。在精度延迟权衡方面，基于ECO的算法在管理达到竞争跟踪精度的同时提供近实时性能（19.23 FPS）。

近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体

事件摄像机是受到生物启发的视觉传感器，异步代表像素级亮度随着事件流而变化。基于事件的单眼多视图立体声（EMV）是一种利用事件流以估算具有已知轨迹的半密度3D结构的技术。对于基于事件的单眼大满贯，这是一项关键任务。但是，所需的密集计算工作负载使其对于嵌入式平台上的实时部署而具有挑战性。在本文中，通过实现最关键和最耗时的阶段，包括事件反向预测和FPGA上的体积射线计数，提出Eventor作为快速有效的EMV加速器。高度平行且完全管道的处理元素是通过FPGA专门设计的，并与嵌入式臂集成为异质系统，以改善吞吐量并减少记忆足迹。同时，通过重新安排，近似计算和混合数据量化，将EMVS算法重新制定为更硬件的方式。戴维斯数据集的评估结果表明，与英特尔i5 CPU平台相比，Eventor的能源效率最高可提高$ 24 \ times $。

位置敏感探测器（PSDS）提供了高精度跟踪单个活动标记的两个（或三个）自由（DOF）位置，同时具有高更新频率和低延迟的快速响应时间，所有使用非常简单的信号处理电路。然而，由于缺乏方向测量，有限的跟踪范围和对环境变化的敏感性，它们并不特别适用于6-DOF对象姿势跟踪系统。我们提出了一种新颖的6-DOF姿势跟踪系统，用于需要单个有效标记的刚性物体跟踪。所提出的系统使用立体声的PSD对和多个惯性测量单元（IMU）。这是基于实用的方法来识别和控制红外发光二极管（IR-LED）有源标记的功率，目的是增加跟踪工作空间并降低功耗。我们所提出的跟踪系统用三种不同的工作空间尺寸验证，使用具有三种不同动态运动模式的机器人臂操纵器进行静态和动态位置精度。结果表明，静态位置根均方（RMS）误差为0.6mm。动态位置rms误差为0.7-0.9mm。方向rms误差在不同动态运动时的0.04和0.9度之间。总的来说，我们所提出的跟踪系统能够在工作空间的中间范围和实验室设置下的所有工作空间的子度准确度下跟踪刚性物体姿势。

低成本毫米波（MMWAVE）通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透，为第五代（5G）的大规模和致密的部署铺平了道路（5G） - 而且以及6G网络。同时，普遍存在MMWAVE访问将使设备定位和无设备的感测，以前所未有的精度，特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查，重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后，我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面，包括每个工作的主要目标，技术和性能，每个研究是否达到了一定程度的实现，并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法，密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途，相关和及时的研究方向的结论。