As one of the most popular micro-mobility options, e-scooters are spreading in hundreds of big cities and college towns in the US and worldwide. In the meantime, e-scooters are also posing new challenges to traffic safety. In general, e-scooters are suggested to be ridden in bike lanes/sidewalks or share the road with cars at the maximum speed of about 15-20 mph, which is more flexible and much faster than the pedestrains and bicyclists. These features make e-scooters challenging for human drivers, pedestrians, vehicle active safety modules, and self-driving modules to see and interact. To study this new mobility option and address e-scooter riders' and other road users' safety concerns, this paper proposes a wearable data collection system for investigating the micro-level e-Scooter motion behavior in a Naturalistic road environment. An e-Scooter-based data acquisition system has been developed by integrating LiDAR, cameras, and GPS using the robot operating system (ROS). Software frameworks are developed to support hardware interfaces, sensor operation, sensor synchronization, and data saving. The integrated system can collect data continuously for hours, meeting all the requirements including calibration accuracy and capability of collecting the vehicle and e-Scooter encountering data.

Recently, e-scooter-involved crashes have increased significantly but little information is available about the behaviors of on-road e-scooter riders. Most existing e-scooter crash research was based on retrospectively descriptive media reports, emergency room patient records, and crash reports. This paper presents a naturalistic driving study with a focus on e-scooter and vehicle encounters. The goal is to quantitatively measure the behaviors of e-scooter riders in different encounters to help facilitate crash scenario modeling, baseline behavior modeling, and the potential future development of in-vehicle mitigation algorithms. The data was collected using an instrumented vehicle and an e-scooter rider wearable system, respectively. A three-step data analysis process is developed. First, semi-automatic data labeling extracts e-scooter rider images and non-rider human images in similar environments to train an e-scooter-rider classifier. Then, a multi-step scene reconstruction pipeline generates vehicle and e-scooter trajectories in all encounters. The final step is to model e-scooter rider behaviors and e-scooter-vehicle encounter scenarios. A total of 500 vehicle to e-scooter interactions are analyzed. The variables pertaining to the same are also discussed in this paper.

In this paper, we propose SceNDD: a scenario-based naturalistic driving dataset that is built upon data collected from an instrumented vehicle in downtown Indianapolis. The data collection was completed in 68 driving sessions with different drivers, where each session lasted about 20--40 minutes. The main goal of creating this dataset is to provide the research community with real driving scenarios that have diverse trajectories and driving behaviors. The dataset contains ego-vehicle's waypoints, velocity, yaw angle, as well as non-ego actor's waypoints, velocity, yaw angle, entry-time, and exit-time. Certain flexibility is provided to users so that actors, sensors, lanes, roads, and obstacles can be added to the existing scenarios. We used a Joint Probabilistic Data Association (JPDA) tracker to detect non-ego vehicles on the road. We present some preliminary results of the proposed dataset and a few applications associated with it. The complete dataset is expected to be released by early 2023.

自主车辆的环境感知受其物理传感器范围和算法性能的限制，以及通过降低其对正在进行的交通状况的理解的闭塞。这不仅构成了对安全和限制驾驶速度的重大威胁，而且它也可能导致不方便的动作。智能基础设施系统可以帮助缓解这些问题。智能基础设施系统可以通过在当前交通情况的数字模型的形式提供关于其周围环境的额外详细信息，填补了车辆的感知中的差距并扩展了其视野。数字双胞胎。然而，这种系统的详细描述和工作原型表明其可行性稀缺。在本文中，我们提出了一种硬件和软件架构，可实现这样一个可靠的智能基础架构系统。我们在现实世界中实施了该系统，并展示了它能够创建一个准确的延伸高速公路延伸的数字双胞胎，从而提高了自主车辆超越其车载传感器的极限的感知。此外，我们通过使用空中图像和地球观测方法来评估数字双胞胎的准确性和可靠性，用于产生地面真理数据。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。

事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力，因此摄影机最近变得越来越受欢迎。通过同时定位和映射（SLAM）给出了可能受益于事件摄像机的重要问题。但是，为了确保在包含事件的多传感器大满贯上进展，需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机，常规立体声摄像机，多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的，并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备（例如运动捕获系统）捕获的地面真相数据。各个序列都包括小型和大型环境，并涵盖动态视觉传感器针对的特定挑战。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

准确可靠的传感器校准对于在自主驾驶中融合激光雷达和惯性测量至关重要。本文提出了一种新型的3D-LIDAR和姿势传感器的新型三阶段外部校准方法，用于自主驾驶。第一阶段可以通过点云表面特征快速校准传感器之间的外部参数，以便可以将外部参数从大的初始误差范围缩小到很小的时间范围。第二阶段可以基于激光映射空间占用率进一步校准外部参数，同时消除运动失真。在最后阶段，校正了由自动驾驶汽车的平面运动引起的Z轴误差，并最终获得了精确的外部参数。具体而言，该方法利用了道路场景的自然特征，使其独立且易于在大规模条件下应用。现实世界数据集的实验结果证明了我们方法的可靠性和准确性。这些代码是在GitHub网站上开源的。据我们所知，这是第一个专门为自动驾驶设计的开源代码，用于校准激光雷达和姿势传感器外部参数。代码链接是https://github.com/opencalib/lidar2ins。

通过移动激光扫描和图像构建有色点的云是测量和映射的基本工作。它也是为智能城市建造数字双胞胎的重要先决条件。但是，现有的公共数据集要么是相对较小的规模，要么缺乏准确的几何和彩色地面真理。本文记录了一个名为Polyu-BPComa的多功能数据集，该数据集可独特地定位于移动着色映射。该数据集在背包平台上包含3D激光雷达，球形成像，GNSS和IMU的资源。颜色检查器板在每个调查区域粘贴，因为目标和地面真相数据是由先进的陆地激光扫描仪（TLS）收集的。 3D几何信息和颜色信息可以分别在背包系统和TLS产生的有色点云中恢复。因此，我们提供了一个机会，可以同时为移动多感官系统对映射和着色精度进行基准测试。该数据集的尺寸约为800 GB，涵盖室内和室外环境。数据集和开发套件可在https://github.com/chenpengxin/polyu-bpcoma.git上找到。

在本文中，我们使用两个无监督的学习算法的组合介绍了路边激光雷达物体检测的解决方案。 3D点云数据首先将球形坐标转换成球形坐标并使用散列函数填充到方位角网格矩阵中。之后，RAW LIDAR数据被重新排列成空间 - 时间数据结构，以存储范围，方位角和强度的信息。基于强度信道模式识别，应用动态模式分解方法将点云数据分解成低级背景和稀疏前景。三角算法根据范围信息，自动发现分割值以将移动目标与静态背景分开。在强度和范围背景减法之后，将使用基于密度的检测器检测到前景移动物体，并编码到状态空间模型中以进行跟踪。所提出的模型的输出包括车辆轨迹，可以实现许多移动性和安全应用。该方法针对商业流量数据收集平台进行了验证，并证明了对基础设施激光雷达对象检测的高效可靠的解决方案。与之前的方法相比，该方法直接处理散射和离散点云，所提出的方法可以建立3D测量数据的复杂线性关系较小，这捕获了我们经常需要的空间时间结构。

我们描述了一个软件框架和用于串联的硬件平台，用于设计和分析模拟和现实中机器人自主算法。该软件是开源的，独立的容器和操作系统（OS）的软件，具有三个主要组件：COS ++车辆仿真框架（Chrono）的ROS 2接口（Chrono），该框架提供了高保真的轮毂/跟踪的车辆和传感器仿真；基于ROS 2的基本基于算法设计和测试的自治堆栈；以及一个开发生态系统，可在感知，状态估计，路径计划和控制中进行可视化和硬件实验。随附的硬件平台是1/6刻度的车辆，并具有可重新配置的用于计算，传感和跟踪的可重新配置的安装。其目的是允许对算法和传感器配置进行物理测试和改进。由于该车辆平台在模拟环境中具有数字双胞胎，因此可以测试和比较模拟和现实中相同的算法和自主堆栈。该平台的构建是为了表征和管理模拟到现实差距。在此，我们描述了如何建立，部署和用于改善移动应用程序的自主权。

基于传感器的环境感知是自主驾驶系统的关键步骤，多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机，现有方法通常是先校准相机的固有，然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果，则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法，因此在实际校准中，由于摄像机内在参数的微小误差，外部参数校准的准确性通常会降低。为此，我们提出了一种新型的基于目标的关节校准方法，用于摄像机内在和激光摄像机外部参数。首先，我们设计了一个新颖的校准板图案，在棋盘上增加了四个圆形孔，以定位激光姿势。随后，在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数，失真因子和激光相机外部外部参数。最后，定量和定性实验是在实际和模拟环境中进行的，结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。

自动驾驶技术的加速开发对获得大量高质量数据的需求更大。标签，现实世界数据代表性是培训深度学习网络的燃料，对于改善自动驾驶感知算法至关重要。在本文中，我们介绍了PANDASET，由完整的高精度自动车辆传感器套件生产的第一个数据集，具有无需成本商业许可证。使用一个360 {\ DEG}机械纺丝利达，一个前置，远程LIDAR和6个摄像机收集数据集。DataSet包含100多个场景，每个场景为8秒，为目标分类提供28种类型的标签和37种类型的语义分割标签。我们提供仅限LIDAR 3D对象检测的基线，LIDAR-Camera Fusion 3D对象检测和LIDAR点云分割。有关Pandaset和开发套件的更多详细信息，请参阅https://scale.com/open-datasets/pandaset。

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

自动检测飞行无人机是一个关键问题，其存在（特别是未经授权）可以造成风险的情况或损害安全性。在这里，我们设计和评估了多传感器无人机检测系统。结合常见的摄像机和麦克风传感器，我们探索了热红外摄像机的使用，指出是一种可行且有希望的解决方案，在相关文献中几乎没有解决。我们的解决方案还集成了鱼眼相机，以监视天空的更大部分，并将其他摄像机转向感兴趣的对象。传感溶液与ADS-B接收器，GPS接收器和雷达模块相辅相成，尽管由于其有限的检测范围，后者未包含在我们的最终部署中。即使此处使用的摄像机的分辨率较低，热摄像机也被证明是与摄像机一样好的可行解决方案。我们作品的另外两个新颖性是创建一个新的公共数据集的多传感器注释数据，该数据与现有的类别相比扩大了类的数量，以及对探测器性能的研究作为传感器到传感器的函数的研究目标距离。还探索了传感器融合，表明可以以这种方式使系统更强大，从而减轻对单个传感器的虚假检测

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

在本文中，我们提出了一种具有高时间同步（同步）精度的记录系统，该精度由智能手机，深度摄像机，IMU等等异质传感器组成，由于智能手机的一般兴趣和大量采用，我们包括至少一个这些设备进入我们的系统。这种异构系统需要两个不同时间权限的混合同步：智能手机和MCU，在那里我们将基于硬件有线的触发同步与软件同步组合起来。我们在用RGB摄像头中汇总与新颖的系统混合有源红外深度的自定义和新颖系统的同步结果。我们的系统实现了时间同步的子毫秒精度。此外，我们的系统在这种精度下同时暴露每个RGB深度图像对。我们特别展示了一个配置，但我们系统背后的一般原则可以被其他项目复制。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。