我们研究了基于自主驾驶环境中的毫米波(MMW)雷达的目标跟踪算法。针对在目标跟踪阶段中的簇匹配,提出了一种新的加权特征相似性算法,其在强的环境噪声和多个干扰目标下增加了相邻帧中的相同目标的匹配速率。对于自动驾驶场景,我们构建了一种方法,该方法利用其运动参数来提取和校正移动目标的轨迹,这解决了车辆运动期间移动目标检测和轨迹校正的问题。最后,通过自动驾驶环境中的一系列实验验证了所提出的方法的可行性。结果验证了该方法的高识别精度和低位置误差。
translated by 谷歌翻译
社会偏移和温度筛选已被广泛用于抵消Covid-19大流行,从全世界的学术界,工业和公共主管部门引发极大的兴趣。虽然大多数解决方案分别处理了这些方面,但它们的组合将极大地利用对公共空间的持续监测,并有助于触发有效的对策。这项工作介绍了毫米杀虫雷达和红外成像传感系统,在室内空间中进行了不引人注目的和隐私,在室内空间中进行了不显眼和隐私。 Millitrace-IR通过强大的传感器融合方法,MM波雷达和红外热摄像机结合。它通过在热摄像机图像平面和雷达参考系统中的人体运动中共同跟踪受试者的面,实现了偏移和体温的完全自动测量。此外,毫米itrace-IR执行接触跟踪:热相机传感器可靠地检测体温高的人,随后通过雷达以非侵入方式追踪大型室内区域。进入新房间时,通过深神经网络从雷达反射计算与雷达反射的步态相关的特征,并使用加权的极端学习机作为最终重新识别工具,在其他人之间重新识别一个主题。从实际实施中获得的实验结果,从毫米 - IR的实际实施中展示了距离/轨迹估计的排入量级精度,个人间距离估计(对受试者接近0.2米的受试者有效),以及精确的温度监测(最大误差0.5 {\ deg} c)。此外,毫米itrace-IR通过高精度(95%)的人重新识别,在不到20秒内提供接触跟踪。
translated by 谷歌翻译
检测有害的携带物体在智能监控系统中起着关键作用,例如,在机场安全中具有广泛的应用。在本文中,我们专注于使用低成本77GHz MMWVEAVE雷达的相对未开发的区域,用于携带物体检测问题。该建议的系统能够实时检测三类对象 - 笔记本电脑,手机和刀具 - 在开放的携带和隐藏的情况下,物体隐藏着衣服或袋子。这种能力是通过用于定位的初始信号处理来实现的,用于定位和生成范围 - 方位角升降图像立方体,然后是基于深度学习的预测网络和用于检测对象的多枪后处理模块。用于验证检测开放携带和隐藏物体的系统性能的广泛实验已经提出了一种自制雷达相机测试用和数据集。此外,分析了不同输入,因素和参数对系统性能的影响,为系统提供了直观的理解。该系统是旨在使用77GHz雷达检测携带物体的其他未来作品的第一个基线。
translated by 谷歌翻译
自动检测交通事故是交通监控系统中重要的新兴主题。如今,许多城市交叉路口都配备了与交通管理系统相关的监视摄像机。因此,计算机视觉技术可以是自动事故检测的可行工具。本文提出了一个新的高效框架,用于在交通监视应用的交叉点上进行事故检测。所提出的框架由三个层次步骤组成,包括基于最先进的Yolov4方法的有效和准确的对象检测,基于Kalman滤波器与匈牙利算法进行关联的对象跟踪以及通过轨迹冲突分析进行的事故检测。对象关联应用了新的成本函数,以适应对象跟踪步骤中的遮挡,重叠对象和形状变化。为了检测不同类型的轨迹冲突,包括车辆到车辆,车辆对乘车和车辆对自行车,对物体轨迹进行了分析。使用真实交通视频数据的实验结果显示,该方法在交通监视的实时应用中的可行性。尤其是,轨迹冲突,包括在城市十字路口发生的近乎事故和事故,以低的错误警报率和高检测率检测到。使用从YouTube收集的具有不同照明条件的视频序列评估所提出框架的鲁棒性。该数据集可在以下网址公开获取:http://github.com/hadi-ghnd/accidentdetection。
translated by 谷歌翻译
本文介绍了我们拦截更快的入侵者无人机的方法,这是受MBZIRC 2020挑战1.的启发1.通过利用对入侵者轨迹的形状的先验知识,我们可以计算拦截点。目标跟踪基于Yolov3微型卷积神经网络的图像处理,并结合使用饰品安装的ZED ZED迷你立体声摄像机的深度计算。我们使用摄像头的RGB和深度数据,设计降噪的直方图过滤器来提取目标的3D位置。获得目标位置的3D测量值用于计算图八形轨迹的位置,方向和大小,我们使用Bernoulli Lemniscate近似。一旦近似被认为是足够精确的,可以通过观察值和估计之间的距离来测量,我们将计算一个拦截点,以将拦截器无人机直接放在入侵者的路径上。根据MBZIRC竞争期间收集的经验,我们的方法已在模拟和现场实验中得到了验证。我们的结果证实,我们已经开发了一个有效的视觉感知模块,该模块可以提取以足以支持拦截计划的精确性来描述入侵者无人机运动的信息。在大多数模拟遭遇中,我们可以跟踪和拦截比拦截器快30%的目标。在非结构化环境中的相应测试产生了12个成功结果中的9个。
translated by 谷歌翻译
自动化驾驶系统(广告)开辟了汽车行业的新领域,为未来的运输提供了更高的效率和舒适体验的新可能性。然而,在恶劣天气条件下的自主驾驶已经存在,使自动车辆(AVS)长时间保持自主车辆(AVS)或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战,并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术,当前可用的数据集,模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题,自主驾驶场目前正在面临,近年来审查硬件和计算机科学解决方案,这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译
我们提出了一种基于多普勒速度的基于群体和速度估计算法,基于FMCW利达的特性,实现了高精度,单扫描和实时运动状态检测和速度估计。我们证明了同一物体上的多普勒速度的连续性。基于这一原理,我们通过区域生长聚类算法实现了移动物体和静止背景之间的区别。所获得的固定背景将用于通过最小二乘法估计FMCW激光雷达的速度。然后,我们使用估计的LIDAR速度和通过聚类获得的移动物体的多普勒速度来估计移动物体的速度。为确保实时处理,我们设置了适当的最小二乘参数。同时,为了验证算法的有效性,我们在自动驾驶仿真平台Carla上创建FMCW激光雷达模型,用于产卵数据。结果表明,我们的算法可以在Ryzen 3600x CPU的算术功率下处理至少45米的点,并估计每秒150个移动物体的速度,运动状态检测精度超过99%,估计速度精度为0.1多发性硬化症。
translated by 谷歌翻译
本文旨在解决多个对象跟踪(MOT),这是计算机视觉中的一个重要问题,但由于许多实际问题,尤其是阻塞,因此仍然具有挑战性。确实,我们提出了一种新的实时深度透视图 - 了解多个对象跟踪(DP-MOT)方法,以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计(SODE),以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出,提出了一个新的活动伪3D KALMAN滤波器,即具有动态控制变量的Kalman滤波器的简单但有效的扩展,以动态更新对象的运动。此外,在数据关联步骤中提出了一种新的高阶关联方法,以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比,提出的方法始终达到最先进的性能。
translated by 谷歌翻译
自主车辆的环境感知受其物理传感器范围和算法性能的限制,以及通过降低其对正在进行的交通状况的理解的闭塞。这不仅构成了对安全和限制驾驶速度的重大威胁,而且它也可能导致不方便的动作。智能基础设施系统可以帮助缓解这些问题。智能基础设施系统可以通过在当前交通情况的数字模型的形式提供关于其周围环境的额外详细信息,填补了车辆的感知中的差距并扩展了其视野。数字双胞胎。然而,这种系统的详细描述和工作原型表明其可行性稀缺。在本文中,我们提出了一种硬件和软件架构,可实现这样一个可靠的智能基础架构系统。我们在现实世界中实施了该系统,并展示了它能够创建一个准确的延伸高速公路延伸的数字双胞胎,从而提高了自主车辆超越其车载传感器的极限的感知。此外,我们通过使用空中图像和地球观测方法来评估数字双胞胎的准确性和可靠性,用于产生地面真理数据。
translated by 谷歌翻译
低成本毫米波(MMWAVE)通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透,为第五代(5G)的大规模和致密的部署铺平了道路(5G) - 而且以及6G网络。同时,普遍存在MMWAVE访问将使设备定位和无设备的感测,以前所未有的精度,特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查,重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后,我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面,包括每个工作的主要目标,技术和性能,每个研究是否达到了一定程度的实现,并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法,密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途,相关和及时的研究方向的结论。
translated by 谷歌翻译
本文提出了一种使用对象检测网络在汽车雷达数据上学习对象的笛卡尔速度的方法。提出的方法是在为速度生成自己的训练信号方面进行的。标签仅用于单帧,定向边界框(OBB)。不需要昂贵的笛卡尔速度或连续序列的标签。一般的想法是在不使用单帧OBB标签的情况下预先培训对象检测网络,然后利用网络的OBB预测未标记的数据进行速度训练。详细说明,使用预测的速度以及未标记框架的更新OBB之间的距离和标记框架的OBB预测之间的距离,将网络对未标记帧的OBB预测更新为标记帧的时间戳,用于生成一个自我的预测。监督速度的训练信号。检测网络体系结构由一个模块扩展,以说明多次扫描的时间关系和一个模块,以明确表示雷达的径向速度测量值。仅首次训练的两步方法使用OBB检测,然后使用训练OBB检测和速度。此外,由雷达径向速度测量产生的伪标记的预训练引导Bootstraps本文的自我监督方法。公开可用的Nuscenes数据集进行的实验表明,所提出的方法几乎达到了完全监督培训的速度估计性能,但不需要昂贵的速度标签。此外,我们优于基线方法,该方法仅使用径向速度测量作为标签。
translated by 谷歌翻译
LIDAR点云失真来自移动物体是自动驾驶中的一个重要问题,最近对新兴激光器的出现更加苛刻,这具有前后扫描模式。准确地估计移动物体速度不仅提供跟踪功能,而且还可以通过更准确的移动物体描述来校正点云失真。由于LIDAR测量飞行时间距离但具有稀疏角度分辨率,因此测量在径向测量中精确,但缺乏角度。另一方面,相机提供了密集的角度分辨率。本文提出了基于高斯的激光乐乐和相机融合来估计完整的速度并校正激光雷达失真。提供概率的卡尔曼滤波器框架以跟踪移动物体,估计它们的速度,并同时纠正点云扭曲。框架在真正的道路数据上进行评估,融合方法优于传统的ICP和点云的方法。完整的工作框架是开放的(https://github.com/isee-technology/lidar-with-velocity),以加速新兴激光灯的采用。
translated by 谷歌翻译
在本文中,我们使用两个无监督的学习算法的组合介绍了路边激光雷达物体检测的解决方案。 3D点云数据首先将球形坐标转换成球形坐标并使用散列函数填充到方位角网格矩阵中。之后,RAW LIDAR数据被重新排列成空间 - 时间数据结构,以存储范围,方位角和强度的信息。基于强度信道模式识别,应用动态模式分解方法将点云数据分解成低级背景和稀疏前景。三角算法根据范围信息,自动发现分割值以将移动目标与静态背景分开。在强度和范围背景减法之后,将使用基于密度的检测器检测到前景移动物体,并编码到状态空间模型中以进行跟踪。所提出的模型的输出包括车辆轨迹,可以实现许多移动性和安全应用。该方法针对商业流量数据收集平台进行了验证,并证明了对基础设施激光雷达对象检测的高效可靠的解决方案。与之前的方法相比,该方法直接处理散射和离散点云,所提出的方法可以建立3D测量数据的复杂线性关系较小,这捕获了我们经常需要的空间时间结构。
translated by 谷歌翻译
多对象跟踪(MOT)的目标是检测和跟踪场景中的所有对象,同时为每个对象保留唯一的标识符。在本文中,我们提出了一种新的可靠的最新跟踪器,该跟踪器可以结合运动和外观信息的优势,以及摄像机运动补偿以及更准确的Kalman滤波器状态矢量。我们的新跟踪器在Mot17和Mot20测试集的Motchallenge [29,11]的数据集[29,11]中,Bot-Sort-Reid排名第一,就所有主要MOT指标而言:MOTA,IDF1和HOTA。对于Mot17:80.5 Mota,80.2 IDF1和65.0 HOTA。源代码和预培训模型可在https://github.com/niraharon/bot-sort上找到
translated by 谷歌翻译
Modeling perception sensors is key for simulation based testing of automated driving functions. Beyond weather conditions themselves, sensors are also subjected to object dependent environmental influences like tire spray caused by vehicles moving on wet pavement. In this work, a novel modeling approach for spray in lidar data is introduced. The model conforms to the Open Simulation Interface (OSI) standard and is based on the formation of detection clusters within a spray plume. The detections are rendered with a simple custom ray casting algorithm without the need of a fluid dynamics simulation or physics engine. The model is subsequently used to generate training data for object detection algorithms. It is shown that the model helps to improve detection in real-world spray scenarios significantly. Furthermore, a systematic real-world data set is recorded and published for analysis, model calibration and validation of spray effects in active perception sensors. Experiments are conducted on a test track by driving over artificially watered pavement with varying vehicle speeds, vehicle types and levels of pavement wetness. All models and data of this work are available open source.
translated by 谷歌翻译
To track the 3D locations and trajectories of the other traffic participants at any given time, modern autonomous vehicles are equipped with multiple cameras that cover the vehicle's full surroundings. Yet, camera-based 3D object tracking methods prioritize optimizing the single-camera setup and resort to post-hoc fusion in a multi-camera setup. In this paper, we propose a method for panoramic 3D object tracking, called CC-3DT, that associates and models object trajectories both temporally and across views, and improves the overall tracking consistency. In particular, our method fuses 3D detections from multiple cameras before association, reducing identity switches significantly and improving motion modeling. Our experiments on large-scale driving datasets show that fusion before association leads to a large margin of improvement over post-hoc fusion. We set a new state-of-the-art with 12.6% improvement in average multi-object tracking accuracy (AMOTA) among all camera-based methods on the competitive NuScenes 3D tracking benchmark, outperforming previously published methods by 6.5% in AMOTA with the same 3D detector.
translated by 谷歌翻译
Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.
translated by 谷歌翻译
合作感知的一个主要挑战是加重从各种来源进行的测量,以获得准确的结果。理想情况下,权重应与传感信息中的误差成反比。但是,自动驾驶汽车的先前合作传感器融合方法使用固定的误差模型,其中传感器的协方差及其识别器管道只是所有感应场景的测量协方差的平均值。本文提出的方法使用关键预测术语估算错误,这些术语与传感和定位精度具有很高的相关性,以准确地协方差估计每个传感器观察。我们采用一个分层融合模型,该模型由局部和全球传感器融合步骤组成。在局部融合水平上,我们使用每个传感器的误差模型和测量距离添加协方差生成阶段,以生成每个观察值的预期协方差矩阵。在全球传感器融合阶段,我们添加了一个额外的阶段,以从关键预测器项速度产生定位协方差矩阵,并将其与局部融合产生的协方差相结合,以准确地进行合作感应。为了展示我们的方法,我们构建了一组1/10比例模型自动驾驶汽车,具有准确的感应功能,并针对运动捕获系统对误差特性进行了分类。结果表明,当使用我们的误差模型与典型的固定误差模型时,在四车协作融合方案中分别检测到1.42倍和1.78倍的车辆位置时,RMSE的平均水平和最大改善。
translated by 谷歌翻译
社会偏差可以减少Covid-19等呼吸流行病中的感染率。交通交叉路口特别适用于在大都市中监测和评估社会疏散行为。我们提出并评估了一个隐私保留的社会疏散分析系统(B-SDA),它使用鸟瞰观看跨越交通交叉口的行人的录像。我们设计用于视频预处理,对象检测和跟踪的算法,这些算法源于已知的计算机视觉和深度学习技术,而是修改以解决检测由高度升高的相机捕获的非常小的物体/行人的问题。我们提出了一种纳入行人分组以检测社会疏散侵权行为的方法。 B-SDA用于比较基于大都会区域前大流行和大流行视频的行人行为。完成的行人检测性能为63.0美元$ $ $ ap_ {50} $,跟踪性能为47.6美元\%$ mota。大流行期间的社会疏散违规率为15.6 \%$ 31.4 \%$ Pandemic基线,表明行人遵循CDC规定的社会休闲建议。建议的系统适用于现实世界应用中的部署。
translated by 谷歌翻译
计算机视觉在智能运输系统(ITS)和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外,通过实施深层神经网络的实施,可以使用视频监视基础架构进行自动和高级交通管理系统(ATM)。在这项研究中,我们为实时交通监控提供了一个实用的平台,包括3D车辆/行人检测,速度检测,轨迹估算,拥塞检测以及监视车辆和行人的相互作用,都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型,用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图(SG-IPM)方法,用于摄像机自动校准,从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案,以了解脆弱道路使用者的交通流量,瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的,包括从高速公路,交叉路口和城市地区收集的MIO-TCD,UA-DETRAC和GRAM-RTM,在不同的照明和城市地区天气状况。
translated by 谷歌翻译