检测有害的携带物体在智能监控系统中起着关键作用,例如,在机场安全中具有广泛的应用。在本文中,我们专注于使用低成本77GHz MMWVEAVE雷达的相对未开发的区域,用于携带物体检测问题。该建议的系统能够实时检测三类对象 - 笔记本电脑,手机和刀具 - 在开放的携带和隐藏的情况下,物体隐藏着衣服或袋子。这种能力是通过用于定位的初始信号处理来实现的,用于定位和生成范围 - 方位角升降图像立方体,然后是基于深度学习的预测网络和用于检测对象的多枪后处理模块。用于验证检测开放携带和隐藏物体的系统性能的广泛实验已经提出了一种自制雷达相机测试用和数据集。此外,分析了不同输入,因素和参数对系统性能的影响,为系统提供了直观的理解。该系统是旨在使用77GHz雷达检测携带物体的其他未来作品的第一个基线。
translated by 谷歌翻译
社会偏移和温度筛选已被广泛用于抵消Covid-19大流行,从全世界的学术界,工业和公共主管部门引发极大的兴趣。虽然大多数解决方案分别处理了这些方面,但它们的组合将极大地利用对公共空间的持续监测,并有助于触发有效的对策。这项工作介绍了毫米杀虫雷达和红外成像传感系统,在室内空间中进行了不引人注目的和隐私,在室内空间中进行了不显眼和隐私。 Millitrace-IR通过强大的传感器融合方法,MM波雷达和红外热摄像机结合。它通过在热摄像机图像平面和雷达参考系统中的人体运动中共同跟踪受试者的面,实现了偏移和体温的完全自动测量。此外,毫米itrace-IR执行接触跟踪:热相机传感器可靠地检测体温高的人,随后通过雷达以非侵入方式追踪大型室内区域。进入新房间时,通过深神经网络从雷达反射计算与雷达反射的步态相关的特征,并使用加权的极端学习机作为最终重新识别工具,在其他人之间重新识别一个主题。从实际实施中获得的实验结果,从毫米 - IR的实际实施中展示了距离/轨迹估计的排入量级精度,个人间距离估计(对受试者接近0.2米的受试者有效),以及精确的温度监测(最大误差0.5 {\ deg} c)。此外,毫米itrace-IR通过高精度(95%)的人重新识别,在不到20秒内提供接触跟踪。
translated by 谷歌翻译
低成本毫米波(MMWAVE)通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透,为第五代(5G)的大规模和致密的部署铺平了道路(5G) - 而且以及6G网络。同时,普遍存在MMWAVE访问将使设备定位和无设备的感测,以前所未有的精度,特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查,重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后,我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面,包括每个工作的主要目标,技术和性能,每个研究是否达到了一定程度的实现,并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法,密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途,相关和及时的研究方向的结论。
translated by 谷歌翻译
自动化驾驶系统(广告)开辟了汽车行业的新领域,为未来的运输提供了更高的效率和舒适体验的新可能性。然而,在恶劣天气条件下的自主驾驶已经存在,使自动车辆(AVS)长时间保持自主车辆(AVS)或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战,并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术,当前可用的数据集,模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题,自主驾驶场目前正在面临,近年来审查硬件和计算机科学解决方案,这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译
人类身份是对日常生活中许多应用的关键要求,例如个性化服务,自动监视,连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别(REID)的问题,对跨摄像机允许区域(例如街道)和摄像头限制区域(例如办公室)的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达,我们提出了同时跨模式多人REID的首个视觉RF系统。首先,为了解决基本模式间差异,我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次,引入了有效的跨模式深度度量学习模型,以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验,我们证明了我们所提出的系统能够达到约92.5%的TOP-1准确性,而在56名志愿者中,〜97.5%的前5位精度。我们还表明,即使传感器的视野中存在多个主题,我们提出的系统也能够重新识别受试者。
translated by 谷歌翻译
Unhealthy dietary habits are considered as the primary cause of multiple chronic diseases such as obesity and diabetes. The automatic food intake monitoring system has the potential to improve the quality of life (QoF) of people with dietary related diseases through dietary assessment. In this work, we propose a novel contact-less radar-based food intake monitoring approach. Specifically, a Frequency Modulated Continuous Wave (FMCW) radar sensor is employed to recognize fine-grained eating and drinking gestures. The fine-grained eating/drinking gesture contains a series of movement from raising the hand to the mouth until putting away the hand from the mouth. A 3D temporal convolutional network (3D-TCN) is developed to detect and segment eating and drinking gestures in meal sessions by processing the Range-Doppler Cube (RD Cube). Unlike previous radar-based research, this work collects data in continuous meal sessions. We create a public dataset that contains 48 meal sessions (3121 eating gestures and 608 drinking gestures) from 48 participants with a total duration of 783 minutes. Four eating styles (fork & knife, chopsticks, spoon, hand) are included in this dataset. To validate the performance of the proposed approach, 8-fold cross validation method is applied. Experimental results show that our proposed 3D-TCN outperforms the model that combines a convolutional neural network and a long-short-term-memory network (CNN-LSTM), and also the CNN-Bidirectional LSTM model (CNN-BiLSTM) in eating and drinking gesture detection. The 3D-TCN model achieves a segmental F1-score of 0.887 and 0.844 for eating and drinking gestures, respectively. The results of the proposed approach indicate the feasibility of using radar for fine-grained eating and drinking gesture detection and segmentation in meal sessions.
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
使用毫米波(MMWAVE)信号的人类手势识别提供有吸引力的应用,包括智能家居和车载界面。虽然现有的作品在受控设置下实现有前途的性能,但实际应用仍然有限,因为需要密集数据收集,适应新域时的额外培训努力(即环境,人员和地点)和实时识别的表现不佳。在本文中,我们提出了Di-Gesture,一个独立于域和实时MMWAVE手势识别系统。具体地,我们首先导出与具有空间时间处理的人体手势对应的信号变化。为了增强系统的稳健性并减少数据收集工作,我们根据信号模式与手势变化之间的相关性设计数据增强框架。此外,我们提出了一种动态窗口机制来自动且准确地执行手势分割,从而能够实时识别。最后,我们建立了一种轻量级神经网络,以从用于手势分类的数据中提取空间信息。广泛的实验结果表明,Di-Gesture分别为新用户,环境和地点的平均精度为97.92%,99.18%和98.76%。在实时场景中,Di-Gesutre的准确性达到97%以上,平均推断时间为2.87ms,这表明了我们系统的优越稳健性和有效性。
translated by 谷歌翻译
自动检测飞行无人机是一个关键问题,其存在(特别是未经授权)可以造成风险的情况或损害安全性。在这里,我们设计和评估了多传感器无人机检测系统。结合常见的摄像机和麦克风传感器,我们探索了热红外摄像机的使用,指出是一种可行且有希望的解决方案,在相关文献中几乎没有解决。我们的解决方案还集成了鱼眼相机,以监视天空的更大部分,并将其他摄像机转向感兴趣的对象。传感溶液与ADS-B接收器,GPS接收器和雷达模块相辅相成,尽管由于其有限的检测范围,后者未包含在我们的最终部署中。即使此处使用的摄像机的分辨率较低,热摄像机也被证明是与摄像机一样好的可行解决方案。我们作品的另外两个新颖性是创建一个新的公共数据集的多传感器注释数据,该数据与现有的类别相比扩大了类的数量,以及对探测器性能的研究作为传感器到传感器的函数的研究目标距离。还探索了传感器融合,表明可以以这种方式使系统更强大,从而减轻对单个传感器的虚假检测
translated by 谷歌翻译
我们提出了一种新的四管齐下的方法,在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架,彼此之叠,以提高消防员在紧急首次响应设置中进行的救援任务的安全性,效率和成功完成。首先,我们使用深度卷积神经网络(CNN)系统,以实时地分类和识别来自热图像的感兴趣对象。接下来,我们将此CNN框架扩展了对象检测,跟踪,分割与掩码RCNN框架,以及具有多模级自然语言处理(NLP)框架的场景描述。第三,我们建立了一个深入的Q学习的代理,免受压力引起的迷失方向和焦虑,能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后,我们使用了一种低计算无监督的学习技术,称为张量分解,在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构,我们建立了人工智能系统的骨干,用于消防员的情境意识。要将设计的系统带入消防员的使用,我们设计了一种物理结构,其中处理后的结果被用作创建增强现实的投入,这是一个能够建议他们所在地的消防员和周围的关键特征,这对救援操作至关重要在手头,以及路径规划功能,充当虚拟指南,以帮助迷彩的第一个响应者恢复安全。当组合时,这四种方法呈现了一种新颖的信息理解,转移和综合方法,这可能会大大提高消防员响应和功效,并降低寿命损失。
translated by 谷歌翻译
宽阔的区域运动图像(瓦米)产生具有大量极小物体的高分辨率图像。目标物体在连续帧中具有大的空间位移。令人讨厌的图像的这种性质使对象跟踪和检测具有挑战性。在本文中,我们介绍了我们基于深度神经网络的组合对象检测和跟踪模型,即热图网络(HM-Net)。 HM-Net明显快于最先进的帧差异和基于背景减法的方法,而不会影响检测和跟踪性能。 HM-Net遵循基于对象的联合检测和跟踪范式。简单的热图的预测支持无限数量的同时检测。所提出的方法使用来自前一帧的两个连续帧和物体检测热图作为输入,这有助于帧之间的HM-Net监视器时空变化并跟踪先前预测的对象。尽管重复使用先前的物体检测热图作为基于生命的反馈的存储器元件,但它可能导致假阳性检测的意外浪涌。为了增加对误报和消除低置信度检测的方法的稳健性,HM-Net采用新的反馈滤波器和高级数据增强。 HM-Net优于最先进的WAMI移动对象检测和跟踪WPAFB数据集的跟踪方法,其96.2%F1和94.4%地图检测分数,同时在同一数据集上实现61.8%的地图跟踪分数。这种性能对应于F1,6.1%的地图分数的增长率为2.1%,而在追踪最先进的地图分数的地图分数为9.5%。
translated by 谷歌翻译
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
凭借其恶劣天气条件和测量速度的能力,雷达传感器已经成为汽车景观的一部分超过二十年的鲁棒性。最近的高清晰度(HD)成像雷达的进展使角分辨率低于程度,从而接近激光扫描性能。然而,数据量为HD雷达提供和计算成本来估计角度位置仍然是一个挑战。在本文中,我们提出了一种新颖的高清雷达传感模型FFT-RADNET,其消除了计算范围 - 方位角多普勒3D张量的开销,从而从范围多普勒频谱恢复角度。 FFT-RADNET培训均以检测车辆和分段免费驾驶空间。在两个任务中,它与最新的基于雷达的模型竞争,同时需要更少的计算和内存。此外,我们在各种环境(城市街道,公路,农村路)中,从同步汽车级传感器(相机,激光,高清雷达)收集和注释了2小时的原始数据。这个独特的数据集,“雷达,lidar等人”的inc-命名的radial是在https://github.com/valeoai/radial上获得的。
translated by 谷歌翻译
先进的可穿戴设备越来越多地利用高分辨率多摄像头系统。作为用于处理所得到的图像数据的最先进的神经网络是计算要求的,对于利用第五代(5G)无线连接和移动边缘计算,已经越来越感兴趣,以将该处理卸载到云。为了评估这种可能性,本文提出了一个详细的仿真和评估,用于5G无线卸载,用于对象检测,在一个名为Vis4ion的强大新型智能可穿戴物中,用于盲目损害(BVI)。目前的Vis4ion系统是一种具有高分辨率摄像机,视觉处理和触觉和音频反馈的仪表簿。本文认为将相机数据上载到移动边缘云以执行实时对象检测并将检测结果传输回可穿戴。为了确定视频要求,纸张评估视频比特率和分辨率对物体检测精度和范围的影响。利用与BVI导航相关的标记对象的新街道场景数据集进行分析。视觉评估与详细的全堆栈无线网络仿真结合,以确定吞吐量的分布和延迟,具有来自城市环境中的新高分辨率3D模型的实际导航路径和射线跟踪。为了比较,无线仿真考虑了标准的4G长期演进(LTE)载波和高速度5G毫米波(MMWAVE)载波。因此,该工作提供了对具有高带宽和低延迟要求的应用中的MMWAVE连接的边缘计算的彻底和现实评估。
translated by 谷歌翻译
我们研究了基于自主驾驶环境中的毫米波(MMW)雷达的目标跟踪算法。针对在目标跟踪阶段中的簇匹配,提出了一种新的加权特征相似性算法,其在强的环境噪声和多个干扰目标下增加了相邻帧中的相同目标的匹配速率。对于自动驾驶场景,我们构建了一种方法,该方法利用其运动参数来提取和校正移动目标的轨迹,这解决了车辆运动期间移动目标检测和轨迹校正的问题。最后,通过自动驾驶环境中的一系列实验验证了所提出的方法的可行性。结果验证了该方法的高识别精度和低位置误差。
translated by 谷歌翻译
安装在微空中车辆(MAV)上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而,合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达(GPSAR)系统。该系统由空间校准和时间上同步的工业级传感器套件组成,使得在地面上方,雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形(GPSAR)轨迹的生成和自动执行,以及空中成像调查飞行。基于因子图基于Dual接收机实时运动(RTK)全局导航卫星系统(GNSS)和惯性测量单元(IMU)的测量值,以获得精确,高速平台位置和方向。地面真理实验表明,传感器时机为0.8美元,正如0.1美元的那样,定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比,双位置因子配方可提高高达40%,批量定位精度高达59%。我们的现场试验验证了本地化准确性和精度,使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。
translated by 谷歌翻译
Unmanned air vehicles (UAVs) popularity is on the rise as it enables the services like traffic monitoring, emergency communications, deliveries, and surveillance. However, the unauthorized usage of UAVs (a.k.a drone) may violate security and privacy protocols for security-sensitive national and international institutions. The presented challenges require fast, efficient, and precise detection of UAVs irrespective of harsh weather conditions, the presence of different objects, and their size to enable SafeSpace. Recently, there has been significant progress in using the latest deep learning models, but those models have shortcomings in terms of computational complexity, precision, and non-scalability. To overcome these limitations, we propose a precise and efficient multiscale and multifeature UAV detection network for SafeSpace, i.e., \textit{MultiFeatureNet} (\textit{MFNet}), an improved version of the popular object detection algorithm YOLOv5s. In \textit{MFNet}, we perform multiple changes in the backbone and neck of the YOLOv5s network to focus on the various small and ignored features required for accurate and fast UAV detection. To further improve the accuracy and focus on the specific situation and multiscale UAVs, we classify the \textit{MFNet} into small (S), medium (M), and large (L): these are the combinations of various size filters in the convolution and the bottleneckCSP layers, reside in the backbone and neck of the architecture. This classification helps to overcome the computational cost by training the model on a specific feature map rather than all the features. The dataset and code are available as an open source: github.com/ZeeshanKaleem/MultiFeatureNet.
translated by 谷歌翻译
在本文中,我们通过将无线电信息结合到最先进的检测方法中提出了一种无线电辅助人类检测框架,包括基于锚的oneStage检测器和两级检测器。我们从无线电信号中提取无线电定位和标识符信息以帮助人类检测,由于哪种错误阳性和假否定的问题可能会大大缓解。对于两个探测器,我们使用基于无线电定位的置信度评分修订来提高检测性能。对于两级检测方法,我们建议利用无线电定位产生的区域提案,而不是依赖于区域提案网络(RPN)。此外,利用无线电标识符信息,还提出了具有无线电定位约束的非最大抑制方法,以进一步抑制假检测并减少错过的检测。模拟Microsoft Coco DataSet和CALTECH步行数据集的实验表明,借助无线电信息可以改善平均平均精度(地图)和最先进的检测方法的错过率。最后,我们在现实世界的情况下进行实验,以展示我们在实践中的提出方法的可行性。
translated by 谷歌翻译
自主车辆的环境感知受其物理传感器范围和算法性能的限制,以及通过降低其对正在进行的交通状况的理解的闭塞。这不仅构成了对安全和限制驾驶速度的重大威胁,而且它也可能导致不方便的动作。智能基础设施系统可以帮助缓解这些问题。智能基础设施系统可以通过在当前交通情况的数字模型的形式提供关于其周围环境的额外详细信息,填补了车辆的感知中的差距并扩展了其视野。数字双胞胎。然而,这种系统的详细描述和工作原型表明其可行性稀缺。在本文中,我们提出了一种硬件和软件架构,可实现这样一个可靠的智能基础架构系统。我们在现实世界中实施了该系统,并展示了它能够创建一个准确的延伸高速公路延伸的数字双胞胎,从而提高了自主车辆超越其车载传感器的极限的感知。此外,我们通过使用空中图像和地球观测方法来评估数字双胞胎的准确性和可靠性,用于产生地面真理数据。
translated by 谷歌翻译
基于光学传感器的运动跟踪系统通常遭受问题,例如差的照明条件,遮挡,有限的覆盖,并且可以提高隐私问题。最近,已经出现了使用商业WiFi设备的基于射频(RF)的方法,这些方法提供了低成本的普遍感感知,同时保留隐私。然而,RF感测系统的输出,例如范围多普勒谱图,不能直观地代表人类运动,并且通常需要进一步处理。在本研究中,提出了基于WiFi微多普勒签名的人类骨骼运动重建的新颖框架。它提供了一种有效的解决方案,通过重建具有17个关键点的骨架模型来跟踪人类活动,这可以帮助以更易于理解的方式解释传统的RF感测输出。具体地,MDPose具有各种增量阶段来逐渐地解决一系列挑战:首先,实现去噪算法以去除可能影响特征提取的任何不需要的噪声,并增强弱多普勒签名。其次,应用卷积神经网络(CNN)-Recurrent神经网络(RNN)架构用于从清洁微多普勒签名和恢复关键点的速度信息学习时间空间依赖性。最后,采用姿势优化机制来估计骨架的初始状态并限制误差的增加。我们在各种环境中使用了许多受试者进行了全面的测试,其中许多受试者具有单个接收器雷达系统,以展示MDPOST的性能,并在所有关键点位置报告29.4mm的绝对误差,这优于最先进的RF-基于姿势估计系统。
translated by 谷歌翻译