自动检测交通事故是交通监控系统中重要的新兴主题。如今，许多城市交叉路口都配备了与交通管理系统相关的监视摄像机。因此，计算机视觉技术可以是自动事故检测的可行工具。本文提出了一个新的高效框架，用于在交通监视应用的交叉点上进行事故检测。所提出的框架由三个层次步骤组成，包括基于最先进的Yolov4方法的有效和准确的对象检测，基于Kalman滤波器与匈牙利算法进行关联的对象跟踪以及通过轨迹冲突分析进行的事故检测。对象关联应用了新的成本函数，以适应对象跟踪步骤中的遮挡，重叠对象和形状变化。为了检测不同类型的轨迹冲突，包括车辆到车辆，车辆对乘车和车辆对自行车，对物体轨迹进行了分析。使用真实交通视频数据的实验结果显示，该方法在交通监视的实时应用中的可行性。尤其是，轨迹冲突，包括在城市十字路口发生的近乎事故和事故，以低的错误警报率和高检测率检测到。使用从YouTube收集的具有不同照明条件的视频序列评估所提出框架的鲁棒性。该数据集可在以下网址公开获取：http：//github.com/hadi-ghnd/accidentdetection。

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

由于卷积神经网络（CNN）在过去的十年中检测成功，多对象跟踪（MOT）通过检测方法的使用来控制。随着数据集和基础标记网站的发布，研究方向已转向在跟踪时在包括重新识别对象的通用场景（包括重新识别（REID））上的最佳准确性。在这项研究中，我们通过提供专用的行人数据集并专注于对性能良好的多对象跟踪器的深入分析来缩小监视的范围）现实世界应用的技术。为此，我们介绍SOMPT22数据集；一套新的，用于多人跟踪的新套装，带有带注释的简短视频，该视频从位于杆子上的静态摄像头捕获，高度为6-8米，用于城市监视。与公共MOT数据集相比，这提供了室外监视的MOT的更为集中和具体的基准。我们分析了该新数据集上检测和REID网络的使用方式，分析了将MOT跟踪器分类为单发和两阶段。我们新数据集的实验结果表明，SOTA远非高效率，而单一跟踪器是统一快速执行和准确性的良好候选者，并具有竞争性的性能。该数据集将在以下网址提供：sompt22.github.io

本文旨在解决多个对象跟踪（MOT），这是计算机视觉中的一个重要问题，但由于许多实际问题，尤其是阻塞，因此仍然具有挑战性。确实，我们提出了一种新的实时深度透视图 - 了解多个对象跟踪（DP-MOT）方法，以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计（SODE），以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出，提出了一个新的活动伪3D KALMAN滤波器，即具有动态控制变量的Kalman滤波器的简单但有效的扩展，以动态更新对象的运动。此外，在数据关联步骤中提出了一种新的高阶关联方法，以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比，提出的方法始终达到最先进的性能。

在由车辆安装的仪表板摄像机捕获的视频中检测危险交通代理（仪表板）对于促进在复杂环境中的安全导航至关重要。与事故相关的视频只是驾驶视频大数据的一小部分，并且瞬态前的事故流程具有高度动态和复杂性。此外，风险和非危险交通代理的外观可能相似。这些使驾驶视频中的风险对象本地化特别具有挑战性。为此，本文提出了一个注意力引导的多式功能融合网络（AM-NET），以将仪表板视频的危险交通代理本地化。两个封闭式复发单元（GRU）网络使用对象边界框和从连续视频帧中提取的光流功能来捕获时空提示，以区分危险交通代理。加上GRUS的注意力模块学会了与事故相关的交通代理。融合了两个功能流，AM-NET预测了视频中交通代理的风险评分。在支持这项研究的过程中，本文还引入了一个名为“风险对象本地化”（ROL）的基准数据集。该数据集包含带有事故，对象和场景级属性的空间，时间和分类注释。拟议的AM-NET在ROL数据集上实现了85.73％的AUC的有希望的性能。同时，AM-NET在DOTA数据集上优于视频异常检测的当前最新视频异常检测。一项彻底的消融研究进一步揭示了AM-NET通过评估其不同组成部分的贡献的优点。

以安全为导向的研究思想和应用的开发需要精细的车辆轨迹数据，这些数据不仅具有很高的精度，而且还捕获了大量关键安全事件。本文介绍了Citysim数据集，该数据集的设计核心目的是促进基于安全的研究和应用。 Citysim的车辆轨迹从在12个不同位置录制的1140分钟的无人机视频中提取。它涵盖了各种道路几何形状，包括高速公路基本段，编织段，高速公路合并/偏离段，信号交叉点，停止对照的交叉点以及没有符号/信号控制的交叉点。通过五步操作生成CitySim轨迹，以确保轨迹精度。此外，数据集提供了车辆旋转的边界框信息，该信息被证明可以改善安全评估。与其他基于视频的轨迹数据集相比，CitySim数据集的严重性更高，包括切入，合并和分歧事件，其严重性更高。此外，CitySim通过提供相关资产（如记录位置的3D基本地图和信号时间）来促进对数字双胞胎应用的研究。这些功能为安全研究和应用程序提供了更全面的条件，例如自动驾驶汽车安全和基于位置的安全分析。该数据集可在https://github.com/ozheng1993/ucf-sst-citysim-dataset上在线获得。

本文介绍了一个基于计算机视觉的框架，该框架可以通过使用已安装的监视/CCTV摄像头来检测道路交通崩溃（RCT），并实时将其报告给紧急情况，并确切的事故发生的确切位置和时间。该框架由五个模块构建。我们从使用Yolo架构来检测车辆开始。第二个模块是使用MOSSE跟踪器对车辆的跟踪，然后第三个模块是一种基于碰撞估计的新方法来检测事故。然后是每辆车的第四个模块，我们检测到是否发生了基于暴力流动描述符（VIF）的车祸，然后是SVM分类器进行崩溃预测。最后，在最后阶段，如果发生车祸，系统将使用GPS模块向我们发送通知GSM模块的帮助。主要目的是通过更少的错误警报实现更高的准确性，并基于管道技术实施一个简单的系统。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

卫星摄像机可以为大型区域提供连续观察，这对于许多遥感应用很重要。然而，由于对象的外观信息不足和缺乏高质量数据集，在卫星视频中实现移动对象检测和跟踪仍然具有挑战性。在本文中，我们首先构建一个具有丰富注释的大型卫星视频数据集，用于移动对象检测和跟踪的任务。该数据集由Jilin-1卫星星座收集，并由47个高质量视频组成，对象检测有1,646,038兴趣的情况和用于对象跟踪的3,711个轨迹。然后，我们引入运动建模基线，以提高检测速率并基于累积多帧差异和鲁棒矩阵完成来减少误报。最后，我们建立了第一个用于在卫星视频中移动对象检测和跟踪的公共基准，并广泛地评估在我们数据集上几种代表方法的性能。还提供了综合实验分析和富有魅力的结论。数据集可在https://github.com/qingyonghu/viso提供。

交通灯检测对于自动驾驶汽车在城市地区安全导航至关重要。公开可用的交通灯数据集不足以开发用于检测提供重要导航信息的遥远交通信号灯的算法。我们介绍了一个新颖的基准交通灯数据集，该数据集使用一对涵盖城市和半城市道路的狭窄角度和广角摄像机捕获。我们提供1032张训练图像和813个同步图像对进行测试。此外，我们提供同步视频对进行定性分析。该数据集包括第1920 $ \ times $ 1080的分辨率图像，覆盖10个不同类别。此外，我们提出了一种用于结合两个相机输出的后处理算法。结果表明，与使用单个相机框架的传统方法相比，我们的技术可以在速度和准确性之间取得平衡。

近年来，多个对象跟踪引起了研究人员的极大兴趣，它已成为计算机视觉中的趋势问题之一，尤其是随着自动驾驶的最新发展。 MOT是针对不同问题的关键视觉任务之一，例如拥挤的场景中的闭塞，相似的外观，小物体检测难度，ID切换等，以应对这些挑战，因为研究人员试图利用变压器的注意力机制，与田径的相互关系，与田径的相互关系，图形卷积神经网络，与暹罗网络不同帧中对象的外观相似性，他们还尝试了基于IOU匹配的CNN网络，使用LSTM的运动预测。为了将这些零散的技术在雨伞下采用，我们研究了过去三年发表的一百多篇论文，并试图提取近代研究人员更关注的技术来解决MOT的问题。我们已经征集了许多应用，可能性以及MOT如何与现实生活有关。我们的评论试图展示研究人员使用过时的技术的不同观点，并为潜在的研究人员提供了一些未来的方向。此外，我们在这篇评论中包括了流行的基准数据集和指标。

多对象跟踪（MOT）的目标是检测和跟踪场景中的所有对象，同时为每个对象保留唯一的标识符。在本文中，我们提出了一种新的可靠的最新跟踪器，该跟踪器可以结合运动和外观信息的优势，以及摄像机运动补偿以及更准确的Kalman滤波器状态矢量。我们的新跟踪器在Mot17和Mot20测试集的Motchallenge [29，11]的数据集[29，11]中，Bot-Sort-Reid排名第一，就所有主要MOT指标而言：MOTA，IDF1和HOTA。对于Mot17：80.5 Mota，80.2 IDF1和65.0 HOTA。源代码和预培训模型可在https://github.com/niraharon/bot-sort上找到

在本文中，我们使用两个无监督的学习算法的组合介绍了路边激光雷达物体检测的解决方案。 3D点云数据首先将球形坐标转换成球形坐标并使用散列函数填充到方位角网格矩阵中。之后，RAW LIDAR数据被重新排列成空间 - 时间数据结构，以存储范围，方位角和强度的信息。基于强度信道模式识别，应用动态模式分解方法将点云数据分解成低级背景和稀疏前景。三角算法根据范围信息，自动发现分割值以将移动目标与静态背景分开。在强度和范围背景减法之后，将使用基于密度的检测器检测到前景移动物体，并编码到状态空间模型中以进行跟踪。所提出的模型的输出包括车辆轨迹，可以实现许多移动性和安全应用。该方法针对商业流量数据收集平台进行了验证，并证明了对基础设施激光雷达对象检测的高效可靠的解决方案。与之前的方法相比，该方法直接处理散射和离散点云，所提出的方法可以建立3D测量数据的复杂线性关系较小，这捕获了我们经常需要的空间时间结构。

基于时空的图（STMAP）方法显示出为车辆轨迹重建处理高角度视频的巨大潜力，可以满足各种数据驱动的建模和模仿学习应用的需求。在本文中，我们开发了时空深嵌入（STDE）模型，该模型在像素和实例水平上施加了平等约束，以生成用于STMAP上车辆条纹分割的实例感知嵌入。在像素级别上，每个像素在不同范围的8-邻居像素进行编码，随后使用该编码来指导神经网络学习嵌入机制。在实例级别上，歧视性损耗函数被设计为将属于同一实例的像素更接近，并将不同实例的平均值分开。然后，通过静脉 - 沃特算法算法优化时空亲和力的输出，以获得最终的聚类结果。基于分割指标，我们的模型优于其他五个用于STMAP处理的基线，并在阴影，静态噪声和重叠的影响下显示出稳健性。该设计的模型用于处理所有公共NGSIM US-101视频，以生成完整的车辆轨迹，表明具有良好的可扩展性和适应性。最后但并非最不重要的一点是，讨论了带有STDE和未来方向的扫描线方法的优势。代码，STMAP数据集和视频轨迹在在线存储库中公开可用。 github链接：shorturl.at/jklt0。

社会偏差可以减少Covid-19等呼吸流行病中的感染率。交通交叉路口特别适用于在大都市中监测和评估社会疏散行为。我们提出并评估了一个隐私保留的社会疏散分析系统（B-SDA），它使用鸟瞰观看跨越交通交叉口的行人的录像。我们设计用于视频预处理，对象检测和跟踪的算法，这些算法源于已知的计算机视觉和深度学习技术，而是修改以解决检测由高度升高的相机捕获的非常小的物体/行人的问题。我们提出了一种纳入行人分组以检测社会疏散侵权行为的方法。 B-SDA用于比较基于大都会区域前大流行和大流行视频的行人行为。完成的行人检测性能为63.0美元$ $ $ ap_ {50} $，跟踪性能为47.6美元\％$ mota。大流行期间的社会疏散违规率为15.6 \％$ 31.4 \％$ Pandemic基线，表明行人遵循CDC规定的社会休闲建议。建议的系统适用于现实世界应用中的部署。

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

宽阔的区域运动图像（瓦米）产生具有大量极小物体的高分辨率图像。目标物体在连续帧中具有大的空间位移。令人讨厌的图像的这种性质使对象跟踪和检测具有挑战性。在本文中，我们介绍了我们基于深度神经网络的组合对象检测和跟踪模型，即热图网络（HM-Net）。 HM-Net明显快于最先进的帧差异和基于背景减法的方法，而不会影响检测和跟踪性能。 HM-Net遵循基于对象的联合检测和跟踪范式。简单的热图的预测支持无限数量的同时检测。所提出的方法使用来自前一帧的两个连续帧和物体检测热图作为输入，这有助于帧之间的HM-Net监视器时空变化并跟踪先前预测的对象。尽管重复使用先前的物体检测热图作为基于生命的反馈的存储器元件，但它可能导致假阳性检测的意外浪涌。为了增加对误报和消除低置信度检测的方法的稳健性，HM-Net采用新的反馈滤波器和高级数据增强。 HM-Net优于最先进的WAMI移动对象检测和跟踪WPAFB数据集的跟踪方法，其96.2％F1和94.4％地图检测分数，同时在同一数据集上实现61.8％的地图跟踪分数。这种性能对应于F1，6.1％的地图分数的增长率为2.1％，而在追踪最先进的地图分数的地图分数为9.5％。

由于精确定位传感器，人工智能（AI）的安全功能，自动驾驶系统，连接的车辆，高通量计算和边缘计算服务器的技术进步，驾驶安全分析最近经历了前所未有的改进。特别是，深度学习（DL）方法授权音量视频处理，从路边单元（RSU）捕获的大型视频中提取与安全相关的功能。安全指标是调查崩溃和几乎冲突事件的常用措施。但是，这些指标提供了对整个网络级流量管理的有限见解。另一方面，一些安全评估工作致力于处理崩溃报告，并确定与道路几何形状，交通量和天气状况相关的崩溃的空间和时间模式。这种方法仅依靠崩溃报告，而忽略了交通视频的丰富信息，这些信息可以帮助确定违规行为在崩溃中的作用。为了弥合这两个观点，我们定义了一组新的网络级安全指标（NSM），以通过处理RSU摄像机拍摄的图像来评估交通流的总体安全性。我们的分析表明，NSM显示出与崩溃率的显着统计关联。这种方法与简单地概括单个崩溃分析的结果不同，因为所有车辆都有助于计算NSM，而不仅仅是碰撞事件所涉及的NSM。该视角将交通流量视为一个复杂的动态系统，其中某些节点的动作可以通过网络传播并影响其他节点的崩溃风险。我们还提供了附录A中的代孕安全指标（SSM）的全面审查。

我们研究了基于自主驾驶环境中的毫米波（MMW）雷达的目标跟踪算法。针对在目标跟踪阶段中的簇匹配，提出了一种新的加权特征相似性算法，其在强的环境噪声和多个干扰目标下增加了相邻帧中的相同目标的匹配速率。对于自动驾驶场景，我们构建了一种方法，该方法利用其运动参数来提取和校正移动目标的轨迹，这解决了车辆运动期间移动目标检测和轨迹校正的问题。最后，通过自动驾驶环境中的一系列实验验证了所提出的方法的可行性。结果验证了该方法的高识别精度和低位置误差。

流量交叉点的机芯特定车辆分类和计数是各种交通管理活动的重要组成部分。在这种情况下，在最近基于计算机视觉的技术方面的进步，相机已经成为从交通场景中提取车辆轨迹的可靠数据源。然而，随着这种方式的运动轨迹的特性根据相机校准而变化，对这些轨迹进行分类非常具有挑战性。虽然一些现有方法已经解决了具有体面准确性的此类分类任务，但这些方法的性能显着依赖于手动规范的几个感兴趣区域。在这项研究中，我们提出了一种自动分类方法，用于移动基于Vision的车辆轨迹的特定分类（例如右转，左转和通过运动）。我们的分类框架使用此后，采用基于同性的分配策略来指定在交通场景中观察到的不同运动模式，以将传入的车辆轨迹分配给识别的移动组。旨在克服基于视觉轨迹的固有缺点的新的相似度措施。实验结果表明，拟议的分类方法的有效性及其适应不同交通方案的能力，无需任何手动干预。