Traffic accident prediction in driving videos aims to provide an early warning of the accident occurrence, and supports the decision making of safe driving systems. Previous works usually concentrate on the spatial-temporal correlation of object-level context, while they do not fit the inherent long-tailed data distribution well and are vulnerable to severe environmental change. In this work, we propose a Cognitive Accident Prediction (CAP) method that explicitly leverages human-inspired cognition of text description on the visual observation and the driver attention to facilitate model training. In particular, the text description provides a dense semantic description guidance for the primary context of the traffic scene, while the driver attention provides a traction to focus on the critical region closely correlating with safe driving. CAP is formulated by an attentive text-to-vision shift fusion module, an attentive scene context transfer module, and the driver attention guided accident prediction module. We leverage the attention mechanism in these modules to explore the core semantic cues for accident prediction. In order to train CAP, we extend an existing self-collected DADA-2000 dataset (with annotated driver attention for each frame) with further factual text descriptions for the visual observations before the accidents. Besides, we construct a new large-scale benchmark consisting of 11,727 in-the-wild accident videos with over 2.19 million frames (named as CAP-DATA) together with labeled fact-effect-reason-introspection description and temporal accident frame label. Based on extensive experiments, the superiority of CAP is validated compared with state-of-the-art approaches. The code, CAP-DATA, and all results will be released in \url{https://github.com/JWFanggit/LOTVS-CAP}.

在由车辆安装的仪表板摄像机捕获的视频中检测危险交通代理（仪表板）对于促进在复杂环境中的安全导航至关重要。与事故相关的视频只是驾驶视频大数据的一小部分，并且瞬态前的事故流程具有高度动态和复杂性。此外，风险和非危险交通代理的外观可能相似。这些使驾驶视频中的风险对象本地化特别具有挑战性。为此，本文提出了一个注意力引导的多式功能融合网络（AM-NET），以将仪表板视频的危险交通代理本地化。两个封闭式复发单元（GRU）网络使用对象边界框和从连续视频帧中提取的光流功能来捕获时空提示，以区分危险交通代理。加上GRUS的注意力模块学会了与事故相关的交通代理。融合了两个功能流，AM-NET预测了视频中交通代理的风险评分。在支持这项研究的过程中，本文还引入了一个名为“风险对象本地化”（ROL）的基准数据集。该数据集包含带有事故，对象和场景级属性的空间，时间和分类注释。拟议的AM-NET在ROL数据集上实现了85.73％的AUC的有希望的性能。同时，AM-NET在DOTA数据集上优于视频异常检测的当前最新视频异常检测。一项彻底的消融研究进一步揭示了AM-NET通过评估其不同组成部分的贡献的优点。

传感器技术和人工智能的快速进步正在为交通安全增强创造新的机遇。仪表板相机（Dashcams）已广泛部署在人类驾驶车辆和自动驾驶车辆上。可以准确和迅速地预测来自Dashcam视频的事故的计算智能模型将增强事故预防的准备。交通代理的空间时间相互作用复杂。预测未来事故的视觉提示深深嵌入了Dashcam视频数据中。因此，交通事故的早期期待仍然是一个挑战。受到人类在视觉感知事故风险中的注意力行为的启发，提出了一种动态的空间 - 时间关注（DSTA）网络，用于从Dashcam视频的早期事故预期。 DSTA网络学习用动态时间关注（DTA）模块来选择视频序列的判别时间片段。它还学会专注于带有动态空间注意（DSA）模块的帧的信息空间区域。门控复发单元（GRU）与注意模块共同培训，以预测未来事故的可能性。在两个基准数据集上对DSTA网络的评估确认它已超过最先进的性能。一种彻底的消融研究，评估组件级别的DSTA网络揭示了网络如何实现这种性能。此外，本文提出了一种从两个互补模型中融合预测分数的方法，并验证其有效性进一步提高早期事故预期的性能。

交通事故预期是自动化驾驶系统（广告）提供安全保证的驾驶体验的重要功能。事故预期模型旨在在发生之前及时准确地预测事故。现有的人工智能（AI）意外预期模型缺乏对其决策的人类可意识形态的解释。虽然这些模型表现良好，但它们仍然是广告用户的黑匣子，因此难以获得他们的信任。为此，本文介绍了一个门控复发单位（GRU）网络，用于了解从Dashcam视频数据的交通事故的早期期间的时空关系特征。名为Grad-CAM的后HOC关注机制被集成到网络中，以产生显着图作为事故预期决策的视觉解释。眼跟踪器捕获人眼固定点以产生人类注意图。与人类注意图相比，评估网络生成的显着性图的解释性。在公共崩溃数据集上的定性和定量结果证实，建议的可解释网络可以平均预期事故，然后在发生之前的4.57秒，平均精度为94.02％。此外，评估各种基于HOC的基于后关注的XAI方法。它证实了本研究选择的渐变凸轮可以产生高质量的人类可解释的显着性图（具有1.23标准化的扫描路径显着性），以解释碰撞预期决定。重要的是，结果证实，拟议的AI模型，具有人类灵感设计，可以在事故期内超越人类。

未来的活动预期是在Egocentric视觉中具有挑战性问题。作为标准的未来活动预期范式，递归序列预测遭受错误的累积。为了解决这个问题，我们提出了一个简单有效的自我监管的学习框架，旨在使中间表现为连续调节中间代表性，以产生表示（a）与先前观察到的对比的当前时间戳框架中的新颖信息内容和（b）反映其与先前观察到的帧的相关性。前者通过最小化对比损失来实现，并且后者可以通过动态重量机制来实现在观察到的内容中的信息帧中，具有当前帧的特征与观察到的帧之间的相似性比较。通过多任务学习可以进一步增强学习的最终视频表示，该多任务学习在目标活动标签上执行联合特征学习和自动检测到的动作和对象类令牌。在大多数自我传统视频数据集和两个第三人称视频数据集中，SRL在大多数情况下急剧表现出现有的现有最先进。通过实验性事实，还可以准确识别支持活动语义的行动和对象概念的实验性。

在自动车辆（AVS）中，预警系统依赖于碰撞预测，以确保乘员安全。然而，使用深度卷积网络的最先进的方法在建模冲突中失败或者太昂贵/慢，使它们不太适合在AV边缘硬件上部署。为了解决这些限制，我们提出了SG2VEC，一种使用图形神经网络（GNN）和长短期内存（LSTM）层的时空场景图嵌入方法，以通过视觉场景感知来预测未来的碰撞。我们展示SG2VEC预测碰撞8.11％，比综合数据集的最新方法提前39.07％，在挑战现实世界碰撞数据集中更准确地进行29.47％。我们还表明，SG2VEC在将知识从合成数据集转移到现实世界驾驶数据集时更好。最后，我们证明SG2VEC更快地执行推论9.3X，较小的型号为88.0％，功率少32.4％，而且能量少于行业标准的NVIDIA驱动PX 2平台，制作它更适合在边缘实施。

自动交通事故检测已吸引机器视觉社区，因为它对自动智能运输系统（ITS）的发展产生了影响和对交通安全的重要性。然而，大多数关于有效分析和交通事故预测的研究都使用了覆盖范围有限的小规模数据集，从而限制了其效果和适用性。交通事故中现有的数据集是小规模，不是来自监视摄像机，而不是开源的，或者不是为高速公路场景建造的。由于在高速公路上发生事故，因此往往会造成严重损坏，并且太快了，无法赶上现场。针对从监视摄像机收集的高速公路交通事故的开源数据集非常需要和实际上。为了帮助视觉社区解决这些缺点，我们努力收集涵盖丰富场景的真实交通事故的视频数据。在通过各个维度进行集成和注释后，在这项工作中提出了一个名为TAD的大规模交通事故数据集。在这项工作中，使用公共主流视觉算法或框架进行了有关图像分类，对象检测和视频分类任务的各种实验，以证明不同方法的性能。拟议的数据集以及实验结果将作为改善计算机视觉研究的新基准提出，尤其是在其中。

速度控制预测是驾驶员行为分析中一个具有挑战性的问题，旨在预测驾驶员在控制车速（例如制动或加速度）中的未来行动。在本文中，我们尝试仅使用以自我为中心的视频数据来应对这一挑战，与使用第三人称视图数据或额外的车辆传感器数据（例如GPS或两者）的文献中的大多数作品相比。为此，我们提出了一个基于新型的图形卷积网络（GCN）网络，即Egospeed-net。我们的动机是，随着时间的推移，对象的位置变化可以为我们提供非常有用的线索，以预测未来的速度变化。我们首先使用完全连接的图形图将每个类的对象之间的空间关系建模，并在其上应用GCN进行特征提取。然后，我们利用一个长期的短期内存网络将每个类别的此类特征随着时间的流逝融合到矢量中，加入此类矢量并使用多层perceptron分类器预测速度控制动作。我们在本田研究所驾驶数据集上进行了广泛的实验，并证明了Egospeed-NET的出色性能。

对行人行为的预测对于完全自主车辆安全有效地在繁忙的城市街道上驾驶至关重要。未来的自治车需要适应混合条件，不仅具有技术还是社会能力。随着更多算法和数据集已经开发出预测行人行为，这些努力缺乏基准标签和估计行人的时间动态意图变化的能力，提供了对交互场景的解释，以及具有社会智能的支持算法。本文提出并分享另一个代表数据集，称为Iupui-CSRC行人位于意图（PSI）数据，除了综合计算机视觉标签之外，具有两种创新标签。第一部小说标签是在自助式车辆前面交叉的行人的动态意图变化，从24个司机中实现了不同的背景。第二个是在估计行人意图并在交互期间预测其行为时对驾驶员推理过程的基于文本的解释。这些创新标签可以启用几个计算机视觉任务，包括行人意图/行为预测，车辆行人互动分割和用于可解释算法的视频到语言映射。发布的数据集可以从根本上从根本上改善行人行为预测模型的发展，并开发社会智能自治车，以有效地与行人进行互动。 DataSet已被不同的任务进行评估，并已释放到公众访问。

最近，已经证明了与图形学习技术结合使用的道路场景图表示，在包括动作分类，风险评估和碰撞预测的任务中优于最先进的深度学习技术。为了使Road场景图形表示的应用探索，我们介绍了RoadScene2VEC：一个开源工具，用于提取和嵌入公路场景图。 RoadScene2VEC的目标是通过提供用于生成场景图的工具，为生成时空场景图嵌入的工具以及用于可视化和分析场景图的工具来实现Road场景图的应用程序和能力基于方法。 RoadScene2VEC的功能包括（i）来自Carla Simulator的视频剪辑或数据的自定义场景图，（ii）多种可配置的时空图嵌入模型和基于基于基于CNN的模型，（iii）内置功能使用图形和序列嵌入用于风险评估和碰撞预测应用，（iv）用于评估转移学习的工具，以及（v）用于可视化场景图的实用程序，并分析图形学习模型的解释性。我们展示了道路展示的效用，用于这些用例，具有实验结果和基于CNN的模型的实验结果和定性评估。 Rodscene2vec可在https://github.com/aicps/roadscene2vec提供。

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。

考虑到安全至关重要自动化系统中情境意识的功能，对驾驶场景的风险及其解释性的感知对于自主和合作驾驶特别重要。为了实现这一目标，本文提出了在驾驶场景中的共同风险定位的新研究方向及其作为自然语言描述的风险解释。由于缺乏标准基准，我们收集了一个大规模数据集，戏剧性（带有字幕模块的驾驶风险评估机制），该数据集由17,785个在日本东京收集的互动驾驶场景组成。我们的戏剧数据集适用于带有相关重要对象的驾驶风险的视频和对象级别的问题，以实现视觉字幕的目标，作为一种自由形式的语言描述，利用封闭式和开放式响应用于多层次问题，可以用来使用这些响应，可用于在驾驶场景中评估一系列视觉字幕功能。我们将这些数据提供给社区以进行进一步研究。使用戏剧，我们探索了在互动驾驶场景中的联合风险定位和字幕的多个方面。特别是，我们基准了各种多任务预测架构，并提供了关节风险定位和风险字幕的详细分析。数据集可在https://usa.honda-ri.com/drama上获得

现有的视觉问题回答方法倾向于捕获视觉和语言方式中的虚假相关性，并且未能发现真正的休闲机制，这些机制是基于主导的视觉证据和正确的问题意图而实现推理的真正休闲机制。此外，现有方法通常忽略了多模式设置中复杂的事件级别的理解，这需要因果推断对共同模型跨模式事件的时间性，因果关系和动力学的强大认知能力。在这项工作中，我们通过引入因果干预方法来减轻虚假相关性并发现真实的因果结构，从而从新的角度（即跨模式因果关系推理）回答事件级别的视觉问题，即跨模式的因果关系推理并发现了真实的因果结构，以集成视觉和语言的相关性方式。具体而言，我们提出了一个新颖的事件级视觉问题答案框架，称为跨模式因果关系推理（CMCIR），以实现强大的偶然性随意感知的视觉视觉语言问题。为了揭示视觉和语言方式的因果结构，提出了新颖的因果关系 - 感知视觉语言推理（CVLR）模块，以通过精心设计的前对门和后门Causal Causal Intervention模块进行合作地解散视觉和语言的杂语相关性。为了发现语言语义和时空表示之间的细粒度相互作用，我们构建了一种新型的时空变压器（STT），该变压器（STT）构建了视觉内容和语言内容之间的多模式共发生相互作用。大规模事件级城市数据集SUTD-TrafficQA和三个基准现实世界数据集TGIF-QA，MSVD-QA和MSRVTT-QA进行了广泛的实验，这证明了我们的CMCIR在发现视觉效果的Causal Causal Causal结构中的有效性。

In this work, we tackle two vital tasks in automated driving systems, i.e., driver intent prediction and risk object identification from egocentric images. Mainly, we investigate the question: what would be good road scene-level representations for these two tasks? We contend that a scene-level representation must capture higher-level semantic and geometric representations of traffic scenes around ego-vehicle while performing actions to their destinations. To this end, we introduce the representation of semantic regions, which are areas where ego-vehicles visit while taking an afforded action (e.g., left-turn at 4-way intersections). We propose to learn scene-level representations via a novel semantic region prediction task and an automatic semantic region labeling algorithm. Extensive evaluations are conducted on the HDD and nuScenes datasets, and the learned representations lead to state-of-the-art performance for driver intention prediction and risk object identification.

行人意图预测问题是估计目标行人是否会过马路。最先进的方法在很大程度上依赖于使用自我车辆的前置摄像头收集的视觉信息来预测行人的意图。因此，当视觉信息不准确时，例如，当行人和自我车辆之间的距离远处或照明条件不够好时，现有方法的性能会显着降低。在本文中，我们根据与行人的智能手表（或智能手机）收集的运动传感器数据的集成，设计，实施和评估第一个行人意图预测模型。提出了一种新型的机器学习体系结构，以有效地合并运动传感器数据，以加强视觉信息，以显着改善视觉信息可能不可靠的不利情况的性能。我们还进行了大规模的数据收集，并介绍了与时间同步运动传感器数据集成的第一个行人意图预测数据集。该数据集由总共128个视频剪辑组成，这些视频片段具有不同的距离和不同级别的照明条件。我们使用广泛使用的JAAD和我们自己的数据集训练了模型，并将性能与最先进的模型进行了比较。结果表明，我们的模型优于最新方法，特别是当行人的距离远（超过70m）并且照明条件不足时。

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

由于安全问题，自动驾驶汽车的大规模部署已不断延迟。一方面，全面的场景理解是必不可少的，缺乏这种理解会导致易受罕见但复杂的交通状况，例如突然出现未知物体。但是，从全球环境中的推理需要访问多种类型的传感器以及多模式传感器信号的足够融合，这很难实现。另一方面，学习模型中缺乏可解释性也会因无法验证的故障原因阻碍安全性。在本文中，我们提出了一个安全增强的自主驾驶框架，称为可解释的传感器融合变压器（Interfuser），以完全处理和融合来自多模式多视图传感器的信息，以实现全面的场景理解和对抗性事件检测。此外，我们的框架是从我们的框架中生成的中间解释功能，该功能提供了更多的语义，并被利用以更好地约束操作以在安全集内。我们在Carla基准测试中进行了广泛的实验，我们的模型优于先前的方法，在公共卡拉排行榜上排名第一。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

Speed estimation of an ego vehicle is crucial to enable autonomous driving and advanced driver assistance technologies. Due to functional and legacy issues, conventional methods depend on in-car sensors to extract vehicle speed through the Controller Area Network bus. However, it is desirable to have modular systems that are not susceptible to external sensors to execute perception tasks. In this paper, we propose a novel 3D-CNN with masked-attention architecture to estimate ego vehicle speed using a single front-facing monocular camera. To demonstrate the effectiveness of our method, we conduct experiments on two publicly available datasets, nuImages and KITTI. We also demonstrate the efficacy of masked-attention by comparing our method with a traditional 3D-CNN.