智能交通监控（ITMO）的挑战因大量和模式的数据以及对最先进的（SOTA）推理者的利用的需求而加剧。我们提出ITMO的问题，并引入HANS，这是一种用于多模式上下文理解的神经符号结构及其在ITMO中的应用。汉斯利用知识图技术作为交通域中SOTA推理的骨干。通过案例研究，我们展示了汉斯如何解决与交通监控相关的挑战，同时能够与广泛的推理方法集成

自动驾驶在过去十年中取得了重大的研究和发展中的重要里程碑。在道路上的自动车辆部署时，对该领域的兴趣越来越令人兴趣，承诺更安全，更生态的运输系统。随着计算强大的人工智能（AI）技术的兴起，自动车辆可以用高精度感测它们的环境，进行安全的实时决策，并在没有人类干预的情况下更可靠地运行。然而，在现有技术中，人类智能决策通常不可能理解，这种缺陷阻碍了这种技术在社会上可接受。因此，除了制造安全的实时决策之外，自治车辆的AI系统还需要解释如何构建这些决策，以便在许多司法管辖区兼容监管。我们的研究在开发可解释的人工智能（XAI）的自治车辆方法上阐明了全面的光芒。特别是，我们做出以下贡献。首先，我们在最先进的自主车辆行业的解释方面彻底概述了目前的差距。然后，我们显示了该领域的解释和解释接收器的分类。第三，我们为端到端自主驾驶系统的架构提出了一个框架，并证明了Xai在调试和调节这些系统中的作用。最后，作为未来的研究方向，我们提供了XAI自主驾驶方法的实地指南，可以提高运营安全性和透明度，以实现监管机构，制造商和所有参与利益相关者的公共批准。

各种网络的部署（例如，事物互联网（IOT）和移动网络），数据库（例如，营养表和食品组成数据库）和社交媒体（例如，Instagram和Twitter）产生大量的多型食品数据，这在食品科学和工业中起着关键作用。然而，由于众所周知的数据协调问题，这些多源食品数据显示为信息孤岛，导致难以充分利用这些食物数据。食物知识图表提供了统一和标准化的概念术语及其结构形式的关系，因此可以将食物信息孤单转换为更可重复使用的全球数量数字连接的食物互联网以使各种应用有益。据我们所知，这是食品科学与工业中食品知识图表的第一个全面审查。我们首先提供知识图表的简要介绍，然后主要从食物分类，食品本体到食品知识图表的进展。粮食知识图表的代表性应用将在新的配方开发，食品可追溯性，食物数据可视化，个性化饮食推荐，食品搜索和质询回答，视觉食品对象识别，食品机械智能制造方面来概述。我们还讨论了该领域的未来方向，例如食品供应链系统和人类健康的食品知识图，这应该得到进一步的研究。他们的巨大潜力将吸引更多的研究努力，将食物知识图形应用于食品科学和工业领域。

自动交通事故检测已吸引机器视觉社区，因为它对自动智能运输系统（ITS）的发展产生了影响和对交通安全的重要性。然而，大多数关于有效分析和交通事故预测的研究都使用了覆盖范围有限的小规模数据集，从而限制了其效果和适用性。交通事故中现有的数据集是小规模，不是来自监视摄像机，而不是开源的，或者不是为高速公路场景建造的。由于在高速公路上发生事故，因此往往会造成严重损坏，并且太快了，无法赶上现场。针对从监视摄像机收集的高速公路交通事故的开源数据集非常需要和实际上。为了帮助视觉社区解决这些缺点，我们努力收集涵盖丰富场景的真实交通事故的视频数据。在通过各个维度进行集成和注释后，在这项工作中提出了一个名为TAD的大规模交通事故数据集。在这项工作中，使用公共主流视觉算法或框架进行了有关图像分类，对象检测和视频分类任务的各种实验，以证明不同方法的性能。拟议的数据集以及实验结果将作为改善计算机视觉研究的新基准提出，尤其是在其中。

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

行动检测和公共交通安全是安全社区和更好社会的关键方面。使用不同的监视摄像机监视智能城市中的交通流量可以在识别事故和提醒急救人员中发挥重要作用。计算机视觉任务中的动作识别（AR）的利用为视频监视，医学成像和数字信号处理中的高精度应用做出了贡献。本文提出了一项密集的审查，重点是智能城市的事故检测和自动运输系统中的行动识别。在本文中，我们专注于使用各种交通视频捕获来源的AR系统，例如交通交叉点上的静态监视摄像头，高速公路监控摄像头，无人机摄像头和仪表板。通过这篇综述，我们确定了AR中用于自动运输和事故检测的主要技术，分类法和算法。我们还检查了AR任务中使用的数据集，并识别数据集的数据集和功能的主要来源。本文提供了潜在的研究方向，以开发和整合为自动驾驶汽车和公共交通安全系统的事故检测系统，通过警告紧急人员和执法部门，如果道路事故发生道路事故，以最大程度地减少事故报告中的人为错误，并对受害者提供自发的反应。

基于知识的实体预测（KEP）是一项新任务，旨在改善自主系统中的机器感知。KEP在预测潜在的未识别实体方面利用了来自异质来源的关系知识。在本文中，我们将KEP的正式定义作为知识完成任务。然后引入了三种潜在的解决方案，这些解决方案采用了几种机器学习和数据挖掘技术。最后，在来自不同域的两个自主系统上证明了KEP的适用性。即自动驾驶和智能制造。我们认为，在复杂的现实世界系统中，使用KEP将显着改善机器的感知，同时将当前技术推向实现完全自治的一步。

近年来，随着新颖的策略和应用，神经网络一直在迅速扩展。然而，尽管不可避免地会针对关键应用程序来解决这些挑战，例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此，出现了神经符号学习（Nesyl）概念，其中结合了符号表示的各个方面，并将常识带入神经网络（Nesyl）。在可解释性，推理和解释性至关重要的领域中，例如视频和图像字幕，提问和推理，健康信息学和基因组学，Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查，其原理，机器和深度学习算法的进步，诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

感知环境是实现合作驾驶自动化（CDA）的最基本关键之一，该关键被认为是解决当代运输系统的安全性，流动性和可持续性问题的革命性解决方案。尽管目前在计算机视觉的物体感知领域正在发生前所未有的进化，但由于不可避免的物理遮挡和单辆车的接受程度有限，最先进的感知方法仍在与复杂的现实世界流量环境中挣扎系统。基于多个空间分离的感知节点，合作感知（CP）诞生是为了解锁驱动自动化的感知瓶颈。在本文中，我们全面审查和分析了CP的研究进度，据我们所知，这是第一次提出统一的CP框架。审查了基于不同类型的传感器的CP系统的体系结构和分类学，以显示对CP系统的工作流程和不同结构的高级描述。对节点结构，传感器模式和融合方案进行了审查和分析，并使用全面的文献进行了详细的解释。提出了分层CP框架，然后对现有数据集和模拟器进行审查，以勾勒出CP的整体景观。讨论重点介绍了当前的机会，开放挑战和预期的未来趋势。

知识表示和推理有悠久的历史，即研究如何通过机器对知识进行形式化，解释和语义分析。在自动化车辆领域，最近的进步表明，能够将相关知识形式化和利用相关知识作为处理交通界固有且复杂的环境的关键推动者。本文证明了本体论是a）对自动车辆环境中与关键相关的因素进行建模和形式化的强大工具。为此，我们利用著名的6层模型来创建环境环境的形式表示。在此表示形式中，本体论将域知识模型为逻辑公理，从而促进交通场景和场景中的关键因素的存在。为了执行自动分析，将联合描述逻辑和规则推理器与A-Priori谓词增强结合使用。我们详细介绍了模块化方法，提出了公开可用的实施，并通过大规模的无人机数据集评估了该方法的城市交通情况。

最近，已经证明了与图形学习技术结合使用的道路场景图表示，在包括动作分类，风险评估和碰撞预测的任务中优于最先进的深度学习技术。为了使Road场景图形表示的应用探索，我们介绍了RoadScene2VEC：一个开源工具，用于提取和嵌入公路场景图。 RoadScene2VEC的目标是通过提供用于生成场景图的工具，为生成时空场景图嵌入的工具以及用于可视化和分析场景图的工具来实现Road场景图的应用程序和能力基于方法。 RoadScene2VEC的功能包括（i）来自Carla Simulator的视频剪辑或数据的自定义场景图，（ii）多种可配置的时空图嵌入模型和基于基于基于CNN的模型，（iii）内置功能使用图形和序列嵌入用于风险评估和碰撞预测应用，（iv）用于评估转移学习的工具，以及（v）用于可视化场景图的实用程序，并分析图形学习模型的解释性。我们展示了道路展示的效用，用于这些用例，具有实验结果和基于CNN的模型的实验结果和定性评估。 Rodscene2vec可在https://github.com/aicps/roadscene2vec提供。

速度控制预测是驾驶员行为分析中一个具有挑战性的问题，旨在预测驾驶员在控制车速（例如制动或加速度）中的未来行动。在本文中，我们尝试仅使用以自我为中心的视频数据来应对这一挑战，与使用第三人称视图数据或额外的车辆传感器数据（例如GPS或两者）的文献中的大多数作品相比。为此，我们提出了一个基于新型的图形卷积网络（GCN）网络，即Egospeed-net。我们的动机是，随着时间的推移，对象的位置变化可以为我们提供非常有用的线索，以预测未来的速度变化。我们首先使用完全连接的图形图将每个类的对象之间的空间关系建模，并在其上应用GCN进行特征提取。然后，我们利用一个长期的短期内存网络将每个类别的此类特征随着时间的流逝融合到矢量中，加入此类矢量并使用多层perceptron分类器预测速度控制动作。我们在本田研究所驾驶数据集上进行了广泛的实验，并证明了Egospeed-NET的出色性能。

主张神经符号人工智能（NESY）断言，将深度学习与象征性推理相结合将导致AI更强大，而不是本身。像深度学习一样成功，人们普遍认为，即使我们最好的深度学习系统也不是很擅长抽象推理。而且，由于推理与语言密不可分，因此具有直觉的意义，即自然语言处理（NLP）将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查，目的是回答Nesy是否确实符合其承诺的问题：推理，分布概括，解释性，学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响，例如规则和语义网络，语言结构和关系结构，以及隐式或明确的推理是否有助于更高的承诺分数。我们发现，将逻辑编译到神经网络中的系统会导致满足最NESY的目标，而其他因素（例如知识表示或神经体系结构的类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上，特别是与人类级别的推理有关的许多差异，这会影响有关模型架构的决策并推动结论，这些结论在整个研究中并不总是一致的。因此，我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展，我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。

Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.