Reliable and efficient validation technologies are critical for the recent development of multi-vehicle cooperation and vehicle-road-cloud integration. In this paper, we introduce our miniature experimental platform, Mixed Cloud Control Testbed (MCCT), developed based on a new notion of Mixed Digital Twin (mixedDT). Combining Mixed Reality with Digital Twin, mixedDT integrates the virtual and physical spaces into a mixed one, where physical entities coexist and interact with virtual entities via their digital counterparts. Under the framework of mixedDT, MCCT contains three major experimental platforms in the physical, virtual and mixed spaces respectively, and provides a unified access for various human-machine interfaces and external devices such as driving simulators. A cloud unit, where the mixed experimental platform is deployed, is responsible for fusing multi-platform information and assigning control instructions, contributing to synchronous operation and real-time cross-platform interaction. Particularly, MCCT allows for multi-vehicle coordination composed of different multi-source vehicles (\eg, physical vehicles, virtual vehicles and human-driven vehicles). Validations on vehicle platooning demonstrate the flexibility and scalability of MCCT.

Digital Twin is an emerging technology that replicates real-world entities into a digital space. It has attracted increasing attention in the transportation field and many researchers are exploring its future applications in the development of Intelligent Transportation System (ITS) technologies. Connected vehicles (CVs) and pedestrians are among the major traffic participants in ITS. However, the usage of Digital Twin in research involving both CV and pedestrian remains largely unexplored. In this study, a Digital Twin framework for CV and pedestrian in-the-loop simulation is proposed. The proposed framework consists of the physical world, the digital world, and data transmission in between. The features for the entities (CV and pedestrian) that need digital twined are divided into external state and internal state, and the attributes in each state are described. We also demonstrate a sample architecture under the proposed Digital Twin framework, which is based on Carla-Sumo Co-simulation and Cave automatic virtual environment (CAVE). The proposed framework is expected to provide guidance to the future Digital Twin research, and the architecture we build can serve as the testbed for further research and development of ITS applications on CV and pedestrian.

具有自动化和连通性的赋予，连接和自动化的车辆旨在成为合作驾驶自动化的革命性推动者。然而，骑士需要对周围环境的高保真感知信息，但从各种车载传感器以及车辆到所有的通信（v2x）通信中都可以昂贵。因此，通过具有成本效益的平台基于高保真传感器的真实感知信息对于启用与CDA相关的研究（例如合作决策或控制）至关重要。大多数针对CAVS的最先进的交通模拟研究都通过直接呼吁对象的内在属性来依赖情况 - 意识信息，这阻碍了CDA算法评估的可靠性和保真度。在这项研究中，\ textit {网络移动镜（CMM）}共模拟平台设计用于通过提供真实感知信息来启用CDA。 \ textit {cmm}共模拟平台可以通过高保真传感器感知系统和具有实时重建系统的网络世界模仿现实世界。具体而言，现实世界的模拟器主要负责模拟交通环境，传感器以及真实的感知过程。 Mirror-World Simulator负责重建对象，并将其信息作为模拟器的内在属性，以支持CD​​A算法的开发和评估。为了说明拟议的共模拟平台的功能，将基于路边的激光雷达的车辆感知系统原型作为研究案例。特定的流量环境和CDA任务是为实验设计的，其结果得到了证明和分析以显示平台的性能。

Prototyping and validating hardware-software components, sub-systems and systems within the intelligent transportation system-of-systems framework requires a modular yet flexible and open-access ecosystem. This work presents our attempt towards developing such a comprehensive research and education ecosystem, called AutoDRIVE, for synergistically prototyping, simulating and deploying cyber-physical solutions pertaining to autonomous driving as well as smart city management. AutoDRIVE features both software as well as hardware-in-the-loop testing interfaces with openly accessible scaled vehicle and infrastructure components. The ecosystem is compatible with a variety of development frameworks, and supports both single and multi-agent paradigms through local as well as distributed computing. Most critically, AutoDRIVE is intended to be modularly expandable to explore emergent technologies, and this work highlights various complementary features and capabilities of the proposed ecosystem by demonstrating four such deployment use-cases: (i) autonomous parking using probabilistic robotics approach for mapping, localization, path planning and control; (ii) behavioral cloning using computer vision and deep imitation learning; (iii) intersection traversal using vehicle-to-vehicle communication and deep reinforcement learning; and (iv) smart city management using vehicle-to-infrastructure communication and internet-of-things.

在不久的将来，自动驾驶的开发将变得更加复杂，因为这些车辆不仅会依靠自己的传感器，而且还与其他车辆和基础设施进行交流以合作和改善驾驶体验。为此，需要进行一些研究领域，例如机器人技术，沟通和控制，以实施未来的方法。但是，每个领域首先关注其组件的开发，而组件可能对整个系统产生的影响仅在后期考虑。在这项工作中，我们集成了机器人技术，通信和控制的仿真工具，即ROS2，Omnet ++和MATLAB来评估合作驾驶场景。可以利用该框架使用指定工具来开发各个组件，而最终评估可以在完整的情况下进行，从而可以模拟高级多机器人应用程序以进行合作驾驶。此外，它可以用于集成其他工具，因为集成以模块化方式完成。我们通过在合作自适应巡航控制（CACC）和ETSI ITS-G5通信体系结构下展示排量场景来展示该框架。此外，我们比较了理论分析和实际案例研究之间控制器性能的差异。

两栖地面汽车将飞行和驾驶模式融合在一起，以实现更灵活的空中行动能力，并且最近受到了越来越多的关注。通过分析现有的两栖车辆，我们强调了在复杂的三维城市运输系统中有效使用两栖车辆的自动驾驶功能。我们审查并总结了现有两栖车辆设计中智能飞行驾驶的关键促成技术，确定主要的技术障碍，并提出潜在的解决方案，以实现未来的研究和创新。本文旨在作为研究和开发智能两栖车辆的指南，以实现未来的城市运输。

我们描述了一个软件框架和用于串联的硬件平台，用于设计和分析模拟和现实中机器人自主算法。该软件是开源的，独立的容器和操作系统（OS）的软件，具有三个主要组件：COS ++车辆仿真框架（Chrono）的ROS 2接口（Chrono），该框架提供了高保真的轮毂/跟踪的车辆和传感器仿真；基于ROS 2的基本基于算法设计和测试的自治堆栈；以及一个开发生态系统，可在感知，状态估计，路径计划和控制中进行可视化和硬件实验。随附的硬件平台是1/6刻度的车辆，并具有可重新配置的用于计算，传感和跟踪的可重新配置的安装。其目的是允许对算法和传感器配置进行物理测试和改进。由于该车辆平台在模拟环境中具有数字双胞胎，因此可以测试和比较模拟和现实中相同的算法和自主堆栈。该平台的构建是为了表征和管理模拟到现实差距。在此，我们描述了如何建立，部署和用于改善移动应用程序的自主权。

本文介绍了我们的网络物理移动实验室（CPM实验室）。它是网络和自治车辆的开源开发环境，专注于网络决策，轨迹规划和控制。 CPM实验室主持20个物理模型规模车辆（{\ mu}汽车），我们可以通过无限制的模拟车辆无缝扩展。代码和施工计划是公开的，以实现重建CPM实验室。我们的四层架构使得能够在模拟中和实验中无缝使用相同的软件，而无需进一步的适应。基于数据分发服务（DDS）的中间件允许以无缝方式在实验期间调整车辆数量。中间件还负责在逻辑执行时间方法后同步所有实体，以实现实验的确定性和再现性。这种方法使CPM实验室成为网络决策算法快速功能原型的独特平台。 CPM实验室允许研究人员以及来自不同学科的学生，以了解他们发展成为现实的想法。我们使用两个示例实验展示其能力。我们正在通过WebInterface进行远程访问CPM实验室。

为连接和自动化车辆（CAVS）开发安全性和效率应用需要大量的测试和评估。在关键和危险情况下对这些系统运行的需求使他们的评估负担非常昂贵，可能危险且耗时。作为替代方案，研究人员试图使用仿真平台研究和评估其算法和设计。建模驾驶员或人类操作员在骑士或其他与他们相互作用的车辆中的行为是此类模拟的主要挑战之一。虽然为人类行为开发完美的模型是一项具有挑战性的任务和一个开放的问题，但我们展示了用于驾驶员行为的模拟器中当前模型的显着增强。在本文中，我们为混合运输系统提供了一个模拟平台，其中包括人类驱动和自动化车辆。此外，我们分解了人类驾驶任务，并提供了模拟大规模交通情况的模块化方法，从而可以彻底研究自动化和主动的安全系统。通过互连模块的这种表示形式提供了一个可以调节的人解剖系统，以代表不同类别的驱动程序。此外，我们分析了一个大型驾驶数据集以提取表达参数，以最好地描述不同的驾驶特性。最后，我们在模拟器中重新创建了类似密集的交通情况，并对各种人类特异性和系统特异性因素进行了彻底的分析，研究了它们对交通网络性能和安全性的影响。

由于需要快速原型制作和广泛的测试，模拟在自主驾驶中的作用变得越来越重要。基于物理的模拟使用涉及多个利益和优势，以合理的成本消除了对原型，驱动因素和脆弱道路使用者的风险。但是，有两个主要局限性。首先，众所周知的现实差距是指现实与模拟之间的差异，这阻止了模拟自主驾驶体验实现有效的现实性能。其次，缺乏有关真实代理商的行为的经验知识，包括备用驾驶员或乘客以及其他道路使用者，例如车辆，行人或骑自行车的人。代理仿真通常是根据实际数据进行确定性，随机概率或生成的预编程的，但它不代表与特定模拟方案相互作用的真实试剂的行为。在本文中，我们提出了一个初步框架，以实现真实试剂与模拟环境（包括自动驾驶汽车）之间的实时互动，并从多个视图中从模拟传感器数据中生成合成序列，这些视图可用于培训依赖行为模型的预测系统。我们的方法将沉浸式的虚拟现实和人类运动捕获系统与Carla模拟器进行自主驾驶。我们描述了提出的硬件和软件体系结构，并讨论所谓的行为差距或存在。我们提出了支持这种方法的潜力并讨论未来步骤的初步但有希望的结果。

感知环境是实现合作驾驶自动化（CDA）的最基本关键之一，该关键被认为是解决当代运输系统的安全性，流动性和可持续性问题的革命性解决方案。尽管目前在计算机视觉的物体感知领域正在发生前所未有的进化，但由于不可避免的物理遮挡和单辆车的接受程度有限，最先进的感知方法仍在与复杂的现实世界流量环境中挣扎系统。基于多个空间分离的感知节点，合作感知（CP）诞生是为了解锁驱动自动化的感知瓶颈。在本文中，我们全面审查和分析了CP的研究进度，据我们所知，这是第一次提出统一的CP框架。审查了基于不同类型的传感器的CP系统的体系结构和分类学，以显示对CP系统的工作流程和不同结构的高级描述。对节点结构，传感器模式和融合方案进行了审查和分析，并使用全面的文献进行了详细的解释。提出了分层CP框架，然后对现有数据集和模拟器进行审查，以勾勒出CP的整体景观。讨论重点介绍了当前的机会，开放挑战和预期的未来趋势。

无人驾驶道路维护可能对所有利益相关者都非常有利，其关键目标是提高所有公路参与者的安全性，更有效的交通管理以及降低的道路维护成本，因此道路基础设施的标准足以使用它在自动驾驶（AD）中。本文介绍了如何扩展技术状态以实现这些目标。在使用公路标记机作为系统的“遥控道路标记系统”项目中，讨论并开发了基于远程操作的不同操作模式。此外，考虑到硬件和软件元素的功能系统概述通过实际的公路标记机对实验进行了验证，应作为在此和类似领域的未来工作的基准。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

随着智能车辆和先进驾驶员援助系统（ADAS）的快速发展，新趋势是人类驾驶员的混合水平将参与运输系统。因此，在这种情况下，司机的必要视觉指导对于防止潜在风险至关重要。为了推进视觉指导系统的发展，我们介绍了一种新的视觉云数据融合方法，从云中集成相机图像和数字双胞胎信息，帮助智能车辆做出更好的决策。绘制目标车辆边界框并在物体检测器的帮助下（在EGO车辆上运行）和位置信息（从云接收）匹配。使用深度图像作为附加特征源获得最佳匹配结果，从工会阈值下面的0.7交叉口下的精度为79.2％。进行了对车道改变预测的案例研究，以表明所提出的数据融合方法的有效性。在案例研究中，提出了一种多层的Perceptron算法，用修改的车道改变预测方法提出。从Unity游戏发动机获得的人型仿真结果表明，在安全性，舒适度和环境可持续性方面，拟议的模型可以显着提高高速公路驾驶性能。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

近年来，物联网设备的数量越来越快，这导致了用于管理，存储，分析和从不同物联网设备的原始数据做出决定的具有挑战性的任务，尤其是对于延时敏感的应用程序。在车辆网络（VANET）环境中，由于常见的拓扑变化，车辆的动态性质使当前的开放研究发出更具挑战性，这可能导致车辆之间断开连接。为此，已经在5G基础设施上计算了云和雾化的背景下提出了许多研究工作。另一方面，有多种研究提案旨在延长车辆之间的连接时间。已经定义了车辆社交网络（VSN）以减少车辆之间的连接时间的负担。本调查纸首先提供了关于雾，云和相关范例，如5G和SDN的必要背景信息和定义。然后，它将读者介绍给车辆社交网络，不同的指标和VSN和在线社交网络之间的主要差异。最后，本调查调查了在展示不同架构的VANET背景下的相关工作，以解决雾计算中的不同问题。此外，它提供了不同方法的分类，并在雾和云的上下文中讨论所需的指标，并将其与车辆社交网络进行比较。与VSN和雾计算领域的新研究挑战和趋势一起讨论了相关相关工程的比较。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

通过改善安全性，效率和移动性，自动车辆（AVS）的快速发展持有运输系统的巨大潜力。然而，通过AVS被采用的这些影响的进展尚不清楚。众多技术挑战是出于分析自治的部分采用：部分控制和观察，多车辆互动以及现实世界网络代表的纯粹场景的目标。本文研究了近期AV影响，研究了深度加强学习（RL）在低AV采用政权中克服了这些挑战的适用性。提出了一个模块化学习框架，它利用深rl来解决复杂的交通动态。模块组成用于捕获常见的交通现象（停止和转运交通拥堵，车道更改，交叉点）。在系统级速度方面，发现了学习的控制法则改善人类驾驶绩效，高达57％，只有4-7％的AVS。此外，在单线交通中，发现只有局部观察的小型神经网络控制规律消除了停止和转移的流量 - 超过所有已知的基于模型的控制器，以实现近乎最佳性能 - 并概括为OUT-分销交通密度。

We discuss a platform that has both software and hardware components, and whose purpose is to support research into characterizing and mitigating the sim-to-real gap in robotics and vehicle autonomy engineering. The software is operating-system independent and has three main components: a simulation engine called Chrono, which supports high-fidelity vehicle and sensor simulation; an autonomy stack for algorithm design and testing; and a development environment that supports visualization and hardware-in-the-loop experimentation. The accompanying hardware platform is a 1/6th scale vehicle augmented with reconfigurable mountings for computing, sensing, and tracking. Since this vehicle platform has a digital twin within the simulation environment, one can test the same autonomy perception, state estimation, or controls algorithms, as well as the processors they run on, in both simulation and reality. A demonstration is provided to show the utilization of this platform for autonomy research. Future work will concentrate on augmenting ART/ATK with support for a full-sized Chevy Bolt EUV, which will be made available to this group in the immediate future.