Digital Twin is an emerging technology that replicates real-world entities into a digital space. It has attracted increasing attention in the transportation field and many researchers are exploring its future applications in the development of Intelligent Transportation System (ITS) technologies. Connected vehicles (CVs) and pedestrians are among the major traffic participants in ITS. However, the usage of Digital Twin in research involving both CV and pedestrian remains largely unexplored. In this study, a Digital Twin framework for CV and pedestrian in-the-loop simulation is proposed. The proposed framework consists of the physical world, the digital world, and data transmission in between. The features for the entities (CV and pedestrian) that need digital twined are divided into external state and internal state, and the attributes in each state are described. We also demonstrate a sample architecture under the proposed Digital Twin framework, which is based on Carla-Sumo Co-simulation and Cave automatic virtual environment (CAVE). The proposed framework is expected to provide guidance to the future Digital Twin research, and the architecture we build can serve as the testbed for further research and development of ITS applications on CV and pedestrian.

Reliable and efficient validation technologies are critical for the recent development of multi-vehicle cooperation and vehicle-road-cloud integration. In this paper, we introduce our miniature experimental platform, Mixed Cloud Control Testbed (MCCT), developed based on a new notion of Mixed Digital Twin (mixedDT). Combining Mixed Reality with Digital Twin, mixedDT integrates the virtual and physical spaces into a mixed one, where physical entities coexist and interact with virtual entities via their digital counterparts. Under the framework of mixedDT, MCCT contains three major experimental platforms in the physical, virtual and mixed spaces respectively, and provides a unified access for various human-machine interfaces and external devices such as driving simulators. A cloud unit, where the mixed experimental platform is deployed, is responsible for fusing multi-platform information and assigning control instructions, contributing to synchronous operation and real-time cross-platform interaction. Particularly, MCCT allows for multi-vehicle coordination composed of different multi-source vehicles (\eg, physical vehicles, virtual vehicles and human-driven vehicles). Validations on vehicle platooning demonstrate the flexibility and scalability of MCCT.

由于需要快速原型制作和广泛的测试，模拟在自主驾驶中的作用变得越来越重要。基于物理的模拟使用涉及多个利益和优势，以合理的成本消除了对原型，驱动因素和脆弱道路使用者的风险。但是，有两个主要局限性。首先，众所周知的现实差距是指现实与模拟之间的差异，这阻止了模拟自主驾驶体验实现有效的现实性能。其次，缺乏有关真实代理商的行为的经验知识，包括备用驾驶员或乘客以及其他道路使用者，例如车辆，行人或骑自行车的人。代理仿真通常是根据实际数据进行确定性，随机概率或生成的预编程的，但它不代表与特定模拟方案相互作用的真实试剂的行为。在本文中，我们提出了一个初步框架，以实现真实试剂与模拟环境（包括自动驾驶汽车）之间的实时互动，并从多个视图中从模拟传感器数据中生成合成序列，这些视图可用于培训依赖行为模型的预测系统。我们的方法将沉浸式的虚拟现实和人类运动捕获系统与Carla模拟器进行自主驾驶。我们描述了提出的硬件和软件体系结构，并讨论所谓的行为差距或存在。我们提出了支持这种方法的潜力并讨论未来步骤的初步但有希望的结果。

具有自动化和连通性的赋予，连接和自动化的车辆旨在成为合作驾驶自动化的革命性推动者。然而，骑士需要对周围环境的高保真感知信息，但从各种车载传感器以及车辆到所有的通信（v2x）通信中都可以昂贵。因此，通过具有成本效益的平台基于高保真传感器的真实感知信息对于启用与CDA相关的研究（例如合作决策或控制）至关重要。大多数针对CAVS的最先进的交通模拟研究都通过直接呼吁对象的内在属性来依赖情况 - 意识信息，这阻碍了CDA算法评估的可靠性和保真度。在这项研究中，\ textit {网络移动镜（CMM）}共模拟平台设计用于通过提供真实感知信息来启用CDA。 \ textit {cmm}共模拟平台可以通过高保真传感器感知系统和具有实时重建系统的网络世界模仿现实世界。具体而言，现实世界的模拟器主要负责模拟交通环境，传感器以及真实的感知过程。 Mirror-World Simulator负责重建对象，并将其信息作为模拟器的内在属性，以支持CD​​A算法的开发和评估。为了说明拟议的共模拟平台的功能，将基于路边的激光雷达的车辆感知系统原型作为研究案例。特定的流量环境和CDA任务是为实验设计的，其结果得到了证明和分析以显示平台的性能。

由于在道路驾驶实验的安全性，成本和实验控制问题，模拟器是驾驶的行为和交互研究的重要工具。最先进的模拟器使用昂贵的360度投影系统，以确保视觉保真度，完整的视野和浸入。然而，可以使用基于虚拟现实（VR）的可视界面可高效地实现类似的视觉保真度。我们展示了Dreyevr，这是一个基于开源VR的驾驶模拟器平台，设计了具有行为和互动研究优先事项的驾驶模拟器平台。 Dreyevr（读取“驱动程序”）是基于虚幻发动机和Carla自主车辆模拟器，并且具有眼睛跟踪等功能，功能驾驶头部显示器（HUD）和车辆音频，定制可定义路由和流量方案，实验测井，重播功能，以及与ROS的兼容性。我们描述了部署此模拟器的硬件低于$ 5000 $ USD，比市售的模拟器更便宜。最后，我们描述了如何利用Dreyevr在示例场景中回答交互研究问题。

随着智能车辆和先进驾驶员援助系统（ADAS）的快速发展，新趋势是人类驾驶员的混合水平将参与运输系统。因此，在这种情况下，司机的必要视觉指导对于防止潜在风险至关重要。为了推进视觉指导系统的发展，我们介绍了一种新的视觉云数据融合方法，从云中集成相机图像和数字双胞胎信息，帮助智能车辆做出更好的决策。绘制目标车辆边界框并在物体检测器的帮助下（在EGO车辆上运行）和位置信息（从云接收）匹配。使用深度图像作为附加特征源获得最佳匹配结果，从工会阈值下面的0.7交叉口下的精度为79.2％。进行了对车道改变预测的案例研究，以表明所提出的数据融合方法的有效性。在案例研究中，提出了一种多层的Perceptron算法，用修改的车道改变预测方法提出。从Unity游戏发动机获得的人型仿真结果表明，在安全性，舒适度和环境可持续性方面，拟议的模型可以显着提高高速公路驾驶性能。

为连接和自动化车辆（CAVS）开发安全性和效率应用需要大量的测试和评估。在关键和危险情况下对这些系统运行的需求使他们的评估负担非常昂贵，可能危险且耗时。作为替代方案，研究人员试图使用仿真平台研究和评估其算法和设计。建模驾驶员或人类操作员在骑士或其他与他们相互作用的车辆中的行为是此类模拟的主要挑战之一。虽然为人类行为开发完美的模型是一项具有挑战性的任务和一个开放的问题，但我们展示了用于驾驶员行为的模拟器中当前模型的显着增强。在本文中，我们为混合运输系统提供了一个模拟平台，其中包括人类驱动和自动化车辆。此外，我们分解了人类驾驶任务，并提供了模拟大规模交通情况的模块化方法，从而可以彻底研究自动化和主动的安全系统。通过互连模块的这种表示形式提供了一个可以调节的人解剖系统，以代表不同类别的驱动程序。此外，我们分析了一个大型驾驶数据集以提取表达参数，以最好地描述不同的驾驶特性。最后，我们在模拟器中重新创建了类似密集的交通情况，并对各种人类特异性和系统特异性因素进行了彻底的分析，研究了它们对交通网络性能和安全性的影响。

Autonomous vehicle (AV) algorithms need to be tested extensively in order to make sure the vehicle and the passengers will be safe while using it after the implementation. Testing these algorithms in real world create another important safety critical point. Real world testing is also subjected to limitations such as logistic limitations to carry or drive the vehicle to a certain location. For this purpose, hardware in the loop (HIL) simulations as well as virtual environments such as CARLA and LG SVL are used widely. This paper discusses a method that combines the real vehicle with the virtual world, called vehicle in virtual environment (VVE). This method projects the vehicle location and heading into a virtual world for desired testing, and transfers back the information from sensors in the virtual world to the vehicle. As a result, while vehicle is moving in the real world, it simultaneously moves in the virtual world and obtains the situational awareness via multiple virtual sensors. This would allow testing in a safe environment with the real vehicle while providing some additional benefits on vehicle dynamics fidelity, logistics limitations and passenger experience testing. The paper also demonstrates an example case study where path following and the virtual sensors are utilized to test a radar based stopping algorithm.

感知环境是实现合作驾驶自动化（CDA）的最基本关键之一，该关键被认为是解决当代运输系统的安全性，流动性和可持续性问题的革命性解决方案。尽管目前在计算机视觉的物体感知领域正在发生前所未有的进化，但由于不可避免的物理遮挡和单辆车的接受程度有限，最先进的感知方法仍在与复杂的现实世界流量环境中挣扎系统。基于多个空间分离的感知节点，合作感知（CP）诞生是为了解锁驱动自动化的感知瓶颈。在本文中，我们全面审查和分析了CP的研究进度，据我们所知，这是第一次提出统一的CP框架。审查了基于不同类型的传感器的CP系统的体系结构和分类学，以显示对CP系统的工作流程和不同结构的高级描述。对节点结构，传感器模式和融合方案进行了审查和分析，并使用全面的文献进行了详细的解释。提出了分层CP框架，然后对现有数据集和模拟器进行审查，以勾勒出CP的整体景观。讨论重点介绍了当前的机会，开放挑战和预期的未来趋势。

越来越多的交通部门的问题是事故，交通流量不良和污染。智能运输系统使用外部基础架构（其）可以解决这些问题。据我们所知，不存在对现有解决方案的系统审查。为了填补这一知识缺口，本文概述了现有的使用外部基础架构。此外，本文发现目前没有充分的回答的研究问题。出于这个原因，我们对文件进行了文献综述，它自2009年以来介绍了其解决方案。我们根据他的技术水平分类结果并分析了它们的性质。因此，我们使其有所可比性，并突出了过去的发展以及目前的趋势。根据提及的方法，我们分析了346多篇论文，其中包括40个试验床项目。总之，目前其可以实时提供有关交通情况下的个体的高准确信息。然而，在其使用现代传感器，即插即用机制以及高度数据的分散方式中，进一步研究其应重点关注对流量的更可靠的流量感知。通过解决这些主题，智能运输系统的开发处于校正方向，以实现全面推出。

汽车行业在过去几十年中见证了越来越多的发展程度;从制造手动操作车辆到具有高自动化水平的制造车辆。随着近期人工智能（AI）的发展，汽车公司现在雇用BlackBox AI模型来使车辆能够感知其环境，并使人类少或没有输入的驾驶决策。希望能够在商业规模上部署自治车辆（AV），通过社会接受AV成为至关重要的，并且可能在很大程度上取决于其透明度，可信度和遵守法规的程度。通过为AVS行为的解释提供对这些接受要求的遵守对这些验收要求的评估。因此，解释性被视为AVS的重要要求。 AV应该能够解释他们在他们运作的环境中的“见到”。在本文中，我们对可解释的自动驾驶的现有工作体系进行了全面的调查。首先，我们通过突出显示并强调透明度，问责制和信任的重要性来开放一个解释的动机;并审查与AVS相关的现有法规和标准。其次，我们识别并分类了参与发展，使用和监管的不同利益相关者，并引出了AV的解释要求。第三，我们对以前的工作进行了严格的审查，以解释不同的AV操作（即，感知，本地化，规划，控制和系统管理）。最后，我们确定了相关的挑战并提供建议，例如AV可解释性的概念框架。该调查旨在提供对AVS中解释性感兴趣的研究人员所需的基本知识。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

随着自动驾驶的发展，单个车辆的自动驾驶技术的提高已达到瓶颈。车辆合作自动驾驶技术的进步可以扩大车辆的感知范围，补充感知盲区并提高感知的准确性，以促进自主驾驶技术的发展并实现车辆路整合。该项目主要使用LIDAR来开发数据融合方案，以实现车辆和道路设备数据的共享和组合，并实现动态目标的检测和跟踪。同时，设计和用于测试我们的车辆道路合作意识系统的一些测试方案，这证明了车辆道路合作自动驾驶在单车自动驾驶上的优势。

两栖地面汽车将飞行和驾驶模式融合在一起，以实现更灵活的空中行动能力，并且最近受到了越来越多的关注。通过分析现有的两栖车辆，我们强调了在复杂的三维城市运输系统中有效使用两栖车辆的自动驾驶功能。我们审查并总结了现有两栖车辆设计中智能飞行驾驶的关键促成技术，确定主要的技术障碍，并提出潜在的解决方案，以实现未来的研究和创新。本文旨在作为研究和开发智能两栖车辆的指南，以实现未来的城市运输。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

自动驾驶在过去十年中取得了重大的研究和发展中的重要里程碑。在道路上的自动车辆部署时，对该领域的兴趣越来越令人兴趣，承诺更安全，更生态的运输系统。随着计算强大的人工智能（AI）技术的兴起，自动车辆可以用高精度感测它们的环境，进行安全的实时决策，并在没有人类干预的情况下更可靠地运行。然而，在现有技术中，人类智能决策通常不可能理解，这种缺陷阻碍了这种技术在社会上可接受。因此，除了制造安全的实时决策之外，自治车辆的AI系统还需要解释如何构建这些决策，以便在许多司法管辖区兼容监管。我们的研究在开发可解释的人工智能（XAI）的自治车辆方法上阐明了全面的光芒。特别是，我们做出以下贡献。首先，我们在最先进的自主车辆行业的解释方面彻底概述了目前的差距。然后，我们显示了该领域的解释和解释接收器的分类。第三，我们为端到端自主驾驶系统的架构提出了一个框架，并证明了Xai在调试和调节这些系统中的作用。最后，作为未来的研究方向，我们提供了XAI自主驾驶方法的实地指南，可以提高运营安全性和透明度，以实现监管机构，制造商和所有参与利益相关者的公共批准。

随着连接和自动化车辆（CAV）技术的出现，越来越需要在使用这种技术的同时评估驾驶员行为。在第一研究中，在驾驶模拟器环境中引入了使用CAV技术的行人碰撞警告（PCW）系统，以评估驾驶员制动行为，在jaywalking行人的存在下。招募了来自各种各样的社会经济背景的93名参与者，为这项研究招募了该研究的，为此开设了哈尔的摩市中心的虚拟网络。眼睛跟踪装置还用于观察分心和头部运动。对数逻辑加速故障时间（AFT）分配模型用于该分析，计算减速时间;从行人变得可见的那一刻到达到最小速度的点，让行人通过。 PCW系统的存在显着影响减速时间和减速率，因为它增加了前者并减少了后者，这证明了该系统在提供有效驾驶机动方面的有效性，通过大大降低速度。进行了混蛋分析，以分析制动和加速的突然性。凝视分析表明，该系统能够吸引司机的注意力，因为大多数司机都注意到了显示的警告。驾驶员与路线和连接的车辆的熟悉程度降低了减速时间;由于雄性往往具有更长的减速时间，性别也会产生重大影响，即更多的时间来舒适地刹车并允许行人通过。

There are many artificial intelligence algorithms for autonomous driving, but directly installing these algorithms on vehicles is unrealistic and expensive. At the same time, many of these algorithms need an environment to train and optimize. Simulation is a valuable and meaningful solution with training and testing functions, and it can say that simulation is a critical link in the autonomous driving world. There are also many different applications or systems of simulation from companies or academies such as SVL and Carla. These simulators flaunt that they have the closest real-world simulation, but their environment objects, such as pedestrians and other vehicles around the agent-vehicle, are already fixed programmed. They can only move along the pre-setting trajectory, or random numbers determine their movements. What is the situation when all environmental objects are also installed by Artificial Intelligence, or their behaviors are like real people or natural reactions of other drivers? This problem is a blind spot for most of the simulation applications, or these applications cannot be easy to solve this problem. The Neurorobotics Platform from the TUM team of Prof. Alois Knoll has the idea about "Engines" and "Transceiver Functions" to solve the multi-agents problem. This report will start with a little research on the Neurorobotics Platform and analyze the potential and possibility of developing a new simulator to achieve the true real-world simulation goal. Then based on the NRP-Core Platform, this initial development aims to construct an initial demo experiment. The consist of this report starts with the basic knowledge of NRP-Core and its installation, then focus on the explanation of the necessary components for a simulation experiment, at last, about the details of constructions for the autonomous driving system, which is integrated object detection and autonomous control.

用于流量操作和控制的现有数据收集方法通常依赖于基于基础架构的环路探测器或探测器车辆轨迹。连接和自动化的车辆（CAVS）不仅可以报告有关自己的数据，而且可以提供所有检测到的周围车辆的状态。从多个CAVS以及基础设施传感器（例如Lidar）的感知数据集成，即使在非常低的渗透率下也可以提供更丰富的信息。本文旨在开发合作数据收集系统，该系统集成了来自基础架构和CAVS的LiDar Point Cloud数据，以为各种运输应用创建合作感知环境。最新的3D检测模型用于在合并点云中检测车辆。我们在与Carla和Sumo的共模拟平台中测试了具有最大压力自适应信号控制模型的提出的合作感知环境。结果表明，CAV和基础设施传感器的渗透率非常低，足以实现可比性的性能，而连接车辆（CV）的渗透率为30％或更高。我们还显示了不同CAV渗透率下的等效CV渗透率（E-CVPR），以证明合作感知环境的数据收集效率。