自动驾驶汽车（SDC）通常会实施感知管道，以检测周围的障碍并跟踪其移动轨迹，这为随后的驾驶决策过程奠定了基础。尽管对SDC中障碍物检测的安全性进行了深入的研究，但直到最近，攻击者才开始利用跟踪模块的脆弱性。与仅攻击对象探测器相比，这种新的攻击策略以更少的攻击预算更有效地影响了驾驶决策。但是，关于揭示的脆弱性在端到端的自动驾驶系统中是否仍然有效，以及如何减轻威胁。在本文中，我们介绍了SDC中对象跟踪安全性的第一个系统研究。通过一项全面的案例研究Baidu's Apollo的全面感知管道，我们证明了基于Kalman Filter（KF）的主流多对象跟踪器（MOT），即使具有启用的多种多样，传感器融合机制。我们的根本原因分析揭示了脆弱性是对基于KF的MOT设计的天生，该漏洞将错误地处理对象检测器的预测结果，但是当采用的KF算法易于在其与预测偏离的偏差时更容易相信该观察结果更大。为了解决这个设计缺陷，我们为基于KF的MOT提出了一个简单而有效的安全贴，其核心是一种适应性策略，可以平衡KF的重点在观测和预测上，根据观察预测偏差的异常指数，并具有针对广义劫持攻击模型的认证有效性。对基于$ 4 $ kf的现有MOT实施（包括2D和3D，学术和阿波罗的）的广泛评估验证了我们方法的防御效果和微不足道的绩效开销。

轨迹预测是自动车辆（AVS）执行安全规划和导航的关键组件。然而，很少有研究分析了轨迹预测的对抗性稳健性，或者调查了最坏情况的预测是否仍然可以导致安全规划。为了弥合这种差距，我们通过提出普通车辆轨迹来最大化预测误差来研究轨迹预测模型的对抗鲁棒性。我们在三个模型和三个数据集上的实验表明，对手预测将预测误差增加超过150％。我们的案例研究表明，如果对手在对手轨迹之后驱动靠近目标AV的车辆，则AV可以进行不准确的预测，甚至不安全的驾驶决策。我们还通过数据增强和轨迹平滑探索可能的缓解技术。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

在未来几十年中，自动驾驶将普遍存在。闲置在交叉点上提高自动驾驶的安全性，并通过改善交叉点的交通吞吐量来提高效率。在闲置时，路边基础设施通过卸载从车辆到路边基础设施的知觉和计划，在交叉路口远程驾驶自动驾驶汽车。为了实现这一目标，iDriving必须能够以全帧速率以较少100毫秒的尾声处理大量的传感器数据，而无需牺牲准确性。我们描述了算法和优化，使其能够使用准确且轻巧的感知组件实现此目标，该组件是从重叠传感器中得出的复合视图的原因，以及一个共同计划多个车辆的轨迹的计划者。在我们的评估中，闲置始终确保车辆的安全通过，而自动驾驶只能有27％的时间。与其他方法相比，闲置的等待时间还要低5倍，因为它可以实现无流量的交叉点。

在本文中，我们描述了如何利用明亮的调制光源（例如，廉价，离心激光器）来利用CMOS图像传感器中的电子滚动快门。我们展示了七种不同CMOS相机的攻击，从IoT廉价到半专业监控摄像机，以突出滚动快门攻击的广泛适用性。我们模拟了影响不受控制的设置中滚动快门攻击的基本因素。然后，我们对对象检测任务的攻击作用进行了详尽的评估，研究了攻击参数的效果。我们验证了我们对两个独立相机收集的经验数据的模型，表明通过简单地使用来自相机数据表的信息，对手可以准确地预测注入的失真大小并相应地优化它们的攻击。我们发现，通过选择适当的攻击参数，对手可以通过最先进的探测器隐藏高达75％的物体。我们还调查了与NA \“{i} vers致盲攻击相比攻击的隐秘，表明常见的图像失真度量无法检测到攻击存在。因此，我们向骨干展示了一种新的，准确和轻巧的增强对象检测器的网络识别滚动快门攻击。总体而言，我们的结果表明，滚动快门攻击可以大大降低基于视觉智能系统的性能和可靠性。

一方面，在最近的文献中，许多3D多对象跟踪（MOT）的作品集中在跟踪准确性和被忽视的计算速度上，通常是通过设计相当复杂的成本功能和功能提取器来进行的。另一方面，某些方法以跟踪准确性为代价过多地关注计算速度。鉴于这些问题，本文提出了一种强大而快速的基于相机融合的MOT方法，该方法在准确性和速度之间取决于良好的权衡。依靠相机和激光雷达传感器的特性，设计并嵌入了提出的MOT方法中的有效的深层关联机制。该关联机制在对象远处并仅由摄像机检测到2D域中的对象，并在对象出现在LIDAR的视野中以实现平滑融合时获得的2D轨迹进行更新，并更新2D轨迹。 2D和3D轨迹。基于典型数据集的广泛实验表明，就跟踪准确性和处理速度而言，我们提出的方法在最先进的MOT方法上具有明显的优势。我们的代码可公开用于社区的利益。

Object detectors, which are widely deployed in security-critical systems such as autonomous vehicles, have been found vulnerable to patch hiding attacks. An attacker can use a single physically-realizable adversarial patch to make the object detector miss the detection of victim objects and undermine the functionality of object detection applications. In this paper, we propose ObjectSeeker for certifiably robust object detection against patch hiding attacks. The key insight in ObjectSeeker is patch-agnostic masking: we aim to mask out the entire adversarial patch without knowing the shape, size, and location of the patch. This masking operation neutralizes the adversarial effect and allows any vanilla object detector to safely detect objects on the masked images. Remarkably, we can evaluate ObjectSeeker's robustness in a certifiable manner: we develop a certification procedure to formally determine if ObjectSeeker can detect certain objects against any white-box adaptive attack within the threat model, achieving certifiable robustness. Our experiments demonstrate a significant (~10%-40% absolute and ~2-6x relative) improvement in certifiable robustness over the prior work, as well as high clean performance (~1% drop compared with undefended models).

关键应用程序中机器学习（ML）组件的集成引入了软件认证和验证的新挑战。正在开发新的安全标准和技术准则，以支持基于ML的系统的安全性，例如ISO 21448 SOTIF用于汽车域名，并保证机器学习用于自主系统（AMLAS）框架。 SOTIF和AMLA提供了高级指导，但对于每个特定情况，必须将细节凿出来。我们启动了一个研究项目，目的是证明开放汽车系统中ML组件的完整安全案例。本文报告说，Smikk的安全保证合作是由行业级别的行业合作的，这是一个基于ML的行人自动紧急制动示威者，在行业级模拟器中运行。我们演示了AMLA在伪装上的应用，以在简约的操作设计域中，即，我们为其基于ML的集成组件共享一个完整的安全案例。最后，我们报告了经验教训，并在开源许可下为研究界重新使用的开源许可提供了傻笑和安全案例。

深度学习大大提高了单眼深度估计（MDE）的性能，这是完全基于视觉的自主驾驶（AD）系统（例如特斯拉和丰田）的关键组成部分。在这项工作中，我们对基于学习的MDE产生了攻击。特别是，我们使用基于优化的方法系统地生成隐形的物理对象贴片来攻击深度估计。我们通过面向对象的对抗设计，敏感的区域定位和自然风格的伪装来平衡攻击的隐身和有效性。使用现实世界的驾驶场景，我们评估了对并发MDE模型的攻击和AD的代表下游任务（即3D对象检测）。实验结果表明，我们的方法可以为不同的目标对象和模型生成隐形，有效和健壮的对抗贴片，并在物体检测中以1/1/的斑点检测到超过6米的平均深度估计误差和93％的攻击成功率（ASR）车辆后部9个。具有实际车辆的三个不同驾驶路线上的现场测试表明，在连续视频帧中，我们导致超过6米的平均深度估计误差，并将对象检测率从90.70％降低到5.16％。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

Modern autonomous driving system is characterized as modular tasks in sequential order, i.e., perception, prediction and planning. As sensors and hardware get improved, there is trending popularity to devise a system that can perform a wide diversity of tasks to fulfill higher-level intelligence. Contemporary approaches resort to either deploying standalone models for individual tasks, or designing a multi-task paradigm with separate heads. These might suffer from accumulative error or negative transfer effect. Instead, we argue that a favorable algorithm framework should be devised and optimized in pursuit of the ultimate goal, i.e. planning of the self-driving-car. Oriented at this goal, we revisit the key components within perception and prediction. We analyze each module and prioritize the tasks hierarchically, such that all these tasks contribute to planning (the goal). To this end, we introduce Unified Autonomous Driving (UniAD), the first comprehensive framework up-to-date that incorporates full-stack driving tasks in one network. It is exquisitely devised to leverage advantages of each module, and provide complementary feature abstractions for agent interaction from a global perspective. Tasks are communicated with unified query design to facilitate each other toward planning. We instantiate UniAD on the challenging nuScenes benchmark. With extensive ablations, the effectiveness of using such a philosophy is proven to surpass previous state-of-the-arts by a large margin in all aspects. The full suite of codebase and models would be available to facilitate future research in the community.

近年来，移动机器人的安全问题引起了人们的关注。在本文中，我们提出了一种智能的物理攻击，通过从外部观察中学习障碍 - 避免机制，将移动机器人置于预设位置。我们作品的显着新颖性在于揭示具有智能和高级设计的基于物理攻击的可能性，可以带来真正的威胁，而没有对系统动态或对内部系统的访问的先验知识。传统网络空间安全中的对策无法处理这种攻击。练习，拟议的攻击的基石是积极探索受害者机器人与环境的复杂相互作用的特征，并学习对其行为的有限观察中表现出的障碍知识。然后，我们提出了最短的路径和手持攻击算法，以从巨大的运动空间中找到有效的攻击路径，从而在路径长度和活动期间分别以低成本实现了驾驶到陷阱目标。证明了算法的收敛性，并进一步得出了攻击性能范围。广泛的模拟和现实生活实验说明了拟议攻击的有效性，招呼未来对机器人系统的物理威胁和防御的研究。

Although Deep Neural Networks (DNNs) have achieved impressive results in computer vision, their exposed vulnerability to adversarial attacks remains a serious concern. A series of works has shown that by adding elaborate perturbations to images, DNNs could have catastrophic degradation in performance metrics. And this phenomenon does not only exist in the digital space but also in the physical space. Therefore, estimating the security of these DNNs-based systems is critical for safely deploying them in the real world, especially for security-critical applications, e.g., autonomous cars, video surveillance, and medical diagnosis. In this paper, we focus on physical adversarial attacks and provide a comprehensive survey of over 150 existing papers. We first clarify the concept of the physical adversarial attack and analyze its characteristics. Then, we define the adversarial medium, essential to perform attacks in the physical world. Next, we present the physical adversarial attack methods in task order: classification, detection, and re-identification, and introduce their performance in solving the trilemma: effectiveness, stealthiness, and robustness. In the end, we discuss the current challenges and potential future directions.

自主车辆的环境感知受其物理传感器范围和算法性能的限制，以及通过降低其对正在进行的交通状况的理解的闭塞。这不仅构成了对安全和限制驾驶速度的重大威胁，而且它也可能导致不方便的动作。智能基础设施系统可以帮助缓解这些问题。智能基础设施系统可以通过在当前交通情况的数字模型的形式提供关于其周围环境的额外详细信息，填补了车辆的感知中的差距并扩展了其视野。数字双胞胎。然而，这种系统的详细描述和工作原型表明其可行性稀缺。在本文中，我们提出了一种硬件和软件架构，可实现这样一个可靠的智能基础架构系统。我们在现实世界中实施了该系统，并展示了它能够创建一个准确的延伸高速公路延伸的数字双胞胎，从而提高了自主车辆超越其车载传感器的极限的感知。此外，我们通过使用空中图像和地球观测方法来评估数字双胞胎的准确性和可靠性，用于产生地面真理数据。

Reinforcement learning allows machines to learn from their own experience. Nowadays, it is used in safety-critical applications, such as autonomous driving, despite being vulnerable to attacks carefully crafted to either prevent that the reinforcement learning algorithm learns an effective and reliable policy, or to induce the trained agent to make a wrong decision. The literature about the security of reinforcement learning is rapidly growing, and some surveys have been proposed to shed light on this field. However, their categorizations are insufficient for choosing an appropriate defense given the kind of system at hand. In our survey, we do not only overcome this limitation by considering a different perspective, but we also discuss the applicability of state-of-the-art attacks and defenses when reinforcement learning algorithms are used in the context of autonomous driving.

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.

基于DNN的视频对象检测（VOD）为自动驾驶和视频监视行业提供了重要的重要性和有希望的机会。但是，由于其实用性，可行性和强大的攻击效果，对抗贴片攻击在现场视觉任务中产生了巨大的关注。这项工作提出了Themis，这是一种软件/硬件系统，可防止对抗贴片，以实时稳健的视频对象检测。我们观察到，对抗斑块在具有非稳定预测的小区域中表现出极为局部的表面特征，因此提出了对抗区域检测算法，以消除对抗性效应。Themis还提出了一种系统的设计，以通过消除冗余计算和记忆运输来有效地支持该算法。实验结果表明，提出的方法可以有效地从可忽略的硬件开销中从对抗性攻击中恢复系统。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1