自动化车辆（AV）在很大程度上取决于强大的感知系统。评估视觉系统的当前方法主要关注逐帧性能。当在AV中使用时，这种评估方法似乎不足以评估感知子系统的性能。在本文中，我们提出了一种逻辑（称为时空感知逻辑（STPL）），该逻辑同时使用了空间和时间方式。STPL可以使用空间和时间关系来实现对感知数据的推理。STPL的一个主要优点是，即使在某些情况下没有地面真相数据，它也可以促进感知系统实时性能的基本理智检查。我们确定了STPL的片段，该片段是在多项式时间内有效地监视离线的。最后，我们提供了一系列针对AV感知系统的规格，以突出显示可以通过STPL通过离线监控来表达和分析的要求类型。

基于仿真的自主车辆（AVS）测试已成为道路测试的必要补充，以确保安全。因此，实质性研究专注于寻找模拟中的失败情景。但是，仍然存在一个基本问题：是在实际情况下模拟中识别的AV失败情景，即它们在真实系统上可重复？由于模拟和实际传感器数据之间的差异引起的SIM-to-实际间隙，模拟中识别的故障场景可以是合成传感器数据的虚假工件或持续存在具有实际传感器数据的实际故障。验证模拟故障方案的方法是在真实数据的语料库中识别场景的情况，并检查故障是否持续存在于实际数据上。为此，我们提出了一个正式的定义，它对标记的数据项匹配抽象场景的方法，以使用风景概率编程语言编码为场景程序。使用此定义，我们开发了一个查询算法，给定场景程序和标记的数据集，找到符合场景的数据子集。实验表明，我们的算法在各种现实的交通方案上是准确和高效的，并缩放到合理数量的代理商。

我们概述了在其知识表示和声明问题解决的应用中的视角下的时间逻辑编程。这些程序是将通常规则与时间模态运算符组合的结果，如线性时间时间逻辑（LTL）。我们专注于最近的非单调形式主义的结果​​称为时间平衡逻辑（电话），该逻辑（电话）为LTL的全语法定义，但是基于平衡逻辑执行模型选择标准，答案集编程的众所周知的逻辑表征（ASP ）。我们获得了稳定模型语义的适当延伸，以进行任意时间公式的一般情况。我们记得电话和单调基础的基本定义，这里的时间逻辑 - 和那里（THT），并研究无限和有限迹线之间的差异。我们还提供其他有用的结果，例如将转换成其他形式主义，如量化的平衡逻辑或二阶LTL，以及用于基于自动机计算的时间稳定模型的一些技术。在第二部分中，我们专注于实际方面，定义称为较近ASP的时间逻辑程序的句法片段，并解释如何在求解器Telingo的构建中被利用。

知识表示和推理有悠久的历史，即研究如何通过机器对知识进行形式化，解释和语义分析。在自动化车辆领域，最近的进步表明，能够将相关知识形式化和利用相关知识作为处理交通界固有且复杂的环境的关键推动者。本文证明了本体论是a）对自动车辆环境中与关键相关的因素进行建模和形式化的强大工具。为此，我们利用著名的6层模型来创建环境环境的形式表示。在此表示形式中，本体论将域知识模型为逻辑公理，从而促进交通场景和场景中的关键因素的存在。为了执行自动分析，将联合描述逻辑和规则推理器与A-Priori谓词增强结合使用。我们详细介绍了模块化方法，提出了公开可用的实施，并通过大规模的无人机数据集评估了该方法的城市交通情况。

本文介绍了一个名为STLCG的技术，使用计算图计算信号时间逻辑（STL）公式的定量语义。 STLCG提供了一个平台，它可以将逻辑规范纳入从基于梯度的解决方案中受益的机器人问题。具体而言，STL是一种强大且表现力的正式语言，可以指定连续和混合系统产生的信号的空间和时间特性。 STL的定量语义提供了鲁棒性度量，即，信号满足或违反STL规范的量。在这项工作中，我们设计了一种系统方法，用于将STL鲁棒性公式转化为计算图形。通过这种表示，通过利用现成的自动差异化工具，我们能够通过STL稳健性公式有效地反向，因此可以实现具有许多基于梯度的方法的STL规范的自然且易于使用的STL规范集成。通过各种机器人应用的许多示例，我们证明STLCG是多功能的，计算效率，并且能够将人域知识纳入问题制定中。

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

在公共道路上大规模的自动车辆部署有可能大大改变当今社会的运输方式。尽管这种追求是在几十年前开始的，但仍有公开挑战可靠地确保此类车辆在开放环境中安全运行。尽管功能安全性是一个完善的概念，但测量车辆行为安全的问题仍然需要研究。客观和计算分析交通冲突的一种方法是开发和利用所谓的关键指标。在与自动驾驶有关的各种应用中，当代方法利用了关键指标的潜力，例如用于评估动态风险或过滤大型数据集以构建方案目录。作为系统地选择适当的批判性指标的先决条件，我们在自动驾驶的背景下广泛回顾了批判性指标，其属性及其应用的现状。基于这篇综述，我们提出了一种适合性分析，作为一种有条不紊的工具，可以由从业者使用。然后，可以利用提出的方法和最新审查的状态来选择涵盖应用程序要求的合理的测量工具，如分析的示例性执行所证明。最终，高效，有效且可靠的衡量自动化车辆安全性能是证明其可信赖性的关键要求。

本文报告了一个动态语义映射框架，该框架将3D场景流量测量纳入封闭形式的贝叶斯推理模型中。环境中动态对象的存在可能会导致当前映射算法中的伪影和痕迹，从而导致后方地图不一致。我们利用深度学习利用最新的语义细分和3D流量估计，以提供MAP推断的测量。我们开发了一个贝叶斯模型，该模型以流量传播，并渗透3D连续（即可以在任意分辨率下查询）语义占用率图优于其静态对应物的语义占用图。使用公开数据集的广泛实验表明，所提出的框架对其前身和深度神经网络的输入测量有所改善。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

关键应用程序中机器学习（ML）组件的集成引入了软件认证和验证的新挑战。正在开发新的安全标准和技术准则，以支持基于ML的系统的安全性，例如ISO 21448 SOTIF用于汽车域名，并保证机器学习用于自主系统（AMLAS）框架。 SOTIF和AMLA提供了高级指导，但对于每个特定情况，必须将细节凿出来。我们启动了一个研究项目，目的是证明开放汽车系统中ML组件的完整安全案例。本文报告说，Smikk的安全保证合作是由行业级别的行业合作的，这是一个基于ML的行人自动紧急制动示威者，在行业级模拟器中运行。我们演示了AMLA在伪装上的应用，以在简约的操作设计域中，即，我们为其基于ML的集成组件共享一个完整的安全案例。最后，我们报告了经验教训，并在开源许可下为研究界重新使用的开源许可提供了傻笑和安全案例。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

本文介绍了逻辑代理的运行时间自检的全面框架，通过时间公理进行动态检查。通过使用定义为此目的的代理导向的间隔时间逻辑来指定这些公理。我们为此新逻辑定义了语法，语义和语用，专门针对代理的应用程序定制。在由此产生的框架中，我们包括并扩展过去的工作。

复杂的事件识别（CER）系统在过去二十年中变得流行，因为它们能够“立即”检测在实时事件流上的模式。然而，缺乏预测模式可能发生在例如由Cer发动机实际检测到这种发生之前的模式。我们提出了一项正式的框架，试图解决复杂事件预测（CEF）的问题。我们的框架结合了两个形式主义：a）用于编码复杂事件模式的符号自动机; b）预测后缀树，可以提供自动机构的行为的简洁概率描述。我们比较我们提出的方法，以防止最先进的方法，并在准确性和效率方面展示其优势。特别地，预测后缀树是可变的马尔可夫模型，可以通过仅记住足够的信息的过去序列来捕获流中的长期依赖性。我们的实验结果表明了能够捕获这种长期依赖性的准确性的益处。这是通过增加我们模型的顺序来实现的，以满足需要执行给定顺序的所有可能的过去序列的所有可能的过去序列的详尽枚举的全阶马尔可夫模型。我们还广泛讨论CEF解决方案如何最佳地评估其预测的质量。

The research community has increasing interest in autonomous driving research, despite the resource intensity of obtaining representative real world data. Existing selfdriving datasets are limited in the scale and variation of the environments they capture, even though generalization within and between operating regions is crucial to the overall viability of the technology. In an effort to help align the research community's contributions with real-world selfdriving problems, we introduce a new large-scale, high quality, diverse dataset. Our new dataset consists of 1150 scenes that each span 20 seconds, consisting of well synchronized and calibrated high quality LiDAR and camera data captured across a range of urban and suburban geographies. It is 15x more diverse than the largest cam-era+LiDAR dataset available based on our proposed geographical coverage metric. We exhaustively annotated this data with 2D (camera image) and 3D (LiDAR) bounding boxes, with consistent identifiers across frames. Finally, we provide strong baselines for 2D as well as 3D detection and tracking tasks. We further study the effects of dataset size and generalization across geographies on 3D detection methods. Find data, code and more up-to-date information at http://www.waymo.com/open.

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

Panoptic现场了解和跟踪动态代理对于机器人和自动化车辆至关重要，以在城市环境中导航。由于LiDAR提供了方案的精确照明和几何描绘，使用LIDAR点云执行这些任务提供可靠的预测。然而，现有数据集缺乏城市场景类型的多样性，并且具有有限数量的动态对象实例，其阻碍了这些任务的学习以及开发方法的可信基准。在本文中，我们介绍了大规模的Panoptic Nuscenes基准数据集，它扩展了我们流行的NUSCENES DataSet，具有用于语义分割，Panoptic分段和Panoptic跟踪任务的Pock-Wise Trountruth annotations。为了便于比较，我们为我们提出的数据集提供了几个任务的强大基线。此外，我们分析了Panoptic跟踪的现有度量标准的缺点，并提出了一种解决问题的小说实例的Pat度量。我们提供详尽的实验，展示了Panoptic Nuscenes与现有数据集相比的效用，并在Nuscenes.org提供的在线评估服务器。我们认为，此扩展将加快新颖的现场了解动态城市环境的新方法研究。

在以并发方式解决团队范围的任务时，多机构系统可能非常有效。但是，如果没有正确的同步，则很难保证合并行为的正确性，例如遵循子任务的特定顺序或同时进行协作。这项工作解决了在复杂的全球任务下，将最低时间的任务计划问题称为线性时间逻辑（LTL）公式。这些任务包括独立本地动作和直接子团队合作的时间和空间要求。提出的解决方案是一种随时随地的算法，结合了对任务分解的基础任务自动机的部分顺序分析，以及用于任务分配的分支和绑定（BNB）搜索方法。提供最小的完成时间的合理性，完整性和最佳性分析。还表明，在搜索范围内持续在时间预算之内，可以迅速达成可行且近乎最佳的解决方案。此外，为了处理在线执行期间任务持续时间和代理失败的波动，提出了适应算法来同步执行状态并动态地重新分配未完成的子任务以保持正确性和最佳性。两种算法通过数值模拟和硬件实验在大规模系统上进行了严格的验证，该算法对几个强基地进行了验证。

安全保证是自动驾驶（AD）系统发展和社会接受（AD）系统的核心问题。感知是广告的关键方面，严重依赖机器学习（ML）。尽管基于ML的组件的安全性有已知的挑战，但最近已经提出针对解决这些组件的单位安全案例的建议。不幸的是，AD安全案例在系统级别上表示安全要求，这些努力缺少将安全性要求与单位级别的组件性能要求整合在一起所需的关键链接参数。在本文中，我们提出了感知的集成安全案例（ISCAP），这是针对专门针对感知组件量身定制的这种链接安全参数的通用模板。该模板采用演绎且形式上的方法来定义级别之间强大的可追溯性。我们通过详细的案例研究证明了ISCAP的适用性，并讨论了其作为支持感知成分增量发展的工具的使用。

本文在具有部分未知语义的环境中解决了多机器人规划问题。假设环境具有已知的几何结构（例如，墙壁），并且由具有不确定位置和类的静态标记的地标占用。这种建模方法引发了语义SLAM算法生成的不确定语义地图。我们的目标是为配备有嘈杂感知系统的机器人设计控制策略，以便他们可以完成全局时间逻辑规范捕获的协同任务。为了指定考虑环境和感知不确定性的任务，我们采用了线性时间逻辑（LTL）的片段，称为CO-Safe LTL，定义了基于感知的原子谓性建模概率满意度要求。基于感知的LTL规划问题产生了通过新型采样的算法解决的最佳控制问题，它产生了在线更新的开环控制策略，以适应连续学习的语义地图。我们提供广泛的实验，以证明拟议的规划架构的效率。