基于场景的自动驾驶汽车测试需要聚类的交通情况和检测新型方案类型。这些任务受益于良好的相似性措施或交通情况的良好表示。在这项工作中，提出了针对流量场景的专家知识辅助代表性学习。如此形成的潜在空间用于成功的聚类和新型场景类型检测。专家知识用于定义目的，即交通场景的潜在表示。它是通过这些目标设计的网络体系结构和损失的方式，从而结合了专家知识。提出了一种自动采矿策略，因此不需要手动标签。结果显示与基线方法相比的性能优势。此外，对潜在空间进行了广泛的分析。

检测未知和未经测试的方案对于基于方案的测试至关重要。基于场景的测试被认为是验证自动车辆的可能方法。流量方案由多个组件组成，基础架构是其中之一。在这项工作中，介绍了一种基于其基础架构图像的检测新的流程的方法。 AutoEncoder Triplet网络为用于异常检测的基础设施图像提供潜在表示。网络的三联培训基于基础设施的连接图。通过使用所提出的架构，专家知识用于塑造潜在空间，使得它在AutoEncoder的邻域关系中包含预定义的相似性。对架构的消融研究是突出了三联自动化器组合的重要性。最好的架构是基于视觉变换器，是一种无卷积的关注的网络。呈现的方法优于其他最先进的异常值检测方法。

近年来，用自学的学习方法解决了代表性学习。输入数据被增强为两个失真的视图，编码器学习了扭曲不变的表示形式 - 跨视图预测。增强是跨视图自我监督学习框架中学习视觉表示的关键组成部分之一。本文介绍了Exagt，这是一种新颖的方法，旨在包括增加交通情况的专家知识，以改善无人注释的学习表现。根据基础架构，自我与交通参与者之间的相互作用以及理想的传感器模型，以自动化的方式生成专家指导的增强。 Exagt方法应用于两个最先进的跨视图预测方法，并在分类和聚类等下游任务中测试了所学的表示。结果表明，与仅使用标准增强相比，EXAGT方法改善了表示的学习，并提供了更好的表示空间稳定性。该代码可在\ url {https://github.com/lab176344/exagt}中获得。

在动态，多助手和复杂的城市环境中驾驶是一个需要复杂的决策政策的艰巨任务。这种策略的学习需要可以编码整个环境的状态表示。作为图像编码车辆环境的中级表示已成为一种受欢迎的选择。仍然，它们是非常高的，限制了他们在诸如加固学习等数据饥饿的方法的使用。在本文中，我们建议通过利用相关语义因素的知识来学习环境的低维度和丰富的潜在表示。为此，我们训练编码器解码器深神经网络，以预测多种应用相关因素，例如其他代理和自助车的轨迹。此外，我们提出了一种基于其他车辆的未来轨迹的危险信号和计划的路由，这些路线与学习的潜在表示作为输入到下游策略的输入。我们演示了使用多头编码器解码器神经网络导致比标准单头模型更具信息的表示。特别是，所提出的代表学习和危险信号有助于加强学习以更快地学习，而性能提高，数据比基线方法更快。

本文为可以提取车辆间交互的自治车辆提供特定于自主车辆的驾驶员风险识别框架。在驾驶员认知方式下对城市驾驶场景进行了这种提取，以提高风险场景的识别准确性。首先，将群集分析应用于驱动程序的操作数据，以学习不同驱动程序风险场景的主观评估，并为每个场景生成相应的风险标签。其次，采用图形表示模型（GRM）统一和构建动态车辆，车间交互和静态交通标记的实际驾驶场景中的特征。驾驶员特定的风险标签提供了实践，以捕获不同司机的风险评估标准。此外，图形模型表示驾驶场景的多个功能。因此，所提出的框架可以了解不同驱动程序的驾驶场景的风险评估模式，并建立特定于驱动程序的风险标识符。最后，通过使用由多个驱动程序收集的现实世界城市驾驶数据集进行的实验评估所提出的框架的性能。结果表明，建议的框架可以准确地识别实际驾驶环境中的风险及其水平。

近年来，道路安全引起了智能运输系统领域的研究人员和从业者的重大关注。作为最常见的道路用户群体之一，行人由于其不可预测的行为和运动而导致令人震惊，因为车辆行人互动的微妙误解可以很容易地导致风险的情况或碰撞。现有方法使用预定义的基于碰撞的模型或人类标签方法来估计行人的风险。这些方法通常受到他们的概括能力差，缺乏对自我车辆和行人之间的相互作用的限制。这项工作通过提出行人风险级预测系统来解决所列问题。该系统由三个模块组成。首先，收集车辆角度的行人数据。由于数据包含关于自我车辆和行人的运动的信息，因此可以简化以交互感知方式预测时空特征的预测。使用长短短期存储器模型，行人轨迹预测模块预测后续五个框架中的时空特征。随着预测的轨迹遵循某些交互和风险模式，采用混合聚类和分类方法来探讨时空特征中的风险模式，并使用学习模式训练风险等级分类器。在预测行人的时空特征并识别相应的风险水平时，确定自我车辆和行人之间的风险模式。实验结果验证了PRLP系统的能力，以预测行人的风险程度，从而支持智能车辆的碰撞风险评估，并为车辆和行人提供安全警告。

自治车辆的评估和改善规划需要可扩展的长尾交通方案。有用的是，这些情景必须是现实的和挑战性的，但不能安全地开车。在这项工作中，我们介绍努力，一种自动生成具有挑战性的场景的方法，导致给定的计划者产生不良行为，如冲突。为了维护情景合理性，关键的想法是利用基于图形的条件VAE的形式利用学习的交通运动模型。方案生成在该流量模型的潜在空间中制定了优化，通过扰乱初始的真实世界的场景来产生与给定计划者碰撞的轨迹。随后的优化用于找到“解决方案”的场景，确保改进给定的计划者是有用的。进一步的分析基于碰撞类型的群集生成的场景。我们攻击两名策划者并展示争取在这两种情况下成功地产生了现实，具有挑战性的情景。我们另外“关闭循环”并使用这些方案优化基于规则的策划器的超参数。

我们为具有高维状态空间的复杂操纵任务的视觉动作计划提供了一个框架，重点是操纵可变形物体。我们为任务计划提出了一个潜在的空间路线图（LSR），这是一个基于图的结构，在全球范围内捕获了低维潜在空间中的系统动力学。我们的框架由三个部分组成：（1）映射模块（mm），该模块以图像的形式映射观测值，以提取各个状态的结构化潜在空间，并从潜在状态产生观测值，（2）LSR，LSR的LSR构建并连接包含相似状态的群集，以找到MM提取的开始和目标状态之间的潜在计划，以及（3）与LSR相应的潜在计划与相应的操作相辅相成的动作提案模块。我们对模拟的盒子堆叠和绳索/盒子操纵任务进行了彻底的调查，以及在真实机器人上执行的折叠任务。

由于互动交通参与者的随机性质和道路结构的复杂性，城市自动驾驶的决策是具有挑战性的。尽管基于强化的学习（RL）决策计划有望处理城市驾驶方案，但它的样本效率低和适应性差。在本文中，我们提出了Scene-Rep Transformer，以通过更好的场景表示编码和顺序预测潜在蒸馏来提高RL决策能力。具体而言，构建了多阶段变压器（MST）编码器，不仅对自我车辆及其邻居之间的相互作用意识进行建模，而且对代理商及其候选路线之间的意图意识。具有自我监督学习目标的连续潜伏变压器（SLT）用于将未来的预测信息提炼成潜在的场景表示，以减少勘探空间并加快训练的速度。基于软演员批评的最终决策模块（SAC）将来自场景rep变压器的精制潜在场景表示输入，并输出驾驶动作。该框架在五个挑战性的模拟城市场景中得到了验证，其性能通过成功率，安全性和效率方面的数据效率和性能的大幅度提高来定量表现出来。定性结果表明，我们的框架能够提取邻居代理人的意图，以帮助做出决策并提供更多多元化的驾驶行为。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

这项工作提出了一种新的方法，可以使用有效的鸟类视图表示和卷积神经网络在高速公路场景中预测车辆轨迹。使用基本的视觉表示，很容易将车辆位置，运动历史，道路配置和车辆相互作用轻松包含在预测模型中。 U-NET模型已被选为预测内核，以使用图像到图像回归方法生成场景的未来视觉表示。已经实施了一种方法来从生成的图形表示中提取车辆位置以实现子像素分辨率。该方法已通过预防数据集（一个板载传感器数据集）进行了培训和评估。已经评估了不同的网络配置和场景表示。这项研究发现，使用线性终端层和车辆的高斯表示，具有6个深度水平的U-NET是最佳性能配置。发现使用车道标记不会改善预测性能。平均预测误差为0.47和0.38米，对于纵向和横向坐标的最终预测误差分别为0.76和0.53米，预测轨迹长度为2.0秒。与基线方法相比，预测误差低至50％。

空间数据在应对与城市相关的任务中的作用近年来一直在增长。要在机器学习模型中使用它们，通常需要将它们转换为向量表示，这导致了空间数据表示学习领域的开发。还有一种越来越多的各种空间数据类型，提出了一种表示学习方法。迄今为止，公共交通时间表迄今未被用于一个城市地区的学习陈述的任务。在这项工作中，开发了一种方法来将公共交通可用性信息嵌入到矢量空间中。要对其申请进行实验，从48个城市收集公共交通时间表。使用H3空间索引方法，它们被分成微区域。还提出了一种方法来识别具有类似公共交通报价特征的地区。在其基础上，定义了该地区的公共交通报价的多层次类型。本文表明，所提出的表示方法可以识别城市之间具有相似公共交通特性的微区域，并且可用于评估城市中可用的公共交通的质量。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

We propose a novel reconstruction-based model for anomaly detection, called Y-GAN. The model consists of a Y-shaped auto-encoder and represents images in two separate latent spaces. The first captures meaningful image semantics, key for representing (normal) training data, whereas the second encodes low-level residual image characteristics. To ensure the dual representations encode mutually exclusive information, a disentanglement procedure is designed around a latent (proxy) classifier. Additionally, a novel consistency loss is proposed to prevent information leakage between the latent spaces. The model is trained in a one-class learning setting using normal training data only. Due to the separation of semantically-relevant and residual information, Y-GAN is able to derive informative data representations that allow for efficient anomaly detection across a diverse set of anomaly detection tasks. The model is evaluated in comprehensive experiments with several recent anomaly detection models using four popular datasets, i.e., MNIST, FMNIST and CIFAR10, and PlantVillage.

Annotated driving scenario trajectories are crucial for verification and validation of autonomous vehicles. However, annotation of such trajectories based only on explicit rules (i.e. knowledge-based methods) may be prone to errors, such as false positive/negative classification of scenarios that lie on the border of two scenario classes, missing unknown scenario classes, or even failing to detect anomalies. On the other hand, verification of labels by annotators is not cost-efficient. For this purpose, active learning (AL) could potentially improve the annotation procedure by including an annotator/expert in an efficient way. In this study, we develop a generic active learning framework to annotate driving trajectory time series data. We first compute an embedding of the trajectories into a latent space in order to extract the temporal nature of the data. Given such an embedding, the framework becomes task agnostic since active learning can be performed using any classification method and any query strategy, regardless of the structure of the original time series data. Furthermore, we utilize our active learning framework to discover unknown driving scenario trajectories. This will ensure that previously unknown trajectory types can be effectively detected and included in the labeled dataset. We evaluate our proposed framework in different settings on novel real-world datasets consisting of driving trajectories collected by Volvo Cars Corporation. We observe that active learning constitutes an effective tool for labelling driving trajectories as well as for detecting unknown classes. Expectedly, the quality of the embedding plays an important role in the success of the proposed framework.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

卫星图像构成了许多现实世界应用的高价和丰富的资源。但是，训练大多数机器学习模型所需的标签数据稀缺且难以获得。在这种情况下，当前的工作研究了一种完全无监督的方法，鉴于卫星图像的时间顺序，根据其语义属性及其随着时间的推移的进化而形成了地面的分区。图像序列被翻译成嵌入式瓷砖的多元时间序列的网格。这些瓷砖序列的嵌入和分区聚类以两个迭代步骤构造：在第一步中，嵌入能够根据地理位置邻域提取瓷砖序列的信息，将瓷砖分组为群集。在第二步中，通过使用簇定义的邻域来完善嵌入，并获得了瓷砖序列的最终聚类。我们通过进行纳瓦拉（Navarra）区域的20个卫星图像的序列（西班牙）的序列进行语义聚类来说明方法。结果表明，多元时间序列的聚类非常健壮，并且包含有关研究区域的信任时空语义信息。我们揭示了地理和嵌入式空间之间存在的紧密连接，并发现归因于这些类型的嵌入的语义属性被完全利用，甚至通过提议的时间序列的聚类来增强。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。