准确预测交通参与者的可能行为是自治车辆的基本能力。由于自主车辆需要在动态变化的环境中导航,因此它们预计无论它们在哪里以及它们遇到的驾驶环境如何,它们都会准确。因此,当在现实世界中部署自动车辆时,对看不见域的概念能力对于预测模型至关重要。在本文中,我们旨在解决车辆意图预测任务的域泛化问题,提出了基于因果序列域泛化(CTSDG)模型。我们构建用于车辆意图预测任务的结构因果模型,以学习域泛型输入驱动数据的不变表示。我们进一步将反复潜变量模型进一步集成到我们的结构因果模型中,以更好地捕获时间序列输入数据的时间潜在依赖关系。我们的方法的有效性通过现实世界的驾驶数据进行评估。我们证明,与其他最新的域泛化和行为预测方法相比,我们所提出的方法对预测精度一致地改善。
translated by 谷歌翻译
Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- \textit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.
translated by 谷歌翻译
机器学习系统通常假设训练和测试分布是相同的。为此,关键要求是开发可以概括到未经看不见的分布的模型。领域泛化(DG),即分销概括,近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置,其中给出了一个或几个不同但相关域,并且目标是学习可以概括到看不见的测试域的模型。多年来,域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先,我们提供了域泛化的正式定义,并讨论了几个相关领域。然后,我们彻底审查了与域泛化相关的理论,并仔细分析了泛化背后的理论。我们将最近的算法分为三个类:数据操作,表示学习和学习策略,并为每个类别详细介绍几种流行的算法。第三,我们介绍常用的数据集,应用程序和我们的开放源代码库进行公平评估。最后,我们总结了现有文学,并为未来提供了一些潜在的研究主题。
translated by 谷歌翻译
当自治车辆仍然努力解决在路上驾驶期间解决具有挑战性的情况时,人类长期以来一直掌握具有高效可转移和适应性的驱动能力的推动的本质。通过在驾驶期间模仿人的认知模型和语义理解,我们呈现帽子,一个分层框架,在多助手密集交通环境中产生高质量的驾驶行为。我们的方法层次地由高级意图识别和低级动作生成策略组成。通过语义子任务定义和通用状态表示,分层框架可在不同的驱动方案上传输。此外,我们的模型还能够通过在线适应模块捕获个人和场景之间的驾驶行为的变化。我们展示了在交叉路口和环形交叉路口的真实交通数据的轨迹预测任务中的算法,我们对该提出的方法进行了广泛的研究,并证明了我们的方法在预测准确性和可转移性方面的方式表现出其他方法。
translated by 谷歌翻译
解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动,以获得可信赖和安全的合作。在这项工作中,我们的目标是开发一个可解释的模型,可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是,我们专注于自主驾驶,多代理交互建模的基本构建块。我们提出了接地的关系推理(GRI)。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案,并生成解释车辆行为的语义图。
translated by 谷歌翻译
本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测,这是一个很容易被忽视的,但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上,这些特定领域的条件依赖主要领导的数据偏移量,时间滞后,并且变体数据的分布。为了解决这个问题,我们分析了变条件依赖于时间序列数据,并认为因果结构是不同的域之间的稳定,并进一步提高了因果条件转变的假设。通过这一假设的启发,我们考虑的时间序列数据的因果生成过程,并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法,其中在目标域泛化的错误不仅通过在源和目标域,但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明,用于转让的时间序列预测了该方法的有效性。
translated by 谷歌翻译
Generalization capability to unseen domains is crucial for machine learning models when deploying to real-world conditions. We investigate the challenging problem of domain generalization, i.e., training a model on multi-domain source data such that it can directly generalize to target domains with unknown statistics. We adopt a model-agnostic learning paradigm with gradient-based meta-train and meta-test procedures to expose the optimization to domain shift. Further, we introduce two complementary losses which explicitly regularize the semantic structure of the feature space. Globally, we align a derived soft confusion matrix to preserve general knowledge about inter-class relationships. Locally, we promote domainindependent class-specific cohesion and separation of sample features with a metric-learning component. The effectiveness of our method is demonstrated with new state-of-the-art results on two common object recognition benchmarks. Our method also shows consistent improvement on a medical image segmentation task.
translated by 谷歌翻译
Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.
translated by 谷歌翻译
“轨迹”是指由地理空间中的移动物体产生的迹线,通常由一系列按时间顺序排列的点表示,其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此,许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中,我们专注于“城市车辆轨迹”,这是指城市交通网络中车辆的轨迹,我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会,可以了解城市交通网络中的车辆运动模式,包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联,因此,许多先前的研究人员使用了各种方法来理解这种结构。特别是,由于其强大的函数近似和特征表示能力,深度学习模型是由于许多研究人员的注意。因此,本文的目的是开发基于深度学习的城市车辆轨迹分析模型,以更好地了解城市交通网络的移动模式。特别是,本文重点介绍了两项研究主题,具有很高的必要性,重要性和适用性:下一个位置预测,以及合成轨迹生成。在这项研究中,我们向城市车辆轨迹分析提供了各种新型模型,使用深度学习。
translated by 谷歌翻译
学习来自观察数据的行为模式一直是运动预测的遗传方法。然而,目前的范式遭受了两种缺点:协会变化下的脆性和知识转移的低效。在这项工作中,我们建议从因果表现形式解决这些挑战。我们首先介绍了运动预测的因果形式主义,这将问题作为一种动态过程,其中三组潜在变量,即不变的机制,风格混乱和虚假功能。然后我们介绍一个学习框架,分别对待每个组:(i)与从不同地点收集的数据集的共同做法不同,我们通过不变性的损失来利用它们的微妙区分,鼓励模型抑制虚假相关; (ii)我们设计了一种模块化的架构,可以修理不变机制和风格混淆的表示,以近似因果图; (iii)我们介绍了一种风格的一致性损失,不仅强制实施了风格表示的结构,而且还用作自我监控信号,以便在飞行中进行测试时间改进。合成和实时数据集的实验结果表明,我们的三个提出的组件显着提高了学习运动表示的鲁棒性和可重用性,优于出现的先前最先进的运动预测模型,用于分发外概括和低次转移。
translated by 谷歌翻译
尽管深度强化学习(RL)最近取得了许多成功,但其方法仍然效率低下,这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示,以解决这一问题。本文介绍了三种不同的表示算法,可以访问传统RL算法使用的数据源的不同子集使用:(i)GRICA受到独立组件分析(ICA)的启发,并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外,格里卡仅需要未分类的环境状态。 (ii)潜在表示预测(LARP)还需要更多的上下文:除了要求状态作为输入外,它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 (iii)重新培训通过训练深层神经网络来学习国家表示,以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL,而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现,每种方法都有其优势和缺点,并从我们的实验中得出结论,包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。
translated by 谷歌翻译
轨迹预测是自动驾驶汽车的重要任务之一。机器学习的最新进展使一系列高级轨迹预测算法。最近,许多研究人员证明了使用图形神经网络(GNN)进行轨迹预测的矢量化表示的有效性。但是,这些算法要么很少关注模型在各种情况下的推广性,要么只是假设培训和测试数据遵循类似的统计数据。实际上,当测试场景是看不见的或分布不足(OOD)时,由此产生的火车测试域转移通常会导致预测性能的显着降解,这将影响下游模块并最终导致严重的事故。因此,重要的是要彻底研究预测模型的概括性,这不仅可以帮助识别其弱点,而且还提供了有关如何改善这些模型的见解。本文提出了使用功能归因方法来帮助解释黑框模型的概括分析框架。对于案例研究,我们对利用矢量化表示的基于图形的最先进的轨迹预测指标提供了深入的概括分析。结果表明,由于域的转移而导致的性能降低,功能归因提供了见解,以识别这些问题的潜在原因。最后,我们得出结论的共同预测挑战以及训练过程引起的加权偏见如何恶化准确性。
translated by 谷歌翻译
模拟在有效评估自动驾驶汽车方面发挥了重要作用。现有方法主要依赖于基于启发式的模拟,在该模拟中,交通参与者遵循某些无法产生复杂人类行为的人类编码的规则。因此,提出了反应性仿真概念,以通过利用现实世界数据来弥合模拟和现实世界交通情况之间的人类行为差距。但是,这些反应性模型可以在模拟几个步骤后轻松地产生不合理的行为,我们将模型视为失去其稳定性。据我们所知,没有任何工作明确讨论并分析了反应性仿真框架的稳定性。在本文中,我们旨在对反应性模拟进行彻底的稳定性分析,并提出一种增强稳定性的解决方案。具体而言,我们首先提出了一个新的反应模拟框架,在其中我们发现模拟状态序列的平滑度和一致性是稳定性的关键因素。然后,我们将运动学媒介物模型纳入框架中,以提高反应性模拟的闭环稳定性。此外,在本文中提出了一些新颖的指标,以更好地分析模拟性能。
translated by 谷歌翻译
在高度互动的场景中进行运动预测是自主驾驶中的一个挑战性问题。在这种情况下,我们需要准确预测相互作用的代理的共同行为,以确保自动驾驶汽车的安全有效导航。最近,由于其在性能方面的优势和捕获轨迹分布中多模态的能力,目标条件方法引起了人们的关注。在这项工作中,我们研究了目标条件框架的联合轨迹预测问题。特别是,我们引入了一个有条件的基于AutoEncoder(CVAE)模型,以将不同的相互作用模式明确地编码到潜在空间中。但是,我们发现香草模型遭受后塌陷,无法根据需要诱导信息的潜在空间。为了解决这些问题,我们提出了一种新颖的方法,以避免KL消失并诱导具有伪标签的可解释的互动潜在空间。提出的伪标签使我们能够以灵活的方式将域知识纳入有关相互作用的知识。我们使用说明性玩具示例激励提出的方法。此外,我们通过定量和定性评估验证Waymo Open Motion数据集上的框架。
translated by 谷歌翻译
对分布(OOD)数据的概括是人类自然的能力,但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设,这在域转移导致的实践中通常会违反。域的概括(DG)旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中,DG的研究取得了长足的进步,导致了广泛的方法论,例如,基于域的一致性,元学习,数据增强或合奏学习的方法,仅举几例;还在各个应用领域进行了研究,包括计算机视觉,语音识别,自然语言处理,医学成像和强化学习。在本文中,首次提供了DG中的全面文献综述,以总结过去十年来的发展。具体而言,我们首先通过正式定义DG并将其与其他相关领域(如域适应和转移学习)联系起来来涵盖背景。然后,我们对现有方法和理论进行了彻底的审查。最后,我们通过有关未来研究方向的见解和讨论来总结这项调查。
translated by 谷歌翻译
为了计划安全的演习并采取远见卓识,自动驾驶汽车必须能够准确预测不确定的未来。在自主驾驶的背景下,深层神经网络已成功地应用于从数据中学习人类驾驶行为的预测模型。但是,这些预测遭受了级联错误的影响,导致长时间的不准确性。此外,学识渊博的模型是黑匣子,因此通常不清楚它们如何得出预测。相比之下,由人类专家告知的基于规则的模型在其预测中保持长期连贯性,并且是可解释的。但是,这样的模型通常缺乏捕获复杂的现实世界动态所需的足够表现力。在这项工作中,我们开始通过将智能驱动程序模型(一种流行的手工制作的驱动程序模型)嵌入深度神经网络来缩小这一差距。我们的模型的透明度可以提供可观的优势,例如在调试模型并更容易解释其预测时。我们在模拟合并方案中评估我们的方法,表明它产生了可端到端训练的强大模型,并无需为模型的预测准确性提供更大的透明度。
translated by 谷歌翻译
多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder(VAE)已广泛应用于多代理交互建模以产生各种行为,并学习用于交互系统的低维表示。然而,如果基于VAE的模型可以正确编码相互作用,现有文献没有正式讨论。在这项工作中,我们认为,多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题,即,在预测代理人的未来轨迹时,该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因,并提出了几项解决方案的措施。之后,我们在实际数据集上实施了拟议的框架和实验,用于多代理轨迹预测。特别是,我们提出了一种新颖的稀疏图表关注消息传递(稀疏垃圾)层,这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中,我们确认确实发生了社会后塌崩溃。此外,拟议的措施有助于减轻这个问题。结果,当历史社会上下文是信息性的预测信息时,该模型达到了更好的泛化性能。
translated by 谷歌翻译
不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中,涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高,但如今的未来预测仍然很困难。几个示例是未来的不确定性,全面理解的要求以及嘈杂的输出空间。在本论文中,我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态,从而提出了解决这些挑战的解决方案。
translated by 谷歌翻译
这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面,并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献,即计算机视觉,深度学习,自动驾驶,可解释的AI(X-AI),这项调查可以解决几点。首先,它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义,上下文和动机,以及该应用程序特定的挑战。其次,以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三,详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后,确定并检查了剩余的开放挑战和潜在的未来研究方向。
translated by 谷歌翻译
Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.
translated by 谷歌翻译