时间序列数据分类对于自治系统(例如机器人和自动驾驶汽车)的分析和控制至关重要。最近已经提出了基于时间逻辑的学习算法作为此类数据的分类器。但是,当前的框架要么不准确,例如自动驾驶等现实应用程序,要么产生缺乏可解释性的漫长而复杂的公式。为了解决这些局限性,我们引入了一种新颖的学习方法,称为“增强简洁决策树(BCDTS)”,以生成表示为信号时间逻辑(STL)公式的二进制分类器。我们的算法利用简洁决策树(CDT)的合奏来改善分类性能,其中每个CDT都是由一组技术赋予的决策树,以生成更简单的公式并提高可解释性。我们的算法的有效性和分类性能在海军监视和城市驾驶案例研究中评估。
translated by 谷歌翻译
网络物理系统中的实时和人为可解释的决策是一个重要但具有挑战性的任务,通常需要预测来自有限数据的未来可能的事件。在本文中,我们介绍了一个时间增量学习框架:给定具有共同时间范围的标记信号迹线的数据集,我们提出了一种方法来预测随时间递增地接收的信号的标签,称为前缀信号。前缀信号是当生成时被观察的信号,并且它们的时间长度短于信号的公共范围。我们介绍了一种基于决策树的决策树方法来生成来自给定数据集的有限数量的信号时间逻辑(STL)规范,并基于它们构造预测器。作为时间序列数据的二进制分类器,每个STL规范都会随着时间的推移捕获数据集的时间特性。通过将时间变量权重分配给STL公式来构建预测器。通过使用神经网络来学习权重,目的是最小化在给定数据集上定义的前缀信号的错误分类率。通过计算前缀信号的鲁棒性相对于每个STL公式的鲁棒性的加权之和来预测前缀信号的标签来预测前缀信号的标签。我们的算法的有效性和分类性能在城市驾驶和海军监测案例研究中进行了评估。
translated by 谷歌翻译
学习数据的动态系统属性提供了重要的见解,帮助我们了解此类系统并减轻不良结果。在这项工作中,我们提出了一种从数据的正式逻辑规范学习时空时间(ST)属性的框架。我们介绍SVM-STL,信号信号时间逻辑(STL)的扩展,能够指定具有呈现时变空间模式的各种动态系统的空间和时间特性。我们的框架利用机器学习技术从空间模式序列给出的系统执行中学习SVM-STL规范。我们提供了处理标记和未标记数据的方法。此外,给定的系统要求以SVM-STL规范的形式,我们提供了一种参数合成方法,以找到最大化此类规格满意度的参数。我们的学习框架和参数合成方法在反应扩散系统的示例中展示。
translated by 谷歌翻译
大多数现有的时间序列分类(TSC)模型缺乏可解释性,难以检查。可解释的机器学习模型可以帮助发现数据中的模式,并为域专家提供易于理解的见解。在这项研究中,我们提出了神经符号时间序列分类(NSTSC),这是一种利用信号时间逻辑(STL)和神经网络(NN)的神经符号模型,使用多视图数据表示并将模型表示为TSC任务人类可读,可解释的公式。在NSTSC中,每个神经元与符号表达相关,即STL(sub)公式。因此,NSTSC的输出可以解释为类似于自然语言的STL公式,描述了隐藏在数据中的时间和逻辑关系。我们提出了一个基于NSTSC的分类器,该分类器采用决策树方法来学习公式结构并完成多类TSC任务。 WSTL提出的平滑激活功能允许以端到端的方式学习模型。我们在来自UCR时间序列存储库中的小鼠和基准数据集的现实伤口愈合数据集上测试NSTSC,这表明NSTSC与最先进的模型实现了可比的性能。此外,NSTSC可以生成与域知识匹配的可解释公式。
translated by 谷歌翻译
决策树学习是机器学习中广泛使用的方法,在需要简洁明了的模型的应用中受到青睐。传统上,启发式方法用于快速生产具有相当高准确性的模型。然而,一个普遍的批评是,从精度和大小方面,所产生的树可能不一定是数据的最佳表示。近年来,这激发了最佳分类树算法的发展,这些算法与执行一系列本地最佳决策的启发式方法相比,在全球范围内优化决策树。我们遵循这一工作线,并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术,这些技术利用了分类树独有的属性。传统上,最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性,但我们在一项详细的实验研究中表明,我们的方法仅使用最先进的时间所需的时间,并且可以处理数十个数据集的数据集在数千个实例中,提供了几个数量级的改进,并特别有助于实现最佳决策树的实现。
translated by 谷歌翻译
我们演示了学习信号时间逻辑公式的第一个复发性神经网络体系结构,并介绍了公式推理方法的第一个系统比较。传统系统嵌入了许多未明确形式化的专业知识。有很大的兴趣学习表征此类系统理想行为的形式规格 - 即时逻辑中的公式,这些公式被系统的输出信号所满足。此类规格可用于更好地理解系统的行为并改善其下一次迭代的设计。以前的推断方法假设某些公式模板,或者对所有可能的模板进行了启发式枚举。这项工作提出了一种神经网络体系结构,该结构通过梯度下降来渗透公式结构,从而消除了施加任何特定模板的需求。它将公式结构和参数的学习结合在一个优化中。通过系统的比较,我们证明了该方法与列举和晶格方法相比,该方法达到相似或更好的错误分类率(MCR)。我们还观察到,不同的公式可以实现相似的MCR,从经验上证明了时间逻辑推断问题的不确定性。
translated by 谷歌翻译
在本文中,我们介绍了一种基于数学的数学优化的方法来构建多种单件实例的树形分类规则。我们的方法包括构建分类树,除了叶节点之外,暂时遗漏标签并通过SVM分离超平面分为两个类。我们提供了一个混合整数非线性编程配方,用于问题,并报告电池的扩展电池的结果,以评估我们关于其他基准分类方法的提案的性能。
translated by 谷歌翻译
从数据中提取空间时间知识在许多应用中都很有用。重要的是,所获得的知识是人类解释的和适用于正式分析。在本文中,我们提出了一种方法,该方法列举神经网络以学习基于加权图的信号时间逻辑(WGSTL)公式的形式的空间时间特性。对于学习WGSTL公式,我们介绍了一种灵活的WGSTL公式结构,其中用户的偏好可以应用于推断的WGSTL公式中。在所提出的框架中,神经网络的每个神经元对应于柔性WGSTL公式结构中的子核。我们初始训练一个神经网络来学习WGSTL运营商,然后训练第二个神经网络以在灵活的WGSTL公式结构中学习参数。我们使用Covid-19数据集和雨量预测数据集来评估所提出的框架和算法的性能。我们将建议框架的性能与三个基线分类方法进行比较,包括K-Collest邻居,决策树,支持向量机和人工神经网络。所提出的框架获得的分类准确性与基线分类方法相当。
translated by 谷歌翻译
我们提出了一种改善机器学习(ML)决策树(DTS)的准确性拦截权衡的方法。特别是,我们将最大的满足技术应用于计算最低纯DTS(MPDT)。我们提高了先前方法的运行时,并证明这些MPDT可以优于ML Framework Sklearn生成的DTS的准确性。
translated by 谷歌翻译
决策树(DT)由于其在众多应用中令人印象深刻的经验表现和解释性而引起了持续的研究注意。但是,传统但广泛使用的单变量决策树(UDTS)的增长非常耗时,因为它们需要穿越所有功能,以找到分裂值,并在每个内部节点处最大程度地减少杂质。在本文中,我们新设计一个分裂标准,以加快增长。该标准是从几何平均度量学习(GMML)诱导的,然后在其对角度公制矩阵约束下进行了优化,因此,可以立即获得特征判别能力的封闭形式等级,并且在每个节点上都可以在每个节点上获得最高的1个特征意图DT(称为DGMML-DT,其中D是对角度化的缩写)。我们评估了提出的方法的性能及其在基准数据集上的相应集合。该实验表明,与10倍平均加速的UDT相比,DGMML-DT获得可比或更好的分类结果。此外,DGMML-DT可以直接扩展到其多变量对应物(DGMML-MDT),而无需费力的操作。
translated by 谷歌翻译
自动化车辆(AV)在很大程度上取决于强大的感知系统。评估视觉系统的当前方法主要关注逐帧性能。当在AV中使用时,这种评估方法似乎不足以评估感知子系统的性能。在本文中,我们提出了一种逻辑(称为时空感知逻辑(STPL)),该逻辑同时使用了空间和时间方式。STPL可以使用空间和时间关系来实现对感知数据的推理。STPL的一个主要优点是,即使在某些情况下没有地面真相数据,它也可以促进感知系统实时性能的基本理智检查。我们确定了STPL的片段,该片段是在多项式时间内有效地监视离线的。最后,我们提供了一系列针对AV感知系统的规格,以突出显示可以通过STPL通过离线监控来表达和分析的要求类型。
translated by 谷歌翻译
本文介绍了一个名为STLCG的技术,使用计算图计算信号时间逻辑(STL)公式的定量语义。 STLCG提供了一个平台,它可以将逻辑规范纳入从基于梯度的解决方案中受益的机器人问题。具体而言,STL是一种强大且表现力的正式语言,可以指定连续和混合系统产生的信号的空间和时间特性。 STL的定量语义提供了鲁棒性度量,即,信号满足或违反STL规范的量。在这项工作中,我们设计了一种系统方法,用于将STL鲁棒性公式转化为计算图形。通过这种表示,通过利用现成的自动差异化工具,我们能够通过STL稳健性公式有效地反向,因此可以实现具有许多基于梯度的方法的STL规范的自然且易于使用的STL规范集成。通过各种机器人应用的许多示例,我们证明STLCG是多功能的,计算效率,并且能够将人域知识纳入问题制定中。
translated by 谷歌翻译
In this paper, we propose a control synthesis method for signal temporal logic (STL) specifications with neural networks (NNs). Most of the previous works consider training a controller for only a given STL specification. These approaches, however, require retraining the NN controller if a new specification arises and needs to be satisfied, which results in large consumption of memory and inefficient training. To tackle this problem, we propose to construct NN controllers by introducing encoder-decoder structured NNs with an attention mechanism. The encoder takes an STL formula as input and encodes it into an appropriate vector, and the decoder outputs control signals that will meet the given specification. As the encoder, we consider three NN structures: sequential, tree-structured, and graph-structured NNs. All the model parameters are trained in an end-to-end manner to maximize the expected robustness that is known to be a quantitative semantics of STL formulae. We compare the control performances attained by the above NN structures through a numerical experiment of the path planning problem, showing the efficacy of the proposed approach.
translated by 谷歌翻译
当用于自动驾驶时,目标识别可以更准确地预测其他车辆的未来行为。砂砾的最新目标识别方法已被证明是快速,准确,可解释和可验证的。在自动驾驶中,车辆可能会遇到训练期间看不见的新型场景,并且由于阻塞而部分可观察到环境。但是,砂砾只能在固定框架方案中运行,具有完整的可观察性。我们提出了一种新颖的目标识别方法,名为目标识别,并在封闭(OGRIT)下使用可解释的树,该方法解决了这些砂砾的这些缺点。我们证明,由于阻塞,Ogrit可以在不同的方案和处理丢失的数据之间进行概括,同时仍然快速,准确,可解释和可验证。
translated by 谷歌翻译
本文提出了一个算法框架,用于控制符合信号时间逻辑(STL)规范的连续动力系统的合成。我们提出了一种新型算法,以从STL规范中获得时间分配的有限自动机,并引入一个多层框架,该框架利用此自动机以空间和时间上指导基于采样的搜索树。我们的方法能够合成非线性动力学和多项式谓词功能的控制器。我们证明了算法的正确性和概率完整性,并说明了我们在几个案例研究中框架的效率和功效。我们的结果表明,在艺术状态下,速度的速度是一定的。
translated by 谷歌翻译
稀疏决策树优化是AI自成立以来的最基本问题之一,并且是可解释机器学习核心的挑战。稀疏的决策树优化是计算地的艰难,尽管自1960年代以来稳定的努力,但在过去几年中才突破问题,主要是在找到最佳稀疏决策树的问题上。然而,目前最先进的算法通常需要不切实际的计算时间和内存,以找到一些真实世界数据集的最佳或近最优树,特别是那些具有多个连续值的那些。鉴于这些决策树优化问题的搜索空间是大规模的,我们可以实际上希望找到一个稀疏的决策树,用黑盒机学习模型的准确性竞争吗?我们通过智能猜测策略来解决这个问题,可以应用于基于任何最优分支和绑定的决策树算法。我们表明,通过使用这些猜测,我们可以通过多个数量级来减少运行时间,同时提供所得树木可以偏离黑匣子的准确性和表现力的界限。我们的方法可以猜测如何在最佳决策树错误的持续功能,树的大小和下限上进行换算。我们的实验表明,在许多情况下,我们可以迅速构建符合黑匣子型号精度的稀疏决策树。总结:当您在优化时遇到困难时,就猜测。
translated by 谷歌翻译
信号时间逻辑的鲁棒性不仅评估信号是否遵守规范,而且还提供了对公式的满足或违反的量度。鲁棒性的计算基于评估潜在谓词的鲁棒性。但是,通常以无模型方式(即不包括系统动力学)定义谓词的鲁棒性。此外,精确定义复杂谓词的鲁棒性通常是不平凡的。为了解决这些问题,我们提出了模型预测鲁棒性的概念,该概念通过考虑基于模型的预测,它与以前的方法相比提供了一种更系统的评估鲁棒性的方法。特别是,我们使用高斯过程回归来基于预定的预测来学习鲁棒性,以便可以在线上有效地计算鲁棒性值。我们评估了对自动驾驶用例的方法,该案例用在记录的数据集上使用形式的交通规则中使用的谓词来评估我们的方法,这与传统方法相比,在表达性方面相比,我们的方法优势。通过将我们的鲁棒性定义纳入轨迹规划师,自动驾驶汽车比数据集中的人类驾驶员更强大地遵守交通规则。
translated by 谷歌翻译
本文在具有部分未知语义的环境中解决了多机器人规划问题。假设环境具有已知的几何结构(例如,墙壁),并且由具有不确定位置和类的静态标记的地标占用。这种建模方法引发了语义SLAM算法生成的不确定语义地图。我们的目标是为配备有嘈杂感知系统的机器人设计控制策略,以便他们可以完成全局时间逻辑规范捕获的协同任务。为了指定考虑环境和感知不确定性的任务,我们采用了线性时间逻辑(LTL)的片段,称为CO-Safe LTL,定义了基于感知的原子谓性建模概率满意度要求。基于感知的LTL规划问题产生了通过新型采样的算法解决的最佳控制问题,它产生了在线更新的开环控制策略,以适应连续学习的语义地图。我们提供广泛的实验,以证明拟议的规划架构的效率。
translated by 谷歌翻译
最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活,可靠和易于应用的可解释性方法,我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑,称为箔,允许表达许多简单但重要的解释性查询,并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释:决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数,因此箔评估问题的易易性是精细的,但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施,并执行实验,表明可以在实践中使用这种语言。
translated by 谷歌翻译
复杂的事件识别(CER)系统在过去二十年中变得流行,因为它们能够“立即”检测在实时事件流上的模式。然而,缺乏预测模式可能发生在例如由Cer发动机实际检测到这种发生之前的模式。我们提出了一项正式的框架,试图解决复杂事件预测(CEF)的问题。我们的框架结合了两个形式主义:a)用于编码复杂事件模式的符号自动机; b)预测后缀树,可以提供自动机构的行为的简洁概率描述。我们比较我们提出的方法,以防止最先进的方法,并在准确性和效率方面展示其优势。特别地,预测后缀树是可变的马尔可夫模型,可以通过仅记住足够的信息的过去序列来捕获流中的长期依赖性。我们的实验结果表明了能够捕获这种长期依赖性的准确性的益处。这是通过增加我们模型的顺序来实现的,以满足需要执行给定顺序的所有可能的过去序列的所有可能的过去序列的详尽枚举的全阶马尔可夫模型。我们还广泛讨论CEF解决方案如何最佳地评估其预测的质量。
translated by 谷歌翻译