基于细化运算符的概念学习方法探索部分有序的解决方案空间来计算概念,这些空间用作个体的二进制分类模型。然而,这些方法探索的概念的数量可以很容易地增长到数百万的复杂学习问题。这通常会导致不切实际的运行时间。我们建议通过预测解决方案空间探索前的目标概念的长度来缓解这个问题。通过这些手段,我们可以在概念学习期间修剪搜索空间。为了实现这一目标,我们比较四个神经结构,并在四个基准上进行评估。我们的评估结果表明,经常性的神经网络架构在概念长度预测中表现最佳,宏F-MEARY从38%到92%。然后,我们扩展了eloe算法 - 学习ALC概念 - 我们的概念长度预测器。我们的扩展会产生算法剪辑。在我们的实验中,夹子比ALC的其他最先进的概念学习算法速度至少为7.5倍 - 包括Celoe - 并且在4个数据集中学习的3个概念的F-Peasure中实现了重大改进。为了重现性,我们在HTTPS://github.com/conceptlencthLearner/learnlencths中提供我们在公共Github存储库中的实现
translated by 谷歌翻译
课堂表达学习是可解释的监督机器学习的分支,越来越重要。在描述逻辑中的类表达式学习的大多数现有方法是搜索算法或基于硬规则的。特别地,基于细化运营商的方法遭受可扩展性问题,因为它们依赖于启发式功能来探索每个学习问题的大搜索空间。我们提出了一系列新的方法,我们配合了合成方法。此系列的实例是从提供的示例中直接计算类表达式。因此,它们不受基于搜索方法的运行时限制,也不存在于基于硬规则的方法的缺乏灵活性。我们研究了这种新型方法的三个实例,该方法使用轻量级神经网络架构从积极的例子组合中综合类表达式。他们对四个基准数据集的评估结果表明,它们可以在平均水平上有效地合成相对于输入示例的高质量类表达。此外,与最先进的方法的比较Celoe和Eltl表明我们在大型本体中实现了更好的F措施。为了重现性目的,我们提供了我们的实施以及在HTTPS://github.com/conceptLengtlearner/nces的公共Github存储库中的预先训练模型
translated by 谷歌翻译
语义已成为遗传编程(GP)研究的关键话题。语义是指在数据集上运行时GP个体的输出(行为)。专注于单目标GP中语义多样性的大多数作品表明它在进化搜索方面是非常有益的。令人惊讶的是,在多目标GP(MOGP)中,在语义中进行了小型研究。在这项工作中,我们跨越我们对Mogp中语义的理解,提出SDO:基于语义的距离作为额外标准。这自然鼓励Mogp中的语义多样性。为此,我们在第一个帕累托前面的较密集的区域(最有前途的前沿)找到一个枢轴。然后,这用于计算枢轴与人群中的每个人之间的距离。然后将所得到的距离用作优化以优化以偏及语义分集的额外标准。我们还使用其他基于语义的方法作为基准,称为基于语义相似性的交叉和语义的拥挤距离。此外,我们也使用NSGA-II和SPEA2进行比较。我们使用高度不平衡二进制分类问题,一致地展示我们所提出的SDO方法如何产生更多非主导的解决方案和更好的多样性,导致更好的统计学显着的结果,与其他四种方法相比,使用超卓越症结果作为评估措施。
translated by 谷歌翻译
归纳逻辑编程(ILP)是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设(一组逻辑规则)。随着ILP转30,我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统(Aleph,Tilde,Aspal和Metagol);突出关键应用领域;最后,总结了未来研究的当前限制和方向。
translated by 谷歌翻译
合奏学习在机器学习方面取得了成功,比其他学习方法具有重大优势。袋装是一种突出的合奏学习方法,它创建了被称为袋子的数据子组,该数据被单独的机器学习方法(例如决策树)培训。随机森林是学习过程中具有其他功能的袋装的重要例子。 \ textColor {black} {当单个学习者具有较高的偏见时,包装的限制是汇总预测中的高偏置(模型不足)。}进化算法已突出用于优化问题,并且也用于机器学习。进化算法是无梯度的方法,具有多种候选解决方案,可维持创建新解决方案的多样性。在传统的包装合奏学习中,制作了一次袋子,而在培训示例方面,内容是在学习过程中固定的。在我们的论文中,我们提出了进化装袋的合奏学习,我们利用进化算法来发展袋子的内容,以通过迭代袋中提供多样性来增强合奏。结果表明,在某些约束下,我们的进化合奏装袋方法优于几个基准数据集的常规合奏方法(包装和随机森林)。进化装袋可以固有地维持一套不同的行李,而无需牺牲任何数据。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索(例如,使用强化学习)和遗传编程。在这项工作中,我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件,用于种子随机重启遗传编程组件的起始群体,逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式,我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65%。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代,而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后,我们介绍了一组新的22个符号回归基准问题,而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。
translated by 谷歌翻译
基于原子量表的材料建模在新材料的发展及其特性的理解中起着重要作用。粒子模拟的准确性由原子间电位确定,该电位允许计算原子系统的势能作为原子坐标和潜在的其他特性的函数。基于原理的临界电位可以达到任意水平的准确性,但是它们的合理性受其高计算成本的限制。机器学习(ML)最近已成为一种有效的方法,可以通过用经过电子结构数据培训的高效替代物代替昂贵的模型来抵消Ab始于原子电位的高计算成本。在当前大量方法中,符号回归(SR)正在成为一种强大的“白盒”方法,以发现原子质潜力的功能形式。这项贡献讨论了符号回归在材料科学(MS)中的作用,并对当前的方法论挑战和最新结果提供了全面的概述。提出了一种基于遗传编程的方法来建模原子能(由原子位置和相关势能的快照组成),并在从头算电子结构数据上进行了经验验证。
translated by 谷歌翻译
决策树学习是机器学习中广泛使用的方法,在需要简洁明了的模型的应用中受到青睐。传统上,启发式方法用于快速生产具有相当高准确性的模型。然而,一个普遍的批评是,从精度和大小方面,所产生的树可能不一定是数据的最佳表示。近年来,这激发了最佳分类树算法的发展,这些算法与执行一系列本地最佳决策的启发式方法相比,在全球范围内优化决策树。我们遵循这一工作线,并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术,这些技术利用了分类树独有的属性。传统上,最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性,但我们在一项详细的实验研究中表明,我们的方法仅使用最先进的时间所需的时间,并且可以处理数十个数据集的数据集在数千个实例中,提供了几个数量级的改进,并特别有助于实现最佳决策树的实现。
translated by 谷歌翻译
这篇综述的目的是将读者介绍到图表内,以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能,可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上,尽管近年来已经出现了流行的替代方法,但最著名的是图形神经网络。
translated by 谷歌翻译
蒙特卡洛树搜索(MCT)是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样,并存储动作的统计数据,以在每个随后的迭代中做出更有教育的选择。然而,该方法已成为组合游戏的最新技术,但是,在更复杂的游戏(例如那些具有较高的分支因素或实时系列的游戏)以及各种实用领域(例如,运输,日程安排或安全性)有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
在过去的几十年中,经典的车辆路由问题(VRP),即为车辆分配一组订单并规划他们的路线已经被密集研究。仅作为车辆的订单分配和他们的路线已经是一个NP完整的问题,因此在实践中的应用通常无法考虑在现实世界应用中应用的约束和限制,所谓的富VRP所谓的富VRP(RVRP)并且仅限于单一方面。在这项工作中,我们融入了主要的相关真实限制和要求。我们提出了一种两级策略和时间线窗口和暂停时间的时间线算法,并将遗传算法(GA)和蚁群优化(ACO)单独应用于问题以找到最佳解决方案。我们对四种不同问题实例的评估,针对四个最先进的算法表明,我们的方法在合理的时间内处理所有给定的约束。
translated by 谷歌翻译
近年来,在平衡(超级)图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势,用于平衡(超级)图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是,该调查还通过涵盖了超图形分区和流算法来扩展先前的调查,并额外关注并行算法。
translated by 谷歌翻译
我们介绍了强大的子组发现的问题,即,找到一个关于一个或多个目标属性的脱颖而出的子集的一组可解释的描述,2)是统计上的鲁棒,并且3)非冗余。许多尝试已经挖掘了局部强壮的子组或解决模式爆炸,但我们是第一个从全球建模角度同时解决这两个挑战的爆炸。首先,我们制定广泛的模型类别的子组列表,即订购的子组,可以组成的单次组和多变量目标,该目标可以由标称或数字变量组成,并且包括其定义中的传统Top-1子组发现。这种新颖的模型类允许我们使用最小描述长度(MDL)原理来形式地形化最佳强大的子组发现,在那里我们分别为标称和数字目标的最佳归一化最大可能性和贝叶斯编码而度假。其次,正如查找最佳子组列表都是NP-Hard,我们提出了SSD ++,一个贪婪的启发式,找到了很好的子组列表,并保证了根据MDL标准的最重要的子组在每次迭代中添加,这被显示为等同于贝叶斯一个样本比例,多项式或子组之间的多项式或T检验,以及数据集边际目标分布以及多假设检测罚款。我们经验上显示了54个数据集,即SSD ++优于先前的子组设置发现方法和子组列表大小。
translated by 谷歌翻译
我们继续研究遗传算法(GA)在组合优化问题上,候选解决方案需要满足平衡性约束。已经观察到,临时交叉和突变操作员授予的搜索空间大小的减小通常不会转化为GA性能的实质性改善。尽管怀疑平衡的代表可能会产生更不规则的健身景观,但仍然没有明确的解释,尽管该景观可能会更难以使GA融合到全球最佳距离。在本文中,我们通过将局部搜索步骤添加到具有平衡运算符的GA,并使用它来进化高度非线性平衡的布尔功能,从而调查此问题。特别是,我们围绕两个研究问题组织了实验,即如果本地搜索(1)提高了GA的收敛速度,并且(2)降低了人口多样性。令人惊讶的是,尽管我们的结果肯定地回答了第一个问题,但他们还表明,添加本地搜索实际上\ emph {增加}人口中个人之间的多样性。我们将这些发现与有关布尔功能问题的健身景观分析的最新结果联系起来。
translated by 谷歌翻译
在进化计算中使用非豁免主义时的一个希望是放弃当前最佳解决方案的能力,艾滋病们离开本地最佳效果。为了提高我们对这种机制的理解,我们对基本的非精英进化算法(EA),$(\ mu,\ lambda)$ ea进行严格的运行时分析,在最基本的基准函数上,具有本地最佳的基本基准函数跳跃功能。我们证明,对于参数和问题的所有合理值,$(\ mu,\ lambda)$ ~ea的预期运行时间除了下订单条款之外,至少与其Elitist对应的预期运行时间,$(\ mu + \ lambda)$〜ea(我们对跳转功能进行第一个运行时分析以允许此比较)。因此,$(\ mu,\ lambda)$ ~ea将本地最优方式留给劣质解决方案的能力不会导致运行时优势。我们补充了这个下限的下限,即对于参数的广泛范围,与我们的下限不同,与下顺序不同。这是一个在多模态问题上的非精英算法的第一个运行时结果,除了下订单术语。
translated by 谷歌翻译
知识图嵌入是一种代表学习技术,可在知识图中投射实体和关系到连续的向量空间。嵌入已经获得了很多吸收,并且已在链接预测和其他下游预测任务中大量使用。对单个任务或一组任务进行评估,以确定其整体绩效。然后,根据嵌入方法在手头的任务上执行的效果来评估评估。尽管如此,几乎没有评估(通常还没有深入了解)嵌入方法实际上要代表哪些信息。为了填补这一空白,我们介绍了DLCC(描述逻辑类构造函数)基准,这是一种用于分析它们可以代表哪些类的嵌入方法的资源。提出了两个黄金标准,一个基于现实世界知识图DBPEDIA和一个合成金标准。此外,还提供了实现实验协议的评估框架,以便研究人员可以直接使用黄金标准。为了证明DLCC的使用,我们比较了使用黄金标准的多种嵌入方法。我们发现,通过识别与黄金标准中定义的不同相关模式,许多DL构造函数实际上是通过识别不同的相关模式来学习的,并且对于大多数嵌入方法,很难学习特定的DL构造函数,例如基数构造函数。
translated by 谷歌翻译
分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是,该方法需要标签的固定静态顺序。虽然理论上,任何顺序都足够了,实际上,该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法,可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的,因为它需要训练一系列分类器,以满足标签的每种可能置换。为了有效地解决这个问题,我们提出了一种基于随机决策树的新方法,该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择,通过在否则不变的随机决策树模型下使用静态排序。 %和实验环境。此外,我们还展示了基于极端梯度提升树的替代方法,其允许更具目标的动态分级链训练。我们的结果表明,该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是,动态选择策略允许大大加速培训和预测。
translated by 谷歌翻译
过去已经表明,与解决多模式问题生成器的解决实例相比,多座丘陵策略与标准遗传算法相比有利。我们扩展了这项工作,并验证遗传算法中多样性保存技术的利用是否改变了比较结果。在两种情况下,我们这样做:(1)​​目标是找到全局最佳距离时,(2)当目标是找到所有Optima时。进行了数学分析,用于多设山丘算法,并通过实证研究进行了经验研究,以求解多模式问题生成器的实例,其中包括山丘策略以及遗传算法的数量,并使用遗传算法进行了元素。尽管小甲基元素改善了遗传算法的性能,但它仍然不如这类问题上的多尽山关闭策略。还提出了一种理想化的细分策略,并认为它的性能应接近任何进化算法在此类问题上可以做到的。
translated by 谷歌翻译
在过去十年中,图形内核引起了很多关注,并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中,该领域发生的相当大的研究活动导致开发数十个图形内核,每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中,从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是,我们概述了各种图形内核。此外,我们对公共数据集的几个内核进行了实验评估,并提供了比较研究。最后,我们讨论图形内核的关键应用,并概述了一些仍有待解决的挑战。
translated by 谷歌翻译