最近的一些作品已经采用了决策树，以建造可解释的分区，旨在最大限度地减少$ k $ -means成本函数。然而，这些作品在很大程度上忽略了与所得到的树中叶子的深度相关的度量，这考虑到决策树的解释性如何取决于这些深度，这可能令人惊讶。为了填补文献中的这种差距，我们提出了一种有效的算法，它考虑了这些指标。在7个数据集上的实验中，我们的算法产生的结果比决策树聚类算法，例如\ Cite {dasgupta2020explainplainable}，\ cite {frost2020exkmc}，\ cite {laber2021price}和\ cite {dblp：conf / icml / Makarychevs21}通常以相当浅的树木实现较低或等同的成本。我们还通过简单适应现有技术来表明，用k $ -means成本函数的二叉树引起的可解释的分区的问题不承认多项式时间中的$（1+ \ epsilon）$ - 近似$ p = np $，证明Questies Quest attmation算法和/或启发式。
translated by 谷歌翻译
我们研究了[Dasgupta等，ICML 2020]提出的框架中一些可解释的聚类问题的计算复杂性，其中通过轴对准决策树实现了解释性。我们考虑$ k $ -MEANS，$ K $ -MEDIANS，$ K $ - 中心和间距成本功能。我们证明，前三个很难优化，而后者可以在多项式时间进行优化。
translated by 谷歌翻译
$ k $ -means和$ k $ -median集群是强大的无监督机器学习技术。但是，由于对所有功能的复杂依赖性，解释生成的群集分配是挑战性的。 Moshkovitz，Dasgupta，Rashtchian和Frost [ICML 2020]提出了一个优雅的可解释$ K $ -means和$ K $ -Median聚类型号。在此模型中，具有$ k $叶子的决策树提供了集群中的数据的直接表征。我们研究了关于可解释的聚类的两个自然算法问题。 （1）对于给定的群集，如何通过使用$ k $叶的决策树找到“最佳解释”？ （2）对于一套给定的点，如何找到一个以美元的决策树，最小化$ k $ -means / median目标的可解释的聚类？要解决第一个问题，我们介绍了一个新的可解释群集模型。我们的型号受到强大统计数据的异常值概念的启发，是以下情况。我们正在寻求少数积分（异常值），其删除使现有的聚类良好可解释。为了解决第二个问题，我们开始研究Moshkovitz等人的模型。从多元复杂性的角度来看。我们严格的算法分析揭示了参数的影响，如数据的输入大小，尺寸，异常值的数量，簇数，近似比，呈现可解释的聚类的计算复杂度。
translated by 谷歌翻译
我们提供了一个新的双标准$ \ tilde {o}（\ log ^ 2 k）$竞争算法，可解释$ k $ -means群集。最近解释了$ k $ -means最近由Dasgupta，Frost，Moshkovitz和Rashtchian（ICML 2020）引入。它由易于解释和理解（阈值）决策树或图表描述。可解释的$ k $ -means集群的成本等于其集群成本的总和;每个群集的成本等于从群集中点到该群集的中心的平方距离之和。我们的随机双标准算法构造了一个阈值决策树，将数据设置为$（1+ \ delta）k $群集（其中$ \ delta \ In（0,1）$是算法的参数）。此群集的成本是大多数$ \ tilde {o}（1 / \ delta \ cdot \ log ^ 2 k）$乘以最佳不受约束$ k $ -means群集的成本。我们表明这一界限几乎是最佳的。
translated by 谷歌翻译
Originally, tangles were invented as an abstract tool in mathematical graph theory to prove the famous graph minor theorem. In this paper, we showcase the practical potential of tangles in machine learning applications. Given a collection of cuts of any dataset, tangles aggregate these cuts to point in the direction of a dense structure. As a result, a cluster is softly characterized by a set of consistent pointers. This highly flexible approach can solve clustering problems in various setups, ranging from questionnaires over community detection in graphs to clustering points in metric spaces. The output of our proposed framework is hierarchical and induces the notion of a soft dendrogram, which can help explore the cluster structure of a dataset. The computational complexity of aggregating the cuts is linear in the number of data points. Thus the bottleneck of the tangle approach is to generate the cuts, for which simple and fast algorithms form a sufficient basis. In our paper we construct the algorithmic framework for clustering with tangles, prove theoretical guarantees in various settings, and provide extensive simulations and use cases. Python code is available on github.
translated by 谷歌翻译
许多聚类算法由某些成本函数引导，例如广泛使用的$ k $ -means成本。这些算法将数据点划分为具有经常复杂的边界的集群，在解释聚类决策时创造了困难。在最近的工作中，Dasgupta，Frost，Moshkovitz和Rashtchian（ICML 2020）引入了可解释的聚类，其中群集边界是轴并行超平面，并且通过将决策树应用于数据来获得群集。这里的核心问题是：解释性限制增加了多少成本函数的值？鉴于$ d $ -dimensional数据点，我们显示了一个有效的算法，该算法找到了可解释的群集，其$ k $ -means成本为$ k ^ {1 - 2 / d} \，\ mathrm {poly}（d \ log k）在没有可解释性约束的情况下，群集可实现的最低成本的$倍，假设$ k，d \ ge 2 $。通过Makarychev-Shan（ICML 2021），Gamlath-jia-polak-svensson（2021），或esfandiari-mirrokni - Narayanan（2021），我们得到了$ k ^ {1 - 2 / d} \，\ mathrm {polylog}（k）$的改进界限，我们为每种选择$ k，d \ ge 2 $最多可为$ k $的多对数因子。对于$ d = 2 $特别地，我们显示$ o（\ log k \ log \ log k）$绑定，在leaker和murtinho的$ o（k \ log k）$的以前最佳界限的近乎指数上（ICML 2021）。
translated by 谷歌翻译
随着优化软件的显着改进，几十年前似乎棘手的大规模问题的解决方案现在已成为日常任务。这将更多的现实应用程序纳入了优化器的范围。同时，解决优化问题通常是将解决方案付诸实践时较小的困难之一。一个主要的障碍是，可以将优化软件视为黑匣子，它可能会产生高质量的解决方案，但是当情况发生变化时，可以创建完全不同的解决方案，从而导致对优化解决方案的接受率低。这种可解释性和解释性的问题在其他领域（例如机器学习）引起了极大的关注，但在优化方面却不那么关注。在本文中，我们提出了一个优化框架，以得出本质上具有易于理解的解释性规则的解决方案，在哪些情况下应选择解决方案。我们专注于代表解释性规则的决策树，我们提出了整数编程公式以及一种启发式方法，以确保我们的方法即使在大规模问题上也适用。使用随机和现实世界数据的计算实验表明，固有的可解释性成本可能很小。
translated by 谷歌翻译
在设计聚类算法时，初始中心的选择对于学习簇的质量至关重要。在本文中，我们基于数据的构建，我们开发了一种新的初始化方案，称为$ k $ -Median问题（例如图形引起的离散空间），基于数据的构造。从树中，我们提出了一种新颖有效的搜索算法，用于良好的初始中心，随后可用于本地搜索算法。我们提出的HST初始化可以产生与另一种流行初始化方法$ K $ -Median ++的初始中心，具有可比的效率。 HST初始化也可以扩展到差异隐私（DP）的设置，以生成私人初始中心。我们表明，应用DP本地搜索后，我们的私有HST初始化会改善对近似错误的先前结果，并在小因素内接近下限。实验证明了理论的合理性，并证明了我们提出的方法的有效性。我们的方法也可以扩展到$ k $ -MEANS问题。
translated by 谷歌翻译
聚类是一个流行的无监督学习工具，通常用于发现较大的人口中的群体，例如客户段或患者亚型。但是，尽管它用作子组发现的工具和描述 - 很少有最先进的算法提供了发现的群集后面的任何理由或描述。我们提出了一种用于可解释聚类的新方法，即群集数据点和构建在被发现的集群周围的多个群体来解释它们。我们的框架允许在多台上进行额外的约束 - 包括确保构建多托的超平面是轴平行的或稀疏，具有整数系数。我们制定通过多拓构造群集作为混合整数非线性程序（MINLP）的问题。要解决我们的配方，我们提出了一种两相方法，我们首先使用交替的最小化初始化群集和多核酸，然后使用坐标下降来提升聚类性能。我们在一套综合和真实的世界聚类问题上基准测试方法，其中我们的算法优于艺术可解释和不可解释的聚类算法的状态。
translated by 谷歌翻译
2020-07-24
决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。
translated by 谷歌翻译
我们研究了解释性优先聚类的问题，其中解释性成为聚类的一流公民。先前的聚类方法使用决策树进行解释，但仅在群集完成后。相比之下，我们的方法是整体上进行聚类和决策树训练，在此，决策树的性能和大小也会影响聚类结果。我们假设聚类和解释的属性是不同的，尽管这不是必需的。我们观察到我们的问题是一个单调优化，其中目标函数是单调函数的差异。然后，我们提出了一种有效的分支和结合算法，用于查找最佳参数，从而导致群集失真和决策树的解释性平衡。我们的实验表明，我们的方法可以提高适合我们框架的聚类的解释性。
translated by 谷歌翻译
在本文中，我们提出了一个自然的单个偏好（IP）稳定性的概念，该概念要求每个数据点平均更接近其自身集群中的点，而不是其他群集中的点。我们的概念可以从几个角度的动机，包括游戏理论和算法公平。我们研究了与我们提出的概念有关的几个问题。我们首先表明，确定给定数据集通常允许进行IP稳定的聚类通常是NP-HARD。结果，我们探索了在某些受限度量空间中查找IP稳定聚类的有效算法的设计。我们提出了一种poly Time算法，以在实际线路上找到满足精确IP稳定性的聚类，并有效地算法来找到针对树度量的IP稳定2聚类。我们还考虑放松稳定性约束，即，与其他任何集群相比，每个数据点都不应太远。在这种情况下，我们提供具有不同保证的多时间算法。我们在实际数据集上评估了一些算法和几种标准聚类方法。
translated by 谷歌翻译
稀疏决策树优化是AI自成立以来的最基本问题之一，并且是可解释机器学习核心的挑战。稀疏的决策树优化是计算地的艰难，尽管自1960年代以来稳定的努力，但在过去几年中才突破问题，主要是在找到最佳稀疏决策树的问题上。然而，目前最先进的算法通常需要不切实际的计算时间和内存，以找到一些真实世界数据集的最佳或近最优树，特别是那些具有多个连续值的那些。鉴于这些决策树优化问题的搜索空间是大规模的，我们可以实际上希望找到一个稀疏的决策树，用黑盒机学习模型的准确性竞争吗？我们通过智能猜测策略来解决这个问题，可以应用于基于任何最优分支和绑定的决策树算法。我们表明，通过使用这些猜测，我们可以通过多个数量级来减少运行时间，同时提供所得树木可以偏离黑匣子的准确性和表现力的界限。我们的方法可以猜测如何在最佳决策树错误的持续功能，树的大小和下限上进行换算。我们的实验表明，在许多情况下，我们可以迅速构建符合黑匣子型号精度的稀疏决策树。总结：当您在优化时遇到困难时，就猜测。
translated by 谷歌翻译
分层聚类研究将数据集的递归分区设置为连续较小尺寸的簇，并且是数据分析中的基本问题。在这项工作中，我们研究了Dasgupta引入的分层聚类的成本函数，并呈现了两个多项式时间近似算法：我们的第一个结果是高度电导率图的$ O（1）$ - 近似算法。我们简单的建筑绕过了在文献中已知的稀疏切割的复杂递归常规。我们的第二个和主要结果是一个US（1）$ - 用于展示群集明确结构的宽族图形的近似算法。该结果推出了以前的最先进的，该现有技术仅适用于从随机模型产生的图表。通过对合成和现实世界数据集的实证分析，我们所呈现的算法的实证分析表明了我们的工作的重要性，以其具有明确定义的集群结构的先前所提出的图表算法。
translated by 谷歌翻译
决策树是流行的分类模型，提供了很高的准确性和直观的解释。但是，随着树大小的生长，模型的解释性会恶化。传统的树木诱导算法（例如C4.5和推车）依赖于减少杂质的功能，这些功能可以促进每次分裂的判别能力。因此，尽管这些传统方法在实践中是准确的，但没有理论上保证它们会生产小树。在本文中，我们通过证明简单的增强能够为它们提供复杂性保证的情况，证明使用了普通杂质功能的普通家族，包括熵和Gini Index的流行功能。我们考虑一个通用设置，其中要分类的对象是从任意概率分布中绘制的，分类可以是二进制或多类，并且分裂测试与非均匀成本相关联。作为树木复杂性的衡量标准，我们采用了预期的成本来分类从输入分布中得出的对象，在统一成本的情况下，该对象是预期的测试数量。我们提出了一种树诱导算法，该算法在树复杂性上提供对数近似保证。在温和的假设下，该近似因素紧密到恒定因子。该算法递归选择了一个测试，该测试最大化贪婪的标准定义为三个组件的加权总和。前两个组件鼓励选择分别提高树木平衡和成本效益的测试，而第三个杂质减少组件则鼓励选择更具判别性的测试。如我们的经验评估所示，与原始的启发式方法相比，增强算法在预测准确性和树木复杂性之间取得了良好的平衡。
translated by 谷歌翻译
最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。
translated by 谷歌翻译
决策树是机器学习工具箱中最有用和最受欢迎的方法之一。在本文中，我们考虑了学习最佳决策树的问题，这是一个组合优化问题，该问题具有挑战性。文献中的一种常见方法是使用贪婪的启发式方法，这可能不是最佳的。最近，人们对使用各种方法（例如，基于整数编程，动态编程）学习最佳决策树已经引起了重大兴趣 - 为了实现计算可伸缩性，这些方法中的大多数都集中在具有二进制功能的分类任务上。在本文中，我们提出了一种基于分支机构（BNB）的新离散优化方法，以获得最佳决策树。与现有的定制方法不同，我们考虑具有连续功能的回归和分类任务。我们方法基础的基本思想是基于特征分布的分位数来拆分搜索空间 - 导致沿BNB迭代的基础优化问题的上限和下限。与现有的各种真实数据集中的浅最佳树相比，我们提出的算法Quant-BNB显示出显着的加速。
translated by 谷歌翻译
近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。
translated by 谷歌翻译
Regression trees are one of the oldest forms of AI models, and their predictions can be made without a calculator, which makes them broadly useful, particularly for high-stakes applications. Within the large literature on regression trees, there has been little effort towards full provable optimization, mainly due to the computational hardness of the problem. This work proposes a dynamic-programming-with-bounds approach to the construction of provably-optimal sparse regression trees. We leverage a novel lower bound based on an optimal solution to the k-Means clustering algorithm in 1-dimension over the set of labels. We are often able to find optimal sparse trees in seconds, even for challenging datasets that involve large numbers of samples and highly-correlated features.
translated by 谷歌翻译
We develop the first fully dynamic algorithm that maintains a decision tree over an arbitrary sequence of insertions and deletions of labeled examples. Given $\epsilon > 0$ our algorithm guarantees that, at every point in time, every node of the decision tree uses a split with Gini gain within an additive $\epsilon$ of the optimum. For real-valued features the algorithm has an amortized running time per insertion/deletion of $O\big(\frac{d \log^3 n}{\epsilon^2}\big)$, which improves to $O\big(\frac{d \log^2 n}{\epsilon}\big)$ for binary or categorical features, while it uses space $O(n d)$, where $n$ is the maximum number of examples at any point in time and $d$ is the number of features. Our algorithm is nearly optimal, as we show that any algorithm with similar guarantees uses amortized running time $\Omega(d)$ and space $\tilde{\Omega} (n d)$. We complement our theoretical results with an extensive experimental evaluation on real-world data, showing the effectiveness of our algorithm.
translated by 谷歌翻译