我们研究了[Dasgupta等,ICML 2020]提出的框架中一些可解释的聚类问题的计算复杂性,其中通过轴对准决策树实现了解释性。我们考虑$ k $ -MEANS,$ K $ -MEDIANS,$ K $ - 中心和间距成本功能。我们证明,前三个很难优化,而后者可以在多项式时间进行优化。
translated by 谷歌翻译
最近的一些作品已经采用了决策树,以建造可解释的分区,旨在最大限度地减少$ k $ -means成本函数。然而,这些作品在很大程度上忽略了与所得到的树中叶子的深度相关的度量,这考虑到决策树的解释性如何取决于这些深度,这可能令人惊讶。为了填补文献中的这种差距,我们提出了一种有效的算法,它考虑了这些指标。在7个数据集上的实验中,我们的算法产生的结果比决策树聚类算法,例如\ Cite {dasgupta2020explainplainable},\ cite {frost2020exkmc},\ cite {laber2021price}和\ cite {dblp:conf / icml / Makarychevs21}通常以相当浅的树木实现较低或等同的成本。我们还通过简单适应现有技术来表明,用k $ -means成本函数的二叉树引起的可解释的分区的问题不承认多项式时间中的$(1+ \ epsilon)$ - 近似$ p = np $,证明Questies Quest attmation算法和/或启发式。
translated by 谷歌翻译
$ k $ -means和$ k $ -median集群是强大的无监督机器学习技术。但是,由于对所有功能的复杂依赖性,解释生成的群集分配是挑战性的。 Moshkovitz,Dasgupta,Rashtchian和Frost [ICML 2020]提出了一个优雅的可解释$ K $ -means和$ K $ -Median聚类型号。在此模型中,具有$ k $叶子的决策树提供了集群中的数据的直接表征。我们研究了关于可解释的聚类的两个自然算法问题。 (1)对于给定的群集,如何通过使用$ k $叶的决策树找到“最佳解释”? (2)对于一套给定的点,如何找到一个以美元的决策树,最小化$ k $ -means / median目标的可解释的聚类?要解决第一个问题,我们介绍了一个新的可解释群集模型。我们的型号受到强大统计数据的异常值概念的启发,是以下情况。我们正在寻求少数积分(异常值),其删除使现有的聚类良好可解释。为了解决第二个问题,我们开始研究Moshkovitz等人的模型。从多元复杂性的角度来看。我们严格的算法分析揭示了参数的影响,如数据的输入大小,尺寸,异常值的数量,簇数,近似比,呈现可解释的聚类的计算复杂度。
translated by 谷歌翻译
我们提供了一个新的双标准$ \ tilde {o}(\ log ^ 2 k)$竞争算法,可解释$ k $ -means群集。最近解释了$ k $ -means最近由Dasgupta,Frost,Moshkovitz和Rashtchian(ICML 2020)引入。它由易于解释和理解(阈值)决策树或图表描述。可解释的$ k $ -means集群的成本等于其集群成本的总和;每个群集的成本等于从群集中点到该群集的中心的平方距离之和。我们的随机双标准算法构造了一个阈值决策树,将数据设置为$(1+ \ delta)k $群集(其中$ \ delta \ In(0,1)$是算法的参数)。此群集的成本是大多数$ \ tilde {o}(1 / \ delta \ cdot \ log ^ 2 k)$乘以最佳不受约束$ k $ -means群集的成本。我们表明这一界限几乎是最佳的。
translated by 谷歌翻译
许多聚类算法由某些成本函数引导,例如广泛使用的$ k $ -means成本。这些算法将数据点划分为具有经常复杂的边界的集群,在解释聚类决策时创造了困难。在最近的工作中,Dasgupta,Frost,Moshkovitz和Rashtchian(ICML 2020)引入了可解释的聚类,其中群集边界是轴并行超平面,并且通过将决策树应用于数据来获得群集。这里的核心问题是:解释性限制增加了多少成本函数的值?鉴于$ d $ -dimensional数据点,我们显示了一个有效的算法,该算法找到了可解释的群集,其$ k $ -means成本为$ k ^ {1 - 2 / d} \,\ mathrm {poly}(d \ log k)在没有可解释性约束的情况下,群集可实现的最低成本的$倍,假设$ k,d \ ge 2 $。通过Makarychev-Shan(ICML 2021),Gamlath-jia-polak-svensson(2021),或esfandiari-mirrokni - Narayanan(2021),我们得到了$ k ^ {1 - 2 / d} \,\ mathrm {polylog}(k)$的改进界限,我们为每种选择$ k,d \ ge 2 $最多可为$ k $的多对数因子。对于$ d = 2 $特别地,我们显示$ o(\ log k \ log \ log k)$绑定,在leaker和murtinho的$ o(k \ log k)$的以前最佳界限的近乎指数上(ICML 2021)。
translated by 谷歌翻译
K-MEDIAN和K-MEACE是聚类算法的两个最受欢迎的目标。尽管有密集的努力,但对这些目标的近似性很好地了解,特别是在$ \ ell_p $ -metrics中,仍然是一个重大的开放问题。在本文中,我们在$ \ ell_p $ -metrics中显着提高了文献中已知的近似因素的硬度。我们介绍了一个名为Johnson覆盖假说(JCH)的新假设,这大致断言设定系统上的良好的Max K-Coverage问题难以近似于1-1 / e,即使是成员图形设置系统是Johnson图的子图。然后,我们展示了Cohen-Addad和Karthik引入的嵌入技术的概括(Focs'19),JCH意味着K-MEDIAN和K-MERION在$ \ ell_p $ -metrics中的近似结果的近似值的硬度为近距离对于一般指标获得的人。特别地,假设JCH我们表明很难近似K-Meator目标:$ \ Bullet $离散情况:$ \ ell_1 $ 3.94 - $ \ ell_2中的1.73因素为1.73倍$$ - 这分别在UGC下获得了1.56和1.17的先前因子。 $ \ bullet $持续案例:$ \ ell_1 $ 2210 - $ \ ell_2 $的$ \ ell_1 $ 210。$ \ ell_2 $-metric;这在UGC下获得的$ \ ell_2 $的$ \ ell_2 $的先前因子提高了1.07。对于K-Median目标,我们还获得了类似的改进。此外,我们使用Dinure等人的工作证明了JCH的弱版本。 (Sicomp'05)在超图顶点封面上,恢复Cohen-Addad和Karthik(Focs'19 Focs'19)上面的所有结果(近)相同的不可识别因素,但现在在标准的NP $ \ NEQ $ P假设下(代替UGC)。
translated by 谷歌翻译
分层聚类研究将数据集的递归分区设置为连续较小尺寸的簇,并且是数据分析中的基本问题。在这项工作中,我们研究了Dasgupta引入的分层聚类的成本函数,并呈现了两个多项式时间近似算法:我们的第一个结果是高度电导率图的$ O(1)$ - 近似算法。我们简单的建筑绕过了在文献中已知的稀疏切割的复杂递归常规。我们的第二个和主要结果是一个US(1)$ - 用于展示群集明确结构的宽族图形的近似算法。该结果推出了以前的最先进的,该现有技术仅适用于从随机模型产生的图表。通过对合成和现实世界数据集的实证分析,我们所呈现的算法的实证分析表明了我们的工作的重要性,以其具有明确定义的集群结构的先前所提出的图表算法。
translated by 谷歌翻译
We study the problem of graph clustering under a broad class of objectives in which the quality of a cluster is defined based on the ratio between the number of edges in the cluster, and the total weight of vertices in the cluster. We show that our definition is closely related to popular clustering measures, namely normalized associations, which is a dual of the normalized cut objective, and normalized modularity. We give a linear time constant-approximate algorithm for our objective, which implies the first constant-factor approximation algorithms for normalized modularity and normalized associations.
translated by 谷歌翻译
已经研究了分层群集,并广泛使用作为数据分析的方法。最近,Dasgupta [2016]定义了精确的目标函数。给定一套$ n $数据点,每两个项目$ w_ {i,j} $ w_ {i,j} $ i和$ j $表示他们的相似性/ dive相似性,目标是建立递归(树)将数据点(项目)分区成连续较小的簇。他定义了一棵树$ t $的成本函数为$ compt(t)= \ sum_ {i,j \在[n]} \ big(w_ {i,j} \ times | t_ {i,j} | \大)$ where $ t_ {i,j} $是subtree植根于$ i $和$ j $最不常见的祖先,并呈现了这种聚类的第一个近似算法。然后Moseley和Wang [2017]考虑了Dasgupta的双重目标函数,以适应性的重量,并显示出随机分区和平均连锁有近似比1/3 $的近似值为1/3美元,这一系列工程为0.585 $ [Alon等al。 2020]。后来Cohen-Addad等。 [2019]认为与Dasgupta的客观函数相同,但对于基于不同的基于指标,称为$ Rev(T)$。结果表明,随机分区和平均连锁有2/3美元的比例仅为0.667078 $ 0.667078 $ [Charikar等人。 SODA2020]。我们的第一个主要结果是考虑$ Rev(T)$,并提出更精致的算法和仔细分析,实现近似值0.71604 $。我们还为基于异化的聚类介绍了一个新的目标函数。对于任何树$ t $,让$ h_ {i,j} $是$ i $和$ j $的常见祖先的数量。直观地,预计相似的项目将在尽可能深处留在同一群体内。因此,对于基于不同的指标,我们建议每棵树$ t $的成本,我们想要最小化,是$ cost_h(t)= \ sum_ {i,j \在[n]} \ big(w_ {我,j} \ times h_ {i,j} \ big)$。我们为此目标提供1.3977美元的价值。
translated by 谷歌翻译
在设计聚类算法时,初始中心的选择对于学习簇的质量至关重要。在本文中,我们基于数据的构建,我们开发了一种新的初始化方案,称为$ k $ -Median问题(例如图形引起的离散空间),基于数据的构造。从树中,我们提出了一种新颖有效的搜索算法,用于良好的初始中心,随后可用于本地搜索算法。我们提出的HST初始化可以产生与另一种流行初始化方法$ K $ -Median ++的初始中心,具有可比的效率。 HST初始化也可以扩展到差异隐私(DP)的设置,以生成私人初始中心。我们表明,应用DP本地搜索后,我们的私有HST初始化会改善对近似错误的先前结果,并在小因素内接近下限。实验证明了理论的合理性,并证明了我们提出的方法的有效性。我们的方法也可以扩展到$ k $ -MEANS问题。
translated by 谷歌翻译
图形上的分层聚类是数据挖掘和机器学习中的一项基本任务,并在系统发育学,社交网络分析和信息检索等领域中进行了应用。具体而言,我们考虑了由于Dasgupta引起的层次聚类的最近普及的目标函数。以前(大约)最小化此目标函数的算法需要线性时间/空间复杂性。在许多应用程序中,底层图的大小可能很大,即使使用线性时间/空间算法,也可以在计算上具有挑战性。结果,人们对设计只能使用sublinear资源执行全局计算的算法有浓厚的兴趣。这项工作的重点是在三个经过良好的sublinear计算模型下研究大量图的层次聚类,分别侧重于时空,时间和通信,作为要优化的主要资源:(1)(动态)流模型。边缘作为流,(2)查询模型表示,其中使用邻居和度查询查询图形,(3)MPC模型,其中图边缘通过通信通道连接的几台机器进行了分区。我们在上面的所有三个模型中设计用于层次聚类的sublinear算法。我们算法结果的核心是图表中的剪切方面的视图,这使我们能够使用宽松的剪刀示意图进行分层聚类,同时仅引入目标函数中的较小失真。然后,我们的主要算法贡献是如何在查询模型和MPC模型中有效地构建所需形式的切割稀疏器。我们通过建立几乎匹配的下限来补充我们的算法结果,该界限排除了在每个模型中设计更好的算法的可能性。
translated by 谷歌翻译
In the Priority $k$-Center problem, the input consists of a metric space $(X,d)$, an integer $k$, and for each point $v \in X$ a priority radius $r(v)$. The goal is to choose $k$-centers $S \subseteq X$ to minimize $\max_{v \in X} \frac{1}{r(v)} d(v,S)$. If all $r(v)$'s are uniform, one obtains the $k$-Center problem. Plesn\'ik [Plesn\'ik, Disc. Appl. Math. 1987] introduced the Priority $k$-Center problem and gave a $2$-approximation algorithm matching the best possible algorithm for $k$-Center. We show how the problem is related to two different notions of fair clustering [Harris et al., NeurIPS 2018; Jung et al., FORC 2020]. Motivated by these developments we revisit the problem and, in our main technical contribution, develop a framework that yields constant factor approximation algorithms for Priority $k$-Center with outliers. Our framework extends to generalizations of Priority $k$-Center to matroid and knapsack constraints, and as a corollary, also yields algorithms with fairness guarantees in the lottery model of Harris et al [Harris et al, JMLR 2019].
translated by 谷歌翻译
在本文中,我们提出了一个自然的单个偏好(IP)稳定性的概念,该概念要求每个数据点平均更接近其自身集群中的点,而不是其他群集中的点。我们的概念可以从几个角度的动机,包括游戏理论和算法公平。我们研究了与我们提出的概念有关的几个问题。我们首先表明,确定给定数据集通常允许进行IP稳定的聚类通常是NP-HARD。结果,我们探索了在某些受限度量空间中查找IP稳定聚类的有效算法的设计。我们提出了一种poly Time算法,以在实际线路上找到满足精确IP稳定性的聚类,并有效地算法来找到针对树度量的IP稳定2聚类。我们还考虑放松稳定性约束,即,与其他任何集群相比,每个数据点都不应太远。在这种情况下,我们提供具有不同保证的多时间算法。我们在实际数据集上评估了一些算法和几种标准聚类方法。
translated by 谷歌翻译
我们研究了与从介入数据中恢复因果图有关的两个问题:(i)$ \ textIt {verification} $,其中的任务是检查声称的因果图是否正确,并且(ii)$ \ textit {search} $,任务是恢复正确的因果图。对于这两者,我们都希望最大程度地减少执行的干预措施的数量。对于第一个问题,我们给出了一组最小尺寸的原子干预措施的表征,这些干预措施是必要且足以检查所要求的因果图的正确性。我们的表征使用$ \ textit {coving edges} $的概念,这使我们能够获得简单的证据,并且很容易理解早期结果。我们还将结果推广到有限尺寸干预措施和节点依赖性干预成本的设置。对于上述所有设置,我们提供了第一种已知的可验证算法,用于有效地计算(接近)一般图上的最佳验证集。对于第二个问题,我们给出了一种基于图形分离器的简单自适应算法,该算法会产生一个原子干预集,该集合在使用$ \ MATHCAL {O}(\ log n)$ times $ times所需的$所需干预措施时,该算法完全围绕任何必需图表。 \ textIt {verify} $(验证大小)$ n $顶点上的基础dag。相对于验证大小而言,此近似值是紧密的,因为$ \ textit {any} $搜索算法的最差情况是$ \ omega(\ log n)$的最差情况。使用有限的大小干预措施,每个大小$ \ leq k $,我们的算法给出了$ \ mathcal {o}(\ log n \ cdot \ log \ log \ log k)$ factor actialation。我们的结果是第一种已知的算法,该算法对一般未加权图和有界尺寸干预的验证尺寸提供了非平凡的近似保证。
translated by 谷歌翻译
本文展示了如何适应$ k $ -MEANS问题的几种简单和经典的基于采样的算法,以使用离群值设置。最近,Bhaskara等人。 (Neurips 2019)展示了如何将古典$ K $ -MEANS ++算法适应与异常值的设置。但是,他们的算法需要输出$ o(\ log(k)\ cdot z)$ outiers,其中$ z $是true Outliers的数量,以匹配$ o(\ log k)$ - 近似值的$ k的近似保证$ -Means ++。在本文中,我们以他们的想法为基础,并展示了如何适应几个顺序和分布式的$ k $ - 均值算法,但使用离群值来设置,但具有更强的理论保证:我们的算法输出$(1+ \ VAREPSILON)z $ OUTLIERS Z $ OUTLIERS在实现$ o(1 / \ varepsilon)$ - 近似目标函数的同时。在顺序世界中,我们通过改编Lattanzi和Sohler的最新算法来实现这一目标(ICML 2019)。在分布式设置中,我们适应了Guha等人的简单算法。 (IEEE Trans。知道和数据工程2003)以及Bahmani等人的流行$ K $ -Means $ \ | $。 (PVLDB 2012)。我们技术的理论应用是一种具有运行时间$ \ tilde {o}(nk^2/z)$的算法,假设$ k \ ll z \ ll n $。这与Omacle模型中此问题的$ \ Omega(NK^2/z)$的匹配下限相互补。
translated by 谷歌翻译
Pearl's Do Colculus是一种完整的公理方法,可以从观察数据中学习可识别的因果效应。如果无法识别这种效果,则有必要在系统中执行经常昂贵的干预措施以学习因果效应。在这项工作中,我们考虑了设计干预措施以最低成本来确定所需效果的问题。首先,我们证明了这个问题是NP-HARD,随后提出了一种可以找到最佳解或对数因子近似值的算法。这是通过在我们的问题和最小击球设置问题之间建立联系来完成的。此外,我们提出了几种多项式启发式算法来解决问题的计算复杂性。尽管这些算法可能会偶然发现亚最佳解决方案,但我们的模拟表明它们在随机图上产生了小的遗憾。
translated by 谷歌翻译
关于基于差异性的层次聚类的最新工作导致引入了这个经典问题的全球目标函数。已经证明了几种标准方法,例如平均链接以及一些新的启发式方法可提供近似保证。在这里,我们介绍了一系列广泛的目标功能,这些功能满足了先前研究中研究的理想属性。许多常见的聚集和分裂聚类方法被证明是这些目标的贪婪算法,这些算法受到系统发育学中相关概念的启发。
translated by 谷歌翻译
Arthur和Vassilvitskii的著名$ K $ -MEANS ++算法[SODA 2007]是解决实践中$ K $ - 英镑问题的最流行方式。该算法非常简单:它以随机的方式均匀地对第一个中心进行采样,然后始终将每个$ K-1 $中心的中心取样与迄今为止最接近最接近中心的平方距离成比例。之后,运行了劳埃德的迭代算法。已知$ k $ -Means ++算法可以返回预期的$ \ theta(\ log K)$近似解决方案。在他们的开创性工作中,Arthur和Vassilvitskii [Soda 2007]询问了其以下\ emph {greedy}的保证:在每一步中,我们采样了$ \ ell $候选中心,而不是一个,然后选择最小化新的中心成本。这也是$ k $ -Means ++在例如中实现的方式。流行的Scikit-Learn库[Pedregosa等人; JMLR 2011]。我们为贪婪的$ k $ -Means ++提供几乎匹配的下限和上限:我们证明它是$ o(\ ell^3 \ log^3 k)$ - 近似算法。另一方面,我们证明了$ \ omega的下限(\ ell^3 \ log^3 k / \ log^2(\ ell \ log k))$。以前,只有$ \ omega(\ ell \ log k)$下限是已知的[bhattacharya,eube,r \“ ogllin,schmidt; esa 2020),并且没有已知的上限。
translated by 谷歌翻译
最大线性布置问题(MAXLA)包括从图$ g $的$ n $顶点查找映射$ \ pi $到最大化$ d _ {\ pi}(g)= \ sum_ {uv \ {uv \ {uv \ \ \在e(g)} | \ pi(u) - \ pi(v)| $。在这种情况下,顶点被认为位于水平线上,边缘在线上上方的半圆时绘制。存在限制安排的MaxLA的变体。在平面变体中,边缘交叉被禁止。在塑料树排列的投射变体中,是平面,根不能被任何边缘覆盖。在这里,我们提出$ o(n)$ - 时间和$ o(n)$ - 空间算法,这些算法可以解决树木的平面和射击maxla。我们还证明了最大投影和平面布置的几个属性。
translated by 谷歌翻译
我们为保留部分顺序的部分有序数据的基于相似性的分层群集提供了一个目标函数。也就是说,如果$ x \ le y $,如果$ [x] $和$ [y] $是$ x $和$ y $的相应群集,那么有一个订单关系$ \ LE' $群集$ [x] \ Le'| Y] $。该理论将本身与现有的理论区分开了用于统称有序数据的理论,因为顺序关系和相似性被组合成双目标优化问题,以获得寻求满足两者的分层聚类。特别地,顺序关系在$ [0,1] $的范围内加权,如果相似性和顺序关系未对齐,则订单保存可能必须屈服于群集。找到最佳解决方案是NP-HARD,因此我们提供多项式时间近似算法,具有$ O \左的相对性能保证(\ log ^ {3/2} \!\!\,n \右)$ ,基于定向稀疏性切割的连续应用。我们在基准数据集中提供了演示,显示我们的方法优于具有重要边距的顺序保留分层聚类的现有方法。该理论是划分分层聚类的Dasgupta成本函数的扩展。
translated by 谷歌翻译