加权CSP(WCSP)的重新定义(WCSP)的重新定位概念(也称为WCSPS的等价 - 保存的变换)是众所周知的并且在许多算法中找到其使用以近似或绑定最佳WCSP值。相比之下,已经提出了超级reparamureIzations的概念(这是保留或增加每个任务的WCSP目标的权重的变化),但从未详细研究过。为了填补这一差距,我们展示了一些超级reparamizations的理论属性,并将它们与重新定位化的差异进行比较。此外,我们提出了一种用于使用超级Reparamizations计算(最大化版本)WCSP的最佳值的上限的框架。我们表明原则上可以采用任意(在某些技术条件下)约束传播规则来改善绑定。特别是对于电弧一致性,该方法减少到已知的虚拟AC(VAC)算法。新的,我们实施了Singleton ARC一致性(SAC)的方法,并将其与WCSPS在公共基准上的其他强大局部常量进行比较。结果表明,从SAC获得的界限对于许多实例组优越。
translated by 谷歌翻译
由于机器学习,统计和科学的应用,多边缘最佳运输(MOT)引起了极大的兴趣。但是,在大多数应用中,MOT的成功受到缺乏有效算法的严重限制。实际上,MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly(n,k)时间中可溶解的一般理论。我们开发了一个统一的算法框架,用于通过表征不同算法所需的“结构”来解决poly(n,k)时间中的MOT,这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先,它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly(n,k)时间中求解MOT所需的结构更严格。其次,我们的框架使得为给定的MOT问题开发poly(n,k)时间算法变得更加简单。特别是(大约)解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly(n,k)时间算法开发poly(n,k)时间算法来说明这种易用性:(1)图形结构; (2)设定优化结构; (3)低阶和稀疏结构。对于结构(1),我们恢复了Sindhorn具有poly(n,k)运行时的已知结果;此外,我们为计算精确且稀疏的解决方案提供了第一个poly(n,k)时间算法。对于结构(2) - (3),我们给出了第一个poly(n,k)时间算法,甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。
translated by 谷歌翻译
Graph clustering is a fundamental problem in unsupervised learning, with numerous applications in computer science and in analysing real-world data. In many real-world applications, we find that the clusters have a significant high-level structure. This is often overlooked in the design and analysis of graph clustering algorithms which make strong simplifying assumptions about the structure of the graph. This thesis addresses the natural question of whether the structure of clusters can be learned efficiently and describes four new algorithmic results for learning such structure in graphs and hypergraphs. All of the presented theoretical results are extensively evaluated on both synthetic and real-word datasets of different domains, including image classification and segmentation, migration networks, co-authorship networks, and natural language processing. These experimental results demonstrate that the newly developed algorithms are practical, effective, and immediately applicable for learning the structure of clusters in real-world data.
translated by 谷歌翻译
给定数据点之间的一组差异测量值,确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小,因为在此类问题中有大量的度量约束。在本文中,我们提供了一种活跃的集合算法,即项目和忘记,该算法使用Bregman的预测,以解决许多(可能是指数)不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析,并证明我们的算法会收敛到全局最佳解决方案,并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明,使用我们的方法,我们可以解决三种类型的度量约束问题的大型问题实例:一般体重相关聚类,度量近距离和度量学习;在每种情况下,就CPU时间和问题尺寸而言,超越了艺术方法的表现。
translated by 谷歌翻译
最近已扩展了最小方形聚类(MSSC)或K-均值类型聚类的最小总和,以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中,我们提出了一种基于分支和切割技术的精确方法,以解决基数受限的MSSC。对于下边界的例程,我们使用Rujeerapaiboon等人最近提出的半决赛编程(SDP)放松。 [Siam J. Optim。 29(2),1211-1239,(2019)]。但是,这种放松只能用于小型实例中的分支和切割方法。因此,我们得出了一种新的SDP松弛,该松弛随着实例大小和簇的数量更好。在这两种情况下,我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益,该策略会实施成对的约束,我们减少了儿童节点中出现的问题的复杂性。相反,对于上限,我们提出了一个本地搜索过程,该过程利用在每个节点上求解的SDP松弛的解。计算结果表明,所提出的算法在全球范围内首次求解了大小的现实实例,比通过最新精确方法求解的算法大10倍。
translated by 谷歌翻译
我们开发了一种高效的随机块模型中的弱恢复算法。该算法与随机块模型的Vanilla版本的最佳已知算法的统计保证匹配。从这个意义上讲,我们的结果表明,随机块模型没有稳健性。我们的工作受到最近的银行,Mohanty和Raghavendra(SODA 2021)的工作,为相应的区别问题提供了高效的算法。我们的算法及其分析显着脱离了以前的恢复。关键挑战是我们算法的特殊优化景观:种植的分区可能远非最佳意义,即完全不相关的解决方案可以实现相同的客观值。这种现象与PCA的BBP相转变的推出效应有关。据我们所知,我们的算法是第一个在非渐近设置中存在这种推出效果的鲁棒恢复。我们的算法是基于凸优化的框架的实例化(与平方和不同的不同),这对于其他鲁棒矩阵估计问题可能是有用的。我们的分析的副产物是一种通用技术,其提高了任意强大的弱恢复算法的成功(输入的随机性)从恒定(或缓慢消失)概率以指数高概率。
translated by 谷歌翻译
计算Wassersein BaryCenters(A.K.A.最佳运输重构)是由于数据科学的许多应用,最近引起了相当大的关注的几何问题。虽然存在任何固定维度的多项式时间算法,但所有已知的运行时间都在维度中呈指数级。这是一个开放的问题,无论是这种指数依赖性是否可改进到多项式依赖性。本文证明,除非P = NP,答案是否定的。这揭示了Wassersein的BaryCenter计算的“维度诅咒”,其不会发生最佳运输计算。此外,我们对计算Wassersein的硬度结果延伸到近似计算,看似简单的问题案例,以及在其他最佳运输指标中平均概率分布。
translated by 谷歌翻译
K-MEDIAN和K-MEACE是聚类算法的两个最受欢迎的目标。尽管有密集的努力,但对这些目标的近似性很好地了解,特别是在$ \ ell_p $ -metrics中,仍然是一个重大的开放问题。在本文中,我们在$ \ ell_p $ -metrics中显着提高了文献中已知的近似因素的硬度。我们介绍了一个名为Johnson覆盖假说(JCH)的新假设,这大致断言设定系统上的良好的Max K-Coverage问题难以近似于1-1 / e,即使是成员图形设置系统是Johnson图的子图。然后,我们展示了Cohen-Addad和Karthik引入的嵌入技术的概括(Focs'19),JCH意味着K-MEDIAN和K-MERION在$ \ ell_p $ -metrics中的近似结果的近似值的硬度为近距离对于一般指标获得的人。特别地,假设JCH我们表明很难近似K-Meator目标:$ \ Bullet $离散情况:$ \ ell_1 $ 3.94 - $ \ ell_2中的1.73因素为1.73倍$$ - 这分别在UGC下获得了1.56和1.17的先前因子。 $ \ bullet $持续案例:$ \ ell_1 $ 2210 - $ \ ell_2 $的$ \ ell_1 $ 210。$ \ ell_2 $-metric;这在UGC下获得的$ \ ell_2 $的$ \ ell_2 $的先前因子提高了1.07。对于K-Median目标,我们还获得了类似的改进。此外,我们使用Dinure等人的工作证明了JCH的弱版本。 (Sicomp'05)在超图顶点封面上,恢复Cohen-Addad和Karthik(Focs'19 Focs'19)上面的所有结果(近)相同的不可识别因素,但现在在标准的NP $ \ NEQ $ P假设下(代替UGC)。
translated by 谷歌翻译
结构分解方法,例如普遍的高树木分解,已成功用于解决约束满意度问题(CSP)。由于可以重复使用分解以求解具有相同约束范围的CSP,因此即使计算本身很难,将资源投资于计算良好的分解是有益的。不幸的是,即使示波器仅略有变化,当前方法也需要计算全新的分解。在本文中,我们迈出了解决CSP $ P $分解的问题的第一步,以使其成为由$ P $修改产生的新CSP $ P'$的有效分解。即使从理论上讲问题很难,我们还是提出并实施了一个有效更新GHD的框架。我们算法的实验评估强烈提出了实际适用性。
translated by 谷歌翻译
SemideFinite编程(SDP)是一个统一的框架,可以概括线性编程和四二次二次编程,同时在理论和实践中也产生有效的求解器。但是,当覆盖SDP的约束以在线方式到达时,存在近似最佳解决方案的已知结果。在本文中,我们研究了在线涵盖线性和半决赛程序,其中通过可能错误的预测指标的建议增强了算法。我们表明,如果预测变量是准确的,我们可以有效地绕过这些不可能的结果,并在最佳解决方案(即一致性)上实现恒定因素近似值。另一方面,如果预测变量不准确,在某些技术条件下,我们取得的结果既匹配经典的最佳上限和紧密的下限,则达到恒定因素,即稳健性。更广泛地,我们引入了一个框架,该框架既扩展了(1)由Bamas,Maggiori和Svensson(Neurips 2020)研究的机器学习预测变量增加的在线套装问题,以及(2)在线覆盖SDP问题,由SDP问题发起。 Elad,Kale和Naor(ICALP 2016)。具体而言,我们获得了一般的在线学习算法,用于涵盖具有分数建议和约束的线性程序,并启动学习启发算法以涵盖SDP问题的研究。我们的技术基于Buchbinder和NAOR的原始二次框架(操作研究的数学,34,2009),并且可以进一步调整以处理变量位于有限区域的约束,即框约束。
translated by 谷歌翻译
形状约束语言(SHACL)是通过验证图表上的某些形状来验证RDF数据的最新W3C推荐语言。先前的工作主要集中在验证问题上,并且仅针对SHACL的简化版本研究了对设计和优化目的至关重要的可满足性和遏制的标准决策问题。此外,SHACL规范不能定义递归定义的约束的语义,这导致文献中提出了几种替代性递归语义。尚未研究这些不同语义与重要决策问题之间的相互作用。在本文中,我们通过向新的一阶语言(称为SCL)的翻译提供了对SHACL的不同特征的全面研究,该语言精确地捕获了SHACL的语义。我们还提出了MSCL,这是SCL的二阶扩展,它使我们能够在单个形式的逻辑框架中定义SHACL的主要递归语义。在这种语言中,我们还提供了对过滤器约束的有效处理,这些滤镜经常在相关文献中被忽略。使用此逻辑,我们为不同的SHACL片段的可满足性和遏制决策问题提供了(联合)可决定性和复杂性结果的详细图。值得注意的是,我们证明这两个问题对于完整的语言都是不可避免的,但是即使面对递归,我们也提供了有趣的功能的可决定性组合。
translated by 谷歌翻译
我们回答以下问题,哪些结合性查询以多种方式上的许多正和负面示例以及如何有效地构建此类示例的特征。结果,我们为一类连接的查询获得了一种新的有效的精确学习算法。我们的贡献的核心是两种新的多项式时间算法,用于在有限结构的同态晶格中构建前沿。我们还讨论了模式映射和描述逻辑概念的独特特征性和可学习性的影响。
translated by 谷歌翻译
Pearl's Do Colculus是一种完整的公理方法,可以从观察数据中学习可识别的因果效应。如果无法识别这种效果,则有必要在系统中执行经常昂贵的干预措施以学习因果效应。在这项工作中,我们考虑了设计干预措施以最低成本来确定所需效果的问题。首先,我们证明了这个问题是NP-HARD,随后提出了一种可以找到最佳解或对数因子近似值的算法。这是通过在我们的问题和最小击球设置问题之间建立联系来完成的。此外,我们提出了几种多项式启发式算法来解决问题的计算复杂性。尽管这些算法可能会偶然发现亚最佳解决方案,但我们的模拟表明它们在随机图上产生了小的遗憾。
translated by 谷歌翻译
形状约束,例如非负,单调性,凸度或超模型性,在机器学习和统计的各种应用中都起着关键作用。但是,将此方面的信息以艰苦的方式(例如,在间隔的所有点)纳入预测模型,这是一个众所周知的具有挑战性的问题。我们提出了一个统一和模块化的凸优化框架,依赖于二阶锥(SOC)拧紧,以编码属于矢量值重现的载体内核Hilbert Spaces(VRKHSS)的模型对函数衍生物的硬仿射SDP约束。所提出的方法的模块化性质允许同时处理多个形状约束,并将无限数量的约束限制为有限的许多。我们证明了所提出的方案的收敛及其自适应变体的收敛性,利用VRKHSS的几何特性。由于基于覆盖的拧紧构造,该方法特别适合具有小到中等输入维度的任务。该方法的效率在形状优化,机器人技术和计量经济学的背景下进行了说明。
translated by 谷歌翻译
图形匹配优化问题是计算机视觉中许多任务的重要组成部分,例如在通信中带来两个可变形对象。自然,在过去的几十年中,已经提出了广泛的适用算法。由于尚未开发出通用的标准基准,因此由于对不同的问题实例的评估和标准使结果无与伦比,因此通常很难验证其绩效主张。为了解决这些缺点,我们提出了匹配算法的比较研究。我们创建了一个统一的基准测试标准,在其中收集和分类了一组现有和公开可用的计算机视觉图形匹配问题,以通用格式。同时,我们收集和分类图形匹配算法的最流行的开源实现。它们的性能以与比较优化算法的最佳实践相符的方式进行评估。该研究旨在可再现和扩展,以作为未来的宝贵资源。我们的研究提供了三个值得注意的见解:1。)流行问题实例在少于1秒的时间内完全可以解决,因此不足以进行将来的经​​验评估; 2.)最受欢迎的基线方法高于最佳可用方法; 3.)尽管该问题存在NP硬度,但即使对于具有超过500个顶点的图形,也可以在几秒钟内求解来自视力应用程序的实例。
translated by 谷歌翻译
我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化,多面体理论和热带几何的技术,我们为普遍近似定理提供了数学逆向,这表明单个隐藏层足以用于学习任务。特别是,我们调查完全可增值功能是否完全可以通过添加更多层(没有限制大小)来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面,这个问题对算法和统计方面具有潜在的影响。然而,据我们所知,这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。
translated by 谷歌翻译
该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中,它被称为“最大切割问题”,这是著名的21个KARP的原始NP硬性问题之一,而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学,物理和工程学的现实问题。但是,准确地求解此模型(查找最大剪切或基态)可能会留下一个棘手的问题(除非$ \ textit {p} = \ textit {np} $),并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案,以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外,该方法被认为是多项式时间中最好的。在本论文的前两章中,我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中,我们迈出了一步,并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题,在该模型中,我们希望尽可能少地调整交互作用,以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明,当相互作用是非负的时,我们的双层优化是在多项式时间内使用凸编程来解决的。
translated by 谷歌翻译
In model selection problems for machine learning, the desire for a well-performing model with meaningful structure is typically expressed through a regularized optimization problem. In many scenarios, however, the meaningful structure is specified in some discrete space, leading to difficult nonconvex optimization problems. In this paper, we connect the model selection problem with structure-promoting regularizers to submodular function minimization with continuous and discrete arguments. In particular, we leverage the theory of submodular functions to identify a class of these problems that can be solved exactly and efficiently with an agnostic combination of discrete and continuous optimization routines. We show how simple continuous or discrete constraints can also be handled for certain problem classes and extend these ideas to a robust optimization framework. We also show how some problems outside of this class can be embedded within the class, further extending the class of problems our framework can accommodate. Finally, we numerically validate our theoretical results with several proof-of-concept examples with synthetic and real-world data, comparing against state-of-the-art algorithms.
translated by 谷歌翻译
我们考虑指标变量和指标上的任意约束的凸二次优化问题。我们表明,在扩展空间中设置的凸壳描述,其具有二次数量的附加变量包括单个正半纤维限制(明确规定)和线性约束。特别地,对这类问题的凸起减少了描述在扩展制剂中的多面体集。我们还在变量的原始空间中说明:我们提供了基于无限数量的圆锥二次不等式的描述,这些锥形二次不等式是“有限地产生的”。特别地,可以表征给定的不等式是否需要描述凸船。这里介绍了新的理论统一了若干以前建立的结果,并铺平了利用多面体方法来分析混合整数非线性集的凸壳。
translated by 谷歌翻译
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近,它的方法一直集中在孤立地解决问题实例,而忽略了它们通常源于实践中的相关数据分布。但是,近年来,人们对使用机器学习,尤其是图形神经网络(GNN)的兴趣激增,作为组合任务的关键构件,直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入,因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾,旨在优化和机器学习研究人员。
translated by 谷歌翻译