探索未知环境是许多域中的基本任务,例如机器人导航,网络安全和互联网搜索。我们通过添加对机器学习的预测的访问来启动古典卓越的在线图探索问题的学习增强变体。我们提出了一种自然地将预测集成到众所周知的最近邻居(NN)算法中的算法,并且如果预测具有高精度,则在预测时保持良好的保证的情况下显着优于任何已知的在线算法。我们提供了理论上的最坏情况界,以预测误差优雅地降低,我们通过确认我们的结果的计算实验来补充它们。此外,我们将我们的概念扩展到稳定算法的一般框架。通过在给定的算法和NN之间仔细插值,我们证明了新的性能界限,这些界限在特定输入上利用各个良好的性能,同时建立了任意输入的鲁棒性。
translated by 谷歌翻译
本文考虑了最近流行的超越最坏情况算法分析模型,其与在线算法设计集成了机器学习预测。我们在此模型中考虑在线Steiner树问题,用于指向和无向图。据了解施泰纳树在线设置中具有强大的下限,并且任何算法的最坏情况都远非可取。本文考虑了预测哪个终端在线到达的算法。预测可能是不正确的,并且算法的性能由错误预测的终端的数量进行参数化。这些保证确保算法通过具有良好预测的在线下限,并且随着预测误差的增长,竞争比率优雅地降低。然后,我们观察到该理论是预测将经验发生的事情。我们在终端从分发中绘制的图表中显示了终端,即使具有适度正确的预测,新的在线算法也具有很强的性能。
translated by 谷歌翻译
我们在学习增强的设置中研究基本的在线K-Server问题。虽然在传统的在线模型中,算法没有关于请求序列的信息,我们假设在算法的决定上给出了一些建议(例如机器学习预测)。但是,没有保证预测的质量,可能远非正确。我们的主要结果是线路上的K-Server众所周知的双覆盖算法的学习变化(Chrobak等,Sidma 1991),我们将预测整合在一起,以及我们对其质量的信任。我们给出了错误依赖性的竞争比率,这是用户定义的置信度参数的函数,并且在最佳一致性之间平滑地插值,在所有预测是正确的情况下的性能,以及无论预测如何,都是最佳的鲁棒性质量。当给定良好的预测时,我们在没有建议的情况下改善在线算法的下限。我们进一步表明,我们的算法在一类关于局部和记忆属性的确定性算法中实现了任何K几乎最佳的一致性 - 鲁棒性权衡。我们的算法优于先前提出的(更通用的)学习增强算法。上一算法非常重要,这是至关重要的存储器,而我们的算法无记忆。最后,我们展示了实验性的实用性和算法在真实数据上的卓越性能。
translated by 谷歌翻译
The research area of algorithms with predictions has seen recent success showing how to incorporate machine learning into algorithm design to improve performance when the predictions are correct, while retaining worst-case guarantees when they are not. Most previous work has assumed that the algorithm has access to a single predictor. However, in practice, there are many machine learning methods available, often with incomparable generalization guarantees, making it hard to pick a best method a priori. In this work we consider scenarios where multiple predictors are available to the algorithm and the question is how to best utilize them. Ideally, we would like the algorithm's performance to depend on the quality of the best predictor. However, utilizing more predictions comes with a cost, since we now have to identify which prediction is the best. We study the use of multiple predictors for a number of fundamental problems, including matching, load balancing, and non-clairvoyant scheduling, which have been well-studied in the single predictor setting. For each of these problems we introduce new algorithms that take advantage of multiple predictors, and prove bounds on the resulting performance.
translated by 谷歌翻译
分层聚类研究将数据集的递归分区设置为连续较小尺寸的簇,并且是数据分析中的基本问题。在这项工作中,我们研究了Dasgupta引入的分层聚类的成本函数,并呈现了两个多项式时间近似算法:我们的第一个结果是高度电导率图的$ O(1)$ - 近似算法。我们简单的建筑绕过了在文献中已知的稀疏切割的复杂递归常规。我们的第二个和主要结果是一个US(1)$ - 用于展示群集明确结构的宽族图形的近似算法。该结果推出了以前的最先进的,该现有技术仅适用于从随机模型产生的图表。通过对合成和现实世界数据集的实证分析,我们所呈现的算法的实证分析表明了我们的工作的重要性,以其具有明确定义的集群结构的先前所提出的图表算法。
translated by 谷歌翻译
SemideFinite编程(SDP)是一个统一的框架,可以概括线性编程和四二次二次编程,同时在理论和实践中也产生有效的求解器。但是,当覆盖SDP的约束以在线方式到达时,存在近似最佳解决方案的已知结果。在本文中,我们研究了在线涵盖线性和半决赛程序,其中通过可能错误的预测指标的建议增强了算法。我们表明,如果预测变量是准确的,我们可以有效地绕过这些不可能的结果,并在最佳解决方案(即一致性)上实现恒定因素近似值。另一方面,如果预测变量不准确,在某些技术条件下,我们取得的结果既匹配经典的最佳上限和紧密的下限,则达到恒定因素,即稳健性。更广泛地,我们引入了一个框架,该框架既扩展了(1)由Bamas,Maggiori和Svensson(Neurips 2020)研究的机器学习预测变量增加的在线套装问题,以及(2)在线覆盖SDP问题,由SDP问题发起。 Elad,Kale和Naor(ICALP 2016)。具体而言,我们获得了一般的在线学习算法,用于涵盖具有分数建议和约束的线性程序,并启动学习启发算法以涵盖SDP问题的研究。我们的技术基于Buchbinder和NAOR的原始二次框架(操作研究的数学,34,2009),并且可以进一步调整以处理变量位于有限区域的约束,即框约束。
translated by 谷歌翻译
我们建议使用预测来加速最大流量计算的框架。一个预测是流动,即,将非负流量值分配到边缘,它满足了流量保护属性​​,但不一定尊重实际实例的边缘能力(因为这些在学习时是未知的)。我们提出了一种算法,在给定$ m $ - 边缘流网络和预测流量时,计算$ O(m \ eta)$时间的最大流量,其中$ \ eta $是$ \ ell_1 $ ,即预测流量和最佳流量值之间绝对差的边缘的总和。此外,我们证明,如果Oracle访问流量网络的发行版,则可以有效地将PAC-LEARN的预测最小化,以最大程度地减少该分发上预期的$ \ ell_1 $错误。我们的结果符合最近有关学习增强算法的研究系列,该算法旨在通过使用预测(例如,从以前的类似实例中获得的机器学习)来改善经典算法的最坏情况。到目前为止,该领域的主要重点是提高在线问题的竞争比率。跟随Dinitz等。 (Neurips 2021),我们的结果是改善离线问题运行时间的首先。
translated by 谷歌翻译
在线强化学习(RL)中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾,采样复杂性,状态空间覆盖范围或模型估计,我们都需要攻击不同的勘探开发权衡。在本文中,我们建议在分离方法组成的探索 - 剥削问题:1)“客观特定”算法(自适应)规定哪些样本以收集到哪些状态,似乎它可以访问a生成模型(即环境的模拟器); 2)负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法,我们首先提供一种算法,它给出了每个状态动作对所需的样本$ B(S,a)$的样本数量,需要$ \ tilde {o} (bd + d ^ {3/2} s ^ 2 a)收集$ b = \ sum_ {s,a} b(s,a)$所需样本的$时间步骤,以$ s $各国,$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对,这些策略规定了解决各种设置的样本要求 - 例如,模型估计,稀疏奖励发现,无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。
translated by 谷歌翻译
本文研究了人工神经网络(NNS)与整流线性单元的表现力。为了将它们作为实际计算的模型,我们介绍了最大仿射算术计划的概念,并显示了它们与NNS之间的等效性有关自然复杂度措施。然后我们使用此结果表明,使用多项式NNS可以解决两个基本组合优化问题,这相当于非常特殊的强多项式时间算法。首先,我们显示,对于带有N $节点的任何无向图形,有一个NN大小$ \ Mathcal {O}(n ^ 3)$,它将边缘权重用为输入,计算最小生成树的值图表。其次,我们显示,对于任何带有$ N $节点和$ M $弧的任何定向图,都有一个尺寸$ \ mathcal {o}(m ^ 2n ^ 2)$,它将电弧容量作为输入和计算最大流量。这些结果尤其尤其暗示,相应的参数优化问题的解决方案可以在多项式空间中编码所有边缘权重或电弧容量的方法,并在多项式时间中进行评估,并且由NN提供这种编码。
translated by 谷歌翻译
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近,它的方法一直集中在孤立地解决问题实例,而忽略了它们通常源于实践中的相关数据分布。但是,近年来,人们对使用机器学习,尤其是图形神经网络(GNN)的兴趣激增,作为组合任务的关键构件,直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入,因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾,旨在优化和机器学习研究人员。
translated by 谷歌翻译
本文展示了如何适应$ k $ -MEANS问题的几种简单和经典的基于采样的算法,以使用离群值设置。最近,Bhaskara等人。 (Neurips 2019)展示了如何将古典$ K $ -MEANS ++算法适应与异常值的设置。但是,他们的算法需要输出$ o(\ log(k)\ cdot z)$ outiers,其中$ z $是true Outliers的数量,以匹配$ o(\ log k)$ - 近似值的$ k的近似保证$ -Means ++。在本文中,我们以他们的想法为基础,并展示了如何适应几个顺序和分布式的$ k $ - 均值算法,但使用离群值来设置,但具有更强的理论保证:我们的算法输出$(1+ \ VAREPSILON)z $ OUTLIERS Z $ OUTLIERS在实现$ o(1 / \ varepsilon)$ - 近似目标函数的同时。在顺序世界中,我们通过改编Lattanzi和Sohler的最新算法来实现这一目标(ICML 2019)。在分布式设置中,我们适应了Guha等人的简单算法。 (IEEE Trans。知道和数据工程2003)以及Bahmani等人的流行$ K $ -Means $ \ | $。 (PVLDB 2012)。我们技术的理论应用是一种具有运行时间$ \ tilde {o}(nk^2/z)$的算法,假设$ k \ ll z \ ll n $。这与Omacle模型中此问题的$ \ Omega(NK^2/z)$的匹配下限相互补。
translated by 谷歌翻译
图形上的分层聚类是数据挖掘和机器学习中的一项基本任务,并在系统发育学,社交网络分析和信息检索等领域中进行了应用。具体而言,我们考虑了由于Dasgupta引起的层次聚类的最近普及的目标函数。以前(大约)最小化此目标函数的算法需要线性时间/空间复杂性。在许多应用程序中,底层图的大小可能很大,即使使用线性时间/空间算法,也可以在计算上具有挑战性。结果,人们对设计只能使用sublinear资源执行全局计算的算法有浓厚的兴趣。这项工作的重点是在三个经过良好的sublinear计算模型下研究大量图的层次聚类,分别侧重于时空,时间和通信,作为要优化的主要资源:(1)(动态)流模型。边缘作为流,(2)查询模型表示,其中使用邻居和度查询查询图形,(3)MPC模型,其中图边缘通过通信通道连接的几台机器进行了分区。我们在上面的所有三个模型中设计用于层次聚类的sublinear算法。我们算法结果的核心是图表中的剪切方面的视图,这使我们能够使用宽松的剪刀示意图进行分层聚类,同时仅引入目标函数中的较小失真。然后,我们的主要算法贡献是如何在查询模型和MPC模型中有效地构建所需形式的切割稀疏器。我们通过建立几乎匹配的下限来补充我们的算法结果,该界限排除了在每个模型中设计更好的算法的可能性。
translated by 谷歌翻译
多路径定向问题询问机器人团队的路径最大化收集的总奖励,同时满足路径长度上的预算约束。这个问题模拟了许多多机器人路由任务,例如探索未知的环境和环境监控信息。在本文中,我们专注于如何使机器人团队在对抗环境中运行时对故障的强大。我们介绍了强大的多路径定向事问题(RMOP),在那里我们寻求最糟糕的案例保证,反对能够在大多数$ \ Alpha $机器人处攻击的对手。我们考虑两个问题的两个版本:RMOP离线和RMOP在线。在离线版本中,当机器人执行其计划时,没有通信或重新扫描,我们的主要贡献是一种具有界限近似保证的一般近似方案,其取决于$ \ alpha $和单个机器人导向的近似因子。特别是,我们表明该算法在成本函数是模块化时产生(i)恒因子近似; (ii)在成本函数是子模具时,$ \ log $因子近似; (iii)当成本函数是子模块时的恒因子近似,但是允许机器人通过有界金额超过其路径预算。在在线版本中,RMOP被建模为双人顺序游戏,并基于蒙特卡罗树搜索(MCT),以后退地平线方式自适应解决。除了理论分析之外,我们还对海洋监测和隧道信息收集应用进行仿真研究,以证明我们的方法的功效。
translated by 谷歌翻译
我们根据计算一个扎根于每个顶点的某个加权树的家族而构成的相似性得分提出了一种有效的图形匹配算法。对于两个erd \ h {o} s-r \'enyi图$ \ mathcal {g}(n,q)$,其边缘通过潜在顶点通信相关联,我们表明该算法正确地匹配了所有范围的范围,除了所有的vertices分数外,有了很高的概率,前提是$ nq \ to \ infty $,而边缘相关系数$ \ rho $满足$ \ rho^2> \ alpha \ ailpha \大约0.338 $,其中$ \ alpha $是Otter的树木计数常数。此外,在理论上是必需的额外条件下,可以精确地匹配。这是第一个以显式常数相关性成功的多项式图匹配算法,并适用于稀疏和密集图。相比之下,以前的方法要么需要$ \ rho = 1-o(1)$,要么仅限于稀疏图。该算法的症结是一个经过精心策划的植根树的家族,称为吊灯,它可以有效地从同一树的计数中提取图形相关性,同时抑制不同树木之间的不良相关性。
translated by 谷歌翻译
Pearl's Do Colculus是一种完整的公理方法,可以从观察数据中学习可识别的因果效应。如果无法识别这种效果,则有必要在系统中执行经常昂贵的干预措施以学习因果效应。在这项工作中,我们考虑了设计干预措施以最低成本来确定所需效果的问题。首先,我们证明了这个问题是NP-HARD,随后提出了一种可以找到最佳解或对数因子近似值的算法。这是通过在我们的问题和最小击球设置问题之间建立联系来完成的。此外,我们提出了几种多项式启发式算法来解决问题的计算复杂性。尽管这些算法可能会偶然发现亚最佳解决方案,但我们的模拟表明它们在随机图上产生了小的遗憾。
translated by 谷歌翻译
图中最短的路径问题是理论和应用的基石。现有的工作是边缘重量访问时间,但通常会忽略边缘重量计算时间。在本文中,我们提出了一个加权有向图的广义框架,其中每个边缘的成本可以通过多个估计器动态估计,该估计器提供不同的成本范围和运行时间。这引发了几个通用的最短路径问题,可以优化路径成本的不同方面,同时需要保证成本不确定性,从而为建模现实问题提供了更好的基础。我们提供完整的,任何时间来解决这些问题,并提供解决方案质量的保证。
translated by 谷歌翻译
由于机器学习,统计和科学的应用,多边缘最佳运输(MOT)引起了极大的兴趣。但是,在大多数应用中,MOT的成功受到缺乏有效算法的严重限制。实际上,MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly(n,k)时间中可溶解的一般理论。我们开发了一个统一的算法框架,用于通过表征不同算法所需的“结构”来解决poly(n,k)时间中的MOT,这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先,它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly(n,k)时间中求解MOT所需的结构更严格。其次,我们的框架使得为给定的MOT问题开发poly(n,k)时间算法变得更加简单。特别是(大约)解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly(n,k)时间算法开发poly(n,k)时间算法来说明这种易用性:(1)图形结构; (2)设定优化结构; (3)低阶和稀疏结构。对于结构(1),我们恢复了Sindhorn具有poly(n,k)运行时的已知结果;此外,我们为计算精确且稀疏的解决方案提供了第一个poly(n,k)时间算法。对于结构(2) - (3),我们给出了第一个poly(n,k)时间算法,甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。
translated by 谷歌翻译
我们考虑从数据学习树结构ising模型的问题,使得使用模型计算的后续预测是准确的。具体而言,我们的目标是学习一个模型,使得小组变量$ S $的后海报$ p(x_i | x_s)$。自推出超过50年以来,有效计算最大似然树的Chow-Liu算法一直是学习树结构图形模型的基准算法。 [BK19]示出了关于以预测的局部总变化损耗的CHOW-LIU算法的样本复杂性的界限。虽然这些结果表明,即使在恢复真正的基础图中也可以学习有用的模型是不可能的,它们的绑定取决于相互作用的最大强度,因此不会达到信息理论的最佳选择。在本文中,我们介绍了一种新的算法,仔细结合了Chow-Liu算法的元素,以便在预测的损失下有效地和最佳地学习树ising模型。我们的算法对模型拼写和对抗损坏具有鲁棒性。相比之下,我们表明庆祝的Chow-Liu算法可以任意次优。
translated by 谷歌翻译
\ textit {约束路径发现}的经典问题是一个经过充分研究但充满挑战的主题,在各个领域,例如沟通和运输等各个领域的应用。权重限制了最短路径问题(WCSPP),作为仅具有一个侧面约束的约束路径查找的基本形式,旨在计划成本最佳路径,其权重/资源使用受到限制。鉴于问题的双标准性质(即处理路径的成本和权重),解决WCSPP的方法具有一些带有双目标搜索的共同属性。本文在约束路径查找和双目标搜索中利用了最新的基于A*的最新技术,并为WCSPP提供了两种精确的解决方案方法,两者都可以在非常大的图表上解决硬性问题实例。我们从经验上评估了算法在新的大型和现实的问题实例上的性能,并在时空指标中显示出它们比最新算法的优势。本文还调查了优先级队列在被a*的约束搜索中的重要性。我们通过对逼真的和随机图进行了广泛的实验来展示,基于桶的队列没有打破打盘的方式可以有效地改善详尽的双标准搜索的算法性能。
translated by 谷歌翻译
我们介绍了一种普遍的策略,可实现有效的多目标勘探。它依赖于adagoal,一种基于简单约束优化问题的新的目标选择方案,其自适应地针对目标状态,这既不是太困难也不是根据代理目前的知识达到的。我们展示了Adagoal如何用于解决学习$ \ epsilon $ -optimal的目标条件的政策,以便在$ L $ S_0 $ S_0 $奖励中获得的每一个目标状态,以便在$ S_0 $中获取。免费马尔可夫决策过程。在标准的表格外壳中,我们的算法需要$ \ tilde {o}(l ^ 3 s a \ epsilon ^ { - 2})$探索步骤,这几乎很少最佳。我们还容易在线性混合Markov决策过程中实例化Adagoal,其产生具有线性函数近似的第一目标导向的PAC保证。除了强大的理论保证之外,迈克纳队以现有方法的高级别算法结构为锚定,为目标条件的深度加固学习。
translated by 谷歌翻译