我们设计了一种算法,用于查找具有强大理论保证其性能的反事实算法。对于任何单调模型$ f:x^d \ to \ {0,1 \} $和instance $ x^\ star $,我们的算法make \ [{s(f))} \ cdot \ log d} \]查询到$ f $并返回{哪个$ f(x')\ ne f(x^\ star)$。这里$ s(f)$是$ f $的灵敏度,lipschitz常数的分散类似物,$ \ delta_f(x^\ star)$是从$ x^\ star $到其最近的反事实的距离。以前最著名的查询复杂性是$ d^{\,o(\ delta_f(x^\ star))} $,可以通过Brute-Force Local Search实现。我们进一步证明了$ s(f)^{\ omega(\ delta_f(x^\ star))} + \ omega(\ log d)$的下限我们的算法本质上是最佳的。
translated by 谷歌翻译
作者最近给出了$ n^{o(\ log \ log n)} $时间成员资格查询算法,用于在统一分布下正确学习决策树(Blanc等,2021)。此问题的先前最快算法以$ n^{o(\ log n)} $ time运行,这是Ehrenfeucht和Haussler(1989)的经典算法,这是无分配设置的经典算法。在本文中,我们强调了获得多项式时间算法的自然开放问题,讨论获得它的可能途径以及我们认为具有独立利益的状态中级里程碑。
translated by 谷歌翻译
使用增强的框架,我们证明所有基于杂质的决策树学习算法(包括经典的ID3,C4.5和CART)都具有很高的噪音耐受性。我们的保证在讨厌的噪声的最强噪声模型下保持,我们在允许的噪声速率上提供了近乎匹配的上和下限。我们进一步表明,这些算法简单,长期以来一直是日常机器学习的核心,在嘈杂的环境中享受可证明的保证,这些环境是由关于决策树学习的理论文献中现有算法无与伦比的。综上所述,我们的结果增加了一项持续的研究线,该研究旨在将这些实际决策树算法的经验成功放在牢固的理论基础上。
translated by 谷歌翻译
我们研究了算法收到I.I.D的统计问题中对抗噪声模型的基本问题。从分发$ \ mathcal {d} $绘制。这些对手的定义指定了允许的损坏类型(噪声模型)以及可以进行这些损坏(适应性);后者区别了唯一可以损坏分发$ \ mathcal {d} $和适应性对手的疏忽,这些对手可以损坏他们的腐败依赖于从$ \ mathcal {d} $绘制的特定样本$ s $。在这项工作中,我们调查了在文献中研究的所有噪声模型中是否有效地相当于自适应对手。具体而言,算法$ \ mathcal {a} $的行为可以在不受算法$ \ mathcal {a}'$的情况下始终受到适应性对手的存在的良好近似?我们的第一个结果表明,这确实是在所有合理的噪声模型下广泛的统计查询算法的情况。然后,我们显示在附加噪声的具体情况下,这种等价物适用于所有算法。最后,我们将所有算法和所有合理的噪声模型中的最丰富的一般性映射到最完整的普遍性的方法。
translated by 谷歌翻译
我们提供了$ n ^ {o(\ log \ log n)} $ - 时间成员资格查询算法,用于在统一分布下统一分发的统一分布\ {\ pm 1 \} ^ n $。即使在可实现的设置中,上一个最快的运行时也是$ n ^ {o(\ log n)} $,这是ehrenfeucht和haussler的经典算法的结果。我们的算法与学习决策树的实用启发式分享了相似性,我们增加了额外的想法,以避免已知的这些启发式措施。为了分析我们的算法,我们证明了决策树的新结构结果,增强了O'Donnell,Saks,Schramm和Servedio的定理。虽然OSS定理表明每个决策树都有一个有影响力的变量,但我们展示了每个决策树如何“修剪”,以便产生的树中的每个变量都是有影响力的。
translated by 谷歌翻译
由于其在许多有影响力的领域中的广泛应用,归因网络上的图形异常检测已成为普遍的研究主题。在现实情况下,属性网络中的节点和边缘通常显示出不同的异质性,即不同类型的节点的属性显示出大量的多样性,不同类型的关系表示多种含义。在这些网络中,异常在异质性的各个角度上的表现通常与大多数不同。但是,现有的图异常检测方法不能利用归因网络中的异质性,这与异常检测高度相关。鉴于这个问题,我们提出了前方的提议:基于编码器解码器框架的异质性无监督图异常检测方法。具体而言,对于编码器,我们设计了三个关注级别,即属性级别,节点类型级别和边缘级别的关注,以捕获网络结构的异质性,节点属性和单个节点的信息。在解码器中,我们利用结构,属性和节点类型重建项来获得每个节点的异常得分。广泛的实验表明,与无监督环境中的艺术品相比,在几个现实世界中的异质信息网络上,前方的优势。进一步的实验验证了我们三重注意力,模型骨干和解码器的有效性和鲁棒性。
translated by 谷歌翻译
知识图嵌入(KGE)旨在将实体和关系映射到低维空间,并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰,在这种挑战中,很难预测在知识图中频繁的实体。在这项工作中,我们提出了一个新颖的框架KRACL,以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先,我们建议知识关系网络(KRAT)通过同时将相邻的三元组投射到不同的潜在空间,并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性,并利用知识图中的多跳信息。其次,我们通过将对比度损失与跨熵损失相结合,提出知识对比损失,这引入了更多的负样本,从而丰富了对稀疏实体的反馈。我们的实验表明,KRACL在各种标准知识基准中取得了卓越的结果,尤其是在WN18RR和NELL-995上,具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。
translated by 谷歌翻译
大规模复杂动力系统的实时精确解决方案非常需要控制,优化,不确定性量化以及实践工程和科学应用中的决策。本文朝着这个方向做出了贡献,模型限制了切线流形学习(MCTANGENT)方法。 McTangent的核心是几种理想策略的协同作用:i)切线的学术学习,以利用神经网络速度和线条方法的准确性; ii)一种模型限制的方法,将神经网络切线与基础管理方程式进行编码; iii)促进长时间稳定性和准确性的顺序学习策略;和iv)数据随机方法,以隐式强制执行神经网络切线的平滑度及其对真相切线的可能性,以进一步提高麦克氏解决方案的稳定性和准确性。提供了半启发式和严格的论点,以分析和证明拟议的方法是合理的。提供了几个用于传输方程,粘性汉堡方程和Navier Stokes方程的数值结果,以研究和证明所提出的MCTANGENT学习方法的能力。
translated by 谷歌翻译
神经网络是通用函数近似器,尽管过度参数过多,但已知可以很好地概括。我们从神经网络的光谱偏置的角度研究了这种现象。我们的贡献是两个方面。首先,我们通过利用与有限元方法理论的联系来为Relu神经网络的光谱偏置提供理论解释。其次,基于该理论,我们预测将激活函数切换到分段线性B-Spline(即HAT函数)将消除这种频谱偏置,我们在各种设置中进行经验验证。我们的经验研究还表明,使用随机梯度下降和ADAM对具有HAT激活功能的神经网络进行了更快的训练。结合以前的工作表明,HAT激活功能还提高了图像分类任务的概括精度,这表明使用HAT激活在某些问题上具有重大优势。
translated by 谷歌翻译
推荐系统(RS)是一个重要的在线应用程序,每天都会影响数十亿个用户。主流RS排名框架由两个部分组成:多任务学习模型(MTL),该模型可预测各种用户反馈,即点击,喜欢,分享和多任务融合模型(MTF),该模型(MTF)结合了多任务就用户满意度而言,输出分为最终排名得分。关于融合模型的研究并不多,尽管它对最终建议作为排名的最后一个关键过程有很大的影响。为了优化长期用户满意度,而不是贪婪地获得即时回报,我们将MTF任务作为Markov决策过程(MDP),并在推荐会话中提出,并建议基于批处理加固学习(RL)基于多任务融合框架(BATCHRL-MTF)包括批处理RL框架和在线探索。前者利用批处理RL从固定的批处理数据离线学习最佳推荐政策,以达到长期用户满意度,而后者则探索了潜在的高价值动作在线,以突破本地最佳难题。通过对用户行为的全面调查,我们通过从用户粘性和用户活动性的两个方面的微妙启发式方法对用户满意度进行了建模。最后,我们对十亿个样本级别的现实数据集进行了广泛的实验,以显示模型的有效性。我们建议保守的离线政策估计器(保守 - 访问器)来测试我们的模型离线。此外,我们在真实推荐环境中进行在线实验,以比较不同模型的性能。作为成功在MTF任务中应用的少数批次RL研究之一,我们的模型也已部署在一个大规模的工业短视频平台上,为数亿用户提供服务。
translated by 谷歌翻译