我们提出了一种自适应方法来构建贝叶斯推理的高斯过程,并使用昂贵的评估正演模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们通过最大化高斯过程模型与噪声观测数据拟合的预期改进来自适应地构建训练设计。对合成数据模型问题的数值实验证明了所获得的自适应设计与固定非自适应设计相比,在前向模型推断成本的精确后验估计方面的有效性。
translated by 谷歌翻译
我们提出了一种非常简单的,无监督的方法,用于成对匹配来自异构集合的文档。我们使用概念 - 项目匹配任务演示我们的方法,该任务是一个二进制分类任务,涉及来自异构集合的成对文档。尽管我们的方法仅使用标准资源而没有任何特定于域或任务的修改,但它明显优于原始作者的更复杂系统。此外,我们的方法是透明的,因为它提供了关于如何计算相似性得分和有效性的明确信息,因为它基于(可预先计算的)词级相似性的聚合。
translated by 谷歌翻译
Recently, several methods have been proposed to explain the predictions of recurrent neu-ral networks (RNNs), in particular of LSTMs. The goal of these methods is to understand the network's decisions by assigning to each input variable, e.g., a word, a relevance indicating to which extent it contributed to a particular prediction. In previous works, some of these methods were not yet compared to one another, or were evaluated only qualitatively. We close this gap by systematically and quantitatively comparing these methods in different settings, namely (1) a toy arithmetic task which we use as a sanity check, (2) a five-class sentiment prediction of movie reviews, and besides (3) we explore the usefulness of word relevances to build sentence-level representations. Lastly, using the method that performed best in our experiments, we show how specific linguistic phenomena such as the negation in sentiment analysis reflect in terms of relevance patterns, and how the relevance visualization can help to understand the misclassification of individual samples.
translated by 谷歌翻译
评估给定学习语句重要性的最新标准称为文字块距离(LBD)得分。它衡量给定学习条款中不同决策级别的数量。学习条款的LBD得分越低,其质量越好。已知LBD得分为2的学习条款称为胶条,具有较高的修剪能力,这些条款从现代CDCL SAT求解器的子句数据库中删除。在这项工作中,我们将胶合条款与决策变量联系起来。我们将至少在一个胶合条款中出现的变量称为当前搜索状态GlueVariables。我们首先通过实验证明,通过在2017年和2018年SAT竞赛的基准测试中运行最先进的CDCLSAT求解器MapleLCMDist,使用胶合变量的分支决策明显比nonglue变量更具推理性和冲突性。基于这一观察,我们开发了一种结构感知的CDCL变量碰撞方案,该方案基于其目前在搜索中学到的胶条中的外观计数来突破胶合变量的活动分数。 SATCompetition 2017和2018年主要赛道实例的新方法的实证评估显示有效性。
translated by 谷歌翻译
自主无人机比赛最近成为一个有趣的研究问题。梦想是在这项新的快节奏运动中击败人类。一种常见的方法是学习端到端策略,通过模仿专家来直接预测来自图像的控制。然而,这样的政策受限于它模仿和扩展到其他环境的专家,并且车辆动力学很难。克服端到端策略缺点的一种方法是仅在感知任务上构建网络并使用PID或MPC控制器处理控制。但是,必须对单个控制器进行广泛调整,并且通常不能覆盖整个状态空间。在本文中,我们建议使用融合多个控制器的DNN来学习优化控制器。该网络学习了一个具有在线轨迹滤波功能的鲁棒控制器,可以抑制噪声轨迹和各个控制器的缺陷。 Theresult是一个能够学习来自不同控制器的过滤轨迹的良好融合的网络,从而显着改善整体性能。我们将经过训练的网络与其从实际模拟中获得的控制器,端到端基线和人类飞行员进行比较;我们的网络在广泛的实验中击败所有基线并接近专业人员飞行员的表现。 https://youtu.be/hGKlE5X9Z5U上提供了总结此工作的视频
translated by 谷歌翻译
对抗攻击和防御的开发技术是建立可靠机器学习及其应用的重要研究领域。许多现有方法采用高斯随机变量来探索数据空间,以找到最具对抗性(攻击性)或最少对抗性(防御性)点。然而,当要求探索遵循大多数现实世界数据分布所展示的复杂结构时,高斯分布不一定是最佳选择。在本文中,我们研究了随机变量的统计数据如何影响这种随机的walkepploration。具体来说,我们概括了边界攻击,最先进的基于黑盒决策的攻击策略,并提出了L''evy-Attack,其中随机游走由对称的$ \ alpha $ -stablerandom变量驱动。我们对MNIST和CIFAR10数据集的实验表明,L \'evy-Attack可以更有效地探索图像数据空间,并显着提高性能。我们的结果还可以深入了解白盒攻击场景中最近发现的事实,即选择用于测量对抗模式幅度的标准是必不可少的。
translated by 谷歌翻译
根据域相关概念对深度神经网络预测的解释在医学应用中可能是有价值的,其中理由对于决策的信心是重要的。在这项工作中,我们提出了一种方法,可以在层的激活空间中利用连续概念测量作为回归概念向量(RCV)。沿着RCV的决策函数的方向导数表示网络对增加给定概念测量值的敏感性。当应用于乳腺癌分级时,核质地在乳腺淋巴结样本中的肿瘤检测中作为相关概念出现。我们通过统计分析评估得分稳健​​性和一致性。
translated by 谷歌翻译
在Wu等人的关于“使用变分自回归网络求解统计力学”的评论中,我们提出了一种微妙但强有力的修正方法。我们证明了他们的方法的固有抽样误差可以通过使用基于神经网络的MCMC或重要性抽样来校正,这导致了物理量的渐近无偏估计。由于VAN的奇异特性,这种修改是可能的,即它们提供精确的样本概率。通过这些修改,我们相信他们的方法可能对各种重要的物理领域产生更大的影响,包括强相互作用理论和统计物理学。
translated by 谷歌翻译
我们提出了一种神经网络压缩的通用框架,该框架由最小描述长度(MDL)原理驱动。为此,我们首先为神经网络的熵提供表达式,该表达式根据其位大小明确地测量其复杂性。然后,我们将神经网络压缩问题形式化为熵约束优化目标。该目标推广了文献中提出的许多压缩技术,因为修剪或减少网络权重元素的基数可以看出熵的特殊情况 - 最小化技术。此外,我们推导出目标的连续松弛,允许使用基于梯度的优化技术来最小化它。最后,weshow我们可以在不同的网络架构和数据集上达到最先进的压缩结果,例如:在类似vGG的架构上实现x71压缩增益。
translated by 谷歌翻译
前景和沉积盆地演化模型的复杂且计算上昂贵的特征对于有效推理和优化方法的开发提出了重大挑战。贝叶斯推断提供了用于自由模型参数的估计和不确定性量化的方法。在我们之前的工作中,并行回火贝叶斯兰德被开发为景观和盆地演化模拟软件巴兰兹的参数估计和不确定性量化的框架。并行回火Bayeslands具有高性能计算功能,可并行运行数十个处理内核,以提高计算效率。尽管使用了并行计算,但由于需要绘制数千个样本并进行评估,因此该过程仍具有计算挑战性。在大规模景观和盆地演化问题中,单个模型评估可能需要几分钟到几小时,在某些情况下甚至几天。代理辅助优化已成功应用于许多工程问题。这促使其在优化和参考方法中的应用适用于地质学和地球物理学中的复杂模型。通过开发计算上廉价的代理来模拟昂贵的模型,可以加速并行回火贝叶斯兰德。在本文中,我们提出了代理辅助平行回火的应用,其中代理模仿包括侵蚀,沉积物运输和沉积在内的景观演化模型,通过估计模型给出的似然函数。我们使用机器学习模型作为代理,从并行调温算法生成的样本中学习。结果表明,该方法在保持解决方案质量的同时显着降低整体计算成本。
translated by 谷歌翻译