人工神经网络在非常不同的应用案例中取得了令人瞩目的成功选择合适的网络架构是网络成功的关键决策,通常以手动方式完成。作为一种简单的策略,选择大型,大部分完全连接的架构,从而依靠良好的优化策略来找到适当的权重,同时避免过度拟合。但是,最终网络的大部分都是多余的。在最好的情况下,网络的大部分变得与以后的推理无关。在最坏的情况下,高度参数化的体系结构阻碍了适当的优化,并允许简单地创建欺骗网络的异常示例。去除相关架构部分的第一步在于识别那些需要测量诸如神经元之类的各个组件的贡献的部分。在以前的工作中,基于使用神经元的权重分布作为贡献度量的启发式方法已经取得了一些成功,但没有提供理论上的理解。因此,在我们的工作中,我们研究游戏理论对策,即Shapley值(SV),以便分离人工神经网络的相关部分。我们首先设计一个用于人工神经网络的附加游戏,其中神经元形成了联盟,神经元对联盟的平均贡献产生了Shapley值。为了衡量Shapley值如何衡量单个神经元的贡献,我们删除低贡献神经元并测量其对网络性能的影响。在我们的实验中,我们表明Shapley值优于其他启发式测量神经元的贡献。
translated by 谷歌翻译
例如在生物医学领域中的真实世界语义或基于知识的系统可能变得庞大且复杂。因此,对这些系统的知识库中的故障的定位和修复的工具支持对于它们的实际成功是必不可少的。相应地,近年来提出了许多知识库调试方法,特别是对于基于本体的系统。基于查询的调试是一种相对较新的交互式方法,通过向知识工程师提出一系列问题来定位观察到的问题的真正原因。存在这种方法的具体实现,例如用于本体编辑器的OntoDebug插件,例如,e。为了验证新提出的方法优于现有方法,研究人员通常依赖基于模拟的比较。然而,这样的评估方法具有某些限制,并且通常不能完全告知我们方法的真实用途。因此,我们进行了不同的用户研究,以评估基于查询的本体调试的实用价值。这些研究的一个主要见解是,所考虑的交互式方法确实比基于测试用例的替代算法调试更有效。 Wealso观察到用户经常在此过程中出错,这突出了仔细设计用户需要查询的查询的重要性。
translated by 谷歌翻译
源代码审查是手动的,耗时且昂贵的。 Humaninvolvement应该专注于分析程序的最相关方面,例如逻辑和可维护性,而不是修改样式,语法或格式化缺陷。一些具有linting功能的工具可以自动格式化代码并报告支持的编程语言的各种样式违规。它们基于领域专家编写的规则,因此,它们的配置通常很乏味,并且对于给定的一组规则来说,覆盖所有可能的极端情况是不切实际的。一些基于机器学习的解决方案,但它们仍然是无法解释的黑盒子。本文介绍了STYLE-ANALYZER,这是一种新的开源工具,可以使用决策树林模型自动修复代码格式化,该模型适用于每个代码库,完全不受监督。 STYLE-ANALYZER建立在我们新颖的辅助代码审查框架Lookout之上。它准确地挖掘了每个分析的Git存储库的格式化风格,并用紧凑的人类可读规则表达了找到的格式模式。然后,STYLE-ANALYZER可以以代码审查注释的形式建议样式不一致性修复。我们评估了STYLE-ANALYZER的输出质量和实际相关性,证明它可以高精度地生成原始样式,在19个流行的Java程序项目上测量,并且通过显示它在修复真实样式错误方面产生了有希望的结果。 STYLE-ANALYZER包含一个Web应用程序,用于可视化规则的触发方式。我们在GitHub上发布STYLE-ANALYZER作为可重复使用和可扩展的开源软件包,以造福社区。
translated by 谷歌翻译
电动汽车(EV)共享系统最近在全球范围内经历了前所未有的增长。在快速扩张期间,成功的一个基本决定因素是当整个系统不断发展时,能够动态预测站点的需求。这种动态需求预测问题存在几个挑战。首先,与预测只需要静态系统或在几个扩展阶段的大多数现有工作不同,在现实世界中,我们经常需要在站点部署或关闭之前预测需求,以便为决策提供信息和支持。其次,对于要部署的台站,没有可用于帮助预测其需求的历史记录或额外的移动数据。最后,部署/关闭站到系统中其余站的影响可能非常复杂。为了解决这些挑战,本文提出了一种基于图序列学习的新型动态需求预测方法,能够对系统扩展过程中的动态进行建模,并相应地预测需求。我们使用局部temporalencoding过程来处理个人站点的可用历史数据,并使用动态空间编码过程来考虑图表卷积神经网络之间的相关性。编码特征被馈送到多尺度预测网络,该网络预测电台的长期预期需求及其在近期的即时需求。我们对从上海的主要EV共享平台收集的实际数据进行了为期一年的评估。实验结果证明我们的方法明显优于现有技术,在预测快速扩展的EV共享系统的需求方面表现出高达三倍的性能提升。
translated by 谷歌翻译
众所周知,许多优化方法,包括用于过度参数化模型的SGD,SAGA和加速SGD,在平行设置中不能线性缩放。在本文中,我们提出了一个新版本的块coordinatedescent,它解决了许多方法的问题。核心思想是在每个并行单元上对坐标块进行采样,而不依赖于其他单元。令人惊讶的是,我们证明每次迭代中每个$ n $单位要更新的最佳块数等于$ m / n $,其中$ m $是总块数。作为一个例子,这意味着当使用$ n = 100 $并行单位时,$ 99 \%$的工作是浪费时间。我们证明,每个单元使用$ m / n $块,迭代复杂度通常仍然相同。在我们提到的其他应用程序中,这个事实可以在分布式优化的设置中被利用以打破通信瓶颈。我们的声明通过数值实验证明是合理的,这些实验证明了与我们在许多数据集上的理论几乎完全匹配。
translated by 谷歌翻译
训练非常大的机器学习模型需要分布式计算方法,模型更新的通信通常是瓶颈。出于这个原因,最近提出了几种基于更新的压缩(例如,稀疏化和/或量化)的方法,包括QSGD( Alistarh等,2017),TernGrad(Wen等,2017),SignSGD(Bernstein等,2018),和DQGD(Khirirat等,2018)。然而,这些方法都不能学习梯度,这意味着它们必然会遇到几个问题,例如在分批模式下无法收敛到真正的最佳状态,无法使用非光滑的正则化器,以及慢收敛速率。在这项工作中,我们提出了一种新的分布式学习方法--- DIANA ---通过压缩梯度差异来解决这些问题。我们在强凸和非凸面设置中进行理论分析,并表明我们的比率远远优于现有率。我们对块量化的分析以及$ \ ell_2 $和$ \ ell_ \ infty $量化之间的差异弥补了理论和实践中的差距。最后,通过将我们的分析技术应用于TernGrad,我们为此方法建立了第一个收敛。
translated by 谷歌翻译
MAPF是为多个代理找到路径的问题,使得每个代理达到其目标并且代理不会发生冲突。 MAPF上的大多数先前工作都在网格上,假设所有操作都相同,代理没有卷,并且考虑了离散时间步。在这项工作中,我们提出了一种MAPF算法,它不假设任何这些假设,是完整的,并提供可证明的最佳解决方案。该算法基于SIPP,连续时间单一代理规划算法和CBS(一种现有的多代理寻路算法)的新颖组合。我们分析这个算法,讨论它的利弊,并在几个标准基准上进行实验评估。
translated by 谷歌翻译
考虑一个Euclidean $ k $ -means或$ k $ -medians聚类的实例。通过投影到随机$ O(\ log(k / \ varepsilon)/ \ varepsilon ^ 2)$ - 维子空间,确定最优解的成本保持高达$(1+ \ varepsilon)$ 。此外,每个聚类的成本都保存在$(1+ \ varepsilon)$内。更一般地,我们的结果适用于满足温和的亚高斯尾条件的任何维度缩减图。我们在维度上的界限几乎是最优的。此外,我们的结果适用于Euclidean $ k $ -clustering,其距离提高到任何$ p $的$ p $ -th幂。对于$ k $ -means,我们的结果解决了Cohen,Elder,Musco,Musco和Persu提出的公开问题(STOC 2015);对于$ k $ -medians,它回答了Kannan提出的问题。
translated by 谷歌翻译
找到特殊形状的2D路径的问题,例如,本文考虑了由具有任意两个连续段之间的角度不超过预定阈值的特性的linesegments组成的路径。这个问题比任何形状的最短路径都要求的更难解决,因为刨床的搜索空间是因为需要考虑对应于相同位置的多个搜索节点,所以要大得多。减少搜索工作量的一种方法是固定路径段的长度并使违反强加约束的节点占优势。这导致不完整性和性能对所选参数值的敏感性。在这项工作中,我们引入了一种新技术,通过自动调整路径的快速分段长度来降低这种灵敏度,例如:在搜索过程中。将这种技术嵌入到基于知识网格的角度约束路径寻找算法 - LIAN中,可以显着提高规划者的有效性,例如:成功率,同时保持效率,例如运行时,合理级别的开销。实验评估表明,与前一代产品相比,具有所建议增强功能的LIAN(称为eLIAN)可以解决多达20%的任务。同时,eLIAN的解决方案质量几乎与LIAN的解决方案质量相同。
translated by 谷歌翻译
Graphlet被定义为k节点连接的诱导子图模式。对于无向图,3节点图基包括近三角形和开三角形。当k = 4时,有六种类型的图形,例如,有尾三角形和两个可能的4节点图形。每个graphlet的数量,称为graphletcount,是一个签名,表征agiven图的本地网络结构。 Graphlet计数在许多领域的网络分析中起着重要作用,最着名的是生物信息学和社会科学。然而,计算精确的图谱计数本质上是困难的并且计算成本昂贵,因为随着图形大小和/或图形尺寸k的增长,图形图形的数量呈指数增长。为了解决这一困难,提出了许多采样方法来估计有界误差的图谱计数。然而,这些方法需要大量样本在统计上可靠,这仍然是计算上的要求。此外,即使新图表与先前研究的图表完全相同,他们也必须重复费力的计数程序。直观地,从历史图表中学习可以使估计更准确并避免许多重复计数以降低计算成本。基于此,我们提出了卷积神经网络(CNN)框架和双重处理技术来估计图基元数量。对两种类型的随机图和现实世界生物化学图进行了大量实验,结果表明,我们的框架可以高精度地估算新图的图形数量。
translated by 谷歌翻译