知识图已成为研究复杂多关系数据的重要模型。这导致了许多大规模但不完整的知识图的构建,这些知识图编码从各种资源中提取的信息。一种有效且可扩展的方法可以共同学习多个图并最终构建统一图,这是许多下游应用基于知识推理成功的关键下一步。为此,我们提出了LinkNBed,一个深入的关系学习框架,可以实现实体和关系多个图表中的表示。我们识别跨图的实体联系作为实现我们目标的重要组成部分。我们设计了一个利用实体联系并构建有效的多任务训练程序的新目标。关于链接预测和实体链接的实验证明了对最先进的关联学习方法的实质性改进。
translated by 谷歌翻译
Tensors or {\em multi-way arrays} are functions of three or more indices$(i,j,k,\cdots)$ -- similar to matrices (two-way arrays), which are functionsof two indices $(r,c)$ for (row,column). Tensors have a rich history,stretching over almost a century, and touching upon numerous disciplines; butthey have only recently become ubiquitous in signal and data analytics at theconfluence of signal processing, statistics, data mining and machine learning.This overview article aims to provide a good starting point for researchers andpractitioners interested in learning about and working with tensors. As such,it focuses on fundamentals and motivation (using various application examples),aiming to strike an appropriate balance of breadth {\em and depth} that willenable someone having taken first graduate courses in matrix algebra andprobability to get started doing research and/or developing tensor algorithmsand software. Some background in applied optimization is useful but notstrictly required. The material covered includes tensor rank and rankdecomposition; basic tensor factorization models and their relationships andproperties (including fairly good coverage of identifiability); broad coverageof algorithms ranging from alternating optimization to stochastic gradient;statistical performance analysis; and applications ranging from sourceseparation to collaborative filtering, mixture and topic modeling,classification, and multilinear subspace learning.
translated by 谷歌翻译
How do real graphs evolve over time? What are ``normal'' growth patterns insocial, technological, and information networks? Many studies have discoveredpatterns in static graphs, identifying properties in a single snapshot of alarge network, or in a very small number of snapshots; these include heavytails for in- and out-degree distributions, communities, small-world phenomena,and others. However, given the lack of information about network evolution overlong periods, it has been hard to convert these findings into statements abouttrends over time. Here we study a wide range of real graphs, and we observe some surprisingphenomena. First, most of these graphs densify over time, with the number ofedges growing super-linearly in the number of nodes. Second, the averagedistance between nodes often shrinks over time, in contrast to the conventionalwisdom that such distance parameters should increase slowly as a function ofthe number of nodes (like O(log n) or O(log(log n)). Existing graph generation models do not exhibit these types of behavior, evenat a qualitative level. We provide a new graph generator, based on a ``forestfire'' spreading process, that has a simple, intuitive justification, requiresvery few parameters (like the ``flammability'' of nodes), and produces graphsexhibiting the full range of properties observed both in prior work and in thepresent study. We also notice that the ``forest fire'' model exhibits a sharp transitionbetween sparse graphs and graphs that are densifying. Graphs with decreasingdistance between the nodes are generated around this transition point.
translated by 谷歌翻译
软件定义的超曲面(SDM)包括称为元原子的基本元素的密集拓扑,在智能面板技术中对表面电流施加最高程度的控制。因此,它们可以以复杂的方式改变电磁(EM)波,改变它们的方向,功率,频谱,极性和相位。定义明确的软件接口允许将这些功能应用于波形和互联网络SDM,同时抽象出基础物理。部署在区域内的对象(例如布局规划墙)上的SDM网络创建可编程无线环境(PWE),其中具有完全可定制的波传播。这项工作研究使用机器学习来配置这样的环境,以使用户受益。该方法包括将无线传播建模为定制的,可解释的,反向传播的神经网络,其中SDM元素作为节点并且它们的交叉作为链接。在训练期之后,网络学习SDM的传播基础并将其配置为便于其附近的用户的通信。
translated by 谷歌翻译
通常会遇到必须解决一系列相似计算问题的情况。在每个实例上运行具有最坏情况时间保证的标准算法将无法利用在问题实例中共享的有价值的结构。例如,当通勤驾驶从工作到家庭时,通常只有少数路线将是最短的路径。一个不利用这种共同结构的天真算法可能会花费大部分时间来检查永远不会在最短路径上的道路。更一般地说,我们经常可以忽略那些可能永远不会包含最优解的大片空间。我们提出了一种算法,该算法学习在重复计算时最大限度地修剪搜索空间,从而减少运行时间,同时以高概率可靠地输出每个周期的正确解。我们的算法使用类似于在线算法中使用的简单探索 - 利用技术,尽管我们的设置是完全不同的。我们证明,对于我们的修剪搜索空间模型,我们的方法是最优的,直到恒定因子。最后,我们说明了我们的模型和算法对三个经典问题的适用性:最短路径路由,字符串搜索和线性规划。目前的实验证实,我们的简单算法有效地显着减少了解决重复计算的运行时间。
translated by 谷歌翻译
自然语言推理(NLI)的任务被广泛建模为监督权利对分类。虽然最近在单一文本上生成关于分类器预测的解释已经有很多工作,但是没有尝试生成对句子对操作的分类器的解释。在本文中,我们展示了可以为NLI生成令牌级别的解释,而无需为此目的明确地注释训练数据。我们使用简单的LSTM架构,并为此任务评估LIME和Anchor解释。我们将这些与使用阈值注意力量级预测的多实例学习(MIL)方法进行比较。我们在本文中提出的方法是对NLI的句子对进行零镜头单句标记的novelextension。我们在经过充分研究的SNLI数据集上进行实验,该数据集最近通过手动注释令牌来解释相关关系。我们发现我们的基于MIL的白盒方法虽然更快,但是达不到与黑盒方法相同的精度。
translated by 谷歌翻译
由于单词嵌入是许多NLP任务中最受欢迎的输入,因此评估它们的质量至关重要。大多数研究工作都集中在英语单词嵌入上。本文讨论了构建和评估希腊语的这种模型的问题。我们创建了一个新的单词类比语料库,考虑到原始的英语Word2vec单词analogycorpus以及希腊语的一些特定的语言方面。此外,我们创建了一个希腊语版本的WordSim353语料库,用于对单词相似性进行基础评估。我们测试了七个单词矢量模型,并且ourevaluation表明我们能够创建有意义的表示。最后,我们发现希腊语和多义词的形态复杂性会影响所得到的单词嵌入的质量。
translated by 谷歌翻译
电子商务行业的不断发展使得产品检索问题变得尤为重要。随着越来越多的企业在网络上移动活动,产品相关信息的数量和多样性迅速增加。这些因素使得用户难以识别和比较他们期望的产品的特征。最近的研究证明,标准相似性度量不能有效地识别同类产品,因为类似的标题通常指的是不同的产品,反之亦然。其他研究使用外部数据源(搜索引擎)来丰富标题;这些解决方案相当不切实际,主要是因为外部数据获取速度很慢。在本文中,我们介绍了UPM,一种用于通过标题匹配产品的无监督算法。 UPM独立于任何外部来源,因为它分析标题并从中提取词组合。根据几个标准评估这些组合,并且它们中最合适的组合构成产品被分类的簇。 UPM也是无参数的,它避免了产品成对比较,并且包括一个后处理验证阶段,它修正了错误的匹配。芬欧汇川的实验评估证明,在效率和效率方面优于最先进的方法。
translated by 谷歌翻译
越来越多的最先进的转移学习方法采用了在大型通用语料库上预训练的语言模型。在本文中,我们提出了一种简单有效的转移学习方法,解决了灾难性遗忘的问题。具体而言,我们将任务特定优化功能与辅助语言模型目标相结合,辅助语言模型目标在培训过程中进行调整。这保留了语言模型所捕获的语言规律,同时能够充分适应目标任务。我们的方法不需要预先训练或微调网络的独立组件,我们只需一步即可对端模型化我们的模型。我们在各种具有挑战性的情感和文本分类任务中提供结果,超越完善的转移学习方法,具有更高的复杂性。
translated by 谷歌翻译
我们通过在基于模型的贝叶斯实施学习(BRL)在线规划的背景下提出一种新的元算法来解决有效探索的问题。我们击败了最先进的技术,同时保持计算速度更快,在某些情况下保持两个数量级。这是第一个免费的BRL算法,可以击败所有以前最先进的进球RL。主要的新颖之处在于使用候选策略生成器,在信念树中生成长期选项,这允许我们创建更稀疏和更深的树。我们在许多标准环境中提供结果,并在其中证明其性能。
translated by 谷歌翻译