我们提出了一种深度强化学习方法来优化静态编译器中计算图的执行成本。关键思想是将神经网络策略与遗传算法 - 偏差随机密钥遗传算法(BRKGA)相结合。在给定要优化的输入图的情况下,策略被训练以预测BRKGA中的采样突变和交叉的节点级概率分布。我们的方法“基于REINFORCE的遗传算法学习”(REGAL)使用该策略转移到新图表的能力,以显着提高遗传算法的解决方案质量,以获得相同的客观评估预算。作为一个具体的应用,我们通过联合优化设备布局和调度来显示TensorFlow图中最小化峰值记忆的结果。在以前看不见的图表上,REGAL的峰值内存平均比BRKGA低3.56%,优于我们比较的所有算法,并且比下一个最佳算法的改进大4.4倍。我们还对生产编译器团队的XLA图表性能基准进行了评估,并且比BRKGA平均降低了3.74%的峰值内存,再次超越了所有人。我们的方法和分析是通过收集372个独特的真实世界TensorFlow图表的数据集来实现的,这比以前的工作多了一个数量级。
translated by 谷歌翻译
从诸如Instagram帖子之类的多模态数据计算作者意图需要建模文本和图像之间的复杂关系。例如,一个标题可以讽刺地反映在图像上,因此标题和图像都不是另一个的转录本。相反,他们结合 - 通过所谓的乘法 - 来创造一种新的意义,与文本和图像的字面意义有更复杂的关系。在这里,我们介绍1299 Instagram帖子的多模态数据集,标记为三个正交分析:图​​像标题对背后的作者意图,图像和标题的字面意义之间的语境关系,以及图像和标题的表示意义之间的这些关系。构建一个基线深度多模式分类器来验证分类法,表明与仅使用图像模态相比,同时使用文本和图像可以将意图检测提高8%,从而证明了非交叉意义乘法的共性。我们的数据集为研究文本和图像配对带来的丰富意义提供了重要资源。
translated by 谷歌翻译
有效且实时的眨眼检测具有广泛的应用,例如欺骗检测,驾驶疲劳检测,面部反欺骗等。虽然已经付出了许多努力,但大多数都专注于寻找眨眼检测问题。受限制的室内条件与相对一致的主题和环境设置。然而,在实际应用中,对野外的眨眼检测更需要,并且面临更大的挑战。然而,据我们所知,此前尚未对此进行过充分研究。在本文中,我们阐明了这一研究主题。我们首先在673eyeblink视频样本(即381个阳性和292个阴性)的野生数据集(即HUST-LEBW)中标记了眨眼。这些样本是从无约束的电影中捕获的,具有人类属性,人体姿势,光照条件,成像配置等的戏剧性变化。然后,我们将眨眼检测任务制定为时空模式识别问题。在分别使用SeetaFace引擎和KCF跟踪器定位和跟踪人眼后,提出了能够捕获多尺度时间信息的经过修改的LSTM模型以执行眨眼验证。同时提出了一种同时显示外观和运动特征的特征提取方法.HUST-LEBW实验揭示了优势和效率。它还验证了现有的眨眼检测方法无法在野外实现令人满意的性能。
translated by 谷歌翻译
我们考虑一个领域专家的案例,他希望探索在文本集合中表达特定想法的程度。我们提出了语义匹配任务,将表达为自然语言命题的思想与语料库相对应。我们创建了两个来自现有数据集的初步任务,然后为我们从事用户研究的应急管理人员设计了一个更为现实的灾难恢复任务。在后者中,我们发现从自然语言蕴涵数据构建的新模型产生了比简单的单词矢量平均更高质量的匹配,无论是单一制作查询还是由主题本身产生的查询。这项工作为语义匹配的这类应用提供了概念验证,并阐述了关键挑战。
translated by 谷歌翻译
知识图(KGs)模拟关于世界的事实,它们由通过边连接的节点(诸如公司和人的实体)组成(诸如founderOf之类的关系)。在KG中编码的事实经常被搜索引用用于扩充结果页面。当向用户呈现KG事实时,提供与该主要事实相关的其他事实可以丰富使用经验并支持探索性信息需求。 KG事实语境化是增加给定KG事实的任务,其中包括额外且有用的KG事实。由于幼稚园的规模很大,即使在给定事实的小邻域中发现其他相关事实也导致候选人数量巨大,因此任务具有挑战性。我们引入神经事实上下文化方法(NFCM)来解决KG事实上下文化任务。 NFCM首先在给定事实的邻域中生成一组候选事实,然后使用监督学习来对候选事实进行排名以对模型进行排名。 Theranking模型结合了我们自动从数据中学习的功能,并使用为此任务设计或调整的一组手工制作的功能来表示查询候选事实。为了获得训练学习大规模排名模型所需的注释,我们使用远程监督对大型实体标记文本语料库自动生成训练数据。我们表明,对这些数据学习的排名函数对于KG事实的语境化是有效的。使用人类评估员进行评估表明,其显着优于多个竞争基线。
translated by 谷歌翻译
机器学习是量子计算的一个有前途的应用,但挑战仍然存在,因为近期设备将具有有限数量的物理量子位和高错误率。受经典语境中张量网络形式学习的有用性的启发,我们提出了对判别性和生成性学习的量子计算方法,其中基于树和矩阵产品状态张量网络的电路可以为近期设备带来好处。结果是一个统一的框架,其中经典和量子计算可以从相同的理论和算法开发中受益,并且可以经典地训练相同的模型,然后将其转移到量子设置以进行额外的优化。张量网络电路还提供量子比特效率方案,其中,取决于架构,物理量子比特所需的数量仅与输入或输出数据大小成对数或与输入或输出数据大小无关。我们通过数值实验证明了我们的建议,训练了一个判别模型,使用可以在量子硬件上执行的优化程序来执行手写识别,并测试训练模型的噪声弹性。
translated by 谷歌翻译
在过去十年中,已经提出了各种随机算法用于在大规模设置中计算近似最小二乘(LS)解。长期存在的实际问题是,对于任何给定的输入,用户很少知道近似解的实际误差(相对于精确解)。同样地,用户难​​以精确地知道需要多少计算来实现期望的误差。因此,用户经常诉诸最坏情况的错误界限,其仅提供定性指导。作为一种更实用的替代方案,我们提出了一种自举方法来计算随机LS算法的后验误差估计。这些估计允许用户在数字上评估给定解决方案的错误,并预测需要多少工作来改进“初步”解决方案。此外,我们提供了该方法的理论一致性结果,这是该背景中的第一个这样的结果(据我们所知)。从实际角度来看,该方法也具有相当大的灵活性,因为它可以应用于多种草图绘制算法,以及各种误差度量。此外,误差估计的额外步骤不会给基础分析算法增加太多成本。最后,我们用实证结果证明了该方法的有效性。
translated by 谷歌翻译
When randomized ensembles such as bagging or random forests are used for binary classification , the prediction error of the ensemble tends to decrease and stabilize as the number of classifiers increases. However, the precise relationship between prediction error and ensemble size is unknown in practice. In the standard case when classifiers are aggregated by majority vote, the present work offers a way to quantify this convergence in terms of "algorithmic variance," i.e. the variance of prediction error due only to the randomized training algorithm. Specifically, we study a theoretical upper bound on this variance, and show that it is sharp-in the sense that it is attained by a specific family of randomized classifiers. Next, we address the problem of estimating the unknown value of the bound, which leads to a unique twist on the classical problem of non-parametric density estimation. In particular, we develop an estimator for the bound and show that its MSE matches optimal non-parametric rates under certain conditions. (Concurrent with this work, some closely related results have also been considered in Cannings and Samworth [1] and Lopes [2].)
translated by 谷歌翻译
Multiple-instance problems arise from the situations where training class labels are attached to sets of samples (named bags), instead of individual samples within each bag (called instances). Most previous multiple-instance learning (MIL) algorithms are developed based on the assumption that a bag is positive if and only if at least one of its instances is positive. Although the assumption works well in a drug activity prediction problem, it is rather restrictive for other applications, especially those in the computer vision area. We propose a learning method, MILES (Multiple-Instance Learning via Embedded instance Selection), which converts the multiple-instance learning problem to a standard supervised learning problem that does not impose the assumption relating instance labels to bag labels. MILES maps each bag into a feature space defined by the instances in the training bags via an instance similarity measure. This feature mapping often provides a large number of redundant or irrelevant features. Hence 1-norm SVM is applied to select important features as well as construct classifiers simultaneously. We have performed extensive experiments. In comparison with other methods, MILES demonstrates competitive classification accuracy, high computation efficiency, and robustness to labeling uncertainty. Index Terms-Multiple-instance learning, feature subset selection , 1-norm support vector machine, image categorization, object recognition, drug activity prediction.
translated by 谷歌翻译