知识图用于表示关于条带的关系信息。为了能够学习域,可以使用嵌入模型(例如张量因子化模型)来预测新的三元组。 Oftenthere是背景分类信息(在子类和子属性方面),也应该考虑在内。我们表明,现有的表达(a.k.a。通用)模型不能证明子类和子属性信息。我们表明,对现有知识图完成方法的最小修改使得能够注入分类信息。此外,我们证明了我们的模型是完全表达的,假设嵌入的大小较低。公共知识图表的实验结果表明,尽管它简单,但我们的方法非常有效。
translated by 谷歌翻译
物质在重力影响下从微小的密度波动演变而来。非扰动结构在所有尺度上分层形成,并在宇宙中发展出非高斯特征,称为宇宙网。完全理解宇宙的结构形成是现代天体物理学的神圣之一。天体物理学家调查了大量的宇宙,并使用大量的计算机模拟集合来与观测数据进行比较,以便提取我们自己的宇宙的全部信息。然而,即使用最简单的物理学,在数十亿年内发展数万亿个星系也是一项艰巨的任务。我们建立了一个深度神经网络,即DeepDensity位移模型(以下为D $ 3 $ M),用简单的线性扰动理论预测宇宙的非线性结构形成。 Ourextensive分析表明D $ ^ 3 $ M优于二阶微扰理论(以下称为2LPT),这是常用的快速近似模拟方法,在逐点比较,2点相关和3点相关中。我们还表明,D $ ^ 3 $ M能够准确地推断远远超出其训练数据,并预测显着不同的宇宙学参数的结构形成。我们的研究首次证明,深度学习是近似模拟宇宙引力结构形成的实用而准确的替代方法。
translated by 谷歌翻译
我们提出了一种基于注意力的方法,该方法将局部图像特征聚合到主题级表示以预测疾病严重性。与需要固定维度输入的经典深度学习相比,我们的方法在一组图像补丁上运行;因此它可以容纳可变长度输入图像而无需调整图像大小。该模型学习临床解释的主题水平表示,反映疾病的严重程度。我们的模型由三个相互依赖的模块组成,这些模块相互调节:(1)一个辨别网络,它从局部特征中学习固定长度的表示,并将它们映射到疾病严重程度; (2)通过关注对预测任务贡献最大的解剖学区域来提供可解释性的注意机制; (3)生成网络可以促进当地潜在特征的多样性。生成的关键是注意力量是非退化的,同时保持局部区域与疾病严重程度的相关性。我们在慢性阻塞性肺病(COPD)的大规模肺CT研究中训练我们的模式到终点。我们的模型为预测COPD严重程度的临床指标提供了最先进的性能。注意力的分布提供了肺组织与临床测量的区域相关性。
translated by 谷歌翻译
我们使用深度学习来模拟两组或更多组对象之间的交互,例如用户电影评级,蛋白质药物绑定或三元用户 - 项目 - 标签交互。这种交互的规范表示是具有可交换性的矩阵(或更高维的张量):编码的含义不会通过置换行或列来改变。我们认为模型应该是置换等价(PE):限制在这些排列中进行相同的预测。我们提出了一个参数sharingscheme,并证明它不会在没有违反PE的情况下更具表现力。该方案产生三个好处。首先,我们在多个矩阵完成基准测试中展示了最先进的性能。其次,我们的模型需要许多独立于对象数量的参数,因此可以很好地扩展到大型数据集。第三,可以查询模型,在训练时没有可用的新对象,但是已经观察到了哪些交互。在实验中,我们的模型在该矩阵外推任务上实现了令人惊讶的良好的泛化性能,在域内(例如,新用户和从用于训练的相同分布中抽取的新电影)甚至跨域(例如,在电影训练之后预测音乐)。
translated by 谷歌翻译
我们研究了为\ emph {sets}定义的机器学习任务的模型设计问题。与在固定维向量上操作的传统方法相比,我们考虑在不同于排列的集合上定义的目标函数。这些问题很普遍,包括对人口统计数据的估计,以及堤坝的压力计数据中的异常检测\引用{Jung15Exploration},tocosmology \ cite {Ntampaka16Dynamical,Ravanbakhsh16ICML1}。我们的主要定理描述了置换不变函数,并提供了任何置换不变目标函数必须属于的族函数。这个函数族具有一种特殊的结构,使我们能够设计出可以在集合上运行且可以在各种上部署的陡峭网络体系结构。场景包括无监督和有监督的学习任务。我们还得出了深部模型中置换等变性的充分必要条件。我们证明了我们的方法在人口统计估计,点云分类,集合扩展和异常检测方面的适用性。
translated by 谷歌翻译
从给定集合中对项目子集的最佳选择是需要组合优化的难题。在本文中,我们提出了一种子集选择算法,该算法可以通过基于梯度的方法进行训练,但通过子模块优化可以实现近乎最佳的性能。我们专注于在FEVER任务的上下文中识别用于声明验证的相关句子集的任务。用于该任务的常规方法关注其个人价值的句子,因此不优化作为一组的句子的信息性。我们表明,我们提出的方法建立在将贪婪算法展开到计算图中的思想的基础上,允许可解释性和基于梯度的训练。所提出的可微差别网络(DGN)在精度和召回方面优于离散优化算法以及其他基线方法。
translated by 谷歌翻译
精确医学旨在通过使用最近的基因组规模的高通量分析技术(包括下一代测序(NGS))来个性化预后和治疗。然而,翻译NGS数据面临着一些挑战。首先,NGS计数数据经常过度分散,需要适当的建模。其次,与涉及的分子数量和系统复杂性相比,用于研究复杂疾病(例如癌症)的可用样品的数量通常是有限的,特别是考虑到疾病的异质性。关键问题是我们是否可以整合不同来源或领域的可用数据,以便根据NGS计数数据实现可重复的疾病预后。在本文中,我们开发了一个贝叶斯多域学习(BMDL)模型,该模型基于分层负二项式因子分解推导出分散的计数数据的域依赖性潜在表示,用于准确的癌症子类型,即使特定癌症类型的样本数量很少。来自癌症基因组图谱(TCGA)的模拟和NGS数据集的实验结果证明了BMDL在有效的多域学习中具有潜在的潜力,而在现有的多任务学习和转移学习方法中常常没有“负传递”效应。
translated by 谷歌翻译
口语技术的最新进展以及许多面向客户的产品的引入已经引起了广泛的客户对智能个人助理的日常任务的依赖。在本文中,我们通过扩展具有长期个人记忆的个人助理来提供减少用户认知负荷的系统,用户可以通过语音,任意信息来存储和检索。该问题被构造为基于神经检索的问答系统,其中从先前存储的用户存储器中选择答案。我们建议使用强化学习直接优化端点到端的检索性能,通过F1得分测量,从而在我们的实验测试集上获得更好的性能。
translated by 谷歌翻译
近年来,已经提出了几种体系结构来学习具体化的自我意识模型。在本文中,提出了动态增量自我感知(SA)模型,允许代理人完成的体验以分层方式建模,从更简单的情况开始,更加结构化。从私人认知数据的子集中学习每种情况作为能够预测正常行为和检测异常的模型。已经使用低维感应输入提出了分层SA模型。在这项工作中,通过交叉模态生成对抗网络(GAN)处理高维视觉数据引入分层模型。使用GAN判别器判决边界以自我监督的方式检测不同级别的GAN。介绍了半自动地面车辆的实验。
translated by 谷歌翻译