知识图(KGs)模拟关于世界的事实,它们由通过边连接的节点(诸如公司和人的实体)组成(诸如founderOf之类的关系)。在KG中编码的事实经常被搜索引用用于扩充结果页面。当向用户呈现KG事实时,提供与该主要事实相关的其他事实可以丰富使用经验并支持探索性信息需求。 KG事实语境化是增加给定KG事实的任务,其中包括额外且有用的KG事实。由于幼稚园的规模很大,即使在给定事实的小邻域中发现其他相关事实也导致候选人数量巨大,因此任务具有挑战性。我们引入神经事实上下文化方法(NFCM)来解决KG事实上下文化任务。 NFCM首先在给定事实的邻域中生成一组候选事实,然后使用监督学习来对候选事实进行排名以对模型进行排名。 Theranking模型结合了我们自动从数据中学习的功能,并使用为此任务设计或调整的一组手工制作的功能来表示查询候选事实。为了获得训练学习大规模排名模型所需的注释,我们使用远程监督对大型实体标记文本语料库自动生成训练数据。我们表明,对这些数据学习的排名函数对于KG事实的语境化是有效的。使用人类评估员进行评估表明,其显着优于多个竞争基线。
translated by 谷歌翻译
本文从单个图像中解决了3D人体姿态和形状估计的问题。以前的方法考虑人体的参数模型,SMPL,并尝试回归模型参数,从而产生与图像证据一致的网格。该参数回归一直是一项非常具有挑战性的任务,基于模型的方法在姿势估计方面表现不佳,比较了吨参数解。在我们的工作中,我们建议放弃对模型参数空间的严重依赖。我们仍然保留SMPL模板网格的拓扑,但我们不是预测模型参数,而是直接回归网格顶点的3D位置。对于典型的网络来说,这是一项繁重的任务,但我们的主要观点是,使用Graph-CNN,回归变得非常容易。这种架构允许我们对网络中的模板网格结构进行明确编码,并使网格必须提供空间局部性。基于图像的特征附加到网格顶点,Graph-CNN负责在主题结构上处理它们,而每个顶点的回归目标是其3D位置。如果我们仍然需要非特定的,则恢复网格的完整3D几何模型参数化,这可以从转换位置可靠地回归。我们通过在网格顶点附加不同类型的特征来证明我们提出的基于图形的网格回归的灵活性和有效性。在所有情况下,我们都优于模型参数回归的可比基线,同时我们也在基于模型的姿态估计方法中实现了最先进的结果。
translated by 谷歌翻译
在这项工作中,我们描述了我们从成功使用强化学习(RL)中学到的实践经验教训,以改进微软虚拟代理的关键业务指标以获得客户支持。虽然我们目前的RL使用案例主要集中在依赖自然语言处理,排名和推荐系统技术的组件上,但我们相信我们的许多发现都是适用的。通过本文,我们强调了RLpractitioners在类似应用程序中可能遇到的某些问题,并为这些挑战提供了实用的解决方案。
translated by 谷歌翻译
鉴于已经在一组基类上训练的初始识别模型,这项工作的目标是开发一种用于少数学习的元模型。 Themeta模型作为输入给出了一些具有很少训练样例perclass的新类,必须将现有的识别模型适当地调整为一个新的模型,该模型能够以统一的方式对小说类和基类进行正确的分类。为了实现这个目标,它必须学会为这两类类型输出适当的分类权重向量。为了构建我们的元模型,我们使用了两个主要的创新:我们建议使用去噪自动编码网络(DAE)(在训练期间)将一组被高斯噪声破坏的分类权重作为输入,并学习重建目标 - 判别分类权重。在这种情况下,分类权重中的注入噪声起到使权重生成元模型正则化的作用。此外,为了捕获元模型的给定任务实例中不同类之间的共同依赖性,我们建议将DAE模型实现为图神经网络(GNN)。为了验证我们的方法的有效性,我们在基于ImageNet的少数基准测试中对其进行了广泛的评估,并且我们报告了超过priorapproaches的强大结果。我们论文的代码和模型将发布在:https://github.com/gidariss/wDAE_GNN_FewShot
translated by 谷歌翻译
在传统的分布式语义模型(DSM)中,多义词的多重意义被混合成单个向量空间表示。在这项工作中,我们提出了一个DSM,它根据不同的主题学习单词的多个分布表示。首先,针对每个主题训练单独的DSM,然后将每个基于主题的DSM与公共向量空间对齐。我们的无监督映射方法的动机是这样的假设,即在不同主题语义子空间中保留其相对距离的词构成了定义它们之间映射的鲁棒\ textit {语义锚}。对齐的跨主题表示实现了上下文单词相似性任务的最新结果。此外,对NLP下游任务的评估表明,多个基于主题的嵌入优于单原型模型。
translated by 谷歌翻译
机器学习(ML)广泛用于许多关键应用中的预测任务。最近,协作或联合学习是一种新的范例,使多方能够在其组合数据集上共同学习ML模型。然而,在大多数应用领域,例如医疗保健和安全分析,隐私风险限制实体单独学习他们拥有的敏感数据集上的本地模型。在这项工作中,我们提出了保护隐私的协作层次聚类的第一个形式研究,总体上具有可扩展的加密协议,允许双方在其组合的敏感数据集上主要计算联合聚类。首先,我们提供平衡准确性和隐私的正式定义,并提供可证明安全的协议以及单链路群集的优化版本。其次,我们探索了我们的协议与用于层次聚类的近似算法的集成,从而产生了可以有效扩展到非常大的数据集的协议。最后,我们提供了原型实现并通过实验评估了我们的方法在合成和真实数据集上的可行性和效率,并得到了令人鼓舞的结果。例如,对于一百万条记录和10个维度的数据集,我们优化的隐私保护近似协议需要35秒的前端到终端执行,只需896KB的通信,并达到97.09%的准确率。
translated by 谷歌翻译
我们提出了一种新的深度递归神经网络(RNN)架构的强相信号重构。我们的网络是通过展开近端梯度法的解决方案来设计的,该方法解决了l1-l1最小化问题。因此,我们的网络通过设计利用信号具有稀疏表示并且连续信号表示之间的差异也是稀疏的。我们在从压缩测量重构视频帧的任务中评估所提出的模型,并且表明它优于几种最先进的RNN模型。
translated by 谷歌翻译
我们建议在神经网络参数中强制对称以改进参数使用并使用专用卷积和矩阵乘法程序。由于对称性约束导致参数数量的显着减少,人们会预期精度会急剧下降。令人惊讶的是,我们表明情况并非如此,并且,根据网络化,对称性可能几乎没有负面影响关于网络准确性,特别是在深度过度参数化的网络中。我们提出了几种在递归和卷积神经网络中实现局部对称性的方法,并表明我们的对称参数化满足单隐层网络的通用逼近性质。我们在CIFAR,ImageNet和语言建模数据集上广泛评估这些参数,显示出使用对称性的显着优势。例如,具有通道对称性的ResNet-101在ImageNet上的参数减少了近25%,精度损失仅为0.2%。我们的实验代码可以通过以下网址获得://github.com/hushell/deep-symmetry
translated by 谷歌翻译
矩阵完成是信号处理和机器学习中的关键问题之一。近年来,基于深度学习的模型已经在矩阵完成中取得了最新的成果。然而,它们有两个缺点:(i)它们不能容易地扩展到行或列,不能进行培训; (ii)如果需要离散预测,其结果通常会降低。本文通过深度矩阵分解模型和通用方法来解决这两个缺点,以允许对分解模型和离散化算子进行联合训练。对真实电影评级数据集的实验显示了所提出的模型的功效。
translated by 谷歌翻译
从有限数量的观测中推断空气质量是监测和控制空气污染的重要任务。现有的推理方法通常使用由固定监测站收集的低空间分辨率数据,并使用其他类型的数据(例如气象和交通信息)推断空气污染物的浓度。在这项工作中,我们通过利用移动站收集的数据来关注街道空气质量推断。我们在此设置中将空气质量推断表示为基于图形的矩阵完成问题,并提出一种基于图形卷积自动编码器的新型变分模型。我们的模型有效地捕获了测量的时空相关性,并且不依赖于除街道网络拓扑之外的附加信息的可用性。通过移动台收集的面积空气质量数据集的实验表明,所提出的模型优于最先进的方法。
translated by 谷歌翻译