问答(QA)已成为人类获取众多知识库的流行方式。与网络搜索不同,基于知识库的质量保证会提供准确而简洁的结果,前提是自然语言问题可以被理解并精确映射到知识库上的结构化查询。然而,挑战在于人类可以用不同的方式提出一个问题。以前的方法由于其代表性而具有自然限制:基于规则的方法仅理解一小组“罐头”问题,而基于关键词或基于同义词的方法不能完全理解问题。在本文中,我们设计了一种新的问题表示:模板,超过十亿规模的知识库和百万级QA语料库。例如,对于一个城市人口的问题,我们会学习模板,比如什么是$ city的人口?,$ city中有多少人?我们为2782个意图学习了2700万个模板。基于这些模板,我们的QA系统KBQA有效地支持二元仿真问题,以及由一系列二元仿真问题组成的复杂问题。此外,我们扩展了RDF知识库中的谓词,将知识库的覆盖范围提高了57倍。我们的质量保证系统在有效性和效率方面的所有其他最先进的工作系统超过了QALD基准。
translated by 谷歌翻译
分层文本分类有许多实际应用。但是,标记大量文档的成本很高。在实践中,我们可以使用半监督学习或弱监督学习(例如,无数据分类)来降低标签成本。在本文中,我们提出了一种路径成本敏感的学习算法,以利用结构信息,并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量未标记的数据,并将路径约束引入学习算法,以合并类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径依赖性核心结合。由于我们将结构敏感成本置于学习算法中,以保证与类层次结构一致的分类,并且不需要重构不同结构的特征向量,因此与结构输出学习相比,我们可以显着降低计算成本。两个分层文本分类基准的实验结果表明,我们的方法不仅有效,而且有效地处理半监督和弱监督的分层文本分类。
translated by 谷歌翻译
最近,利用端到端卷积神经网络的发展,深度立体匹配网络在传统方法中取得了显着的性能。然而,最先进的立体方法仍然难以在无纹理区域,详细结构,小物体和近边界中找到正确的对应关系,这可以通过诸如边缘轮廓和相应约束的几何线索来减轻。为了提高这些挑战性区域中的视差估计质量,我们提出了一种有效的多任务学习网络EdgeStereo,它由视差估计子网和边缘检测子网组成,可以实现视差图和边缘图的端到端预测。 。为了有效地结合边缘线索,我们提出边缘感知平滑度损失和边缘特征嵌入用于任务间交互。结果表明,基于统一模型,边缘检测任务和立体匹配任务可以相互促进。此外,我们设计了一个名为residualpyramid的紧凑模块,以取代目前常用的立体匹配网络中常用的多级级联结构或基于3-D卷积的正则化模块。在论文提交时,EdgeStereo实现了这一状态。 FlyingThings3D数据集,KITTI 2012和KITTI 2015立体声标记的artperformance,优于其他已发布的立体声匹配方法,具有良好的优势。由于边缘线索的结合,EdgeStereo还具有更好的视差估计泛化能力。
translated by 谷歌翻译
我们研究了一族具有凸复合结构的(可能是非凸的)约束优化问题。通过对非光滑几何的新分析,我们证明应用于这类问题的精确拟合的近端型算法在水生生长条件下表现出局部线性收敛,这是我们考虑的组成结构。我们的结果的主要应用是使用Burer-Monteiro分解进行低等级半定量优化。我们通过这些半定问题中的结构精确地确定了因子分解问题中二次增长的条件,这对理解矩阵因子分解具有独立的意义。
translated by 谷歌翻译
基于抽样的算法(如RRT及其变体)是高维连续状态和动作空间中路径规划问题的强大工具。虽然这些算法对状态空间进行了系统探索,但它们并未充分利用类似环境中的过去规划经验。在本文中,我们设计了一种元路径规划算法,称为\ emph {NeuralExploration-Exploitation Trees}(NEXT),它可以利用过去的经验,以便在解决新的路径规划问题时减少样本需求。更具体地说,NEXT包含一种新颖的神经结构,可以从经验中学习任务结构和有希望的路径搜索方向之间的依赖关系。然后,这个学习的先验与UCB类型算法集成,以在解决新问题时实现\ emph {exploration}和\ emph {exploit}之间的在线平衡。根据经验,我们证明NEXTcan可以通过非常小的搜索树完成规划任务,并且在几个基准问题上显着优于以前的现有技术水平。
translated by 谷歌翻译
分布式异步离线培训近年来因其在大规模数据和复​​杂模型上的高性能而受到广泛关注。当数据从以云为中心的位置处理到边缘位置时,分布式系统的abig挑战是如何处理本机和自然非独立且相同分布(非IID)的数据以进行训练。以前的异步训练方法不具备令人满意的性能。 -IID数据,因为它会导致训练过程波动很大,导致异常收敛。我们提出了一种具有全局动量(GSGM)的梯度调度算法,用于非IID数据分布式异步训练。我们的主要想法是根据白名单安排计算节点所贡献的梯度,以便每个训练节点的更新频率保持均匀。此外,我们的新动量方法可以解决偏差梯度问题。 GSGM可以使模型有效地融合,并最终保持高可用性。实验结果表明,对于在相同实验条件下的非IID数据训练,GSGM在流行的优化算法上可以使训练稳定性提高20%,同时精确度在Fashion-Mnist和CIFAR-10数据集上得到提高。同时,由于CIFAR-100数据集上的分布式扩展导致数据分布稀疏,GSGM可以使训练稳定性提高37%。而且,当计算节点数为30时,只有GSGM可以很好地收敛。最先进的分布式异步算法。
translated by 谷歌翻译
核极端学习机(KELM)是一种新颖的前馈神经网络,广泛应用于分类问题。在某种程度上,它解决了无效节点存在的问题和ELM中的大计算复杂度。然而,传统的KELM分类器在面临多类分类问题时通常具有较低的测试精度。为了解决上述问题,本文提出了一种新的分类器墨西哥帽小波KELM分类器。所提出的分类器成功地提高了训练准确性并减少了多类分类问题中的训练时间。此外,墨西哥帽子小波作为ELM的核函数的有效性得到了严格的证明。不同数据集的实验结果表明,所提出的分类器的性能明显优于比较分类器。
translated by 谷歌翻译
在下一时刻预测2D LiDAR地图的机器人导航和路径规划是一个重要的问题。为了解决这个问题,我们采用相邻地图之间的动态流,因为运动流是处理和分析动态数据的有力工具,在视频处理中被称为光流。但是,与视频不同,每帧都包含丰富的视觉特征。 ,a2D LiDAR地图缺乏独特的地方特色。为了缓解这一挑战,我们建议基于深度神经网络来估计运动流,该神经网络受到强大的表示学习能力的影响,用于估计视频的光流。为此,我们设计了一个基于门控记录单元的递归神经网络,命名为LiDAR-FlowNet。作为时间动态信息的递归神经网络canencode,我们的LiDAR-FlowNet可以仅从当前帧和先前帧估计当前地图与未知下一地图之间的运动流。进一步设计了一种自我监督策略,有效地控制了LiDAR-FlowNet模型,而没有需要手动注释的训练数据。通过估计的运动流程,可以直接在下一刻预测2D LiDAR地图。实验结果验证了我们的LiDAR-FlowNet的有效性以及所提出的训练策略。预测的LiDAR图的结果也显示了我们基于运动流的方法的优点。
translated by 谷歌翻译
从不同平台获得的对相同对象的多组测量可以反映所研究系统的部分互补信息。对这些数据集的综合分析不仅为我们提供了更深入理解所研究系统的机会,而且还引入了一些新的统计挑战。首先,在所有或一些数据集中共同的信息分离以及特定于每个数据集的信息是有问题的。此外,这些数据集通常是定量和离散(二进制或类别)数据类型的混合,而常用的数据融合方法要求alldata集是定量的。在本文中,我们提出了一个指数族同时成分分析(ESCA)模型来解决多个数据集的潜在混合数据类型问题。此外,加载矩阵的结构化稀疏模式是通过几乎无偏的组凹入性来诱导的,以解开多个数据集的全局,局部公共和不同信息。基于Majorization-Minimization的算法被推导出所提出的模型。推导出解析解用于在每次迭代中更新模型的所有参数,并且算法将在每次迭代中单调地减少目标函数。对于模型选择,实施基于收益值的交叉验证程序。使用综合模拟以及来自慢性淋巴细胞白血病(CLL)研究的实际数据的分析来评估所提出的方法与其他方法相比的优点。
translated by 谷歌翻译
我们考虑使用随机梯度下降来学习两层神经网络。该学习动力学的平均场描述通过在$ R ^ D $中的概率分布空间的演化来近似网络权重的演化(其中$ D $是与每个神经元相关联的参数的数量)。这种演化可以通过部分微分方程来定义,或者等效地定义为概率分布的Wasserstein空间中的梯度流。早期的工作表明(在一些规律性假设下),一旦隐藏单位的数量远大于维度$ D $,平均字段描述就是准确的。在本文中,我们建立了更强大和更一般的近似保证。首先,我们表明隐藏单元的数量只需要大于依赖于数据规律性的数量,并且与维度无关。接下来,我们将此分析推广到无限激活函数的情况,这是早期边界未涵盖的。我们将结果扩展到噪声随机梯度下降。最后,我们证明了核岭回归可以作为平均场分析的特殊限制来恢复。
translated by 谷歌翻译