人们已经相当关注那些学会共同推断表达式的句法结构及其语义的模型。然而,\ citet {NangiaB18}最近表明,当前最好的系统无法容忍对从简单的无上下文语法生成的数学表达式的正确解析策略。在这项工作中,我们提出了一个由\ newcite {ChoiYL18}启发的递归模型,该模型在此任务上达到了接近完美的准确度。我们的模型由两个独立的模块组成,用于语法和语义。他们通过标准的连续和离散优化方案进行合作培训。我们的模型不需要任何语言结构来进行监督,其递归性质允许域外泛化,而性能损失很小。此外,我们的方法在几种自然语言任务上具有竞争力,例如自然语言推理或情感分析。
translated by 谷歌翻译
我们介绍了一种在低维空间中嵌入单词作为概率密度的方法。与在标准单词嵌入方法中整个文本集合中假定单词嵌入是固定的不同,在贝叶斯模型中,我们从给定单词的每次出现的单词特定的先验密度生成它。直觉上,对于每个单词,先前的密度编码其潜在“含义”的分布。这些先前的密度在概念上类似于高斯嵌入。有趣的是,与Gaussianembeddings不同,我们还可以获得特定于上下文的密度:它们根据其上下文编码关于单词意义的不确定性,并对应于我们模型中的后验分布。依赖于上下文的密度具有很多潜在的应用:例如,我们证明它们可以直接用于词汇替换任务。我们描述了一种基于变分自动编码框架的有效估计方法。我们还证明了我们的嵌入在标准基准测试中获得了有竞争力的结果。
translated by 谷歌翻译