同态加密的目标是加密数据,使得另一方可以对其进行操作而不明确地暴露于原始数据的内容。我们引入了一个关于自然语言数据的隐私保护转换的想法,受到同态加密的启发。我们的主要工具是{\ em obfuscation},依赖于自然语言的属性。具体而言,使用旨在保留原始句子的语法关系的神经模型对给定文本进行模糊处理,以便可以解析混淆句子而不是原始句子。该模型适用于wordlevel,并通过将每个单词更改为具有类似语法角色的新单词来学习分别对每个单词进行模糊处理。与强随机基线相比,我们的模型加密的文本可以在三个语法分析器(两个依赖和一个辅助解析器)上获得更好的性能。与原始单词相比,取代单词具有相似的句法属性,但具有不同的语义含义。
translated by 谷歌翻译
人们已经相当关注那些学会共同推断表达式的句法结构及其语义的模型。然而,\ citet {NangiaB18}最近表明,当前最好的系统无法容忍对从简单的无上下文语法生成的数学表达式的正确解析策略。在这项工作中,我们提出了一个由\ newcite {ChoiYL18}启发的递归模型,该模型在此任务上达到了接近完美的准确度。我们的模型由两个独立的模块组成,用于语法和语义。他们通过标准的连续和离散优化方案进行合作培训。我们的模型不需要任何语言结构来进行监督,其递归性质允许域外泛化,而性能损失很小。此外,我们的方法在几种自然语言任务上具有竞争力,例如自然语言推理或情感分析。
translated by 谷歌翻译
我们介绍了一种在低维空间中嵌入单词作为概率密度的方法。与在标准单词嵌入方法中整个文本集合中假定单词嵌入是固定的不同,在贝叶斯模型中,我们从给定单词的每次出现的单词特定的先验密度生成它。直觉上,对于每个单词,先前的密度编码其潜在“含义”的分布。这些先前的密度在概念上类似于高斯嵌入。有趣的是,与Gaussianembeddings不同,我们还可以获得特定于上下文的密度:它们根据其上下文编码关于单词意义的不确定性,并对应于我们模型中的后验分布。依赖于上下文的密度具有很多潜在的应用:例如,我们证明它们可以直接用于词汇替换任务。我们描述了一种基于变分自动编码框架的有效估计方法。我们还证明了我们的嵌入在标准基准测试中获得了有竞争力的结果。
translated by 谷歌翻译