人们已经相当关注那些学会共同推断表达式的句法结构及其语义的模型。然而,\ citet {NangiaB18}最近表明,当前最好的系统无法容忍对从简单的无上下文语法生成的数学表达式的正确解析策略。在这项工作中,我们提出了一个由\ newcite {ChoiYL18}启发的递归模型,该模型在此任务上达到了接近完美的准确度。我们的模型由两个独立的模块组成,用于语法和语义。他们通过标准的连续和离散优化方案进行合作培训。我们的模型不需要任何语言结构来进行监督,其递归性质允许域外泛化,而性能损失很小。此外,我们的方法在几种自然语言任务上具有竞争力,例如自然语言推理或情感分析。
translated by 谷歌翻译
学习遵循人类指令是一项具有挑战性的任务,因为虽然解释指令需要发现任意算法,但人类典型地提供了很少的例子可供学习。为了从这个数据中学习,可能需要强大的归纳偏差。过去的工作依赖于手工编码的组件或手工设计的功能来提供这样的偏见。相反,在这里,我们试图确定神经网络系统是否可以通过两阶段训练程序自动获取这些知识:A(慢)离线学习阶段,网络了解任务的一般结构和(快速)在线适应阶段网络学习新演讲者的语言。受控实验表明,当网络暴露于熟悉的指令但包含新词时,该模型非常有效地适应新的词汇。此外,即使对于语言使用可能远离人工训练语言的人类说话者,我们的网络仍然可以利用其自动获得的归纳偏差来学习更有效地遵循指令。
translated by 谷歌翻译
神经网络是非常强大的学习系统,但它们不容易从一个任务扩展到另一个任务。这部分是由于他们没有以组合方式学习,即通过发现不同任务共享的技能,并重新组合它们来解决新问题。在本文中,我们探讨了周期性神经网络(RNNs)的组成泛化能力。我们首先提出查找表组成域作为测试组成行为的简单设置,并且表明,当使用标准梯度下降训练并提供有条件监督时,标准RNN在理论上可以学习在该域中的组合行为。然后,我们删除了对大量模型初始化的额外监督和性能搜索,以研究仍然可以收敛到组合解决方案的RNN的比例。即使没有特殊的架构限制,也可以发现一小部分但不可忽略的RNN确实达到了部分组合解决方案。这表明梯度下降和进化策略的组合直接偏向于开发更多组合物的少数模型可能足以引导标准RNN朝向组合解决方案。
translated by 谷歌翻译
我们引入了LAMBADA,这是一个数据集,用于通过单词预测任务评估计算模型对文本理解的能力。 LAMBADA是对叙事段落的收集,这些段落分享了人类主体如果暴露于整个段落就能够猜出他们的最后一个字的特征,而不是如果他们只看到目标词之前的最后一句话。为了在LAMBADA上取得成功,计算模型不能简单地依赖于本地环境,而是必须能够在更广泛的话语中跟踪信息。我们表明,LAMBADA证明了广泛的语言现象,并且在这个基准测试基准上,几种最先进的语言模型都没有达到1%以上的准确度。因此,我们提出LAMBADA作为一个具有挑战性的测试集,旨在鼓励开发能够真正理解自然语言文本中的广泛背景的新模型。
translated by 谷歌翻译
虽然神经网络模型已成功应用于需要大量泛化技能的领域,但最近的研究表明,在解决他们接受训练的任务时,他们需要推断其根本的构成结构。在本文中,我们介绍了AttentiveGuidance,这是一种将序列引导到序列模型的机制,该模型具有注意力,可以找到更多的组合解决方案。我们对两个任务进行了测试,精确地设计用于评估神经模型的组成能力,并且我们展示了香草序列对序列模型的关注过度拟合训练分布,而引导版本提出了几乎同样适合训练和测试分布的组合解决方案。此外,即使在训练和测试分布强烈偏离的情况下,学习的解决方案也会概括。通过这种方式,我们证明序列模型的序列能够找到组合解决方案,而不需要额外的组件。这些结果有助于解开因神经网络中缺乏系统组合性的原因,这反过来又可以推动未来的工作。
translated by 谷歌翻译
虽然最近已经投入大量精力来培训高质量的嵌入,但我们仍然对他们正在捕获的内容缺乏了解。通常基于句子分类的“下游”任务通常用于评估句子表示的质量。然而,任务的复杂性使得难以推断表示中存在何种类型的信息。我们在这里介绍10个旨在捕获句子简单语言特征的探测器,我们用它们来研究由八种不同编码器生成的嵌入,这些编码器以八种不同的方式训练,揭示了编码器和训练方法的有趣特性。
translated by 谷歌翻译