人们已经相当关注那些学会共同推断表达式的句法结构及其语义的模型。然而,\ citet {NangiaB18}最近表明,当前最好的系统无法容忍对从简单的无上下文语法生成的数学表达式的正确解析策略。在这项工作中,我们提出了一个由\ newcite {ChoiYL18}启发的递归模型,该模型在此任务上达到了接近完美的准确度。我们的模型由两个独立的模块组成,用于语法和语义。他们通过标准的连续和离散优化方案进行合作培训。我们的模型不需要任何语言结构来进行监督,其递归性质允许域外泛化,而性能损失很小。此外,我们的方法在几种自然语言任务上具有竞争力,例如自然语言推理或情感分析。
translated by 谷歌翻译
神经网络是非常强大的学习系统,但它们不容易从一个任务扩展到另一个任务。这部分是由于他们没有以组合方式学习,即通过发现不同任务共享的技能,并重新组合它们来解决新问题。在本文中,我们探讨了周期性神经网络(RNNs)的组成泛化能力。我们首先提出查找表组成域作为测试组成行为的简单设置,并且表明,当使用标准梯度下降训练并提供有条件监督时,标准RNN在理论上可以学习在该域中的组合行为。然后,我们删除了对大量模型初始化的额外监督和性能搜索,以研究仍然可以收敛到组合解决方案的RNN的比例。即使没有特殊的架构限制,也可以发现一小部分但不可忽略的RNN确实达到了部分组合解决方案。这表明梯度下降和进化策略的组合直接偏向于开发更多组合物的少数模型可能足以引导标准RNN朝向组合解决方案。
translated by 谷歌翻译
我们引入了LAMBADA,这是一个数据集,用于通过单词预测任务评估计算模型对文本理解的能力。 LAMBADA是对叙事段落的收集,这些段落分享了人类主体如果暴露于整个段落就能够猜出他们的最后一个字的特征,而不是如果他们只看到目标词之前的最后一句话。为了在LAMBADA上取得成功,计算模型不能简单地依赖于本地环境,而是必须能够在更广泛的话语中跟踪信息。我们表明,LAMBADA证明了广泛的语言现象,并且在这个基准测试基准上,几种最先进的语言模型都没有达到1%以上的准确度。因此,我们提出LAMBADA作为一个具有挑战性的测试集,旨在鼓励开发能够真正理解自然语言文本中的广泛背景的新模型。
translated by 谷歌翻译
图像经常用于植物表型分析以捕获测量值。本章提供了一种可重复的方法,可以使用各种相机样式(手机,数码单反相机)在现场或实验室环境中捕获植物部件的二维测量值,并添加印刷校准图案。方法基于使用来自图像的EXIF标签的信息校准相机,以及来自图案的视觉信息。提供Codeis以实现该方法,以及用于测试的数据集。我们包括通过对工件进行成像来验证协议正确性的步骤。使用该协议进行二维植物表型分析将允许从不同的相机和环境捕获数据,并在相同的物理尺度上进行比较。
translated by 谷歌翻译
最近的工作表明,LSTMs训练用于通用语言建模目标捕获语法敏感的概括,例如长距离数字协议。然而,我们没有机械的理解他们如何实现这一非凡的壮举。有些人猜测,这取决于启发式,而不是真正考虑层次结构。我们在这里详细研究单个神经元级别的LSTM中数字跟踪的内部机制。我们发现长途号码信息主要由两个“数字单位”管理。重要的是,这些单元的行为部分由其他单元控制,这些单元独立显示以跟踪句法结构。我们认为LSTM在某种程度上实现了真正的语法处理机制,为更加普遍地理解LSTM中的语法编码铺平了道路。
translated by 谷歌翻译
虽然神经网络模型已成功应用于需要大量泛化技能的领域,但最近的研究表明,在解决他们接受训练的任务时,他们需要推断其根本的构成结构。在本文中,我们介绍了AttentiveGuidance,这是一种将序列引导到序列模型的机制,该模型具有注意力,可以找到更多的组合解决方案。我们对两个任务进行了测试,精确地设计用于评估神经模型的组成能力,并且我们展示了香草序列对序列模型的关注过度拟合训练分布,而引导版本提出了几乎同样适合训练和测试分布的组合解决方案。此外,即使在训练和测试分布强烈偏离的情况下,学习的解决方案也会概括。通过这种方式,我们证明序列模型的序列能够找到组合解决方案,而不需要额外的组件。这些结果有助于解开因神经网络中缺乏系统组合性的原因,这反过来又可以推动未来的工作。
translated by 谷歌翻译
虽然最近已经投入大量精力来培训高质量的嵌入,但我们仍然对他们正在捕获的内容缺乏了解。通常基于句子分类的“下游”任务通常用于评估句子表示的质量。然而,任务的复杂性使得难以推断表示中存在何种类型的信息。我们在这里介绍10个旨在捕获句子简单语言特征的探测器,我们用它们来研究由八种不同编码器生成的嵌入,这些编码器以八种不同的方式训练,揭示了编码器和训练方法的有趣特性。
translated by 谷歌翻译