超出经验的概括在开发实用AI系统方面具有重要作用。已经表明，目前的视觉问题回答（VQA）模型过度依赖于火车集中的语言 - 前沿（问题类型和最常见答案之间的虚假相关性），并在分配外构成性能差（ ood）测试集。这一行为限制了它们的概括性，并限制了他们在现实世界中使用的。本文表明，问题编码器中使用的序列模型架构在VQA模型的普遍性中具有重要作用。为了证明这一点，我们对各种现有的基于RNN和基于变压器的问号进行了详细的分析，以及我们提出了一种基于新的曲线图注意网络（GAT）的问题编码器。我们的研究发现，即使不使用任何额外的相对复杂的偏差方法，问题编码器中的序列模型也更好地选择了VQA模型的普遍性。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译