基准数据集在评估自然语言理解(NLU)模型中起重要作用。但是,快捷方式(基准数据集中的不需要的偏差)可能会损害基准数据集在揭示模型的实际功能中的有效性。由于快捷方式在覆盖范围,生产率和语义含义上有所不同,因此NLU专家在创建基准数据集时系统地理解和避免它们是一项挑战。在本文中,我们开发了一个视觉分析系统,即短路,以帮助NLU专家探索NLU基准数据集中的快捷方式。该系统允许用户对快捷方式进行多层次探索。具体而言,统计信息视图可帮助用户掌握统计数据,例如基准数据集中快捷方式的覆盖范围和生产率。模板视图采用层次和可解释的模板来汇总不同类型的快捷方式。实例视图允许用户检查快捷方式涵盖的相应实例。我们进行案例研究和专家访谈,以评估系统的有效性和可用性。结果表明,饭店支持用户通过快捷方式更好地了解基准数据集问题,从而激发他们创建具有挑战性和相关的基准数据集。
translated by 谷歌翻译