可解释的人工智能(XAI)是提高机器学习(ML)管道透明度的有前途解决方案。我们将开发和利用XAI方法用于防御和进攻性网络安全任务的研究越来越多(但分散的)缩影。我们确定3个网络安全利益相关者,即模型用户,设计师和对手,将XAI用于ML管道中的5个不同目标,即1)启用XAI的决策支持,2)将XAI应用于安全任务,3)3)通过模型验证通过模型验证xai,4)解释验证和鲁棒性,以及5)对解释的进攻使用。我们进一步分类文献W.R.T.目标安全域。我们对文献的分析表明,许多XAI应用程序的设计都几乎没有了解如何将其集成到分析师工作流程中 - 仅在14%的情况下进行了解释评估的用户研究。文献也很少解开各种利益相关者的角色。特别是,在安全文献中将模型设计师的作用最小化。为此,我们提出了一个说明性用例,突显了模型设计师的作用。我们证明了XAI可以帮助模型验证和可能导致错误结论的案例。系统化和用例使我们能够挑战几个假设,并提出可以帮助塑造网络安全XAI未来的开放问题
translated by 谷歌翻译