可说明的机器学习(ML)近年来由于许多部门的ML基系统的增加而增加了近年来。算法refurrses(ARS)提供“如果输入数据点为x'而不是x的形式的反馈,那么基于ML的系统的输出将是Y'而不是Y.”由于其可行的反馈,对现有的法律框架和忠诚于底层ML模型,ARS由于其可行的反馈而具有吸引力。然而,当前的AR方法是单次拍摄 - 也就是说,它们假设X可以在单个时间段内更改为X'。我们提出了一种新的基于随机控制的方法,它产生序贯ARS,即允许X随机X移动到最终状态X'的ARS。我们的方法是模型不可知论和黑匣子。此外,ARS的计算被摊销,使得一旦训练,它适用于多个DataPoints,而无需重新优化。除了这些主要特征之外,我们的方法还承认可选的Desiderata,例如遵守数据歧管,尊重因果关系和稀疏性 - 通过过去的研究确定的ARS的理想性质。我们使用三个现实世界数据集评估我们的方法,并表现出尊重其他追索者的顺序ARS的成功生成。
translated by 谷歌翻译
Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.
translated by 谷歌翻译
反事实示例(CFS)是将事后解释附加到机器学习(ML)模型的最流行方法之一。但是,现有的CF生成方法要么利用特定模型的内部或取决于每个样本的邻域,因此很难对复杂模型进行推广,并且对于大型数据集而言效率低下。这项工作旨在克服这些局限性并引入放松身心,这是一种模型不足的算法,旨在生成最佳的反事实解释。具体而言,我们制定了将CFS作为顺序决策任务的问题,然后通过深入加固学习(DRL)使用离散连续的混合动作空间找到最佳CFS。在几个表格数据集上进行的广泛实验表明,放松胜过现有的CF生成基线,因为它会产生更稀疏的反事实,更可扩展到复杂的目标模型以解释,并且可以概括地分类和回归任务。最后,为了证明我们方法在现实世界中的用例中的有用性,我们利用了Rase产生的CFS来建议一个国家应采取的行动,以减少COVID-19引起的死亡风险。有趣的是,我们的方法推荐的行动与许多国家实际实施的策略相对应,以对抗COVID-19-19的大流行。
translated by 谷歌翻译
可解释的机器学习旨在了解复杂的黑盒系统的推理过程,这些系统因缺乏解释性而臭名昭著。一种不断增长的解释方法是通过反事实解释,这超出了为什么系统做出一定决定,以进一步提供有关用户可以采取哪些方法来改变结果的建议。反事实示例必须能够应对黑框分类器的原始预测,同时还满足实用应用程序的各种约束。这些限制存在于一个和另一个之间的权衡处,对现有作品提出了根本的挑战。为此,我们提出了一个基于随机学习的框架,可以有效地平衡反事实权衡。该框架由具有互补角色的一代和特征选择模块组成:前者的目标是建模有效的反事实的分布,而后者则以允许可区分训练和摊销优化的方式执行其他约束。我们证明了我们方法在产生可行和合理的反事实中的有效性,这些反事实比现有方法更多样化,尤其是比具有相同能力的对应物更有效的方式。
translated by 谷歌翻译
Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.
translated by 谷歌翻译
这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响:决策树(完全透明,可解释的,白色盒子模型),随机森林(一种半解释,灰色盒模型)和神经网络(完全不透明的黑盒模型)。我们在五个不同数据集(Compas,成人,德国,德语,糖尿病和乳腺癌)中使用四种算法(DICE,WatchERCF,原型和GrowingSpheresCF)测试了反事实生成过程。我们的发现表明:(1)不同的机器学习模型对反事实解释的产生没有影响; (2)基于接近性损失函数的唯一算法是不可行的,不会提供有意义的解释; (3)在不保证反事实生成过程中的合理性的情况下,人们无法获得有意义的评估结果。如果对当前的最新指标进行评估,则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论; (4)强烈建议对定性分析(以及定量分析),以确保对反事实解释和偏见的潜在识别进行强有力的分析。
translated by 谷歌翻译
可解释的人工智能(XAI)是一系列技术,可以理解人工智能(AI)系统的技术和非技术方面。 Xai至关重要,帮助满足\ emph {可信赖}人工智能的日益重要的需求,其特点是人类自主,防止危害,透明,问责制等的基本特征,反事实解释旨在提供最终用户需要更改的一组特征(及其对应的值)以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性,特别是他们缺乏考虑这些行为的因果影响。在本文中,我们将反事实解释作为潜在空间(CEILS)的干预措施,一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释,并且同时提供可行的建议,以便到达所提出的配置文件。此外,我们的方法具有以下优点,即它可以设置在现有的反事实发生器算法之上,从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性(包括金融领域的专有数据集)。
translated by 谷歌翻译
强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑,因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而,RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外,许多建模决策,例如定义状态和动作空间,批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因,RL框架的自动化不同组成部分具有重要意义,近年来它引起了很多关注。自动RL提供了一个框架,其中RL的不同组件包括MDP建模,算法选择和超参数优化是自动建模和定义的。在本文中,我们探讨了可以在自动化RL中使用的文献和目前的工作。此外,我们讨论了Autorl中的挑战,打开问题和研究方向。
translated by 谷歌翻译
识别受机器学习模型决策影响的人算法追索的问题最近受到了很多关注。一些最近的作品模型用户产生的成本,直接与用户满意相关联。但他们假设在所有用户共享的单一全局成本函数。当用户对其对其愿意行动的愿意和与改变该功能相关的不同成本具有相似的偏好时,这是一个不切实际的假设。在这项工作中,我们正式化了用户特定成本函数的概念,并引入了一种用于用户识别可操作的辅助的新方法。默认情况下,我们假设用户的成本函数是从追索方法隐藏的,尽管我们的框架允许用户部分或完全指定其偏好或成本函数。我们提出了一个客观函数,预期的最低成本(EMC),基于两个关键的想法:(1)在向用户呈现一组选项时,用户可以采用至少一个低成本解决方案至关重要; (2)当我们不了解用户的真实成本函数时,我们可以通过首先采样合理的成本函数来满足用户满意度,然后找到一个达到用户在期望中的良好成本的集合。我们以新颖的离散优化算法优化EMC,成本优化的本地搜索(COL),保证可以在迭代中提高追索性质量​​。具有模拟用户成本的流行实际数据集的实验评估表明,与强基线方法相比,我们的方法多达25.89个百分点。使用标准公平度量,我们还表明,我们的方法可以在人口统计组中提供比较可比方法的更公平的解决方案,我们验证了我们的方法是否稳健地击败成本函数分布。
translated by 谷歌翻译
我们开发了增强学习(RL)框架,用于通过稀疏,用户解释的更改来改善现有行为策略。我们的目标是在获得尽可能多的收益的同时进行最小的改变。我们将最小的变化定义为在原始政策和拟议的政策之间具有稀疏的全球对比解释。我们改善了当前的政策,以使全球对比解释的简短限制。我们使用离散的MDP和连续的2D导航域来演示我们的框架。
translated by 谷歌翻译
反事实解释体现了许多可解释性技术之一,这些技术受到机器学习社区的关注。它们使模型预测更明智的潜力被认为是无价的。为了增加其在实践中的采用,应在文献中提出反事实解释的一些标准。我们提出了使用约束学习(CE-OCL)优化的反事实解释,这是一种通用而灵活的方法,可满足所有这些标准,并为进一步扩展提供了空间。具体而言,我们讨论如何利用约束学习框架的优化来生成反事实解释,以及该框架的组件如何容易地映射到标准。我们还提出了两种新颖的建模方法来解决数据的近距离和多样性,这是实践反事实解释的两个关键标准。我们在几个数据集上测试CE-OCL,并在案例研究中介绍我们的结果。与当前的最新方法相比,CE-OCL可以提高灵活性,并且在相关工作中提出的几个评估指标方面具有卓越的性能。
translated by 谷歌翻译
Reinforcement Learning (RL) is a popular machine learning paradigm where intelligent agents interact with the environment to fulfill a long-term goal. Driven by the resurgence of deep learning, Deep RL (DRL) has witnessed great success over a wide spectrum of complex control tasks. Despite the encouraging results achieved, the deep neural network-based backbone is widely deemed as a black box that impedes practitioners to trust and employ trained agents in realistic scenarios where high security and reliability are essential. To alleviate this issue, a large volume of literature devoted to shedding light on the inner workings of the intelligent agents has been proposed, by constructing intrinsic interpretability or post-hoc explainability. In this survey, we provide a comprehensive review of existing works on eXplainable RL (XRL) and introduce a new taxonomy where prior works are clearly categorized into model-explaining, reward-explaining, state-explaining, and task-explaining methods. We also review and highlight RL methods that conversely leverage human knowledge to promote learning efficiency and performance of agents while this kind of method is often ignored in XRL field. Some challenges and opportunities in XRL are discussed. This survey intends to provide a high-level summarization of XRL and to motivate future research on more effective XRL solutions. Corresponding open source codes are collected and categorized at https://github.com/Plankson/awesome-explainable-reinforcement-learning.
translated by 谷歌翻译
反事实解释(CES)是了解如何更改算法的决策的强大手段。研究人员提出了许多CES应该满足的Desiderata实际上有用,例如需要最少的努力来制定或遵守因果模型。我们考虑了提高CES的可用性的另一个方面:对不良扰动的鲁棒性,这可能是由于不幸的情况而自然发生的。由于CES通常会规定干预的稀疏形式(即,仅应更改特征的子集),因此我们研究了针对建议更改的特征和不进行的特征分别解决鲁棒性的效果。我们的定义是可行的,因为它们可以将其作为罚款术语纳入用于发现CES的损失功能。为了实验鲁棒性,我们创建和发布代码,其中五个数据集(通常在公平和可解释的机器学习领域使用)已丰富了特定于功能的注释,这些注释可用于采样有意义的扰动。我们的实验表明,CES通常不健壮,如果发生不良扰动(即使不是最坏的情况),他们规定的干预措施可能需要比预期的要大得多,甚至变得不可能。但是,考虑搜索过程中的鲁棒性,可以很容易地完成,可以系统地发现健壮的CES。强大的CES进行额外的干预,以对比扰动的扰动比非稳定的CES降低得多。我们还发现,鲁棒性更容易实现功能更改,这为选择哪种反事实解释最适合用户提出了重要的考虑点。我们的代码可在以下网址获得:https://github.com/marcovirgolin/robust-counterfactuals。
translated by 谷歌翻译
蒙特卡洛树搜索(MCT)是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样,并存储动作的统计数据,以在每个随后的迭代中做出更有教育的选择。然而,该方法已成为组合游戏的最新技术,但是,在更复杂的游戏(例如那些具有较高的分支因素或实时系列的游戏)以及各种实用领域(例如,运输,日程安排或安全性)有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
虽然深增强学习已成为连续决策问题的有希望的机器学习方法,但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下,学习的政策需要例如可解释,因此可以在任何部署之前检查它(例如,出于安全性和验证原因)。本调查概述了各种方法,以实现加固学习(RL)的更高可解释性。为此,我们将解释性(作为模型的财产区分开来和解释性(作为HOC操作后的讲话,通过代理的干预),并在RL的背景下讨论它们,并强调前概念。特别是,我们认为可译文的RL可能会拥抱不同的刻面:可解释的投入,可解释(转型/奖励)模型和可解释的决策。根据该计划,我们总结和分析了与可解释的RL相关的最近工作,重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。
translated by 谷歌翻译
元学习用于通过组合数据和先验知识来有效地自动选择机器学习模型。由于传统的元学习技术缺乏解释性,并且在透明度和公平性方面存在缺点,因此实现元学习的解释性至关重要。本文提出了一个可解释的元学习框架,该框架不仅可以解释元学习算法选择的建议结果,而且还可以对建议算法在特定数据集中的性能和业务场景中更完整,更准确地解释。通过广泛的实验证明了该框架的有效性和正确性。
translated by 谷歌翻译
尽管深度强化学习(RL)最近取得了许多成功,但其方法仍然效率低下,这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示,以解决这一问题。本文介绍了三种不同的表示算法,可以访问传统RL算法使用的数据源的不同子集使用:(i)GRICA受到独立组件分析(ICA)的启发,并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外,格里卡仅需要未分类的环境状态。 (ii)潜在表示预测(LARP)还需要更多的上下文:除了要求状态作为输入外,它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 (iii)重新培训通过训练深层神经网络来学习国家表示,以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL,而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现,每种方法都有其优势和缺点,并从我们的实验中得出结论,包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。
translated by 谷歌翻译
This paper surveys the eld of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the eld and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but di ers considerably in the details and in the use of the word \reinforcement." The paper discusses central issues of reinforcement learning, including trading o exploration and exploitation, establishing the foundations of the eld via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.
translated by 谷歌翻译
Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.
translated by 谷歌翻译
由于算法预测对人类的影响增加,模型解释性已成为机器学习(ML)的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测,还可以帮助用户了解这些预测如何更改。在本论文中,我们研究了从三个有利位置的ML模型的解释性:算法,用户和教学法,并为解释性问题贡献了一些新颖的解决方案。
translated by 谷歌翻译