自动评估学习者能力是智能辅导系统中的一项基本任务。评估专栏通常有效地描述了相关能力和能力水平。本文介绍了一种直接从评估标题定义某些（部分）能力级别的评估标题中得出学习者模型的方法。该模型基于贝叶斯网络，并以不确定性（通常称为嘈杂的门）利用逻辑门来减少模型的参数数量，因此，以简化专家的启发并允许对智能辅导系统的实时推断。我们说明了如何应用该方法来自动对用于测试计算思维技能的活动的人类评估。从评估主题开始的模型的简单启发打开了快速自动化几个任务的自动化的可能性，从而使它们在自适应评估工具和智能辅导系统的背景下更容易利用。

我们介绍了AdapQuest，这是一种用Java编写的软件工具，用于基于贝叶斯网络的自适应问卷发展。适应性在此作为问题序列的动态选择，基于测试接受者技能水平的不断发展的模型。贝叶斯网络提供灵活且高度可解释的框架来描述此类测试过程，尤其是在应对多种技能时。AdapQuest嵌入了专用的阐述策略，以简化问卷参数的引发。该工具用于诊断精神障碍的工具也与一些实施细节一起讨论。

在线学习平台中越来越多的学习痕迹有望对学习者知识评估（LKA）的独特见解，这是一种基本的个性化训练技术，可在这些平台中启用各种进一步的自适应辅导服务。对学习者知识的精确评估需要细粒度的Q-Matrix，该Q-Matrix通常由专家设计，以将项目映射到域中的技能。由于主观趋势，某些错误的错误可能会降低LKA的性能。已经做出了一些努力来完善小规模的Q-matrix，但是，很难扩展可扩展性并将这些方法应用于大规模的在线学习环境中，并具有许多项目和庞大的技能。此外，现有的LKA模型采用了灵活的深度学习模型，可以在这项任务上表现出色，但是LKA的适当性仍然受到模型在相当稀疏的项目技能图和学习者的锻炼数据上的表示能力的挑战。为了克服这些问题，在本文中，我们建议在线环境中针对学习者知识评估（PQRLKA）的先决条件驱动的Q-Matrix改进框架。我们从学习者的响应数据中推断出先决条件，并使用它来完善专家定义的Q-Matrix，从而使其可解释性和可扩展性应用于大规模的在线学习环境。根据精致的Q-Matrix，我们提出了一种Metapath2VEC增强的卷积表示方法，以获取具有丰富信息的项目的全面表示，并将其提供给PQRLKA模型，以最终评估学习者的知识。在三个现实世界数据集上进行的实验证明了我们模型推断Q-Matrix改进的先决条件的能力，以及其对LKA任务的优势。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

贝叶斯网络是一种图形模型，用于编码感兴趣的变量之间的概率关系。当与统计技术结合使用时，图形模型对数据分析具有几个优点。一个，因为模型对所有变量中的依赖性进行编码，因此它易于处理缺少某些数据条目的情况。二，贝叶斯网络可以用于学习因果关系，因此可以用来获得关于问题域的理解并预测干预的后果。三，因为该模型具有因果和概率语义，因此是结合先前知识（通常出现因果形式）和数据的理想表示。四，贝叶斯网络与贝叶斯网络的统计方法提供了一种有效和原则的方法，可以避免数据过剩。在本文中，我们讨论了从先前知识构建贝叶斯网络的方法，总结了使用数据来改善这些模型的贝叶斯统计方法。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们还联系了贝叶斯网络方法，以学习监督和无监督学习的技术。我们说明了使用真实案例研究的图形建模方法。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

We address the problem of integrating data from multiple observational and interventional studies to eventually compute counterfactuals in structural causal models. We derive a likelihood characterisation for the overall data that leads us to extend a previous EM-based algorithm from the case of a single study to that of multiple ones. The new algorithm learns to approximate the (unidentifiability) region of model parameters from such mixed data sources. On this basis, it delivers interval approximations to counterfactual results, which collapse to points in the identifiable case. The algorithm is very general, it works on semi-Markovian models with discrete variables and can compute any counterfactual. Moreover, it automatically determines if a problem is feasible (the parameter region being nonempty), which is a necessary step not to yield incorrect results. Systematic numerical experiments show the effectiveness and accuracy of the algorithm, while hinting at the benefits of integrating heterogeneous data to get informative bounds in case of unidentifiability.

Learning causal structure from observational data often assumes that we observe independent and identically distributed (i.\,i.\,d) data. The traditional approach aims to find a graphical representation that encodes the same set of conditional independence relationships as those present in the observed distribution. It is known that under i.\,i.\,d assumption, even with infinite data, there is a limit to how fine-grained a causal structure we can identify. To overcome this limitation, recent work has explored using data originating from different, related environments to learn richer causal structure. These approaches implicitly rely on the independent causal mechanisms (ICM) principle, which postulates that the mechanism giving rise to an effect given its causes and the mechanism which generates the causes do not inform or influence each other. Thus, components of the causal model can independently change from environment to environment. Despite its wide application in machine learning and causal inference, there is a lack of statistical formalization of the ICM principle and how it enables identification of richer causal structures from grouped data. Here we present new causal de Finetti theorems which offer a first statistical formalization of ICM principle and show how causal structure identification is possible from exchangeable data. Our work provides theoretical justification for a broad range of techniques leveraging multi-environment data to learn causal structure.

一个令人着迷的假设是，人类和动物的智力可以通过一些原则（而不是启发式方法的百科全书清单）来解释。如果这个假设是正确的，我们可以更容易地理解自己的智能并建造智能机器。就像物理学一样，原理本身不足以预测大脑等复杂系统的行为，并且可能需要大量计算来模拟人类式的智力。这一假设将表明，研究人类和动物所剥削的归纳偏见可以帮助阐明这些原则，并为AI研究和神经科学理论提供灵感。深度学习已经利用了几种关键的归纳偏见，这项工作考虑了更大的清单，重点是关注高级和顺序有意识的处理的工作。阐明这些特定原则的目的是，它们有可能帮助我们建立从人类的能力中受益于灵活分布和系统概括的能力的AI系统，目前，这是一个领域艺术机器学习和人类智力。

贝叶斯结构学习允许人们对负责生成给定数据的因果定向无环图（DAG）捕获不确定性。在这项工作中，我们提出了结构学习（信任）的可疗法不确定性，这是近似后推理的框架，依赖于概率回路作为我们后验信仰的表示。与基于样本的后近似值相反，我们的表示可以捕获一个更丰富的DAG空间，同时也能够通过一系列有用的推理查询来仔细地理解不确定性。我们从经验上展示了如何将概率回路用作结构学习方法的增强表示，从而改善了推断结构和后部不确定性的质量。有条件查询的实验结果进一步证明了信任的表示能力的实际实用性。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

知识追踪（KT）模型是一种流行的方法，可以通过以前的尝试来预测学生在实践问题上的未来表现。尽管在KT中进行了许多创新，但大多数模型在内，包括最先进的Deep KT（DKT）主要利用每个学生的响应是正确或不正确的，忽略了其内容。在这项工作中，我们提出了基于代码的深知识跟踪（Code-DKT），该模型使用注意机制自动提取并选择特定领域的代码功能来扩展DKT。我们比较了Code-DKT对贝叶斯和深度知识跟踪（BKT和DKT）的有效性，该数据集中有50名学生试图解决5个介绍性编程作业的学生。我们的结果表明，Code-DKT在5个任务中始终优于DKT的AUC 3.07-4.00％AUC，与DKT相对于其他最先进的域中总KT模型的改进是可比的。最后，我们通过一组案例研究来分析特定问题的性能，以证明何时以及如何改善代码DKT的预测。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

可解释的人工智能（XAI）是一系列技术，可以理解人工智能（AI）系统的技术和非技术方面。 Xai至关重要，帮助满足\ emph {可信赖}人工智能的日益重要的需求，其特点是人类自主，防止危害，透明，问责制等的基本特征，反事实解释旨在提供最终用户需要更改的一组特征（及其对应的值）以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性，特别是他们缺乏考虑这些行为的因果影响。在本文中，我们将反事实解释作为潜在空间（CEILS）的干预措施，一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释，并且同时提供可行的建议，以便到达所提出的配置文件。此外，我们的方法具有以下优点，即它可以设置在现有的反事实发生器算法之上，从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性（包括金融领域的专有数据集）。

成语是小的，可重复使用的贝叶斯网络（BN）片段，代表不确定推理的通用类型。本文展示了如何使用成语来构建用于使用数据和知识组合的产品安全和风险评估的因果BN。我们表明，我们引入的特定产品安全习惯足以建立完整的BN模型，以评估各种产品的安全性和风险。即使有限（或没有）产品测试数据，安全调节器和产品制造商也可以使用最终的模型。

反事实推断是一种强大的工具，能够解决备受瞩目的领域中具有挑战性的问题。要进行反事实推断，需要了解潜在的因果机制。但是，仅凭观察和干预措施就不能独特地确定因果机制。这就提出了一个问题，即如何选择因果机制，以便在给定领域中值得信赖。在具有二进制变量的因果模型中已经解决了这个问题，但是分类变量的情况仍未得到解答。我们通过为具有分类变量的因果模型引入反事实排序的概念来应对这一挑战。为了学习满足这些约束的因果机制，并对它们进行反事实推断，我们引入了深层双胞胎网络。这些是深层神经网络，在受过训练的情况下，可以进行双网络反事实推断 - 一种替代绑架，动作和预测方法的替代方法。我们从经验上测试了来自医学，流行病学和金融的多种现实世界和半合成数据的方法，并报告了反事实概率的准确估算，同时证明了反事实订购时不执行反事实的问题。

分类的生成模型使用类变量的联合概率分布和功能来构建决策规则。在生成模型中，贝叶斯网络和天真的贝叶斯分类器是最常用的，并提供了所有变量之间关系的明确图形表示。但是，这些具有高度限制可能存在的关系类型的缺点，而不允许特定于上下文的独立性。在这里，我们介绍了一种新的生成分类器类别，称为“分阶性树分类器”，该分类器正式解释了特定于上下文的独立性。它们是通过对事件树的顶点的分区进行构建的，可以正式读取条件独立性。还定义了天真的阶段树分类器，它扩展了经典的天真贝叶斯分类器，同时保持相同的复杂性。一项广泛的仿真研究表明，分级树分类器的分类精度与最先进的分类器的分类精度具有竞争力，并且一个示例展示了它们在实践中的使用。

“猴子看到猴子做”是一句古老的格言，指的是na \ ive imitation，而没有深刻了解系统的潜在机制。的确，如果示威者可以访问模仿者（猴子）无法获得的信息，例如不同集合的传感器，无论模仿者如何完美地模拟其感知的环境（请参阅），试图重现演示者的行为（DO）都会导致不良的结果。在已经研究了演示者和模仿者之间的不匹配的情况下模仿学习在因果模仿学习的文献中（Zhang等，2020），但现有的解决方案仅限于单阶段的决策。本文研究了在顺序设置中必须使模仿者必须做出的因果模仿学习的问题每个情节的多个决定。我们制定了一个图形标准，这是确定因果模仿的可行性所必需的，以便在模仿者可以垫子的情况下提供条件尽管功能不同，但演示者的表现也很大。最后，我们提供了一种有效的算法来确定仿真性并用模拟证实我们的理论。

Crowdsourcing, in which human intelligence and productivity is dynamically mobilized to tackle tasks too complex for automation alone to handle, has grown to be an important research topic and inspired new businesses (e.g., Uber, Airbnb). Over the years, crowdsourcing has morphed from providing a platform where workers and tasks can be matched up manually into one which leverages data-driven algorithmic management approaches powered by artificial intelligence (AI) to achieve increasingly sophisticated optimization objectives. In this paper, we provide a survey presenting a unique systematic overview on how AI can empower crowdsourcing - which we refer to as AI-Empowered Crowdsourcing(AIEC). We propose a taxonomy which divides algorithmic crowdsourcing into three major areas: 1) task delegation, 2) motivating workers, and 3) quality control, focusing on the major objectives which need to be accomplished. We discuss the limitations and insights, and curate the challenges of doing research in each of these areas to highlight promising future research directions.

This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.