互动模拟使学生可以通过自己的探索来发现科学现象的基本原理。不幸的是，学生经常在这些环境中有效地学习。根据他们的预期表现对学生的互动数据进行分类，有可能实现自适应指导并因此改善学生的学习。该领域的先前研究主要集中于A-tosteriori分析或研究限于一个特定的预测模型和仿真。在本文中，我们研究了模型的质量和普遍性，以根据跨交互式仿真的学生的点击数据进行概念性理解的早期预测。我们首先通过他们的任务表现来衡量学生的概念理解。然后，我们建议一种新型的功能，该功能从ClickStream数据开始，既编码仿真的状态和学生执行的动作。我们最终建议将这些功能馈送到基于GRU的模型中，有或没有注意力进行预测。在两个不同的模拟上进行的实验和两个不同的人群表明，我们提出的模型的表现优于浅层学习基准，并更好地推广到不同的学习环境和人群。将注意力包括在模型中可以提高有效的查询。源代码可在GitHub（https://github.com/epfl-ml4ed/beerslaw-lab.git）上获得。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

全球越来越多的大学将各种形式的在线学习和混合学习作为其学术课程的一部分。此外，由于199年大流行而造成的最新变化导致在线教育的重要性和无处不在。电子学习的主要优点之一不仅是改善学生的学习经验并扩大教育前景，而且还可以通过学习分析来洞悉学生的学习过程。这项研究有助于通过以下方式改善和理解电子学习过程的主题。首先，我们证明可以根据从学生的行为数据中得出的顺序模式来构建准确的预测模型，这些模式能够在课程的早期识别出表现不佳的学生。其次，我们通过研究是否应根据特定于课程的顺序模式或基于更一般的行为模式的几个课程来构建每个课程的预测模型，从而调查了建立此类预测模型的特异性征用性权衡。最后，我们提出了一种捕获行为数据中时间方面的方法，并分析了其对模型预测性能的影响。我们改进的序列分类技术的结果能够以高度准确性来预测学生的表现，而对于课程特异性模型的结果达到了90％。

拖延是任务的非理性延迟，是在线学习中的普遍情况。潜在的负面后果包括更高的辍学风险，增加压力和情绪减少。由于学习管理系统和学习分析的增加，可以检测到这种行为的指标，从而预测未来的拖延和其他扩张行为。但是，关注此类预测的研究很少。此外，几乎不存在涉及不同类型的预测指标和预测性能之间的比较的研究。在这项研究中，我们旨在通过分析多个机器学习算法的性能来填补这些研究空白，以预测具有两类预测指标的高等教育环境中在线作业的延迟或及时提交：基于主观的，基于问卷的变量和目标，客观，客观，客观，目标，客观，客观，客观，客观，从学习管理系统中提取的基于日志数据的指标。结果表明，具有客观预测变量的模型始终优于主观预测指标的模型，并且两种变量类型的组合表现稍好一些。对于这三个选项中的每一个，一种不同的方法盛行（主观，贝叶斯多层次模型的梯度增强机器，共同预测指标的随机森林）。我们得出的结论是，在学习管理系统中实施此类模型之前，应仔细注意预测变量和算法。

Student success models might be prone to develop weak spots, i.e., examples hard to accurately classify due to insufficient representation during model creation. This weakness is one of the main factors undermining users' trust, since model predictions could for instance lead an instructor to not intervene on a student in need. In this paper, we unveil the need of detecting and characterizing unknown unknowns in student success prediction in order to better understand when models may fail. Unknown unknowns include the students for which the model is highly confident in its predictions, but is actually wrong. Therefore, we cannot solely rely on the model's confidence when evaluating the predictions quality. We first introduce a framework for the identification and characterization of unknown unknowns. We then assess its informativeness on log data collected from flipped courses and online courses using quantitative analyses and interviews with instructors. Our results show that unknown unknowns are a critical issue in this domain and that our framework can be applied to support their detection. The source code is available at https://github.com/epfl-ml4ed/unknown-unknowns.

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

神经网络无处不在用于教育的应用机器学习。他们在预测性能方面的普遍成功伴随着严重的弱点，缺乏决策的解释性，尤其是在以人为中心的领域中。我们实施了五种最先进的方法，用于解释黑盒机器学习模型（Lime，PermiputationShap，kernelshap，dice，CEM），并检查每种方法的优势在学生绩效预测的下游任务上，用于五个大规模开放的在线在线公开培训班。我们的实验表明，解释者的家属在与同一代表学生集的同一双向LSTM模型中相互重要性不同意。我们使用主成分分析，詹森 - 香农距离以及Spearman的等级相关性，以跨方法和课程进行定量的盘问解释。此外，我们验证了基于课程的先决条件之间的解释器表现。我们的结果得出的结论是，解释器的选择是一个重要的决定，实际上对预测结果的解释至关重要，甚至比模型的课程更重要。源代码和模型在http://github.com/epfl-ml4ed/evaluating-explainers上发布。

在学习分析领域的最新研究重点是利用机器学习方法来预测高危学生，以便及时启动干预措施，从而提高保留率和完成率。这些研究大多数的总体特征仅在预测科学方面。与解释模型内部的预测分析的组成部分，并在很大程度上忽略了其对利益相关者的个人案例的预测。此外，尝试使用数据驱动的规范分析来自动为高危学习者生成基于证据的补救建议的工作仍处于起步阶段。可解释的AI是一个最近出现的领域，它提供了尖端工具，该工具支持透明的预测分析和技术，以为高危学生生成量身定制的建议。这项研究提出了一个新的框架，该框架既可以统一透明的机器学习，又可以实现规定性分析的技术。这项工作实际上使用了使用预测模型来识别计划不完整的高危学习者的预测模型。然后，该研究进一步证明了如何通过两项案例研究的规定性分析来增强预测性建模，以便为有危险的人产生可读的规定反馈。

由于数据可用性的偏见，基于学习的学生建模的传统方法对代表性不足的学生群体的推广不佳。在本文中，我们提出了一种方法，用于预测其在线学习活动中的学生表现，以优化与种族和性别等不同人口组的推论准确性。在我们的方法中，基于联合学习的最新基础，单个学生子组的个性化模型是从在所有学生模型中通过元学级更新汇总的全球模型得出的，该模型通过说明亚组异质性。为了了解学生活动的更好代表，我们通过一种自我监督的行为预处理方法来增强我们的方法，该方法利用了多种学生行为方式（例如，访问教授视频和在论坛上的参与），并在模型中包括神经网络注意力聚合阶段。通过从在线课程中对三个现实世界数据集进行实验，我们证明我们的方法在预测所有子组的学生学习成果方面对现有的学生建模基准进行了实质性改进。对最终学生嵌入的视觉分析证实，我们的个性化方法确实确定了不同亚组中的不同活动模式，与基准相比其更强的推理能力一致。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

Deep learning models for learning analytics have become increasingly popular over the last few years; however, these approaches are still not widely adopted in real-world settings, likely due to a lack of trust and transparency. In this paper, we tackle this issue by implementing explainable AI methods for black-box neural networks. This work focuses on the context of online and blended learning and the use case of student success prediction models. We use a pairwise study design, enabling us to investigate controlled differences between pairs of courses. Our analyses cover five course pairs that differ in one educationally relevant aspect and two popular instance-based explainable AI methods (LIME and SHAP). We quantitatively compare the distances between the explanations across courses and methods. We then validate the explanations of LIME and SHAP with 26 semi-structured interviews of university-level educators regarding which features they believe contribute most to student success, which explanations they trust most, and how they could transform these insights into actionable course design decisions. Our results show that quantitatively, explainers significantly disagree with each other about what is important, and qualitatively, experts themselves do not agree on which explanations are most trustworthy. All code, extended results, and the interview protocol are provided at https://github.com/epfl-ml4ed/trusting-explainers.

智能辅导系统的研究一直在探索以数据驱动的方式提供有效的适应性帮助。尽管在学生寻求帮助时已经做了很多工作来提供自适应帮助，但他们可能不会最佳地寻求帮助。这导致人们对积极的适应性援助的兴趣日益加剧，在这种援助的情况下，导师在预测斗争或非生产力的情况下提供了未经请求的援助。确定何时以及是否提供个性化支持是一个众所周知的挑战，称为援助困境。在开放式领域中解决这一难题特别具有挑战性，在开放式领域，可以有几种解决问题的方法。研究人员已经探索了确定何时主动帮助学生的方法，但是这些方法中很少有人考虑使用提示。在本文中，我们提出了一种新颖的数据驱动方法，以结合学生在预测他们的帮助需求时的提示。我们探索了它在智能导师中的影响，该导师涉及逻辑证明的开放式且结构良好的领域。我们提出了一项对照研究，以根据纳入学生提示的帮助的预测来调查自适应提示政策的影响。我们展示了经验证据，以支持这样的政策可以为学生节省大量的培训时间，并与没有主动干预的对照相比，可以改善后测试结果。我们还表明，纳入学生的提示可以显着提高适应性提示政策在预测学生的帮助方面的功效，从而降低培训的非生产力，减少可能的帮助避免，并增加可能的帮助适应性（在可能会在可能会获得可能会得到的情况下获得更高的机会，需要）。我们以有关该方法受益的领域的建议以及采用要求。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

Various methods using machine and deep learning have been proposed to tackle different tasks in predictive process monitoring, forecasting for an ongoing case e.g. the most likely next event or suffix, its remaining time, or an outcome-related variable. Recurrent neural networks (RNNs), and more specifically long short-term memory nets (LSTMs), stand out in terms of popularity. In this work, we investigate the capabilities of such an LSTM to actually learn the underlying process model structure of an event log. We introduce an evaluation framework that combines variant-based resampling and custom metrics for fitness, precision and generalization. We evaluate 4 hypotheses concerning the learning capabilities of LSTMs, the effect of overfitting countermeasures, the level of incompleteness in the training set and the level of parallelism in the underlying process model. We confirm that LSTMs can struggle to learn process model structure, even with simplistic process data and in a very lenient setup. Taking the correct anti-overfitting measures can alleviate the problem. However, these measures did not present themselves to be optimal when selecting hyperparameters purely on predicting accuracy. We also found that decreasing the amount of information seen by the LSTM during training, causes a sharp drop in generalization and precision scores. In our experiments, we could not identify a relationship between the extent of parallelism in the model and the generalization capability, but they do indicate that the process' complexity might have impact.

Knowledge tracing (KT) aims to leverage students' learning histories to estimate their mastery levels on a set of pre-defined skills, based on which the corresponding future performance can be accurately predicted. In practice, a student's learning history comprises answers to sets of massed questions, each known as a session, rather than merely being a sequence of independent answers. Theoretically, within and across these sessions, students' learning dynamics can be very different. Therefore, how to effectively model the dynamics of students' knowledge states within and across the sessions is crucial for handling the KT problem. Most existing KT models treat student's learning records as a single continuing sequence, without capturing the sessional shift of students' knowledge state. To address the above issue, we propose a novel hierarchical transformer model, named HiTSKT, comprises an interaction(-level) encoder to capture the knowledge a student acquires within a session, and a session(-level) encoder to summarise acquired knowledge across the past sessions. To predict an interaction in the current session, a knowledge retriever integrates the summarised past-session knowledge with the previous interactions' information into proper knowledge representations. These representations are then used to compute the student's current knowledge state. Additionally, to model the student's long-term forgetting behaviour across the sessions, a power-law-decay attention mechanism is designed and deployed in the session encoder, allowing it to emphasize more on the recent sessions. Extensive experiments on three public datasets demonstrate that HiTSKT achieves new state-of-the-art performance on all the datasets compared with six state-of-the-art KT models.

我们研究了点击流行为中预测在线课程中学生知识获取的问题。通过电子学习讲座交付的激增，我们专注于讲座视频中的学生在视频活动中，由内容和视频测验组成。我们预测视频测验性能的方法基于我们开发的三个关键思路。首先，我们通过在原始事件数据上运行的时间序列学习架构模拟学生的点击行为，而不是定义可能在现有方法中定义手工制作的功能，可能丢失在单击序列内的重要信息。其次，我们开发了一个自我监督的Clickstream预培训，以学习Clickstream事件的信息表示，可以有效地初始化预测模型。第三，我们提出了一种基于聚类的基于元学习的培训，可以优化预测模型，以利用学生点击流序列中的频繁模式集群。通过对三个现实世界数据集的实验，我们证明我们的方法在预测学生的视频测验性能方面的两个基线模型中获得了大量改进。此外，我们通过消融研究验证了我们框架的预培训和元学习组成部分的重要性。最后，我们展示了我们的方法论如何了解与有用的学习分析有用的知识获取相关的视频监视行为的见解。

Time series is the most prevalent form of input data for educational prediction tasks. The vast majority of research using time series data focuses on hand-crafted features, designed by experts for predictive performance and interpretability. However, extracting these features is labor-intensive for humans and computers. In this paper, we propose an approach that utilizes irregular multivariate time series modeling with graph neural networks to achieve comparable or better accuracy with raw time series clickstreams in comparison to hand-crafted features. Furthermore, we extend concept activation vectors for interpretability in raw time series models. We analyze these advances in the education domain, addressing the task of early student performance prediction for downstream targeted interventions and instructional support. Our experimental analysis on 23 MOOCs with millions of combined interactions over six behavioral dimensions show that models designed with our approach can (i) beat state-of-the-art educational time series baselines with no feature extraction and (ii) provide interpretable insights for personalized interventions. Source code: https://github.com/epfl-ml4ed/ripple/.

Traditional learning-based approaches to student modeling (e.g., predicting grades based on measured activities) generalize poorly to underrepresented/minority student groups due to biases in data availability. In this paper, we propose a Multi-Layer Personalized Federated Learning (MLPFL) methodology which optimizes inference accuracy over different layers of student grouping criteria, such as by course and by demographic subgroups within each course. In our approach, personalized models for individual student subgroups are derived from a global model, which is trained in a distributed fashion via meta-gradient updates that account for subgroup heterogeneity while preserving modeling commonalities that exist across the full dataset. To evaluate our methodology, we consider case studies of two popular downstream student modeling tasks, knowledge tracing and outcome prediction, which leverage multiple modalities of student behavior (e.g., visits to lecture videos and participation on forums) in model training. Experiments on three real-world datasets from online courses demonstrate that our approach obtains substantial improvements over existing student modeling baselines in terms of increasing the average and decreasing the variance of prediction quality across different student subgroups. Visual analysis of the resulting students' knowledge state embeddings confirm that our personalization methodology extracts activity patterns which cluster into different student subgroups, consistent with the performance enhancements we obtain over the baselines.

最近，在以结果为导向的预测过程监测（OOPPM）的领域进行了转变，以使用可解释的人工智能范式中的模型，但是评估仍然主要是通过基于绩效的指标来进行的，而不是考虑到启示性和缺乏可行性。解释。在本文中，我们通过解释的解释性（通过广泛使用的XAI属性和功能复杂性）和解释性模型的忠诚（通过单调性和分歧的水平）来定义解释性。沿事件，情况和控制流透视图分析了引入的属性，这些视角是基于过程的分析的典型代表。这允许定量比较，除其他外，固有地创建了用事后解释（例如Shapley值）（例如Shapley值）的固有创建的解释（例如逻辑回归系数）。此外，本文通过洞悉如何在OOPPM中典型的OOPPM中典型的变化预处理，模型的复杂性和事后解释性技术来撰写基于事件日志和手头的任务的准则，以根据事件日志规范和手头的任务选择适当的模型，以根据事件日志规范和手头任务选择适当的模型。影响模型的解释性。为此，我们在13个现实生活事件日志上基准了七个分类器。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。