知识跟踪是跟踪给定学习领域的学生不同技能的掌握程度的过程。它是建立自适应学习系统的关键组件之一，并已被调查几十年。与其他领域的深度神经网络的成功平行，我们看到研究人员在学习科学界采取类似的方法。但是，大多数现有的深度学习知识追踪模型：（1）仅使用正确/不正确的响应（忽略来自其他方式的有用信息）或（2）通过试验和错误通过域专业知识设计其网络架构。在本文中，我们提出了一种基于模型的基于模型的优化方法，该优化方法结合了一个框架内的多峰融合和神经结构。当涉及一个模态时，常用的神经结构搜索技术可以被认为是我们所提出的方法的特殊情况。我们进一步建议在曲线（加权AUC）下使用称为时间加权区域的新度量来测量序列模型如何随时间执行。我们在两个公共实时数据集中评估我们的方法，显示发现模型能够实现卓越的性能。与大多数现有的作品不同，我们对McNemar对模型预测的测试进行了测试，结果是统计学意义。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

知识追踪（KT）模型是一种流行的方法，可以通过以前的尝试来预测学生在实践问题上的未来表现。尽管在KT中进行了许多创新，但大多数模型在内，包括最先进的Deep KT（DKT）主要利用每个学生的响应是正确或不正确的，忽略了其内容。在这项工作中，我们提出了基于代码的深知识跟踪（Code-DKT），该模型使用注意机制自动提取并选择特定领域的代码功能来扩展DKT。我们比较了Code-DKT对贝叶斯和深度知识跟踪（BKT和DKT）的有效性，该数据集中有50名学生试图解决5个介绍性编程作业的学生。我们的结果表明，Code-DKT在5个任务中始终优于DKT的AUC 3.07-4.00％AUC，与DKT相对于其他最先进的域中总KT模型的改进是可比的。最后，我们通过一组案例研究来分析特定问题的性能，以证明何时以及如何改善代码DKT的预测。

在线学习平台中越来越多的学习痕迹有望对学习者知识评估（LKA）的独特见解，这是一种基本的个性化训练技术，可在这些平台中启用各种进一步的自适应辅导服务。对学习者知识的精确评估需要细粒度的Q-Matrix，该Q-Matrix通常由专家设计，以将项目映射到域中的技能。由于主观趋势，某些错误的错误可能会降低LKA的性能。已经做出了一些努力来完善小规模的Q-matrix，但是，很难扩展可扩展性并将这些方法应用于大规模的在线学习环境中，并具有许多项目和庞大的技能。此外，现有的LKA模型采用了灵活的深度学习模型，可以在这项任务上表现出色，但是LKA的适当性仍然受到模型在相当稀疏的项目技能图和学习者的锻炼数据上的表示能力的挑战。为了克服这些问题，在本文中，我们建议在线环境中针对学习者知识评估（PQRLKA）的先决条件驱动的Q-Matrix改进框架。我们从学习者的响应数据中推断出先决条件，并使用它来完善专家定义的Q-Matrix，从而使其可解释性和可扩展性应用于大规模的在线学习环境。根据精致的Q-Matrix，我们提出了一种Metapath2VEC增强的卷积表示方法，以获取具有丰富信息的项目的全面表示，并将其提供给PQRLKA模型，以最终评估学习者的知识。在三个现实世界数据集上进行的实验证明了我们模型推断Q-Matrix改进的先决条件的能力，以及其对LKA任务的优势。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

知识追踪是指估计每个学生的知识组成部分/技能掌握水平的问题，从他们过去对教育应用中的问题的回答。一种直接的收益知识追踪方法提供的是能够在未来问题上预测每个学生的表现。但是，大多数现有知识追踪方法的一个关键限制是，他们将学生对问题的回答视为二进制评估，即是正确的还是不正确的。响应正确性分析/预测易于导航，但会丢失重要信息，尤其是对于开放式问题：确切的学生回答可能会提供有关其知识状态的更多信息，而不是仅仅是响应正确性。在本文中，我们首次介绍了对开放式知识追踪的探索，即，在知识跟踪设置中，学生对学生对问题的开放式回答的分析和预测。我们首先制定了一个通用框架，用于开放式知识跟踪，然后通过编程问题详细介绍其在计算机科学教育领域的应用。我们在该域中定义了一系列评估指标，并进行了一系列定量和定性实验，以测试现实世界中学生代码数据集中开放式知识跟踪方法的边界。

Knowledge tracing (KT) aims to leverage students' learning histories to estimate their mastery levels on a set of pre-defined skills, based on which the corresponding future performance can be accurately predicted. In practice, a student's learning history comprises answers to sets of massed questions, each known as a session, rather than merely being a sequence of independent answers. Theoretically, within and across these sessions, students' learning dynamics can be very different. Therefore, how to effectively model the dynamics of students' knowledge states within and across the sessions is crucial for handling the KT problem. Most existing KT models treat student's learning records as a single continuing sequence, without capturing the sessional shift of students' knowledge state. To address the above issue, we propose a novel hierarchical transformer model, named HiTSKT, comprises an interaction(-level) encoder to capture the knowledge a student acquires within a session, and a session(-level) encoder to summarise acquired knowledge across the past sessions. To predict an interaction in the current session, a knowledge retriever integrates the summarised past-session knowledge with the previous interactions' information into proper knowledge representations. These representations are then used to compute the student's current knowledge state. Additionally, to model the student's long-term forgetting behaviour across the sessions, a power-law-decay attention mechanism is designed and deployed in the session encoder, allowing it to emphasize more on the recent sessions. Extensive experiments on three public datasets demonstrate that HiTSKT achieves new state-of-the-art performance on all the datasets compared with six state-of-the-art KT models.

智能学习诊断是智能教育的关键引擎，旨在估计学习者当前的知识掌握状态并预测其未来的学习绩效。传统学习诊断方法的重大挑战是无法平衡诊断准确性和解释性。为了解决上述问题，提议的统一可解释的智能学习诊断框架从深度学习的强大表示能力和心理测量的可解释性中受益，实现了学习预测的良好表现，并从三个方面提供了解释性：认知参数，学习者 - 资源响应网络和自我注意机制的权重。在拟议的框架内，本文提出了两通道学习诊断机制LDM-ID以及三通道学习诊断机制LDM-HMI。在两个现实世界数据集和模拟数据集上进行的实验表明，与最先进的模型相比，我们的方法在预测学习者的表现方面具有更高的准确性，并且可以为精确学习资源建议和诸如精确学习资源建议和应用程序提供有价值的教育解释性个性化的学习辅导在智能教育中。

Deep Learning has enabled remarkable progress over the last years on a variety of tasks, such as image recognition, speech recognition, and machine translation. One crucial aspect for this progress are novel neural architectures. Currently employed architectures have mostly been developed manually by human experts, which is a time-consuming and errorprone process. Because of this, there is growing interest in automated neural architecture search methods. We provide an overview of existing work in this field of research and categorize them according to three dimensions: search space, search strategy, and performance estimation strategy.

知识跟踪（KT）是使用学生的历史学习互动数据来对其知识掌握的任务，以便对他们未来的互动绩效进行预测。最近，使用各种深度学习技术来解决KT问题已经取得了显着的进步。但是，基于深度学习的知识追踪（DLKT）方法的成功仍然有些神秘，适当的测量以及对这些DLKT方法的分析仍然是一个挑战。首先，现有作品中的数据预处理程序通常是私人和/或自定义，这限制了实验标准化。此外，现有的DLKT研究通常在评估方案方面有所不同，并且是现实世界中的教育环境。为了解决这些问题，我们介绍了一个综合基于Python的基准平台\ TextSc {Pykt}，以确保通过彻底评估进行跨DLKT方法的有效比较。 \ textsc {pykt}库由不同域的7个流行数据集上的一组标准化的数据预处理程序组成，而10个经常比较了用于透明实验的DLKT模型实现。我们细粒度和严格的经验KT研究的结果产生了一系列观察结果和有效DLKT的建议，例如，错误的评估设置可能会导致标签泄漏，这通常会导致性能膨胀；与Piech等人提出的第一个DLKT模型相比，许多DLKT方法的改进是最小的。 \ cite {piech2015 -Deep}。我们已经开源\ textsc {pykt}，并在\ url {https://pykt.org/}上进行了实验结果。我们欢迎其他研究小组和从业人员的贡献。

深度神经网络（DNN）对各种多模式学习问题显示出优越的性能。然而，它通常需要巨大的努力，通过手动工程单峰特征和设计多模式融合策略来调整DNN到各个多模式任务。本文提出了Bilevel多模式神经结构架构搜索（BM-NAS）框架，这使得多模式融合模型的架构通过Bilevel搜索方案完全搜索。在上层，BM-NAS从预制的单峰骨架中选择Inter / Intra-Intra-Intra-Intra-Theal Feature对。在较低级别，BM-NAS了解每个功能对的融合策略，这是预定义的原始操作的组合。原始操作是精心设计的，它们可以灵活地组合，以适应各种有效的特征融合模块，如多头注意（变压器）和注意力（AOA）。三个多模式任务的实验结果证明了提出的BM-NAS框架的有效性和效率。与现有的广义多模式NAS方法相比，BM-NAS实现了竞争力的性能，更少的搜索时间和更少的模型参数。

人类智能能够首先学习一些基本技能，以解决基本问题，然后将这种基本技能融合到解决复杂或新问题的复杂技能中。例如，基本技能``挖洞''，``放树，'''``回填''和``浇水'''构成复杂的技能``植物''。此外，可以重复使用一些基本技能来解决其他问题。例如，基本技能``挖洞''不仅可以用于种植树木，而且还可以用于采矿，建造排水管或垃圾填埋场。学习基本技能并重复使用各种任务的能力对人类非常重要，因为它有助于避免学习太多的技能来解决每个任务，并可以通过仅学习几个数量来解决组成数量的任务数量基本技能，可以节省人脑中大量的记忆和计算。我们认为，机器智能还应捕捉学习基本技能并通过构成复杂技能的能力。在计算机科学语言中，每种基本技能都是“模块”，它是一个可重复使用的具体含义的网络，并执行特定的基本操作。将模块组装成更大的``模型''，以完成更复杂的任务。组装过程适应输入或任务，即，对于给定的任务，应该将模块组装成解决任务的最合适的模型中。结果，不同的输入或任务可能具有不同的组装模型，从而实现自组装AI。在这项工作中，我们提出了模块化的自适应神经体系结构搜索（MANAS），以演示上述想法。不同数据集上的实验表明，MANAS组装的自适应体系结构优于静态全局体系结构。进一步的实验和经验分析为魔力的有效性提供了见解。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

The goal of building dialogue agents that can converse with humans naturally has been a long-standing dream of researchers since the early days of artificial intelligence. The well-known Turing Test proposed to judge the ultimate validity of an artificial intelligence agent on the indistinguishability of its dialogues from humans'. It should come as no surprise that human-level dialogue systems are very challenging to build. But, while early effort on rule-based systems found limited success, the emergence of deep learning enabled great advance on this topic. In this thesis, we focus on methods that address the numerous issues that have been imposing the gap between artificial conversational agents and human-level interlocutors. These methods were proposed and experimented with in ways that were inspired by general state-of-the-art AI methodologies. But they also targeted the characteristics that dialogue systems possess.

We propose a new method for learning the structure of convolutional neural networks (CNNs) that is more efficient than recent state-of-the-art methods based on reinforcement learning and evolutionary algorithms. Our approach uses a sequential model-based optimization (SMBO) strategy, in which we search for structures in order of increasing complexity, while simultaneously learning a surrogate model to guide the search through structure space. Direct comparison under the same search space shows that our method is up to 5 times more efficient than the RL method of Zoph et al. (2018) in terms of number of models evaluated, and 8 times faster in terms of total compute. The structures we discover in this way achieve state of the art classification accuracies on CIFAR-10 and ImageNet.

图像标题将复杂的视觉信息转换为抽象的自然语言以获得表示的抽象自然语言，这可以帮助计算机快速了解世界。但是，由于真实环境的复杂性，它需要识别关键对象并实现其连接，并进一步生成自然语言。整个过程涉及视觉理解模块和语言生成模块，它为深度神经网络的设计带来了比其他任务的深度神经网络的更具挑战。神经架构搜索（NAS）在各种图像识别任务中显示了它的重要作用。此外，RNN在图像标题任务中起重要作用。我们介绍了一种自动调用方法，可以更好地设计图像标题的解码器模块，其中我们使用NAS自动设计称为Autornn的解码器模块。我们使用基于共享参数的加固学习方法有效地自动设计Autornn。 AutoCaption的搜索空间包括图层之间的连接和层次的操作，它可以使Autornn快递更多的架构。特别是，RNN等同于搜索空间的子集。 MSCOCO数据集上的实验表明，我们的自动驾统模型可以比传统的手工设计方法实现更好的性能。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.