智能学习诊断是智能教育的关键引擎，旨在估计学习者当前的知识掌握状态并预测其未来的学习绩效。传统学习诊断方法的重大挑战是无法平衡诊断准确性和解释性。为了解决上述问题，提议的统一可解释的智能学习诊断框架从深度学习的强大表示能力和心理测量的可解释性中受益，实现了学习预测的良好表现，并从三个方面提供了解释性：认知参数，学习者 - 资源响应网络和自我注意机制的权重。在拟议的框架内，本文提出了两通道学习诊断机制LDM-ID以及三通道学习诊断机制LDM-HMI。在两个现实世界数据集和模拟数据集上进行的实验表明，与最先进的模型相比，我们的方法在预测学习者的表现方面具有更高的准确性，并且可以为精确学习资源建议和诸如精确学习资源建议和应用程序提供有价值的教育解释性个性化的学习辅导在智能教育中。

旨在预测学习者的知识掌握的知识追踪（KT）在计算机辅助教育系统中起着重要作用。近年来，已经应用了许多深度学习模型来应对KT任务，这些任务显示出令人鼓舞的结果。但是，局限性仍然存在。大多数现有方法将练习记录简化为知识序列，这些序列无法探索练习中存在的丰富信息。此外，由于练习之间的先前关系，因此现有的知识追踪诊断结果不够令人信服。为了解决上述问题，我们提出了一个称为HGKT的层次图知识追踪模型，以探索练习之间的潜在分层关系。具体而言，我们介绍了问题模式的概念，以构建一个可以模拟锻炼依赖性的层次练习图。此外，我们采用两种注意机制来强调学习者的重要历史状态。在测试阶段，我们提出了一个K＆S诊断矩阵，该矩阵可以追踪掌握知识和问题模式的过渡，可以更容易地应用于不同的应用程序。广泛的实验显示了我们提出的模型的有效性和解释性。

在线学习平台中越来越多的学习痕迹有望对学习者知识评估（LKA）的独特见解，这是一种基本的个性化训练技术，可在这些平台中启用各种进一步的自适应辅导服务。对学习者知识的精确评估需要细粒度的Q-Matrix，该Q-Matrix通常由专家设计，以将项目映射到域中的技能。由于主观趋势，某些错误的错误可能会降低LKA的性能。已经做出了一些努力来完善小规模的Q-matrix，但是，很难扩展可扩展性并将这些方法应用于大规模的在线学习环境中，并具有许多项目和庞大的技能。此外，现有的LKA模型采用了灵活的深度学习模型，可以在这项任务上表现出色，但是LKA的适当性仍然受到模型在相当稀疏的项目技能图和学习者的锻炼数据上的表示能力的挑战。为了克服这些问题，在本文中，我们建议在线环境中针对学习者知识评估（PQRLKA）的先决条件驱动的Q-Matrix改进框架。我们从学习者的响应数据中推断出先决条件，并使用它来完善专家定义的Q-Matrix，从而使其可解释性和可扩展性应用于大规模的在线学习环境。根据精致的Q-Matrix，我们提出了一种Metapath2VEC增强的卷积表示方法，以获取具有丰富信息的项目的全面表示，并将其提供给PQRLKA模型，以最终评估学习者的知识。在三个现实世界数据集上进行的实验证明了我们模型推断Q-Matrix改进的先决条件的能力，以及其对LKA任务的优势。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

近年来，随着新颖的策略和应用，神经网络一直在迅速扩展。然而，尽管不可避免地会针对关键应用程序来解决这些挑战，例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此，出现了神经符号学习（Nesyl）概念，其中结合了符号表示的各个方面，并将常识带入神经网络（Nesyl）。在可解释性，推理和解释性至关重要的领域中，例如视频和图像字幕，提问和推理，健康信息学和基因组学，Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查，其原理，机器和深度学习算法的进步，诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。

预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的关键任务。为了识别原始数据的预测特征，最先进的极端深层分解机模型（XDEEPFM）引入了新的交互网络，以明确地利用矢量方面的特征交互。然而，由于交互网络中的每个隐藏层是特征映射的集合，因此它可以基本上作为不同特征映射的集合来观看。在这种情况下，仅使用单个目标来最小化预测损失可能导致过度拟合并产生相关的错误。在本文中，提出了一种集合分集增强的极端深度分解机模型（DEXDEEPFM），其设计了每个隐藏层中的集合多样性度量，并在客观函数中考虑集合多样性和预测精度。此外，还引入了注意机制，以区分集合多样性措施与不同的特征互动令的重要性。对三次公共实时数据集进行了广泛的实验，以展示所提出的模型的有效性。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

基于历史行为数据的行为预测具有实际的现实意义。它已在推荐，预测学习成绩等中应用。随着用户数据描述的完善，新功能的发展以及多个数据源的融合，包含多种行为的异质行为数据变得越来越普遍。在本文中，我们旨在纳入行为预测的异质用户行为和社会影响。为此，本文提出了一个长期术语内存（LSTM）的变体，该变体可以在对行为序列进行建模时考虑上下文信息，该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外，基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。

交通速度预测是许多有价值应用程序的关键，由于其各种影响因素，它也是一项具有挑战性的任务。最近的工作试图通过各种混合模型获得更多信息，从而提高了预测准确性。但是，这些方法的空间信息采集方案存在两级分化问题。建模很简单，但包含很少的空间信息，或者建模是完整的，但缺乏灵活性。为了基于确保灵活性引入更多空间信息，本文提出了IRNET（可转让的交叉点重建网络）。首先，本文将相交重建为与相同结构的虚拟交集，从而简化了道路网络的拓扑结构。然后，将空间信息细分为交叉信息和交通流向的序列信息，并通过各种模型获得时空特征。第三，一种自我发项机制用于融合时空特征以进行预测。在与基线的比较实验中，不仅预测效应，而且转移性能具有明显的优势。

知识跟踪是跟踪给定学习领域的学生不同技能的掌握程度的过程。它是建立自适应学习系统的关键组件之一，并已被调查几十年。与其他领域的深度神经网络的成功平行，我们看到研究人员在学习科学界采取类似的方法。但是，大多数现有的深度学习知识追踪模型：（1）仅使用正确/不正确的响应（忽略来自其他方式的有用信息）或（2）通过试验和错误通过域专业知识设计其网络架构。在本文中，我们提出了一种基于模型的基于模型的优化方法，该优化方法结合了一个框架内的多峰融合和神经结构。当涉及一个模态时，常用的神经结构搜索技术可以被认为是我们所提出的方法的特殊情况。我们进一步建议在曲线（加权AUC）下使用称为时间加权区域的新度量来测量序列模型如何随时间执行。我们在两个公共实时数据集中评估我们的方法，显示发现模型能够实现卓越的性能。与大多数现有的作品不同，我们对McNemar对模型预测的测试进行了测试，结果是统计学意义。

主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。

因果关系的概念在人类认知中起着重要作用。在过去的几十年中，在许多领域（例如计算机科学，医学，经济学和教育）中，因果推论已经得到很好的发展。随着深度学习技术的发展，它越来越多地用于针对反事实数据的因果推断。通常，深层因果模型将协变量的特征映射到表示空间，然后设计各种客观优化函数，以根据不同的优化方法公正地估算反事实数据。本文重点介绍了深层因果模型的调查，其核心贡献如下：1）我们在多种疗法和连续剂量治疗下提供相关指标； 2）我们从时间开发和方法分类的角度综合了深层因果模型的全面概述； 3）我们协助有关相关数据集和源代码的详细且全面的分类和分析。

Knowledge tracing (KT) aims to leverage students' learning histories to estimate their mastery levels on a set of pre-defined skills, based on which the corresponding future performance can be accurately predicted. In practice, a student's learning history comprises answers to sets of massed questions, each known as a session, rather than merely being a sequence of independent answers. Theoretically, within and across these sessions, students' learning dynamics can be very different. Therefore, how to effectively model the dynamics of students' knowledge states within and across the sessions is crucial for handling the KT problem. Most existing KT models treat student's learning records as a single continuing sequence, without capturing the sessional shift of students' knowledge state. To address the above issue, we propose a novel hierarchical transformer model, named HiTSKT, comprises an interaction(-level) encoder to capture the knowledge a student acquires within a session, and a session(-level) encoder to summarise acquired knowledge across the past sessions. To predict an interaction in the current session, a knowledge retriever integrates the summarised past-session knowledge with the previous interactions' information into proper knowledge representations. These representations are then used to compute the student's current knowledge state. Additionally, to model the student's long-term forgetting behaviour across the sessions, a power-law-decay attention mechanism is designed and deployed in the session encoder, allowing it to emphasize more on the recent sessions. Extensive experiments on three public datasets demonstrate that HiTSKT achieves new state-of-the-art performance on all the datasets compared with six state-of-the-art KT models.

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.

As a common appearance defect of concrete bridges, cracks are important indices for bridge structure health assessment. Although there has been much research on crack identification, research on the evolution mechanism of bridge cracks is still far from practical applications. In this paper, the state-of-the-art research on intelligent theories and methodologies for intelligent feature extraction, data fusion and crack detection based on data-driven approaches is comprehensively reviewed. The research is discussed from three aspects: the feature extraction level of the multimodal parameters of bridge cracks, the description level and the diagnosis level of the bridge crack damage states. We focus on previous research concerning the quantitative characterization problems of multimodal parameters of bridge cracks and their implementation in crack identification, while highlighting some of their major drawbacks. In addition, the current challenges and potential future research directions are discussed.

大数据具有巨大的量，高速度，多样性，价值符合性和不确定性的特征，这些特征带领知识从他们那里学习充满了挑战。随着众包的出现，可以按需获得多功能信息，以便易于参与人群的智慧，以促进知识学习过程。在过去的十三年中，AI社区的研究人员竭尽全力消除人群学习领域的障碍。这份集中的调查论文全面回顾了从系统的角度来研究众包学习的技术进步，其中包括数据，模型和学习过程的三个维度。除了审查现有的重要工作外，本文还特别强调在每个维度上提供一些有希望的蓝图，并讨论从我们过去的研究工作中学到的经验教训，这将为新的研究人员提供道路，并鼓励他们追求新的研究。贡献。

深度学习属于人工智能领域，机器执行通常需要某种人类智能的任务。类似于大脑的基本结构，深度学习算法包括一种人工神经网络，其类似于生物脑结构。利用他们的感官模仿人类的学习过程，深入学习网络被送入（感官）数据，如文本，图像，视频或声音。这些网络在不同的任务中优于最先进的方法，因此，整个领域在过去几年中看到了指数增长。这种增长在过去几年中每年超过10,000多种出版物。例如，只有在医疗领域中的所有出版物中覆盖的搜索引擎只能在Q3 2020中覆盖所有出版物的子集，用于搜索术语“深度学习”，其中大约90％来自过去三年。因此，对深度学习领域的完全概述已经不可能在不久的将来获得，并且在不久的将来可能会难以获得难以获得子场的概要。但是，有几个关于深度学习的综述文章，这些文章专注于特定的科学领域或应用程序，例如计算机愿景的深度学习进步或在物体检测等特定任务中进行。随着这些调查作为基础，这一贡献的目的是提供对不同科学学科的深度学习的第一个高级，分类的元调查。根据底层数据来源（图像，语言，医疗，混合）选择了类别（计算机愿景，语言处理，医疗信息和其他工程）。此外，我们还审查了每个子类别的常见架构，方法，专业，利弊，评估，挑战和未来方向。

随着Gen III核反应堆的质量构建，使用深度学习（DL）技术是一种流行的趋势，以快速有效地诊断可能发生的事故。为了克服使用深度学习理论诊断反应堆事故的先前工作的常见问题，本文提出了一个诊断过程，以确保对嘈杂和残废的数据的鲁棒性稳健性并且可以解释。首先，提出了一种新颖的剥离垫垫自动编码器（DPAE）来提取监视数据，其表示提取器仍在具有高达25.0的信噪比的干扰数据上有效，并监视丢失的数据丢失的数据高达40.0％。其次，提出了使用DPAE编码器提取表示形式的诊断框架，然后提出了浅统计学习算法，并在41.8％和80.8％的分类和回归任务评估指标上测试了这种逐步诊断方法，并在受干扰的数据集上进行了测试 - 到端诊断方法。最后，提出了使用SHAP和特征消融的分层解释算法，以分析输入监视参数的重要性并验证高重要性参数的有效性。这项研究的结果提供了一种参考方法，用于在具有高安全性要求的情况下在场景中构建强大而可解释的智能反应堆异常诊断系统。

Any organization needs to improve their products, services, and processes. In this context, engaging with customers and understanding their journey is essential. Organizations have leveraged various techniques and technologies to support customer engagement, from call centres to chatbots and virtual agents. Recently, these systems have used Machine Learning (ML) and Natural Language Processing (NLP) to analyze large volumes of customer feedback and engagement data. The goal is to understand customers in context and provide meaningful answers across various channels. Despite multiple advances in Conversational Artificial Intelligence (AI) and Recommender Systems (RS), it is still challenging to understand the intent behind customer questions during the customer journey. To address this challenge, in this paper, we study and analyze the recent work in Conversational Recommender Systems (CRS) in general and, more specifically, in chatbot-based CRS. We introduce a pipeline to contextualize the input utterances in conversations. We then take the next step towards leveraging reverse feature engineering to link the contextualized input and learning model to support intent recognition. Since performance evaluation is achieved based on different ML models, we use transformer base models to evaluate the proposed approach using a labelled dialogue dataset (MSDialogue) of question-answering interactions between information seekers and answer providers.