Knowledge tracing (KT) aims to leverage students' learning histories to estimate their mastery levels on a set of pre-defined skills, based on which the corresponding future performance can be accurately predicted. In practice, a student's learning history comprises answers to sets of massed questions, each known as a session, rather than merely being a sequence of independent answers. Theoretically, within and across these sessions, students' learning dynamics can be very different. Therefore, how to effectively model the dynamics of students' knowledge states within and across the sessions is crucial for handling the KT problem. Most existing KT models treat student's learning records as a single continuing sequence, without capturing the sessional shift of students' knowledge state. To address the above issue, we propose a novel hierarchical transformer model, named HiTSKT, comprises an interaction(-level) encoder to capture the knowledge a student acquires within a session, and a session(-level) encoder to summarise acquired knowledge across the past sessions. To predict an interaction in the current session, a knowledge retriever integrates the summarised past-session knowledge with the previous interactions' information into proper knowledge representations. These representations are then used to compute the student's current knowledge state. Additionally, to model the student's long-term forgetting behaviour across the sessions, a power-law-decay attention mechanism is designed and deployed in the session encoder, allowing it to emphasize more on the recent sessions. Extensive experiments on three public datasets demonstrate that HiTSKT achieves new state-of-the-art performance on all the datasets compared with six state-of-the-art KT models.

Single-cell technologies are revolutionizing the entire field of biology. The large volumes of data generated by single-cell technologies are high-dimensional, sparse, heterogeneous, and have complicated dependency structures, making analyses using conventional machine learning approaches challenging and impractical. In tackling these challenges, deep learning often demonstrates superior performance compared to traditional machine learning methods. In this work, we give a comprehensive survey on deep learning in single-cell analysis. We first introduce background on single-cell technologies and their development, as well as fundamental concepts of deep learning including the most popular deep architectures. We present an overview of the single-cell analytic pipeline pursued in research applications while noting divergences due to data sources or specific applications. We then review seven popular tasks spanning through different stages of the single-cell analysis pipeline, including multimodal integration, imputation, clustering, spatial domain identification, cell-type deconvolution, cell segmentation, and cell-type annotation. Under each task, we describe the most recent developments in classical and deep learning methods and discuss their advantages and disadvantages. Deep learning tools and benchmark datasets are also summarized for each task. Finally, we discuss the future directions and the most recent challenges. This survey will serve as a reference for biologists and computer scientists, encouraging collaborations.

在线知识蒸馏（OKD）通过相互利用教师和学生之间的差异来改善所涉及的模型。它们之间的差距上有几个关键的瓶颈 - 例如，为什么以及何时以及何时损害表现，尤其是对学生的表现？如何量化教师和学生之间的差距？ - 接受了有限的正式研究。在本文中，我们提出了可切换的在线知识蒸馏（Switokd），以回答这些问题。 Switokd的核心思想不是专注于测试阶段的准确性差距，而是通过两种模式之间的切换策略来适应训练阶段的差距，即蒸馏差距 - 专家模式（暂停老师，同时暂停教师保持学生学习）和学习模式（重新启动老师）。为了拥有适当的蒸馏差距，我们进一步设计了一个自适应开关阈值，该阈值提供了有关何时切换到学习模式或专家模式的正式标准，从而改善了学生的表现。同时，老师从我们的自适应切换阈值中受益，并基本上与其他在线艺术保持同步。我们进一步将Switokd扩展到具有两个基础拓扑的多个网络。最后，广泛的实验和分析验证了Switokd在最新面前的分类的优点。我们的代码可在https://github.com/hfutqian/switokd上找到。

多模式知识图（MKG）不仅包括关系三重态，还包括相关的多模式辅助数据（即文本和图像），从而增强了知识的多样性。然而，自然的不完整严重阻碍了MKG的应用。为了解决该问题，现有研究采用基于嵌入的推理模型来融合多模式特征后推断缺失的知识。但是，由于以下问题，这些方法的推理性能受到限制：（1）多模式辅助特征的无效融合； （2）缺乏复杂的推理能力以及无法进行多跳的推理，该推理能够推断出更多的知识。为了克服这些问题，我们提出了一个名为MMKGR（多模式知识图推理）的新型模型。具体而言，该模型包含以下两个组件：（1）统一的栅极注意网络，旨在通过充分的注意力相互作用和降低噪声来生成有效的多模式互补特征； （2）一种补充特征感知的增强学习方法，该方法根据组件（1）中获得的特征，通过执行多跳的推理过程来预测丢失元素。实验结果表明，MMKGR在MKG推理任务中的最新方法优于最先进的方法。

归纳链路预测（ILP）是考虑到新兴知识图（kgs）中未见实体的联系，考虑到KGS的发展性质。一个更具挑战性的场景是，新兴的kg仅由看不见的实体组成，被称为已断开新兴kgs（DEKGS）。 DEKGS的现有研究仅专注于预测封闭链接，即预测新兴KG内部的联系。到目前为止，先前的工作尚未对将进化信息从原始KG到DEKG进行进化信息。为了填补空白，我们提出了一个名为DEKG-ILP的新型模型（由以下两个组成部分组成的dekg-ilp（断开新兴知识图形的归纳链路预测）。 （1）模块CLRM（基于对比的关系特定特征特征建模）是为了提取基于全球关系的语义特征而开发的，它们在原始KGS和DEKGS之间以新颖的采样策略共享。 （2）提出了模块GSM（基于GNN的子图建模），以提取围绕KGS中每个链接的局部子图拓扑信息。在几个基准数据集上进行的广泛实验表明，与最新方法相比，DEKG-ILP具有明显的性能改进，用于封闭和桥接链路预测。源代码可在线获得。

示范学习旨在通过在少数射击设置中提供回答的演示来指导及时的预测。尽管取得了令人鼓舞的结果，但现有工作仅将回答的示例与及时模板（包括原始上下文）相连，而无需任何其他操作，从而忽略了迅速示意的依赖性。此外，先前的研究发现，随机替换示威的标签极小地损害了性能，这表明该模型无法正确地了解示威活动所带来的知识。受到人类学习过程的启发，在本文中，我们引入了模仿演示学习（模仿），以通过明确模仿人类审查行为来加强演示学习，其中包括：（1）对比度学习机制，以专注于类似的演示。 （2）证明标签重新预测方法以合并已知知识。实验结果表明，我们提出的方法在14个分类中心中有11个实现了最先进的性能。进一步的研究还证明，模仿 - demo加强了迅速与示威之间的关联，这可以为探索示范学习的工作方式提供基础。

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

为了加速学习过程，几乎没有样本，将元学习求助于先前任务的先验知识。但是，很难通过全球共享模型初始化来处理任务分布和异质性不一致。在本文中，基于基于梯度的元学习，我们提出了一种合奏嵌入式的元学习算法（EEML），该算法（EEML）明确利用多模型汇集来将先验知识组织成各种特定的专家。我们依靠嵌入集群机制的任务来将各种任务交付给匹配培训过程的专家，并指导专家如何在测试阶段进行协作。结果，多人专家可以专注于自己的专业知识领域，并在即将完成的任务上合作解决任务异质性。实验结果表明，所提出的方法在几乎没有学习问题中轻松地优于最新的最新方法，从而验证了分化与合作的重要性。

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

最近，基于深度学习的图像降级方法在测试数据上具有与训练集相同的测试数据的有希望的性能，在该数据中，已经学习了基于合成或收集的现实世界训练数据的各种denoising模型。但是，在处理真实世界的嘈杂图像时，Denoising的性能仍然受到限制。在本文中，我们提出了一种简单而有效的贝叶斯深集合（BDE）方法，用于真实世界图像denoising，其中可以融合使用各种训练数据设置进行预训练的几位代表性的深层Denoiser，以提高稳健性。 BDE的基础是，现实世界的图像噪声高度取决于信号依赖性，并且在现实世界中的嘈杂图像中的异质噪声可以由不同的Deoisiser分别处理。特别是，我们将受过良好训练的CBDNET，NBNET，HINET，UFORFORMER和GMSNET进入Denoiser池，并采用U-NET来预测Pixel的加权图以融合这些DeOisiser。引入了贝叶斯深度学习策略，而不是仅仅学习像素的加权地图，而是为了预测加权不确定性和加权图，可以通过该策略来建模预测差异，以改善现实世界中的嘈杂图像的鲁棒性。广泛的实验表明，可以通过融合现有的DINOISER而不是训练一个以昂贵的成本来训练一个大的Denoiser来更好地消除现实世界的噪音。在DND数据集上，我们的BDE实现了 +0.28〜dB PSNR的增益，而不是最先进的denoising方法。此外，我们注意到，在应用于现实世界嘈杂的图像时，基于不同高斯噪声水平的BDE Denoiser优于最先进的CBDNET。此外，我们的BDE可以扩展到其他图像恢复任务，并在基准数据集上获得 +0.30dB， +0.18dB和 +0.12dB PSNR的收益，以分别用于图像去除图像，图像降低和单个图像超级分辨率。