对抗训练（AT）在防御对抗例子方面表现出色。最近的研究表明，示例对于AT期间模型的最终鲁棒性并不同样重要，即，所谓的硬示例可以攻击容易表现出比对最终鲁棒性的鲁棒示例更大的影响。因此，保证硬示例的鲁棒性对于改善模型的最终鲁棒性至关重要。但是，定义有效的启发式方法来寻找辛苦示例仍然很困难。在本文中，受到信息瓶颈（IB）原则的启发，我们发现了一个具有高度共同信息及其相关的潜在表示的例子，更有可能受到攻击。基于此观察，我们提出了一种新颖有效的对抗训练方法（Infoat）。鼓励Infoat找到具有高相互信息的示例，并有效利用它们以提高模型的最终鲁棒性。实验结果表明，与几种最先进的方法相比，Infoat在不同数据集和模型之间达到了最佳的鲁棒性。

在难以察觉的对抗性示例攻击时被发现深度神经网络是不稳定的，这对于它施加到需要高可靠性的医学诊断系统是危险的。然而，在自然图像中具有良好效果的防御方法可能不适合医疗诊断任务。预处理方法（例如，随机调整大小，压缩）可能导致医学图像中的小病变特征的损失。在增强的数据集中培训网络对已经在线部署的医疗模型也不实用。因此，有必要为医疗诊断任务设计易于部署和有效的防御框架。在本文中，我们为反对对抗性攻击（即Medrdf）的医疗净化模型提出了较强和初稿的初步诊断框架。它采用了Pertined Medical模型的推理时间。具体地，对于每个测试图像，MEDRDF首先创建它的大量噪声副本，并从预训经医学诊断模型获得这些副本的输出标签。然后，基于这些副本的标签，MEDRDF通过多数投票输出最终的稳健诊断结果。除了诊断结果之外，MedRDF还产生强大的公制（RM）作为结果的置信度。因此，利用MEDRDF将预先训练的非强大诊断模型转换为强大的，是方便且可靠的。 Covid-19和Dermamnist数据集的实验结果验证了MEDRDF在提高医疗模型的稳健性方面的有效性。

Node classification for graph-structured data aims to classify nodes whose labels are unknown. While studies on static graphs are prevalent, few studies have focused on dynamic graph node classification. Node classification on dynamic graphs is challenging for two reasons. First, the model needs to capture both structural and temporal information, particularly on dynamic graphs with a long history and require large receptive fields. Second, model scalability becomes a significant concern as the size of the dynamic graph increases. To address these problems, we propose the Time Augmented Dynamic Graph Neural Network (TADGNN) framework. TADGNN consists of two modules: 1) a time augmentation module that captures the temporal evolution of nodes across time structurally, creating a time-augmented spatio-temporal graph, and 2) an information propagation module that learns the dynamic representations for each node across time using the constructed time-augmented graph. We perform node classification experiments on four dynamic graph benchmarks. Experimental results demonstrate that TADGNN framework outperforms several static and dynamic state-of-the-art (SOTA) GNN models while demonstrating superior scalability. We also conduct theoretical and empirical analyses to validate the efficiency of the proposed method. Our code is available at https://sites.google.com/view/tadgnn.

With information systems becoming larger scale, recommendation systems are a topic of growing interest in machine learning research and industry. Even though progress on improving model design has been rapid in research, we argue that many advances fail to translate into practice because of two limiting assumptions. First, most approaches focus on a transductive learning setting which cannot handle unseen users or items and second, many existing methods are developed for static settings that cannot incorporate new data as it becomes available. We argue that these are largely impractical assumptions on real-world platforms where new user interactions happen in real time. In this survey paper, we formalize both concepts and contextualize recommender systems work from the last six years. We then discuss why and how future work should move towards inductive learning and incremental updates for recommendation model design and evaluation. In addition, we present best practices and fundamental open challenges for future research.

如今，基于变压器的模型逐渐成为人工智能先驱的默认选择。即使在几个镜头的情况下，这些模型也会显示出优势。在本文中，我们重新审视了经典方法，并提出了一种新的几次替代方法。具体而言，我们研究了几个镜头的单级问题，该问题实际上以已知样本为参考来检测未知实例是否属于同一类。可以从序列匹配的角度研究此问题。结果表明，使用元学习，经典序列匹配方法，即比较聚集，显着优于变压器。经典方法所需的培训成本要少得多。此外，我们在简单的微调和元学习下进行两种序列匹配方法之间进行了经验比较。元学习导致变压器模型的特征具有高相关尺寸。原因与变压器模型的层和头数密切相关。实验代码和数据可从https://github.com/hmt2014/fewone获得

图形神经网络（GNN）是专门为图形数据设计的深度学习模型，它们通常依靠节点特征作为第一层的输入。在没有节点功能的图形上应用这种类型的网络时，可以提取基于图的节点特征（例如，度数数）或在训练网络时学习输入节点表示（即嵌入）。训练节点嵌入的后一个方法更有可能导致性能更好，而与嵌入的参数数量与节点数量线性增长。因此，在处理工业规模的图形数据时，以端到端方式以端到端方式训练输入节点嵌入式（GPU）内存中的GNN是不切实际的。受到为自然语言处理（NLP）任务开发的嵌入压缩方法的启发，我们开发了一种节点嵌入压缩方法，其中每个节点都用一个位向量而不是浮点数向量表示。在压缩方法中使用的参数可以与GNN一起训练。我们表明，与替代方案相比，提出的节点嵌入压缩方法的性能优于性能。

HyperGraphs为在节点之间建模多路相互作用提供了有效的抽象，每个HyperEdge都可以连接任何数量的节点。与大多数利用统计依赖性的研究不同，我们从因果关系的角度研究了超图。具体而言，在本文中，我们重点介绍了对超图的个人治疗效果（ITE）估计的问题，旨在估算干预措施（例如，佩戴脸部覆盖）将对结果（例如，Covid-19感染）的因果影响（例如，Covid-19感染）影响。每个节点。关于ITE估计的现有作品假设一个人的结果不应受到其他个体的治疗作业的影响（即无干扰），或者假设仅在普通图中的成对相关个体之间存在干扰。我们认为，这些假设对现实世界中的超图可能是不现实的，在现实世界中，高阶干扰可能会影响由于存在组相互作用而导致的最终ITE估计。在这项工作中，我们研究了高阶干扰建模，并提出了一个由HyperGraph神经网络提供支持的新因果学习框架。对现实世界超图的广泛实验验证了我们框架优于现有基线的优势。

公平机器学习旨在减轻模型预测的偏见，这对于关于诸如种族和性别等敏感属性的某些群体的偏见。在许多现有的公平概念中，反事实公平通过比较来自原始数据和反事实的预测来衡量因因果角度来源的模型公平。在反事实上，该个人的敏感属性值已被修改。最近，少数作品将反事实公平扩展到图数据，但大多数忽略了可能导致偏差的以下事实：1）每个节点邻居的敏感属性可能会影响预测w.r.t.这个节点; 2）敏感属性可能会导致其他特征和图形结构。为了解决这些问题，在本文中，我们提出了一种新颖的公平概念 - 图形反应性公平，这考虑了上述事实领导的偏差。要学习对图形反事实公平的节点表示，我们提出了一种基于反事实数据增强的新颖框架。在此框架中，我们生成对应于每个节点和邻居敏感属性的扰动的反应性。然后，我们通过最大限度地减少从原始图表中学到的表示与每个节点的反事实之间的差异来执行公平性。合成和真实图的实验表明，我们的框架优于图形反事实公平性的最先进的基线，并且还实现了可比的预测性能。

动态图形表示学习是具有广泛应用程序的重要任务。以前关于动态图形学习的方法通常对嘈杂的图形信息（如缺失或虚假连接）敏感，可以产生退化的性能和泛化。为了克服这一挑战，我们提出了一种基于变换器的动态图表学习方法，命名为动态图形变换器（DGT），带有空间 - 时间编码，以有效地学习图形拓扑并捕获隐式链接。为了提高泛化能力，我们介绍了两个补充自我监督的预训练任务，并表明共同优化了两种预训练任务，通过信息理论分析导致较小的贝叶斯错误率。我们还提出了一个时间联盟图形结构和目标 - 上下文节点采样策略，用于高效和可扩展的培训。与现实世界数据集的广泛实验说明了与几个最先进的基线相比，DGT呈现出优异的性能。

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.