This paper mainly describes the dma submission to the TempoWiC task, which achieves a macro-F1 score of 77.05% and attains the first place in this task. We first explore the impact of different pre-trained language models. Then we adopt data cleaning, data augmentation, and adversarial training strategies to enhance the model generalization and robustness. For further improvement, we integrate POS information and word semantic representation using a Mixture-of-Experts (MoE) approach. The experimental results show that MoE can overcome the feature overuse issue and combine the context, POS, and word semantic features well. Additionally, we use a model ensemble method for the final prediction, which has been proven effective by many research works.

在现实世界中，尽管对该领域的兴趣激增，但在稀疏回报协同环境下进行的加强学习仍然具有挑战性。先前的尝试表明，内在的奖励可以减轻稀疏引起的问题。在本文中，我们提出了一种新颖的固有奖励，该奖励受人类学习的启发，因为人类通过将当前的观察结果与历史知识进行比较来评估好奇心。具体而言，我们训练一个自我监督的预测模型，并保存一组模型参数的快照，而不会产生加法培训成本。然后，我们采用核规范来评估不同快照的预测之间的时间不一致，这可以进一步部署为内在的奖励。此外，提出了一种变异的加权机制，以自适应方式将权重分配给不同的快照。我们证明了所提出的方法在各种基准环境中的功效。结果表明，与其他基于奖励的方法相比，我们的方法可以提供压倒性的最先进性能，而不会产生额外的培训成本并保持更高的噪声耐受性。我们的代码将公开发布以提高可重复性。

Twitter机器人检测已成为打击错误信息，促进社交媒体节制并保持在线话语的完整性的越来越重要的任务。最先进的机器人检测方法通常利用Twitter网络的图形结构，在面对传统方法无法检测到的新型Twitter机器人时，它们表现出令人鼓舞的性能。但是，现有的Twitter机器人检测数据集很少是基于图形的，即使这些基于图形的数据集也遭受有限的数据集量表，不完整的图形结构以及低注释质量。实际上，缺乏解决这些问题的大规模基于图的Twitter机器人检测基准，严重阻碍了基于图形的机器人检测方法的开发和评估。在本文中，我们提出了Twibot-22，这是一个综合基于图的Twitter机器人检测基准，它显示了迄今为止最大的数据集，在Twitter网络上提供了多元化的实体和关系，并且与现有数据集相比具有更好的注释质量。此外，我们重新实施35代表性的Twitter机器人检测基线，并在包括Twibot-22在内的9个数据集上进行评估，以促进对模型性能和对研究进度的整体了解的公平比较。为了促进进一步的研究，我们将所有实施的代码和数据集巩固到Twibot-22评估框架中，研究人员可以在其中始终如一地评估新的模型和数据集。 Twibot-22 Twitter机器人检测基准和评估框架可在https://twibot22.github.io/上公开获得。

建议制度，依靠历史观察数据来模仿用户和物品之间的复杂关系，取得了巨大的成功，在现实世界中取得了巨大的成功。选择偏见是现有的现有观测数据基于方法的最重要问题之一，其实际上是由多种类型的不观察室的暴露策略引起的（例如促销和假期效应）。虽然已经提出了各种方法来解决这个问题，但它们主要依赖于隐含的脱叠技术，但没有明确建立未观察的曝光策略。通过明确重建曝光策略（简称休息），我们将推荐问题正式化为反事实推理，并提出了脱叠的社会推荐方法。在休息时，我们假设项目的曝光由潜在曝光策略，用户和项目控制。基于上述生成过程，首先通过识别分析提供我们方法的理论保证。其次，在社交网络和项目的帮助下，我们采用了变分自动编码器来重建潜在的曝光策略。第三，我们通过利用回收的曝光策略制定基于反事实推理的建议算法。四个现实世界数据集的实验，包括三个已发布的数据集和一个私人微信官方帐户数据集，展示了几种最先进的方法的显着改进。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而，这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上，这种影响在序列推荐中发挥着重要作用，因为用户的行为容易受其他人的影响。因此，期望聚合用户行为和用户之间的影响，这些用户在时间上演化并涉及用户和项目的异构图。在本文中，我们纳入了动态用户项异构图，提出了一种新的顺序推荐框架。结果，可以考虑历史行为以及用户之间的影响。为此，我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后，我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计，并采用伪似然方法来得出易行目标函数。最后，我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性，而且还提供了一些关于顺序推荐的有洞察力的发现。

本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测，这是一个很容易被忽视的，但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上，这些特定领域的条件依赖主要领导的数据偏移量，时间滞后，并且变体数据的分布。为了解决这个问题，我们分析了变条件依赖于时间序列数据，并认为因果结构是不同的域之间的稳定，并进一步提高了因果条件转变的假设。通过这一假设的启发，我们考虑的时间序列数据的因果生成过程，并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法，其中在目标域泛化的错误不仅通过在源和目标域，但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明，用于转让的时间序列预测了该方法的有效性。

Recent investigations on rotation invariance for 3D point clouds have been devoted to devising rotation-invariant feature descriptors or learning canonical spaces where objects are semantically aligned. Examinations of learning frameworks for invariance have seldom been looked into. In this work, we review rotation invariance in terms of point cloud registration and propose an effective framework for rotation invariance learning via three sequential stages, namely rotation-invariant shape encoding, aligned feature integration, and deep feature registration. We first encode shape descriptors constructed with respect to reference frames defined over different scales, e.g., local patches and global topology, to generate rotation-invariant latent shape codes. Within the integration stage, we propose Aligned Integration Transformer to produce a discriminative feature representation by integrating point-wise self- and cross-relations established within the shape codes. Meanwhile, we adopt rigid transformations between reference frames to align the shape codes for feature consistency across different scales. Finally, the deep integrated feature is registered to both rotation-invariant shape codes to maximize feature similarities, such that rotation invariance of the integrated feature is preserved and shared semantic information is implicitly extracted from shape codes. Experimental results on 3D shape classification, part segmentation, and retrieval tasks prove the feasibility of our work. Our project page is released at: https://rotation3d.github.io/.

With the attention mechanism, transformers achieve significant empirical successes. Despite the intuitive understanding that transformers perform relational inference over long sequences to produce desirable representations, we lack a rigorous theory on how the attention mechanism achieves it. In particular, several intriguing questions remain open: (a) What makes a desirable representation? (b) How does the attention mechanism infer the desirable representation within the forward pass? (c) How does a pretraining procedure learn to infer the desirable representation through the backward pass? We observe that, as is the case in BERT and ViT, input tokens are often exchangeable since they already include positional encodings. The notion of exchangeability induces a latent variable model that is invariant to input sizes, which enables our theoretical analysis. - To answer (a) on representation, we establish the existence of a sufficient and minimal representation of input tokens. In particular, such a representation instantiates the posterior distribution of the latent variable given input tokens, which plays a central role in predicting output labels and solving downstream tasks. - To answer (b) on inference, we prove that attention with the desired parameter infers the latent posterior up to an approximation error, which is decreasing in input sizes. In detail, we quantify how attention approximates the conditional mean of the value given the key, which characterizes how it performs relational inference over long sequences. - To answer (c) on learning, we prove that both supervised and self-supervised objectives allow empirical risk minimization to learn the desired parameter up to a generalization error, which is independent of input sizes. Particularly, in the self-supervised setting, we identify a condition number that is pivotal to solving downstream tasks.

In the new era of personalization, learning the heterogeneous treatment effect (HTE) becomes an inevitable trend with numerous applications. Yet, most existing HTE estimation methods focus on independently and identically distributed observations and cannot handle the non-stationarity and temporal dependency in the common panel data setting. The treatment evaluators developed for panel data, on the other hand, typically ignore the individualized information. To fill the gap, in this paper, we initialize the study of HTE estimation in panel data. Under different assumptions for HTE identifiability, we propose the corresponding heterogeneous one-side and two-side synthetic learner, namely H1SL and H2SL, by leveraging the state-of-the-art HTE estimator for non-panel data and generalizing the synthetic control method that allows flexible data generating process. We establish the convergence rates of the proposed estimators. The superior performance of the proposed methods over existing ones is demonstrated by extensive numerical studies.