Many Click-Through Rate (CTR) prediction works focused on designing advanced architectures to model complex feature interactions but neglected the importance of feature representation learning, e.g., adopting a plain embedding layer for each feature, which results in sub-optimal feature representations and thus inferior CTR prediction performance. For instance, low frequency features, which account for the majority of features in many CTR tasks, are less considered in standard supervised learning settings, leading to sub-optimal feature representations. In this paper, we introduce self-supervised learning to produce high-quality feature representations directly and propose a model-agnostic Contrastive Learning for CTR (CL4CTR) framework consisting of three self-supervised learning signals to regularize the feature representation learning: contrastive loss, feature alignment, and field uniformity. The contrastive module first constructs positive feature pairs by data augmentation and then minimizes the distance between the representations of each positive feature pair by the contrastive loss. The feature alignment constraint forces the representations of features from the same field to be close, and the field uniformity constraint forces the representations of features from different fields to be distant. Extensive experiments verify that CL4CTR achieves the best performance on four datasets and has excellent effectiveness and compatibility with various representative baselines.

To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.

Top-K建议是推荐系统中的一个基本任务，通常通过比较积极和负对对学习。对比损失（CL）是最近受到更多关注的对比学习的关键，我们发现它非常适合Top-K建议。但是，这是一个问题，即CL处理正面和阴性样本的重要性。一方面，CL面向一个正样品的不平衡问题和许多阴性样品。另一方面，稀疏的数据集中很少有稀疏项目应该强调他们的重要性。此外，其他重要问题是稀疏正项目仍然没有充分利用建议。因此，我们通过使用CL损耗功能同时使用多个正项目（或样本）来提出新的数据增强方法。因此，我们提出了一种基于多样的对比损失（MSCL）功能，通过平衡正面和负样本和数据增强的重要性来解决两个问题。基于图表卷积网络（GCN）方法，实验结果表明了MSCL的最先进的性能。所提出的MSCL很简单，可以在许多方法中应用。我们将在验收时发布GitHub上的代码。

点击率（CTR）估计已成为许多现实世界应用中最基本的任务之一，并且已经提出了各种深层模型来解决此问题。一些研究证明了纤维是最好的性能模型之一，并且胜过Avazu数据集上的所有其他模型。，这大大降低了模型的大小，同时进一步提高了其性能。三个公共数据集的扩展实验表明，纤维纤维++有效地将纤维的非安装模型参数降低到三个数据集上的12倍至16倍，并且具有与DNN模型的可比型号，这是最小的一个模型，这是最小的一个模型另一方面，与最新的CTR方法相比，在深层CTR模型中，纤维网++可取得显着的性能改善。

点击率（CTR）预测是许多应用程序的关键任务，因为它的准确性对用户体验和平台收入有直接影响。近年来，CTR预测已在学术界和工业中广泛研究，导致各种各样的CTR预测模型。不幸的是，仍然缺乏标准化的基准和CTR预测研究的统一评估协议。这导致现有研究中的不可重复或甚至不一致的实验结果，这在很大程度上限制了他们研究的实用价值和潜在影响。在这项工作中，我们的目标是对CTR预测进行开放基准测试，并以可重复的方式表现不同模型的严格比较。为此，我们运行{超过7,000多个实验，总共超过12,000 GPU小时，在多个数据集设置上重新评估24个现有型号}。令人惊讶的是，我们的实验表明，具有足够的超参数搜索和模型调整，许多深层模型的差异比预期较小。结果还表明，在CTR预测的建模上取得实际进展确实是一个非常具有挑战性的研究任务。我们相信，我们的基准工作不仅可以让研究人员可以方便地衡量新型模型的有效性，而且还使他们与艺术的国家相当相提并论。我们公开发布了我们工作的基准工具，评估协议和实验环境，以促进该领域的可重复研究。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

因子化机器（FM）是在处理高维稀疏数据时建模成对（二阶）特征交互的普遍存在方法。然而，一方面，FM无法捕获患有组合扩展的高阶特征相互作用，另一方面，考虑每对特征之间的相互作用可能引入噪声和降低预测精度。为了解决问题，我们通过在图形结构中自然表示特征来提出一种新颖的方法图形因子分子机器（GraphFM）。特别地，设计了一种新颖的机制来选择有益特征相互作用，并将它们装配为特征之间的边缘。然后我们所提出的模型将FM的交互功能集成到图形神经网络（GNN）的特征聚合策略中，可以通过堆叠图层模拟图形结构特征上的任意顺序特征交互。关于若干现实世界数据集的实验结果表明了我们提出的方法的合理性和有效性。

预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的关键任务。为了识别原始数据的预测特征，最先进的极端深层分解机模型（XDEEPFM）引入了新的交互网络，以明确地利用矢量方面的特征交互。然而，由于交互网络中的每个隐藏层是特征映射的集合，因此它可以基本上作为不同特征映射的集合来观看。在这种情况下，仅使用单个目标来最小化预测损失可能导致过度拟合并产生相关的错误。在本文中，提出了一种集合分集增强的极端深度分解机模型（DEXDEEPFM），其设计了每个隐藏层中的集合多样性度量，并在客观函数中考虑集合多样性和预测精度。此外，还引入了注意机制，以区分集合多样性措施与不同的特征互动令的重要性。对三次公共实时数据集进行了广泛的实验，以展示所提出的模型的有效性。

点击率预测是商业推荐系统中的核心任务之一。它旨在预测用户点击给定用户和项目特征的特定项目的概率。随着特征相互作用引入非线性，它们被广泛采用以提高CTR预测模型的性能。因此，有效的建模特征互动在研究和工业领域引起了很多关注。目前的方法通常可以分为三类：（1）NA \“IVE方法，它不会模拟特征交互，只使用原始特征;（2）记忆方法，通过显式将其视为新功能而记住功能交互。分配可培训嵌入式;（3）分解方法，学习原始特征的潜在矢量和通过分解功能的隐式模型相互作用。研究表明，由于不同特征相互作用的独特特征，这些方法之一的建模特征交互是次优。为了解决这个问题，我们首先提出一个称为OptInter的一般框架，该框架可以找到每个功能交互的最合适的建模方法。可以将不同的最先进的深度CTR模型视为optinter的实例。实现功能Optinter，我们还介绍了一种自动搜索最佳建模方法的学习算法。W e在四个大型数据集中进行广泛的实验。我们的实验表明，Optinter可提高最佳的最先进的基线深度CTR模型，高达2.21％。与回忆的方法相比，这也优于基线，我们减少了高达91％的参数。此外，我们进行了几项消融研究，以研究Optinter不同组分的影响。最后，我们提供关于替代替代品结果的可解释讨论。

基于会话的建议旨在根据持续的会话预测用户的下一个行为。先前的作品是将会话建模为一系列项目的变量长度，并学习单个项目和汇总会话的表示。最近的研究应用了图形神经网络，具有注意机制，通过将会话建模为图形结构化数据来捕获复杂的项目过渡和依赖性。但是，他们仍然在数据和学习方法方面面临着根本的挑战，例如稀疏监督信号和会议中的嘈杂互动，从而导致次优性能。在本文中，我们提出了SR-GCL，这是一个基于会话建议的新型对比学习框架。作为对比学习的关键组成部分，我们提出了两种全球环境增强的数据增强方法，同时保持原始会话的语义。与其他最先进的方法相比，两个现实世界电子商务数据集的广泛实验结果证明了SR-GCL的优势。

作为在线广告和标记的关键组成部分，点击率（CTR）预测引起了行业和学术界领域的许多关注。最近，深度学习已成为CTR的主流方法论。尽管做出了可持续的努力，但现有的方法仍然构成了一些挑战。一方面，功能之间的高阶相互作用尚未探索。另一方面，高阶相互作用可能会忽略低阶字段的语义信息。在本文中，我们提出了一种名为Fint的新型预测方法，该方法采用了现场感知的交互层，该层捕获了高阶功能交互，同时保留了低阶现场信息。为了凭经验研究金融的有效性和鲁棒性，我们对三个现实数据库进行了广泛的实验：KDD2012，Criteo和Avazu。获得的结果表明，与现有方法相比，该五颗粒可以显着提高性能，而无需增加所需的计算量。此外，提出的方法通过A/B测试使大型在线视频应用程序的广告收入增加了约2.72 \％。为了更好地促进CTR领域的研究，我们发布了我们的代码以及参考实施，网址为：https：//github.com/zhishan01/fint。

包括传统浅层模型和深图神经网络（GNN）在内的图形嵌入方法已导致有希望的应用。然而，由于其优化范式，浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足，在堆叠过多的层时很容易引起过度平滑的问题，这可能会恶化低度（长尾）项目的建议，从而限制了表现力和可伸缩性。在本文中，我们提出了一个新颖的框架SAC，即空间自动回归编码，以统一的方式解决上述问题。为了充分利用邻居接近和高级信息，我们设计了一种新型的空间自回旋范式。具体而言，我们首先随机掩盖了多跳的邻居，并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后，我们加强模型，通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码，并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余，我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。

在本文中，我们考虑点击率（CTR）预测问题。因子化机器及其变体考虑配对特征交互，但通常我们不会由于高时间复杂度而使用FM进行高阶功能交互。鉴于许多领域的深度神经网络（DNN）的成功，研究人员提出了几种基于DNN的模型来学习高阶功能交互。已广泛用于从功能嵌入到最终登录的功能嵌入的可靠映射，从而广泛使用多层。在本文中，我们的目标是更多地探索这些高阶功能的交互。然而，高阶特征互动值得更加关注和进一步发展。灵感来自计算机愿景中密集连接的卷积网络（DENSENET）的巨大成就，我们提出了一种新颖的模型，称为殷勤基于DENENET的分解机（ADNFM）。 ADNFM可以通过使用前馈神经网络的所有隐藏层作为隐式的高阶功能来提取更全面的深度功能，然后通过注意机制选择主导特征。此外，使用DNN的隐式方式的高阶交互比以明确的方式更具成本效益，例如在FM中。两个真实数据集的广泛实验表明，所提出的模型可以有效地提高CTR预测的性能。

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

尽管自我监督的学习技术通常用于通过建模多种观点来从未标记的数据中挖掘隐性知识，但尚不清楚如何在复杂且不一致的环境中执行有效的表示学习。为此，我们提出了一种方法，特别是一致性和互补网络（Coconet），该方法利用了严格的全局视图一致性和局部跨视图互补性，以维护正则化，从而从多个视图中全面学习表示形式。在全球阶段，我们认为关键知识在观点之间隐含地共享，并增强编码器以从数据中捕获此类知识可以提高学习表示表示的可区分性。因此，保留多种观点的全球一致性可确保获得常识。 Coconet通过利用基于广义切成薄片的Wasserstein距离利用有效的差异度量测量来对齐视图的概率分布。最后，在本地阶段，我们提出了一个启发式互补性因素，该因素是跨观看歧视性知识的，它指导编码者不仅要学习视图的可辨别性，而且还学习跨视图互补信息。从理论上讲，我们提供了我们提出的椰子的基于信息理论的分析。从经验上讲，为了研究我们方法的改善，我们进行了足够的实验验证，这表明椰子的表现优于最先进的自我监督方法，这证明了这种隐含的一致性和互补性可以增强正则化的能力潜在表示的可区分性。

作为一种成功的自我监督学习方法，对比学习旨在学习输入样本扭曲之间共享的不变信息。尽管对比度学习在抽样策略和架构设计方面取得了持续的进步，但仍然存在两个持续的缺陷：任务 - 核定信息的干扰和样本效率低下，这与琐碎的恒定解决方案的反复存在有关。从维度分析的角度来看，我们发现尺寸的冗余和尺寸混杂因素是现象背后的内在问题，并提供了实验证据来支持我们的观点。我们进一步提出了一种简单而有效的方法metamask，这是元学习学到的维度面膜的缩写，以学习反对维度冗余和混杂因素的表示形式。 MetAmask采用冗余技术来解决尺寸的冗余问题，并创新地引入了尺寸掩模，以减少包含混杂因子的特定维度的梯度效应，该效果通过采用元学习范式进行培训，以改善掩盖掩盖性能的目标典型的自我监督任务的表示。与典型的对比方法相比，我们提供了坚实的理论分析以证明元掩体可以获得下游分类的更严格的风险范围。从经验上讲，我们的方法在各种基准上实现了最先进的性能。

Learning feature interactions is the key to success for the large-scale CTR prediction and recommendation. In practice, handcrafted feature engineering usually requires exhaustive searching. In order to reduce the high cost of human efforts in feature engineering, researchers propose several deep neural networks (DNN)-based approaches to learn the feature interactions in an end-to-end fashion. However, existing methods either do not learn both vector-wise interactions and bit-wise interactions simultaneously, or fail to combine them in a controllable manner. In this paper, we propose a new model, xDeepInt, based on a novel network architecture called polynomial interaction network (PIN) which learns higher-order vector-wise interactions recursively. By integrating subspace-crossing mechanism, we enable xDeepInt to balance the mixture of vector-wise and bit-wise feature interactions at a bounded order. Based on the network architecture, we customize a combined optimization strategy to conduct feature selection and interaction selection. We implement the proposed model and evaluate the model performance on three real-world datasets. Our experiment results demonstrate the efficacy and effectiveness of xDeepInt over state-of-the-art models. We open-source the TensorFlow implementation of xDeepInt: https://github.com/yanyachen/xDeepInt.

功能级二进制代码相似性检测在网络空间安全性领域至关重要。它可以帮助我们在发布的软件中找到错误并检测专利侵权，并在预防供应链攻击中起关键作用。一个实用的嵌入学习框架依赖于矢量表示系统的鲁棒性以及功能对注释的准确性。传统上，基于学习的方法是基于学习的方法。但是，用准确的标签对不同的功能对进行注释非常困难。这些监督的学习方法很容易被过度训练，并且遭受了鲁棒性问题的困扰。为了减轻这些问题，我们提出了FUN2VEC：二进制功能级表示的对比学习框架。我们采用一种无监督的学习方法，并将二进制代码相似性检测作为实例歧视。 FUN2VEC直接用于分解的二进制功能，并且可以使用任何编码器实现。它不需要标记类似或不同信息的手动。我们使用编译器优化选项和代码混淆技术来生成增强数据。我们的实验结果表明，我们的方法超过了准确性的最先进，并且在几次射击设置中具有很大的优势。

近年来，基于脑电图的情绪识别的进步已受到人机相互作用和认知科学领域的广泛关注。但是，如何用有限的标签识别情绪已成为一种新的研究和应用瓶颈。为了解决这个问题，本文提出了一个基于人类中刺激一致的脑电图信号的自我监督组减数分裂对比学习框架（SGMC）。在SGMC中，开发了一种新型遗传学启发的数据增强方法，称为减数分裂。它利用了组中脑电图样品之间的刺激对齐，通过配对，交换和分离来生成增强组。该模型采用组投影仪，从相同的情感视频刺激触发的脑电图样本中提取组级特征表示。然后，使用对比度学习来最大程度地提高具有相同刺激的增强群体的组级表示的相似性。 SGMC在公开可用的DEAP数据集上实现了最先进的情感识别结果，其价值为94.72％和95.68％的价和唤醒维度，并且在公共种子数据集上的竞争性能也具有94.04的竞争性能。 ％。值得注意的是，即使使用有限的标签，SGMC也会显示出明显的性能。此外，功能可视化的结果表明，该模型可能已经学习了与情感相关的特征表示，以改善情绪识别。在超级参数分析中进一步评估了组大小的影响。最后，进行了对照实验和消融研究以检查建筑的合理性。该代码是在线公开提供的。

检测有益特征交互在推荐系统中至关重要，现有方法通过检查所有可能的特征交互来实现这一目标。但是，检查所有可能的高阶特征相互作用的成本是过于良好的（随着阶的增加而呈指数增长）。因此，现有方法仅检测有限的顺序（例如，最多四个功能的组合）有益特征交互，这可能会错过高于限制的订单的有益特征相互作用。在本文中，我们提出了一个名为HIRS的高图神经网络模型。 HIRS是直接产生任意订单的有益特征相互作用并相应地进行建议预测的第一项工作。生成的特征交互的数量可以指定比所有可能的交互的数量小得多，因此我们的模型承认运行时间要低得多。为了获得有效的算法，我们利用了有益特征相互作用的三种特性，并提出了基于深入的Infomax的方法来指导相互作用的产生。我们的实验结果表明，就建议准确性而言，HIRS的效果优于最先进的算法。