点击率（CTR）预测是许多应用程序的关键任务，因为它的准确性对用户体验和平台收入有直接影响。近年来，CTR预测已在学术界和工业中广泛研究，导致各种各样的CTR预测模型。不幸的是，仍然缺乏标准化的基准和CTR预测研究的统一评估协议。这导致现有研究中的不可重复或甚至不一致的实验结果，这在很大程度上限制了他们研究的实用价值和潜在影响。在这项工作中，我们的目标是对CTR预测进行开放基准测试，并以可重复的方式表现不同模型的严格比较。为此，我们运行{超过7,000多个实验，总共超过12,000 GPU小时，在多个数据集设置上重新评估24个现有型号}。令人惊讶的是，我们的实验表明，具有足够的超参数搜索和模型调整，许多深层模型的差异比预期较小。结果还表明，在CTR预测的建模上取得实际进展确实是一个非常具有挑战性的研究任务。我们相信，我们的基准工作不仅可以让研究人员可以方便地衡量新型模型的有效性，而且还使他们与艺术的国家相当相提并论。我们公开发布了我们工作的基准工具，评估协议和实验环境，以促进该领域的可重复研究。

点击率（CTR）估计已成为许多现实世界应用中最基本的任务之一，并且已经提出了各种深层模型来解决此问题。一些研究证明了纤维是最好的性能模型之一，并且胜过Avazu数据集上的所有其他模型。，这大大降低了模型的大小，同时进一步提高了其性能。三个公共数据集的扩展实验表明，纤维纤维++有效地将纤维的非安装模型参数降低到三个数据集上的12倍至16倍，并且具有与DNN模型的可比型号，这是最小的一个模型，这是最小的一个模型另一方面，与最新的CTR方法相比，在深层CTR模型中，纤维网++可取得显着的性能改善。

在本文中，我们考虑点击率（CTR）预测问题。因子化机器及其变体考虑配对特征交互，但通常我们不会由于高时间复杂度而使用FM进行高阶功能交互。鉴于许多领域的深度神经网络（DNN）的成功，研究人员提出了几种基于DNN的模型来学习高阶功能交互。已广泛用于从功能嵌入到最终登录的功能嵌入的可靠映射，从而广泛使用多层。在本文中，我们的目标是更多地探索这些高阶功能的交互。然而，高阶特征互动值得更加关注和进一步发展。灵感来自计算机愿景中密集连接的卷积网络（DENSENET）的巨大成就，我们提出了一种新颖的模型，称为殷勤基于DENENET的分解机（ADNFM）。 ADNFM可以通过使用前馈神经网络的所有隐藏层作为隐式的高阶功能来提取更全面的深度功能，然后通过注意机制选择主导特征。此外，使用DNN的隐式方式的高阶交互比以明确的方式更具成本效益，例如在FM中。两个真实数据集的广泛实验表明，所提出的模型可以有效地提高CTR预测的性能。

作为在线广告和标记的关键组成部分，点击率（CTR）预测引起了行业和学术界领域的许多关注。最近，深度学习已成为CTR的主流方法论。尽管做出了可持续的努力，但现有的方法仍然构成了一些挑战。一方面，功能之间的高阶相互作用尚未探索。另一方面，高阶相互作用可能会忽略低阶字段的语义信息。在本文中，我们提出了一种名为Fint的新型预测方法，该方法采用了现场感知的交互层，该层捕获了高阶功能交互，同时保留了低阶现场信息。为了凭经验研究金融的有效性和鲁棒性，我们对三个现实数据库进行了广泛的实验：KDD2012，Criteo和Avazu。获得的结果表明，与现有方法相比，该五颗粒可以显着提高性能，而无需增加所需的计算量。此外，提出的方法通过A/B测试使大型在线视频应用程序的广告收入增加了约2.72 \％。为了更好地促进CTR领域的研究，我们发布了我们的代码以及参考实施，网址为：https：//github.com/zhishan01/fint。

Learning feature interactions is the key to success for the large-scale CTR prediction and recommendation. In practice, handcrafted feature engineering usually requires exhaustive searching. In order to reduce the high cost of human efforts in feature engineering, researchers propose several deep neural networks (DNN)-based approaches to learn the feature interactions in an end-to-end fashion. However, existing methods either do not learn both vector-wise interactions and bit-wise interactions simultaneously, or fail to combine them in a controllable manner. In this paper, we propose a new model, xDeepInt, based on a novel network architecture called polynomial interaction network (PIN) which learns higher-order vector-wise interactions recursively. By integrating subspace-crossing mechanism, we enable xDeepInt to balance the mixture of vector-wise and bit-wise feature interactions at a bounded order. Based on the network architecture, we customize a combined optimization strategy to conduct feature selection and interaction selection. We implement the proposed model and evaluate the model performance on three real-world datasets. Our experiment results demonstrate the efficacy and effectiveness of xDeepInt over state-of-the-art models. We open-source the TensorFlow implementation of xDeepInt: https://github.com/yanyachen/xDeepInt.

最近，深度学习模型已在工业推荐系统中广泛传播，并提高了建议质量。尽管取得了杰出的成功，但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力，我们探索了神经体系结构搜索（NAS）的潜力，并在推荐系统中引入了自动行为建模，互动探索和多层感知器（MLP）研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言，Ameir将完整的建议模型分为行为建模，交互探索，MLP聚合的三个阶段，并引入了一个新颖的搜索空间，其中包含三个量身定制的子空间，这些子空间涵盖了大多数现有方法，从而允许搜索更好的模型。为了有效，有效地找到理想的体系结构，Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索，并将搜索结果组装为最终结果。进一步的分析表明，Ameir的搜索空间可以涵盖大多数代表性推荐模型，这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明，AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法，具有较低的模型复杂性和可比的时间成本，表明所提出的方法的效率，效率和鲁棒性。

点击率预测是商业推荐系统中的核心任务之一。它旨在预测用户点击给定用户和项目特征的特定项目的概率。随着特征相互作用引入非线性，它们被广泛采用以提高CTR预测模型的性能。因此，有效的建模特征互动在研究和工业领域引起了很多关注。目前的方法通常可以分为三类：（1）NA \“IVE方法，它不会模拟特征交互，只使用原始特征;（2）记忆方法，通过显式将其视为新功能而记住功能交互。分配可培训嵌入式;（3）分解方法，学习原始特征的潜在矢量和通过分解功能的隐式模型相互作用。研究表明，由于不同特征相互作用的独特特征，这些方法之一的建模特征交互是次优。为了解决这个问题，我们首先提出一个称为OptInter的一般框架，该框架可以找到每个功能交互的最合适的建模方法。可以将不同的最先进的深度CTR模型视为optinter的实例。实现功能Optinter，我们还介绍了一种自动搜索最佳建模方法的学习算法。W e在四个大型数据集中进行广泛的实验。我们的实验表明，Optinter可提高最佳的最先进的基线深度CTR模型，高达2.21％。与回忆的方法相比，这也优于基线，我们减少了高达91％的参数。此外，我们进行了几项消融研究，以研究Optinter不同组分的影响。最后，我们提供关于替代替代品结果的可解释讨论。

因子化机器（FM）是在处理高维稀疏数据时建模成对（二阶）特征交互的普遍存在方法。然而，一方面，FM无法捕获患有组合扩展的高阶特征相互作用，另一方面，考虑每对特征之间的相互作用可能引入噪声和降低预测精度。为了解决问题，我们通过在图形结构中自然表示特征来提出一种新颖的方法图形因子分子机器（GraphFM）。特别地，设计了一种新颖的机制来选择有益特征相互作用，并将它们装配为特征之间的边缘。然后我们所提出的模型将FM的交互功能集成到图形神经网络（GNN）的特征聚合策略中，可以通过堆叠图层模拟图形结构特征上的任意顺序特征交互。关于若干现实世界数据集的实验结果表明了我们提出的方法的合理性和有效性。

预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的关键任务。为了识别原始数据的预测特征，最先进的极端深层分解机模型（XDEEPFM）引入了新的交互网络，以明确地利用矢量方面的特征交互。然而，由于交互网络中的每个隐藏层是特征映射的集合，因此它可以基本上作为不同特征映射的集合来观看。在这种情况下，仅使用单个目标来最小化预测损失可能导致过度拟合并产生相关的错误。在本文中，提出了一种集合分集增强的极端深度分解机模型（DEXDEEPFM），其设计了每个隐藏层中的集合多样性度量，并在客观函数中考虑集合多样性和预测精度。此外，还引入了注意机制，以区分集合多样性措施与不同的特征互动令的重要性。对三次公共实时数据集进行了广泛的实验，以展示所提出的模型的有效性。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

我们应对嵌入功能的挑战，以改善点击率预测过程。我们选择了三个模型：逻辑回归，分解机和深层分解机，因为我们的基准并提出了五个不同的功能嵌入模块：嵌入缩放，FM嵌入，嵌入编码，NN嵌入，嵌入和嵌入重新加权模块。嵌入模块是改善基线模型特征嵌入的一种方式，并以端到端方式与其余模型参数一起训练。每个模块分别添加到基线模型中，以获得新的增强模型。我们在用于基准点击率预测模型的公共数据集上测试了增强模型的预测性能。我们的结果表明，几个建议的嵌入模块为预测性能提供了重要的提高，而不会大幅度增加训练时间。

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

最近，在推荐系统领域中，一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此，这会导致不可再生的评估和不公平的比较。因此，我们从实践理论和实验的角度进行研究，目的是为严格的评估做出基准建议。关于理论研究，一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后，我们将它们分类为独立于模型和模型依赖性的超因子，并相应地定义和讨论了不同的严格评估模式。在实验研究中，我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库，从而进行了整体经验研究，以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下，我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准，以作为以后研究的参考。总体而言，我们的工作阐明了建议评估中的问题，为严格的评估提供了潜在的解决方案，并为进一步调查提供了基础。

点击率（CTR）预测的目标是预测用户单击项目的可能性，在推荐系统中变得越来越重要。最近，一些具有自动从他/她的行为中提取用户兴趣的深度学习模型取得了巨大的成功。在这些工作中，注意机制用于选择用户在历史行为中感兴趣的项目，从而提高CTR预测指标的性能。通常，这些细心的模块可以通过使用梯度下降与基本预测变量共同训练。在本文中，我们将用户兴趣建模视为特征选择问题，我们称之为用户兴趣选择。对于这样一个问题，我们在包装法的框架下提出了一种新颖的方法，该方法被称为Meta-wrapper。更具体地说，我们使用可区分的模块作为包装运算符，然后将其学习问题重新提出为连续的二元优化。此外，我们使用元学习算法来求解优化并理论上证明其收敛性。同时，我们还提供了理论分析，以表明我们提出的方法1）效率基于包装器的特征选择，而2）可以更好地抵抗过度拟合。最后，在三个公共数据集上进行的广泛实验表明了我们方法在提高CTR预测的性能方面的优势。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

特征交互已被识别为机器学习中的一个重要问题，这对于点击率（CTR）预测任务也是非常重要的。近年来，深度神经网络（DNN）可以自动从原始稀疏功能中学习隐式非线性交互，因此已广泛用于工业CTR预测任务。然而，在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量（例如，笛卡尔产品）而不会损失。例如，简单地尝试学习特征A和特征B <A，B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型，包括基于分解机（FM）的模型及其变体。在本文中，我们提出了一个共同行动网络（CAN），以近似于显式成对特征交互，而不会引入太多的附加参数。更具体地，给出特征A及其相关的特征B，通过学习两组参数来建模它们的特征交互：1）嵌入特征A和2）以表示特征B的多层Perceptron（MLP）。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作，并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明，可以优于最先进的CTR模型和笛卡尔产品方法。此外，可以在阿里巴巴的显示广告系统中部署，获得12 \％的CTR和8 \％关于每个Mille（RPM）的收入，这是对业务的巨大改进。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

Many Click-Through Rate (CTR) prediction works focused on designing advanced architectures to model complex feature interactions but neglected the importance of feature representation learning, e.g., adopting a plain embedding layer for each feature, which results in sub-optimal feature representations and thus inferior CTR prediction performance. For instance, low frequency features, which account for the majority of features in many CTR tasks, are less considered in standard supervised learning settings, leading to sub-optimal feature representations. In this paper, we introduce self-supervised learning to produce high-quality feature representations directly and propose a model-agnostic Contrastive Learning for CTR (CL4CTR) framework consisting of three self-supervised learning signals to regularize the feature representation learning: contrastive loss, feature alignment, and field uniformity. The contrastive module first constructs positive feature pairs by data augmentation and then minimizes the distance between the representations of each positive feature pair by the contrastive loss. The feature alignment constraint forces the representations of features from the same field to be close, and the field uniformity constraint forces the representations of features from different fields to be distant. Extensive experiments verify that CL4CTR achieves the best performance on four datasets and has excellent effectiveness and compatibility with various representative baselines.

学习捕获特征关系有效，有效地是现代推荐系统的点击率（CTR）预测的必要条件。大多数现有的CTR预测方法通过繁琐的手动设计的低阶交互或通过不灵活和低效的高阶交互来模型这样的关系，这两者都需要额外的DNN模块进行隐式交互建模。在本文中，我们提出了一种新颖的插件操作，动态参数化操作（DPO），以便明智地学习显式和隐式交互实例。我们认为DPO进入DNN模块和注意力模块可以分别有利于CTR预测中的两个主要任务，增强了基于特征的建模和改进用户行为建模的适应性与实例 - 方向性。我们的动态参数化网络在公共数据集和现实世界生产数据集的离线实验中显着优于最先进的方法，以及在线A / B测试。此外，建议的动态参数化网络已经在世界上最大的电子商务公司之一的排名系统中部署，服务于数亿个活跃用户的主要流量。

由于其适应性和从稀疏数据中学习的能力，分解机（FMS）被广泛用于推荐系统。但是，对于稀疏数据中无处不在的非相互作用特征，现有的FMS只能通过其嵌入的内部产物估算与这些特征相对应的参数。不可否认，他们无法学习这些功能的直接相互作用，这限制了模型的表现力。为此，我们首先提出了受混合启发的MixFM，以生成辅助培训数据以增强FMS。与需要人工成本和专业知识的现有增强策略不同，以收集其他信息，例如位置和领域，这些额外的数据仅由原始的数据组合而没有任何专业知识支持。更重要的是，如果要混合的父样本具有非相互作用的特征，则MixFM将建立其直接相互作用。其次，考虑到MixFM可能会产生冗余甚至有害实例，我们进一步提出了由显着性引导混合措施（称为SMFM）提供动力的新型分解机。在自定义显着性的指导下，SMFM可以生成更具翔实的邻居数据。通过理论分析，我们证明所提出的方法最大程度地减少了概括误差的上限，这对增强FMS具有有益的效果。值得注意的是，我们给出了FM的第一个概括结构，这意味着概括需要更多的数据，并且在足够的表示能力下需要较小的嵌入大小。最后，在五个数据集上进行的大量实验证实，我们的方法优于基准。此外，结果表明，“中毒”混合数据同样对FM变体有益。