如今，推荐系统已经影响了人民生活的各个方面。为了提供个性化的高质量推荐结果，常规系统通常会训练一点的排名来预测目标的绝对值，并利用一个明显的浅塔来估计和减轻位置偏差的影响。然而，利用这种训练范例，优化目标与排名度量的批量不同，从排名上排名的项目的相对顺序而不是每个项目的预测精度。此外，由于现有系统倾向于在更高位置推荐更多相关项目，因此浅塔基的方法难以将用户反馈精确地将用户反馈归因于位置或相关性的影响。因此，如果我们设法解决上述问题，我们将有一个令人兴奋的机会来获得增强的性能。对等级算法进行无偏见的学习，这些算法是基于嘈杂的反馈准确地验证的算法，是吸引人的候选者，并且已经应用​​于许多具有单个分类标签的许多应用程序，例如用户单击信号。尽管如此，现有的无偏见的LTR方法无法正确处理包含分类和连续标签的多个反馈。因此，我们设计一种新颖的无偏不倚的LTR算法来解决挑战，该挑战是创新地模型以一对方式偏置位置偏差，并引入了分组信任偏置，以明确地分离位置偏差，信任偏差和用户相关性。公共基准数据集和内部实时流量的实验结果显示了分类和连续标签的所提出方法的卓越结果。

在逆倾向评分（IPS）上的逆倾斜度评分（IP）中的近偏见学习的最新进展将消除隐含反馈中的偏差。虽然理论上声音在纠正通过处理单击文档作为相关的单击文档而引入的偏差时，但IP忽略了由（隐式）将不键入的偏差视为无关紧要的偏差。在这项工作中，我们首先经过严格证明这种使用点击数据导致相关文件之间的不必要的成对比较，这防止了不偏析的Ranker Optimization。基于证据，我们推出了一个简单且良好的合理的新加权方案，称为倾向比评分（PRS），它提供了两次点击和非点击次数的处理。除了纠正点击偏见外，PRS避免了LTR培训中的相关相关文档比较，并享有较低的可变性。我们广泛的经验评估确认，PRS可确保更有效地使用点击数据和来自一组LTR基准的合成数据中的性能，以及来自Gmail搜索的真实大规模数据。

Unbiased learning to rank (ULTR) studies the problem of mitigating various biases from implicit user feedback data such as clicks, and has been receiving considerable attention recently. A popular ULTR approach for real-world applications uses a two-tower architecture, where click modeling is factorized into a relevance tower with regular input features, and a bias tower with bias-relevant inputs such as the position of a document. A successful factorization will allow the relevance tower to be exempt from biases. In this work, we identify a critical issue that existing ULTR methods ignored - the bias tower can be confounded with the relevance tower via the underlying true relevance. In particular, the positions were determined by the logging policy, i.e., the previous production model, which would possess relevance information. We give both theoretical analysis and empirical results to show the negative effects on relevance tower due to such a correlation. We then propose three methods to mitigate the negative confounding effects by better disentangling relevance and bias. Empirical results on both controlled public datasets and a large-scale industry dataset show the effectiveness of the proposed approaches.

历史互动是推荐模型培训的默认选择，通常表现出高稀疏性，即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本，并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式，在训练过程中不可避免地会误标记一些潜在的互动，这将损害模型的保真度，阻碍模型回忆起错误标签的项目，尤其是长尾尾。在这项工作中，我们从新的不确定性的新角度研究了标签的问题，该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性，并接受了不确定性建模。为此，我们提出了一个新的不确定性不确定性建议（AUR）框架，该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论，我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力，因此AUR根据不确定性提出了建议，该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR：来自主流模型体系结构的矩阵分解（MF），LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果，尤其是在长尾项目上。

隐式反馈已被广泛用于构建商业推荐系统。由于观察到的反馈代表用户的点击日志，因此真实相关性和观察到的反馈之间存在语义差距。更重要的是，观察到的反馈通常偏向流行项目，从而高估了流行项目的实际相关性。尽管现有的研究使用反向倾向加权（IPW）或因果推理开发了公正的学习方法，但它们仅专注于消除项目的流行偏见。在本文中，我们提出了一种新颖的无偏建议学习模型，即双边自我非偏置推荐剂（Biser），以消除推荐模型引起的项目的暴露偏见。具体而言，双方由两个关键组成部分组成：（i）自我内向倾向加权（SIPW）逐渐减轻项目的偏见而不会产生高计算成本； （ii）双边无偏学习（BU），以弥合模型预测中两个互补模型之间的差距，即基于用户和项目的自动编码器，从而减轻了SIPW的较高差异。广泛的实验表明，Biser在几个数据集上始终优于最先进的无偏建议型号，包括外套，Yahoo！ R3，Movielens和Citeulike。

大多数用于点击速率（CTR）预测的现有方法取决于超薄的假设，即点击概率是观察概率和相关概率的乘积。但是，由于这两个概率之间存在复杂相互作用，因此这些方法不能应用于其他场景，例如，查询自动完成（QAC）和路由推荐。我们提出了一般的脱结框架，而无需简化变量之间的关系，可以处理CTR预测中的所有场景。仿真实验表明：在最简单的情况下，我们的方法与最先进的方法保持了类似的AUC;在其他情况下，与现有方法相比，我们的方法实现了相当大的改进。同时，在网上实验中，框架也始终如一地提高了显着的改进。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

公正的学习排名（ULTR）旨在从有偏见的用户点击日志中训练公正的排名模型。当前的大多数超级方法基于检查假设（EH），该假设假设可以将点击概率分解为两个标量函数，一种与排名特征有关，另一个与偏见因素有关。不幸的是，在实践中，特征，偏见因素和点击之间的相互作用很复杂，通常不能以这种独立的方式分解。使用EH拟合点击数据可能会导致模型错误指定并带来近似错误。在本文中，我们提出了一个基于向量的EH，并将点击概率作为两个向量函数的点产物提出。该解决方案由于其在拟合任意点击功能方面的普遍性而完成。基于它，我们提出了一个名为Vectorization的新型模型，以通过将嵌入在基础向量上投射到基础向量上，以适应性地学习相关性嵌入和排序文档。广泛的实验表明，我们的方法在复杂的真实点击以及简单的模拟点击上大大优于最新的超级方法。

这项工作研究了针对推荐系统的有偏见反馈中学习无偏算法的问题。我们从理论和算法的角度解决了这个问题。无偏学习的最新著作通过各种技术（例如元学习，知识蒸馏和信息瓶颈）推进了最新技术。尽管取得了经验成功，但大多数人缺乏理论保证，在理论和最近的算法之间形成了不可忽略的差距。为此，我们首先从分配转移的角度查看无偏见的推荐问题。我们理论上分析了公正学习的概括界限，并提出了它们与最近无偏学习目标的密切关系。基于理论分析，我们进一步提出了一个原则性的框架，对抗性自我训练（AST），以无偏见。对现实世界和半合成数据集的经验评估证明了拟议的AST的有效性。

组合推荐人（CR）系统一次在结果页面中一次将项目列表馈送给用户，其中用户行为受到上下文信息和项目的影响。 CR被称为组合优化问题，目的是最大程度地提高整个列表的建议奖励。尽管它很重要，但由于在线环境中的效率，动态和个性化要求，建立实用的CR系统仍然是一个挑战。特别是，我们将问题分为两个子问题，即列表生成和列表评估。新颖和实用的模型体系结构是为这些子问题设计的，旨在共同优化有效性和效率。为了适应在线案例，给出了形成参与者批判性增强框架的自举算法，以探索在长期用户互动中更好的推荐模式。离线和在线实验结果证明了拟议的JDREC框架的功效。 JDREC已应用于在线JD建议中，将点击率提高了2.6％，平台的合成价值提高了5.03％。我们将发布本研究中使用的大规模数据集，以为研究界做出贡献。

建议制度，依靠历史观察数据来模仿用户和物品之间的复杂关系，取得了巨大的成功，在现实世界中取得了巨大的成功。选择偏见是现有的现有观测数据基于方法的最重要问题之一，其实际上是由多种类型的不观察室的暴露策略引起的（例如促销和假期效应）。虽然已经提出了各种方法来解决这个问题，但它们主要依赖于隐含的脱叠技术，但没有明确建立未观察的曝光策略。通过明确重建曝光策略（简称休息），我们将推荐问题正式化为反事实推理，并提出了脱叠的社会推荐方法。在休息时，我们假设项目的曝光由潜在曝光策略，用户和项目控制。基于上述生成过程，首先通过识别分析提供我们方法的理论保证。其次，在社交网络和项目的帮助下，我们采用了变分自动编码器来重建潜在的曝光策略。第三，我们通过利用回收的曝光策略制定基于反事实推理的建议算法。四个现实世界数据集的实验，包括三个已发布的数据集和一个私人微信官方帐户数据集，展示了几种最先进的方法的显着改进。

Decias的推荐模型最近引起了学术和行业社区的越来越多的关注。现有模型主要基于反向倾向得分（IPS）的技术。但是，在建议域中，鉴于观察到的用户项目暴露数据的稀疏性质和嘈杂性，IP很难估算。为了缓解这个问题，在本文中，我们假设用户偏好可以由少量潜在因素主导，并建议通过增加曝光密度来集群用户以计算更准确的IPS。基本上，这种方法与应用统计的分层模型的精神相似。但是，与以前的启发式分层策略不同，我们通过向用户呈现低级嵌入的用户来学习群集标准，这是建议模型中的用户表示未来。最后，我们发现我们的模型与前两种类型的Debias推荐模型有牢固的联系。我们基于实际数据集进行了广泛的实验，以证明该方法的有效性。

推荐系统在塑造现代网络生态系统中起关键作用。这些系统在（1）提出建议之间交替（2）收集用户对这些建议的响应，以及（3）根据此反馈重新审判建议算法。在此过程中，推荐系统会影响随后用于更新它的用户行为数据，从而创建反馈循环。最近的工作表明，反馈循环可能会损害建议质量并使用户行为均匀，从而在部署推荐系统时提高道德和绩效问题。为了解决这些问题，我们提出了反馈循环（CAFL）的因果调整，该算法可证明使用因果推理打破反馈回路，并可以应用于优化培训损失的任何建议算法。我们的主要观察结果是，如果原因是因果量的原因，即推荐系统不会遭受反馈循环的影响，即对用户评级的建议分布。此外，我们可以通过调整推荐系统对用户偏好的预测来计算从观察数据中计算此干预分布。使用模拟环境，我们证明CAFL与先前的校正方法相比提高了建议质量。

非政策学习是使用另一个策略收集的数据优化政策而无需部署政策的框架。在推荐系统中，由于记录数据的不平衡问题尤其具有挑战性：建议某些项目比其他项目更频繁地记录。推荐项目列表时，这将进一步延续，因为动作空间是组合的。为了应对这一挑战，我们研究了对学习排名的悲观非政策优化。关键想法是在点击模型的参数上计算较低的置信度范围，然后以最高的悲观估计值返回列表。这种方法在计算上是有效的，我们对其进行了分析。我们研究其贝叶斯和频繁的变体，并通过合并经验贝叶斯来克服未知先验的局限性。为了展示我们方法的经验有效性，我们将其与使用反向倾向得分或忽略不确定性的非政策优化器进行了比较。我们的方法的表现优于所有基线，也是强大的，并且也是一般的。

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。

搜索引擎通过选择和排名结果列表来故意影响用户行为。用户由于其出色的位置和通常是最相关的文档而获得最高结果。搜索引擎排名算法需要确定相关性，同时纳入搜索引擎本身的影响。本文介绍了我们在Thumbtack了解排名的影响的努力，包括随机计划的经验结果。在消费市场的背景下，我们讨论了模型选择，实验设计，偏置计算和机器学习模型适应的实用细节。我们包括一个新的讨论，即对排名偏差如何不仅影响标签，而且还会影响模型特征。随机计划导致改进的模型，动机的内部方案分析并启用了面向用户的方案工具。

Jain等人引入的倾向模型。2016年已成为处理极端多标签分类（XMLC）中缺失和长尾标签的标准方法。在本文中，我们对这种方法进行批判性修订，表明尽管具有理论性，但其在当代XMLC作品中的应用仍是有争议的。我们详尽地讨论了基于倾向的方法的缺陷，并提出了几种食谱，其中一些与搜索引擎和推荐系统中使用的解决方案有关，我们认为这构成了XMLC中遵循的有希望的替代方案。

推荐系统的目标是通过用户项目的交互历史记录对每个用户和每个项目之间的相关性进行建模，以便最大程度地提高样本得分并最大程度地减少负面样本。当前，两个流行的损失功能被广泛用于优化推荐系统：点心和成对。尽管这些损失功能被广泛使用，但是有两个问题。 （1）这些传统损失功能不适合推荐系统的目标，并充分利用了先验知识信息。 （2）这些传统损失功能的缓慢收敛速度使各种建议模型的实际应用变得困难。为了解决这些问题，我们根据先验知识提出了一个名为“监督个性化排名”（SPR）的新型损失函数。提出的方法通过利用原始数据中每个用户或项目的相互作用历史记录的先验知识来改善BPR损失。与BPR不同，而不是构建<用户，正面项目，负面项目>三元组，而是拟议的SPR构造<用户，相似的用户，正面项目，负面项目，否定项目> Quadruples。尽管SPR非常简单，但非常有效。广泛的实验表明，我们提出的SPR不仅取得了更好的建议性能，而且还可以显着加速收敛速度，从而大大减少所需的训练时间。

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

与淘宝和亚马逊等大型平台不同，由于严重的数据分配波动（DDF）问题，在小规模推荐方案中开发CVR模型是更具挑战性的。 DDF防止现有的CVR模型自生效以来，因为1）需要几个月的数据需要足够小的场景训练CVR模型，导致培训和在线服务之间的相当大的分布差异; 2）电子商务促销对小型情景产生了更大的影响，导致即将到期的时间段的不确定性。在这项工作中，我们提出了一种名为MetacVR的新型CVR方法，从Meta学习的角度解决了DDF问题。首先，由特征表示网络（FRN）和输出层组成的基础CVR模型是精心设计和培训的，在几个月内与样品充分设计和培训。然后，我们将不同数据分布的时间段视为不同的场合，并使用相应的样本和预先训练的FRN获得每个场合的正面和负原型。随后，设计了距离度量网络（DMN）以计算每个样本和所有原型之间的距离度量，以便于减轻分布不确定性。最后，我们开发了一个集合预测网络（EPN），该网络（EPN）包含FRN和DMN的输出以进行最终的CVR预测。在这个阶段，我们冻结了FRN并用最近一段时间的样品训练DMN和EPN，因此有效地缓解了分布差异。据我们所知，这是在小规模推荐方案中针对DDF问题的CVR预测第一次研究。实验结果对现实世界数据集验证了我们的MetacVR和Online A / B测试的优越性也表明我们的模型在PCVR上实现了11.92％的令人印象深刻的收益和GMV的8.64％。