在推荐系统中，一个常见的问题是收集到的数据中存在各种偏见，这会恶化推荐模型的概括能力，并导致预测不准确。在RS的许多任务中都研究了双重鲁棒（DR）学习，其优势是，当单个插补或单个倾向模型准确时，可以实现公正的学习。在本文中，我们提出了一个多重鲁棒（MR）估计量，该估计量可以利用多个候选的插补和倾向模型来实现无偏见。具体而言，当任何插补或倾向模型或这些模型的线性组合都是准确的时，MR估计器是公正的。理论分析表明，提出的MR是仅具有单个插补和倾向模型的DR的增强版本，并且具有较小的偏见。受到MR的概括误差的启发，我们进一步提出了一种新型的多重健壮学习方法，并稳定。我们对现实世界和半合成数据集进行了广泛的实验，这些实验证明了所提出的方法比最先进的方法的优越性。

单击后键盘转换为指示用户偏好的强信号，是构建推荐系统的良性。但是，由于选择偏差，即，观察到的单击事件通常会发生在用户的首选项目，准确地估计点击后击率（CVR）是具有挑战性的。目前，大多数现有方法利用反事实学习到Debias推荐系统。其中，双重稳健（DR）估计器通过以双重稳健的方式组合基于误差估算的（EIB）估计和逆倾向分数（IPS）估计来实现竞争性能。然而，不准确的误差估算可能导致其比IPS估计器更高的方差。更糟糕的是，现有方法通常使用简单的模型 - 不可知方法来估计归纳错误，这不足以近似于近似于动态改变的模型相关目标（即预测模型的梯度方向）。为了解决这些问题，我们首先导出DR估算器的偏差和方差。基于它，已经提出了一种更强大的双重稳健（MRDR）估计器，以进一步降低其差异，同时保持其双重稳健性。此外，我们为MRDR估算器提出了一种新的双重学习方法，可以将误差归纳转换为一般的CVR估计。此外，我们经验验证所提出的学习方案可以进一步消除估算学习的高方差问题。为了评估其有效性，在半合成数据集和两个现实世界数据集上进行了广泛的实验。结果证明了所提出的方法的优越性在最先进的方法中。代码可在https://github.com/guosyjlu/mrdr-dl上获得。

这项工作研究了针对推荐系统的有偏见反馈中学习无偏算法的问题。我们从理论和算法的角度解决了这个问题。无偏学习的最新著作通过各种技术（例如元学习，知识蒸馏和信息瓶颈）推进了最新技术。尽管取得了经验成功，但大多数人缺乏理论保证，在理论和最近的算法之间形成了不可忽略的差距。为此，我们首先从分配转移的角度查看无偏见的推荐问题。我们理论上分析了公正学习的概括界限，并提出了它们与最近无偏学习目标的密切关系。基于理论分析，我们进一步提出了一个原则性的框架，对抗性自我训练（AST），以无偏见。对现实世界和半合成数据集的经验评估证明了拟议的AST的有效性。

隐式反馈已被广泛用于构建商业推荐系统。由于观察到的反馈代表用户的点击日志，因此真实相关性和观察到的反馈之间存在语义差距。更重要的是，观察到的反馈通常偏向流行项目，从而高估了流行项目的实际相关性。尽管现有的研究使用反向倾向加权（IPW）或因果推理开发了公正的学习方法，但它们仅专注于消除项目的流行偏见。在本文中，我们提出了一种新颖的无偏建议学习模型，即双边自我非偏置推荐剂（Biser），以消除推荐模型引起的项目的暴露偏见。具体而言，双方由两个关键组成部分组成：（i）自我内向倾向加权（SIPW）逐渐减轻项目的偏见而不会产生高计算成本； （ii）双边无偏学习（BU），以弥合模型预测中两个互补模型之间的差距，即基于用户和项目的自动编码器，从而减轻了SIPW的较高差异。广泛的实验表明，Biser在几个数据集上始终优于最先进的无偏建议型号，包括外套，Yahoo！ R3，Movielens和Citeulike。

传统的推荐系统旨在根据观察到的群体的评级估算用户对物品的评级。与所有观察性研究一样，隐藏的混乱，这是影响物品曝光和用户评级的因素，导致估计系统偏差。因此，推荐制度研究的新趋势是否定混杂者对因果视角的影响。观察到建议中的混淆通常是在物品中共享的，因此是多原因混淆，我们将推荐模拟为多原因多结果（MCMO）推理问题。具体而言，为了解决混淆偏见，我们估计渲染项目曝光独立伯努利试验的用户特定的潜变量。生成分布由具有分解逻辑似然性的DNN参数化，并且通过变分推理估计难治性后续。控制这些因素作为替代混淆，在温和的假设下，可以消除多因素混淆所产生的偏差。此外，我们表明MCMO建模可能导致由于与高维因果空间相关的稀缺观察而导致高方差。幸运的是，我们理论上证明了作为预处理变量的推出用户特征可以大大提高样本效率并减轻过度装箱。模拟和现实世界数据集的实证研究表明，建议的深度因果额外推荐者比艺术最先进的因果推荐人员对未观察到的混乱更具稳健性。代码和数据集在https://github.com/yaochenzhu/deep-deconf发布。

历史互动是推荐模型培训的默认选择，通常表现出高稀疏性，即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本，并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式，在训练过程中不可避免地会误标记一些潜在的互动，这将损害模型的保真度，阻碍模型回忆起错误标签的项目，尤其是长尾尾。在这项工作中，我们从新的不确定性的新角度研究了标签的问题，该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性，并接受了不确定性建模。为此，我们提出了一个新的不确定性不确定性建议（AUR）框架，该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论，我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力，因此AUR根据不确定性提出了建议，该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR：来自主流模型体系结构的矩阵分解（MF），LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果，尤其是在长尾项目上。

随着深度学习技术扩展到现实世界推荐任务，已经开发出许多深度神经网络的协作滤波（CF）模型基于各种神经结构，例如多层的神经架构将用户项目交互项目投影到潜伏特征空间中Perceptron，自动编码器和图形神经网络。然而，大多数现有的协作过滤系统不充分设计用于处理缺失的数据。特别是，为了在训练阶段注入负信号，这些解决方案很大程度上依赖于未观察到的用户项交互，并且简单地将它们视为负实例，这带来了推荐性能下降。为了解决问题，我们开发了一个协作反射增强的AutoEncoder网络（Cranet），它能够探索从观察到和未观察的用户项交互的可转移知识。 Cranet的网络架构由具有反射接收器网络的集成结构和信息融合自动统计器模块形成，其推荐框架具有在互动和非互动项目上编码隐式用户的成对偏好的能力。另外，基于参数正规化的捆绑重量方案旨在对两级颅骨模型进行鲁棒联合训练。我们终于在对应于两个推荐任务的四个不同基准数据集上进行了实验验证了Cranet，以表明，与各种最先进的推荐技术相比，脱叠用户项交互的负信号提高了性能。我们的源代码可在https://github.com/akaxlh/cranet上获得。

建议制度，依靠历史观察数据来模仿用户和物品之间的复杂关系，取得了巨大的成功，在现实世界中取得了巨大的成功。选择偏见是现有的现有观测数据基于方法的最重要问题之一，其实际上是由多种类型的不观察室的暴露策略引起的（例如促销和假期效应）。虽然已经提出了各种方法来解决这个问题，但它们主要依赖于隐含的脱叠技术，但没有明确建立未观察的曝光策略。通过明确重建曝光策略（简称休息），我们将推荐问题正式化为反事实推理，并提出了脱叠的社会推荐方法。在休息时，我们假设项目的曝光由潜在曝光策略，用户和项目控制。基于上述生成过程，首先通过识别分析提供我们方法的理论保证。其次，在社交网络和项目的帮助下，我们采用了变分自动编码器来重建潜在的曝光策略。第三，我们通过利用回收的曝光策略制定基于反事实推理的建议算法。四个现实世界数据集的实验，包括三个已发布的数据集和一个私人微信官方帐户数据集，展示了几种最先进的方法的显着改进。

推荐系统通常会从各种用户行为中学习用户兴趣，包括点击和点击后行为（例如，喜欢和喜欢）。但是，这些行为不可避免地表现出受欢迎程度的偏见，从而导致一些不公平的问题：1）对于具有相似质量，更受欢迎的物品的物品会获得更多的曝光； 2）更糟糕的是，受欢迎程度较低的流行物品可能会获得更多的曝光率。现有关于缓解流行偏见的工作会盲目消除偏见，通常忽略项目质量的影响。我们认为，不同用户行为（例如，转换率）之间的关系实际上反映了项目质量。因此，为了处理不公平的问题，我们建议通过考虑多种用户行为来减轻流行性偏见。在这项工作中，我们研究了多行为推荐中相互作用生成过程背后的因果关系。具体来说，我们发现：1）项目受欢迎程度是暴露的项目和用户的点击交互之间的混杂因素，导致第一个不公平； 2）一些隐藏的混杂因素（例如，项目生产者的声誉）影响了项目的流行和质量，导致第二次不公平。为了减轻这些混杂问题，我们提出了一个因果框架来估计因果效应，该因果效应利用后门调整以阻止混杂因素引起的后门路径。在推论阶段，我们消除了受欢迎程度的负面影响，并利用质量的良好效果进行推荐。在两个现实世界数据集上的实验验证了我们提出的框架的有效性，这在不牺牲建议准确性的情况下增强了公平性。

在上下文土匪中，非政策评估（OPE）已在现实世界中迅速采用，因为它仅使用历史日志数据就可以离线评估新政策。不幸的是，当动作数量较大时，现有的OPE估计器（其中大多数是基于反相反的得分加权）会严重降解，并且可能会遭受极端偏见和差异。这挫败了从推荐系统到语言模型的许多应用程序中使用OPE。为了克服这个问题，我们提出了一个新的OPE估计器，即当动作嵌入在动作空间中提供结构时，利用边缘化的重要性权重。我们表征了所提出的估计器的偏差，方差和平方平方误差，并分析了动作嵌入提供了比常规估计器提供统计益处的条件。除了理论分析外，我们还发现，即使由于大量作用，现有估计量崩溃，经验性绩效的改善也可以实现可靠的OPE。

Decias的推荐模型最近引起了学术和行业社区的越来越多的关注。现有模型主要基于反向倾向得分（IPS）的技术。但是，在建议域中，鉴于观察到的用户项目暴露数据的稀疏性质和嘈杂性，IP很难估算。为了缓解这个问题，在本文中，我们假设用户偏好可以由少量潜在因素主导，并建议通过增加曝光密度来集群用户以计算更准确的IPS。基本上，这种方法与应用统计的分层模型的精神相似。但是，与以前的启发式分层策略不同，我们通过向用户呈现低级嵌入的用户来学习群集标准，这是建议模型中的用户表示未来。最后，我们发现我们的模型与前两种类型的Debias推荐模型有牢固的联系。我们基于实际数据集进行了广泛的实验，以证明该方法的有效性。

最近提出的协作度量学习（CML）范式由于其简单性和有效性引起了人们对推荐系统（RS）领域的广泛兴趣。通常，CML的现有文献在很大程度上取决于\ textit {负抽样}策略，以减轻成对计算的耗时负担。但是，在这项工作中，通过进行理论分析，我们发现负抽样会导致对概括误差的偏差估计。具体而言，我们表明，基于抽样的CML将在概括性结合中引入一个偏差项，该术语是由per-use \ textit {total方差}（TV）量化的，在负面采样和地面真相分布引起的分布之间。这表明，即使有足够大的训练数据，优化基于采样的CML损耗函数也不能确保小概括误差。此外，我们表明偏见术语将消失，而无需负面抽样策略。在此激励的情况下，我们提出了一种有效的替代方案，而没有对CML进行负面采样的cml，name \ textit {无抽样协作度量学习}（SFCML），以消除实际意义上的采样偏见。最后，超过七个基准数据集的全面实验表达了所提出的算法的优势。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

推荐系统在塑造现代网络生态系统中起关键作用。这些系统在（1）提出建议之间交替（2）收集用户对这些建议的响应，以及（3）根据此反馈重新审判建议算法。在此过程中，推荐系统会影响随后用于更新它的用户行为数据，从而创建反馈循环。最近的工作表明，反馈循环可能会损害建议质量并使用户行为均匀，从而在部署推荐系统时提高道德和绩效问题。为了解决这些问题，我们提出了反馈循环（CAFL）的因果调整，该算法可证明使用因果推理打破反馈回路，并可以应用于优化培训损失的任何建议算法。我们的主要观察结果是，如果原因是因果量的原因，即推荐系统不会遭受反馈循环的影响，即对用户评级的建议分布。此外，我们可以通过调整推荐系统对用户偏好的预测来计算从观察数据中计算此干预分布。使用模拟环境，我们证明CAFL与先前的校正方法相比提高了建议质量。

基于用户交互数据的优化推荐系统主要被视为处理选择偏差的问题，其中大多数现有工作都假设来自不同用户的交互是独立的。但是，已经表明，实际上用户反馈通常受到其他用户的早期交互的影响，例如通过平均评分，每项项目的视图或销售量等。这种现象被称为潮流效应。与以前的文献相反，我们认为潮流效应不应被视为统计偏见的问题。实际上，我们证明了这种效果使单个相互作用及其样本平均无偏见。然而，我们表明它可以使估计量不一致，从而引入了一系列与相关性估计的融合的不同问题。我们的理论分析研究了潮流效应提出一致性问题的条件，并探讨了减轻这些问题的几种方法。这项工作旨在表明，潮流效应带来了一个不足的开放问题，从根本上讲，这与建议的选择偏见从根本上截然不同。

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。

In this paper, we study item advertisements for small businesses. This application recommends prospective customers to specific items requested by businesses. From analysis, we found that the existing Recommender Systems (RS) were ineffective for small/new businesses with a few sales history. Training samples in RS can be highly biased toward popular businesses with sufficient sales and can decrease advertising performance for small businesses. We propose a meta-learning-based RS to improve advertising performance for small/new businesses and shops: Meta-Shop. Meta-Shop leverages an advanced meta-learning optimization framework and builds a model for a shop-level recommendation. It also integrates and transfers knowledge between large and small shops, consequently learning better features in small shops. We conducted experiments on a real-world E-commerce dataset and a public benchmark dataset. Meta-Shop outperformed a production baseline and the state-of-the-art RS models. Specifically, it achieved up to 16.6% relative improvement of Recall@1M and 40.4% relative improvement of nDCG@3 for user recommendations to new shops compared to the other RS models.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

半监督学习（SSL）从根本上是一个缺失的标签问题，与广泛的随机假设完全既贴心又无标记的标签完全失踪，而不是随机（mnar）问题（mnar）问题更现实和挑战数据共享相同的类分布。与现有的SSL解决方案不同，这些解决方案忽略了“类”在引起非随机性中的作用，例如，用户更有可能将流行类标记为“类别”，我们将“类”明确地纳入SSL。我们的方法是三倍：1）我们建议使用偏置标记的数据来利用未标记的数据来利用未标记的数据来训练改进的分类器。 2）鼓励罕见的课堂培训，其模型是低回调但高精度，丢弃了太多的伪标记的数据，我们提出了类动态降低（或增加）伪标签分配阈值的class感知插补（CAI）稀有（或频繁）的课程。 3）总体而言，我们将CAP和CAI集成到训练无偏的SSL模型的双重稳健估计器中。在各种MNAR设置和消融中，我们的方法不仅显着优于现有基线，而且超过了其他标签偏置删除SSL方法。请通过以下方式查看我们的代码：https：//github.com/joyhuyy1412/cadr-fixmatch。

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.