协作过滤算法捕获了基本的消费模式,包括特定的特定人口统计信息或用户的受保护信息,例如性别,种族和位置。这些编码的偏见可以影响推荐系统(RS)的决策,以进一步分离提供给各种人口统计亚组的内容,并提出有关披露用户受保护属性的隐私问题。在这项工作中,我们研究了从RS算法的学习交互表示中删除用户特定保护信息的可能性和挑战,同时保持其有效性。具体而言,我们将对抗性训练纳入最先进的多体架构中,从而产生了一种新颖的模型,具有多项式可能性(Adv-Multvae)的对抗性变异自动编码器(Adv-Multvae),旨在消除在保存受保护属性的隐含信息的同时建议性能。我们对Movielens-1M和LFM-2B - demobias数据集进行了实验,并根据外部攻击者无法揭示模型中用户的性别信息来评估偏差缓解方法的有效性。与基线多腔相比,结果表明,adv-multvae的性能边缘恶化(W.R.T. NDCG和召回),在两个数据集中都大大减轻了模型中固有的偏见。
translated by 谷歌翻译
Covid-19的早期检测是一个持续的研究领域,可以帮助潜在患者的潜在患者进行分类,监测和一般健康评估,并可能降低应对冠状病毒大流行病的医院的运营压力。在文献中使用了不同的机器学习技术,用于使用常规临床数据(血液测试和生命体征)来检测冠状病毒。使用这些型号时,数据漏洞和信息泄漏可以带来声誉损害并导致医院的法律问题。尽管如此,保护避免潜在敏感信息泄漏的医疗保健模型是一个被人吸引人的研究区。在这项工作中,我们检查了两种机器学习方法,旨在预测使用常规收集和易于使用的临床数据的患者的Covid-19状态。我们雇用对抗性培训来探索强大的深度学习架构,保护与有关患者的人口统计信息相关的属性。我们在这项工作中检查的两种模型旨在保持对抗对抗攻击和信息泄漏的敏感信息。在一系列使用来自牛津大学医院的数据集,Bedfordshire医院NHS Foundation Trust,大学医院伯明翰NHS基金会信托,而朴茨茅斯医院大学NHS信任我们训练并测试两个神经网络,以使用来自基本实验室血液的信息预测PCR测试结果的神经网络对患者到达医院的测试和生命体征。我们评估其每个模型的隐私水平可以提供和展示我们提出的架构对可比基线的效力和稳健性。我们的主要贡献之一是,我们专门针对具有内置机制的有效Covid-19检测模型的开发,以便选择性地保护对抗对抗攻击的敏感属性。
translated by 谷歌翻译
在推荐系统中,一个普遍的挑战是冷门问题,在系统中,相互作用非常有限。为了应对这一挑战,最近,许多作品将元优化的想法介绍到建议方案中,即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数,并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识,以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是,以前的作品表明,推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能,但公平性问题在很大程度上被忽略了。在本文中,我们提出了一个名为Clover的全面的公平元学习框架,以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平,反事实公平和推荐系统中的群体公平,并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式,适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明,三叶草可以实现全面的公平性,而不会恶化整体的冷淡建议性能。
translated by 谷歌翻译
Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.
translated by 谷歌翻译
由于越来越多的用户使用它们来寻求和决策,推荐制度对人类和社会的影响增加了对人类和社会的影响。因此,在建议中解决潜在的不公平问题至关重要。就像用户在物品上具有个性化的偏好,用户对公平性的要求也是个性化的许多情况。因此,为用户提供个性化的公平建议,以满足其个性化的公平需求。此外,以前的公平建议作品主要关注基于关联的公平性。但是,重要的是从联合公平概念前进,以便在推荐系统中更适当地评估公平性的因果公平概念。本文根据上述考虑,侧重于为推荐系统中的用户实现个性化的反事实公平。为此,我们介绍了一个框架,通过对建议产生特征 - 独立的用户嵌入来实现通过对抗学习来实现反转公平的建议。该框架允许推荐系统为用户实现个性化的公平,同时也涵盖非个性化情况。在浅层和深刻的推荐算法上的两个现实数据集的实验表明,我们的方法可以为具有理想的推荐性能的用户生成更公平的建议。
translated by 谷歌翻译
本文根据推荐系统社区中当前的关注来研究用户属性:多样性,覆盖范围,校准和数据最小化。在利用侧面信息的传统上下文感知的推荐系统的实验中,我们表明用户属性并不总是改善建议。然后,我们证明用户属性可能会对多样性和覆盖率产生负面影响。最后,我们调查了从培训数据中``生存''到推荐人产生的建议列表中的有关用户的信息量。该信息是一个薄弱的信号,将来可能会被利用进行校准或作为隐私泄漏进一步研究。
translated by 谷歌翻译
最近,在推荐系统领域中,一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此,这会导致不可再生的评估和不公平的比较。因此,我们从实践理论和实验的角度进行研究,目的是为严格的评估做出基准建议。关于理论研究,一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后,我们将它们分类为独立于模型和模型依赖性的超因子,并相应地定义和讨论了不同的严格评估模式。在实验研究中,我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库,从而进行了整体经验研究,以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下,我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准,以作为以后研究的参考。总体而言,我们的工作阐明了建议评估中的问题,为严格的评估提供了潜在的解决方案,并为进一步调查提供了基础。
translated by 谷歌翻译
为了减轻模型中不希望的偏差的影响,几种方法建议预先处理输入数据集,以通过防止敏感属性的推断来减少歧视风险。不幸的是,这些预处理方法中的大多数导致一代新分布与原始分布有很大不同,因此通常导致不切实际的数据。作为副作用,这种新的数据分布意味着需要重新训练现有模型才能做出准确的预测。为了解决这个问题,我们提出了一种新颖的预处理方法,我们将根据保护组的分布转换为所选目标一个,并具有附加的隐私约束,其目的是防止敏感敏感的推断属性。更确切地说,我们利用Wasserstein Gan和Attgan框架的最新作品来实现数据点的最佳运输以及强制保护属性推断的歧视器。我们提出的方法可以保留数据的可解释性,并且可以在不定义敏感组的情况下使用。此外,我们的方法可以专门建模现有的最新方法,从而提出对这些方法的统一观点。最后,关于真实和合成数据集的一些实验表明,我们的方法能够隐藏敏感属性,同时限制数据的变形并改善了后续数据分析任务的公平性。
translated by 谷歌翻译
预测模型可以表现出对培训数据的敏感性:训练数据中的微小变化可以产生在测试时间期间为单个数据点分配相互矛盾的预测的模型。在这项工作中,我们研究了推荐系统中的这种敏感性,其中用户的建议在其他无关用户的交互中受到较小的扰动的巨大改变。我们介绍了推荐系统的稳定性度量,称为等级列表灵敏度(RLS),该量度衡量了由于培训数据中的扰动而导致的测试时间变化时在测试时间变化时如何生成的等级列表。我们开发了一种方法,即Casper,该方法使用级联效应来识别最小和系统的扰动,以在推荐系统中诱导更高的不稳定性。四个数据集的实验表明,推荐模型对引入或通过Casper引入的次要扰动过于敏感 - 甚至将一个用户的一个随机交互扰动会大大更改所有用户的建议列表。重要的是,借助Casper扰动,这些模型比高准确性的使用者(即那些接受低质量建议的人)为低临界用户(即那些接受低质量建议的人)产生更多的不稳定建议。
translated by 谷歌翻译
Over the past decade, tremendous progress has been made in Recommender Systems (RecSys) for well-known tasks such as next-item and next-basket prediction. On the other hand, the recently proposed next-period recommendation (NPR) task is not covered as much. Current works about NPR are mostly based around distinct problem formulations, methods, and proprietary datasets, making solutions difficult to reproduce. In this article, we aim to fill the gap in RecSys methods evaluation on the NPR task using publicly available datasets and (1) introduce the TTRS, a large-scale financial transactions dataset suitable for RecSys methods evaluation; (2) benchmark popular RecSys approaches on several datasets for the NPR task. When performing our analysis, we found a strong repetitive consumption pattern in several real-world datasets. With this setup, our results suggest that the repetitive nature of data is still hard to generalize for the evaluated RecSys methods, and novel item prediction performance is still questionable.
translated by 谷歌翻译
消除偏见的同时保留所有与任务相关的信息对于公平表示学习方法具有挑战性,因为它们会产生随机或退化表示w.r.t.当敏感属性与标签相关时,标记。现有的作品提议将标签信息注入学习程序以克服此类问题。但是,并不总是满足观察到的标签是清洁的假设。实际上,标签偏见被认为是引起歧视的主要来源。换句话说,公平的预处理方法忽略了在学习过程或评估阶段中标签中编码的歧视。这一矛盾给了学识渊博的表示的公平性。为了避免此问题,我们探讨了以下问题:\ emph {我们可以学习可预测的公平表示,可预测到仅访问不可靠标签的潜在理想公平标签吗?}在这项工作中,我们建议\ textbf {d} e- \ textbf { \ textbf {r} \ textbf {f} ernenses(dbrf)框架的b} iased \ textbf {r} ePresentation学习,该框架将敏感信息从非敏感属性中解散,同时使学习的表示形式可预测到理想的公平标签,而不是观察到的偏见。我们通过信息理论概念(例如相互信息和信息瓶颈)制定了偏见的学习框架。核心概念是,当敏感信息受益于不可靠标签的预测时,DBRF提倡不使用不可靠的标签进行监督。综合数据和现实世界数据的实验结果表明,DBRF有效地学习了对理想标签的偏见表示。
translated by 谷歌翻译
We propose a fairness-aware learning framework that mitigates intersectional subgroup bias associated with protected attributes. Prior research has primarily focused on mitigating one kind of bias by incorporating complex fairness-driven constraints into optimization objectives or designing additional layers that focus on specific protected attributes. We introduce a simple and generic bias mitigation approach that prevents models from learning relationships between protected attributes and output variable by reducing mutual information between them. We demonstrate that our approach is effective in reducing bias with little or no drop in accuracy. We also show that the models trained with our learning framework become causally fair and insensitive to the values of protected attributes. Finally, we validate our approach by studying feature interactions between protected and non-protected attributes. We demonstrate that these interactions are significantly reduced when applying our bias mitigation.
translated by 谷歌翻译
许多现代的顺序推荐系统使用深层神经网络,可以有效地估计项目的相关性,但需要大量时间进行训练。慢速培训增加了费用,阻碍了产品开发时间表,并防止该模型定期更新以适应不断变化的用户偏好。培训这样的顺序模型涉及对过去的用户互动进行适当采样以创建现实的培训目标。现有的培训目标有局限性。例如,下一个项目预测永远不会将序列的开头用作学习目标,从而可能丢弃有价值的数据。另一方面,Bert4Rec使用的项目掩盖仅与顺序建议的目标无关。因此,它需要更多的时间来获得有效的模型。因此,我们提出了一个基于新颖的序列训练目标采样,以解决这两个局限性。我们将我们的方法应用于最近和最新的模型架构,例如Gru4Rec,Caser和Sasrec。我们表明,通过我们的方法增强的模型可以实现超过或非常接近bert4rec的状态的性能,但训练时间却少得多。
translated by 谷歌翻译
近年来,语言模型已在各种自然语言处理任务上实现了最先进的表现。随着这些模型的尺寸不断增长,探索方法使其更有效的方法变得越来越重要。同时,它们的增强认知能力增加了模型权重中隐式编码数据集中存在的社会偏见的危险。我们提出了一种架构,该体系结构同时使用两种技术来处理这两个挑战:差异和对抗性培训。结果是一个模块化体系结构,该体系结构将原始的差异设置扩展到使用,并将其他稀疏子网应用于掩盖,以减少推理时预定义的受保护属性的效果。
translated by 谷歌翻译
住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求,这可能会改善患者的安全性。但是,这些预测可能容易受到社会决定因素(例如种族,年龄和性别)造成的健康差异的影响。这些偏见必须在数据收集过程的早期,在进入系统之前就可以消除,并通过模型预测加强,从而导致模型决策的偏见。在本文中,我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据,确定是否存在偏见,将其删除,然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明,当我们在模型早期减轻偏见时,我们会得到更公平的预测。我们还发现,随着我们获得更好的公平性,我们牺牲了一定程度的准确性,这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。
translated by 谷歌翻译
推荐系统,为用户提供个性化建议,为当今的许多社交媒体,电子商务和娱乐提供动力。但是,已知这些系统可以从各种角度从智力上隔离用户,或引起过滤气泡。在我们的工作中,我们表征和减轻了这种过滤器气泡效应。我们通过根据其用户 - 项目交互历史记录对各种数据点进行分类,并使用众所周知的Tracin方法对彼此的影响进行分类。最后,我们通过仔细地重新训练我们的建议系统来减轻这种过滤器气泡效果而不会损害精度。
translated by 谷歌翻译
Online personalized recommendation services are generally hosted in the cloud where users query the cloud-based model to receive recommended input such as merchandise of interest or news feed. State-of-the-art recommendation models rely on sparse and dense features to represent users' profile information and the items they interact with. Although sparse features account for 99% of the total model size, there was not enough attention paid to the potential information leakage through sparse features. These sparse features are employed to track users' behavior, e.g., their click history, object interactions, etc., potentially carrying each user's private information. Sparse features are represented as learned embedding vectors that are stored in large tables, and personalized recommendation is performed by using a specific user's sparse feature to index through the tables. Even with recently-proposed methods that hides the computation happening in the cloud, an attacker in the cloud may be able to still track the access patterns to the embedding tables. This paper explores the private information that may be learned by tracking a recommendation model's sparse feature access patterns. We first characterize the types of attacks that can be carried out on sparse features in recommendation models in an untrusted cloud, followed by a demonstration of how each of these attacks leads to extracting users' private information or tracking users by their behavior over time.
translated by 谷歌翻译
随着深度学习技术扩展到现实世界推荐任务,已经开发出许多深度神经网络的协作滤波(CF)模型基于各种神经结构,例如多层的神经架构将用户项目交互项目投影到潜伏特征空间中Perceptron,自动编码器和图形神经网络。然而,大多数现有的协作过滤系统不充分设计用于处理缺失的数据。特别是,为了在训练阶段注入负信号,这些解决方案很大程度上依赖于未观察到的用户项交互,并且简单地将它们视为负实例,这带来了推荐性能下降。为了解决问题,我们开发了一个协作反射增强的AutoEncoder网络(Cranet),它能够探索从观察到和未观察的用户项交互的可转移知识。 Cranet的网络架构由具有反射接收器网络的集成结构和信息融合自动统计器模块形成,其推荐框架具有在互动和非互动项目上编码隐式用户的成对偏好的能力。另外,基于参数正规化的捆绑重量方案旨在对两级颅骨模型进行鲁棒联合训练。我们终于在对应于两个推荐任务的四个不同基准数据集上进行了实验验证了Cranet,以表明,与各种最先进的推荐技术相比,脱叠用户项交互的负信号提高了性能。我们的源代码可在https://github.com/akaxlh/cranet上获得。
translated by 谷歌翻译
会话推荐系统提供互动,参与用户的互动方式的承诺,以查找他们喜欢的物品。我们寻求通过三维提高对话建议:1)我们的目标是模仿建议的常见人类互动模式:专家证明他们的建议,寻求者解释为什么他们不喜欢该项目,双方遍历对话框迭代对话框找到合适的物品。 2)我们利用对会话批评的想法来允许用户通过批评主观方面灵活地与自然语言理由进行互动。 3)我们将会话建议适应更广泛的域名,其中不可用的人群地面真理对话框。我们开发了一个新的两部分框架,用于培训会话推荐系统。首先,我们培训推荐制度,共同建议项目,并用主观方面证明其推理。然后,我们微调该模型通过自我监督的机器人播放来合并迭代用户反馈。三个真实数据集的实验表明,与最先进的方法相比,我们的系统可以应用于各种域的不同推荐模型,以实现对话建议的卓越性能。我们还评估了我们对人类用户的模型,显示在我们的框架下培训的系统提供更有用,有用,有用,并且在热情和冷启动设置中提供的知识推荐。
translated by 谷歌翻译
当前用于面部识别的模型(FR)中存在人口偏见。我们在野外(BFW)数据集中平衡的面孔是衡量种族和性别亚组偏见的代理,使一个人可以表征每个亚组的FR表现。当单个分数阈值确定样本对是真实还是冒名顶替者时,我们显示的结果是非最佳选择的。在亚组中,性能通常与全球平均水平有很大差异。因此,仅适用于与验证数据相匹配的人群的特定错误率。我们使用新的域适应性学习方案来减轻性能不平衡,以使用最先进的神经网络提取的面部特征。该技术平衡了性能,但也可以提高整体性能。该建议的好处是在面部特征中保留身份信息,同时减少其所包含的人口统计信息。人口统计学知识的去除阻止了潜在的未来偏见被注入决策。由于对个人的可用信息或推断,因此此删除可改善隐私。我们定性地探索这一点;我们还定量地表明,亚组分类器不再从提出的域适应方案的特征中学习。有关源代码和数据描述,请参见https://github.com/visionjo/facerec-bias-bfw。
translated by 谷歌翻译