一种共同的销售策略涉及让帐户高管(AES)积极联系并与潜在客户联系。但是,并非所有的接触尝试都有积极的效果:有些尝试不会改变客户的决策,而另一些尝试甚至可能会干扰所需的结果。在这项工作中,我们建议使用因果推断来估计与每个潜在客户联系并相应地制定联系政策的效果。我们从在线珠宝市场worthy.com上证明了这种方法。我们研究了有价值的业务流程,以确定相关的决策和结果,并对他们制定的方式进行正式的假设。使用因果工具,我们选择了一个决策点,改善AE接触活动似乎是有希望的。然后,我们制定了一个个性化的政策,建议仅与对其有益的客户联系。最后,我们在3个月内验证了A \ B测试中的结果,从而导致目标人群的项目交付率增加了22%(p值= 0.026)。现在,该政策正在持续使用。
translated by 谷歌翻译
数据科学有可能改善各种垂直领域的业务。尽管狮子的数据科学项目使用了一种预测方法,但这些预测应成为决策。但是,这种两步的方法不仅是最佳的,甚至可能降低性能并使项目失败。另一种选择是遵循规范性的框架,在该框架中,行动是“第一公民”,以便该模型制定规定采取行动的政策,而不是预测结果。在本文中,我们解释了为什么规定的方法很重要,并提供了分步方法论:规定的画布。后者旨在改善项目利益相关者的框架和沟通,包括项目和数据科学经理,以成功地产生业务影响。
translated by 谷歌翻译
我们应用因果机学习算法来评估营销干预措施的因果影响,即优惠券活动,对零售商的销售。除了评估不同类型的优惠券的平均影响外,我们还调查了不同客户群的因果关系效应的异质性,例如,在相对较高的客户与先前购买相对较高的客户之间。最后,我们使用最佳政策学习来确定(以数据驱动方式)哪些客户群应针对优惠券活动,以最大程度地提高营销干预措施在销售方面的有效性。我们发现,在检查的五个优惠券类别中,只有两个,即适用于药店产品和其他食品产品类别的优惠券,对零售商销售具有统计学上的显着积极影响。对小组平均治疗效果的评估表明,在商店的先前购买中定义的客户群中,优惠券提供的影响有很大的差异,药品店优惠券在先前购买较高的客户和其他食品优惠券中特别有效先前购买较低的客户。我们的研究提供了一种用例,用于在业务分析中应用因果机学习,以评估特定公司政策(例如营销活动)对决策支持的因果影响。
translated by 谷歌翻译
许多收集行为大数据的互联网平台都使用它来预测内部目的的用户行为及其业务客户(例如广告商,保险公司,安全部队,政府,政治咨询公司),他们利用了个性化,定位和其他决策的预测-制造。因此,提高预测精度非常有价值。数据科学研究人员设计了改善预测的算法,模型和方法。通过更大,更丰富的数据,还可以改善预测。除了改进算法和数据外,平台还可以通过使用行为修改技术将用户的行为推向其预测值,从而偷偷摸摸地实现更好的预测准确性,从而证明了更多的某些预测。这种明显的“改进”预测可能是通过使用强化学习算法结合预测和行为修改的。机器学习和统计文献中没有这种策略。研究其特性需要将因果关系与预测符号整合在一起。为此,我们将Pearl的因果Do(。)操作员纳入预测词汇中。然后,我们分解给定行为修改的预期预测误差,并确定影响预测能力的组件。我们的派生阐明了这种行为修改对数据科学家,平台,客户和行为被操纵的人类的影响。行为修改可以使用户的行为更加可预测,甚至更均匀;然而,当业务客户在实践中使用预测时,这种明显的可预测性可能不会推广。朝着他们的预测推动的结果可能与客户的意图矛盾,并且对操纵用户有害。
translated by 谷歌翻译
业务分析(BA)的广泛采用带来了财务收益和提高效率。但是,当BA以公正的影响为决定时,这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应,对算法公平性的新兴研究涉及算法输出,这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象,尤其是那些在历史上被边缘化的人。公平性是根据法律合规,社会责任和效用是相关的;如果不充分和系统地解决,不公平的BA系统可能会导致社会危害,也可能威胁到组织自己的生存,其竞争力和整体绩效。本文提供了有关算法公平的前瞻性,注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后,我们对公用事业关系的详细讨论进行了详细的讨论,强调经常假设这两种构造之间经常是错误的或短视的。最后,我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。
translated by 谷歌翻译
我们研究了一个定价设置,其中每个客户都基于客户和/或产品特征提供了一种预测客户对该产品的估值的产品特征。通常只有历史销售记录,我们遵守每个客户是否以规定的价格购买产品,而不是客户的真实估值。因此,数据受到历史销售政策的影响,历史销售政策在没有进行实际实验的可能性的情况下估算未来损失/遗憾的困难/遗憾的损失/遗憾,而是优化诸如收入管理等下游任务的新政策。我们研究如何制定损失功能,该功能可用于直接优化定价策略,而不是通过中间需求估计阶段,这可能在实践中被偏见,因为模型拼写,正常化或校准差。虽然在估值数据可用时提出了现有方法,但我们提出了观察数据设置的损失函数。为实现这一目标,我们将机器学习的想法适应损坏的标签,我们可以考虑每个观察到的客户的结果(购买或不按规定的价格购买),作为客户估值的(已知)概率转变。从这种转变,我们派生了一类合适的无偏损失功能。在此类中,我们识别最小方差估计器,那些对不良需求函数估计的稳健性,并在估计的需求功能有用时提供指导。此外,我们还表明,当应用于我们的上下文定价环境时,在违规评估文学中流行的估计人员在这类损失职能范围内,并且当每个估算师在实践中可能表现良好时,还提供管理层。
translated by 谷歌翻译
Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.
translated by 谷歌翻译
工业推荐系统处理极大的行动空间 - 许多数百万的项目推荐。此外,他们需要为数十亿用户服务,他们在任何时间点都是独一无止的,制作复杂的用户状态空间。幸运的是,可以学习大量记录的隐式反馈(例如,用户点击,停留时间)。然而,从记录的反馈中学习,才受到仅通过以前版本的推荐器选择的建议的反馈而导致的偏差。在这项工作中,我们展示了在YouTube的生产Top-K推荐系统中解决此类偏差的一般配方,以策略梯度为基础的算法,即加强。本文的贡献是:(1)缩放到生产推荐系统,以数百万的订单为行动空间; (2)申请违规纠正以解决从多种行为策略收集的记录反馈中学习数据偏差; (3)提出新的Top-K违规纠正,以占我们的政策一次推荐多个项目; (4)展示勘探的价值。我们展示了我们通过一系列模拟和youtube上的多个实时实验的方法。
translated by 谷歌翻译
Teaser: How seemingly trivial experiment design choices to simplify the evaluation of human-ML systems can yield misleading results.
translated by 谷歌翻译
搜索引擎通过选择和排名结果列表来故意影响用户行为。用户由于其出色的位置和通常是最相关的文档而获得最高结果。搜索引擎排名算法需要确定相关性,同时纳入搜索引擎本身的影响。本文介绍了我们在Thumbtack了解排名的影响的努力,包括随机计划的经验结果。在消费市场的背景下,我们讨论了模型选择,实验设计,偏置计算和机器学习模型适应的实用细节。我们包括一个新的讨论,即对排名偏差如何不仅影响标签,而且还会影响模型特征。随机计划导致改进的模型,动机的内部方案分析并启用了面向用户的方案工具。
translated by 谷歌翻译
Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with. Data is frequently imperfect in ways that allow these algorithms to inherit the prejudices of prior decision makers. In other cases, data may simply reflect the widespread biases that persist in society at large. In still others, data mining can discover surprisingly useful regularities that are really just preexisting patterns of exclusion and inequality. Unthinking reliance on data mining can deny historically disadvantaged and vulnerable groups full participation in society. Worse still, because the resulting discrimination is almost always an unintentional emergent property of the algorithm's use rather than a conscious choice by its programmers, it can be unusually hard to identify the source of the problem or to explain it to a court. This Essay examines these concerns through the lens of American antidiscrimination law-more particularly, through Title
translated by 谷歌翻译
癌症护理中的治疗决策受到随机对照试验(RCT)的治疗效应估计的指导。 RCT估计在某个人群中,一种治疗与另一种治疗的平均效应。但是,治疗可能对人群中的每个患者都不同样有效。了解针对特定患者和肿瘤特征量身定制的治疗的有效性将实现个性化的治疗决策。通过平均RCT中不同患者亚组的结果来获得量身定制的治疗效果,需要大量的患者在所有相关亚组中具有足够的统计能力,以实现所有可能的治疗。美国癌症联合委员会(AJCC)建议研究人员开发结果预测模型(OPMS),以实现个性化治疗决策。 OPM有时称为风险模型或预后模型,使用患者和肿瘤特征来预测患者的结局,例如总体生存。假设这些预测对于使用“只有在OPM预测患者具有高复发风险的情况下开出化学疗法的规则”之类的规则,对治疗决策有用。 AJCC认识到可靠预测的重要性,发布了OPM的清单,以确保设计OPM设计的患者群体的可靠OPM预测准确性。但是,准确的结果预测并不意味着这些预测会产生良好的治疗决策。从这个角度来看,我们表明OPM依靠固定的治疗政策,这意味着被发现可以准确预测验证研究结果的OPM在用于治疗决策的情况下仍会导致患者伤害。然后,我们提供有关如何开发对个性化治疗决策有用的模型以及如何评估模型是否具有决策价值的指导。
translated by 谷歌翻译
有许多可用于选择优先考虑治疗的可用方法,包括基于治疗效果估计,风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应(RATY)指标作为一种简单常见的指标系列,用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则,率是不可知的,并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器,并证明了一个中央限位定理,可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由,以及用于测试关于治疗效果中的异质性的假设的框架,与优先级规则相关。我们对速率的定义嵌套了许多现有度量,包括QINI系数,以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中,使用来自Sprint和Accor-BP随机对照试验的数据,我们发现没有明显的证据证明异质治疗效果。另一方面,在大量的营销审判中,我们在一些数字广告活动的治疗效果中发现了具有的强大证据,并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。
translated by 谷歌翻译
虚拟支持代理商已经普及,作为企业提供更好,更可访问的客户服务的一种方式。此域中的一些挑战包括模糊的用户查询以及更改支持主题和用户行为(非实用性)。但是,我们这样做可以访问用户提供的部分反馈(点击,调查和其他事件),这些反馈可以利用来改善用户体验。适应的学习技术,如上下文匪徒,是对这个问题设置的自然拟合。在本文中,我们讨论了Microsoft Virtual代理的上下文匪徒(CB)的实际实现。它包括基于神经线性匪徒(NLB)和基于多武装匪徒(MAB)集合的内容建议的意图消歧。我们的解决方案已部署到生产并改进了Microsoft虚拟代理的关键业务指标,由A / B实验确认。结果包括问题分辨率的相对增加12%,并且对人类运营商的升级相对减少超过4%。虽然我们目前的用例侧重于Intent消费歧义和支持机器人的上下文建议,但我们认为我们的方法可以扩展到其他域。
translated by 谷歌翻译
人类服务系统做出关键决策,影响社会中的个人。美国儿童福利系统做出了这样的决定,从筛查热线报告的报告报告,涉嫌虐待或忽视儿童保护性调查,使儿童接受寄养,再到将儿童返回永久家庭环境。这些对儿童生活的复杂而有影响力的决定取决于儿童福利决策者的判断。儿童福利机构一直在探索使用包括机器学习(ML)的经验,数据信息的方法来支持这些决策的方法。本文描述了ML支持儿童福利决策的概念框架。 ML框架指导儿童福利机构如何概念化ML可以解决的目标问题;兽医可用的管理数据用于构建ML;制定和开发ML规格,以反映机构正在进行的相关人群和干预措施;随着时间的流逝,部署,评估和监视ML作为儿童福利环境,政策和实践变化。道德考虑,利益相关者的参与以及避免框架的影响和成功的共同陷阱。从摘要到具体,我们描述了该框架的一种应用,以支持儿童福利决策。该ML框架虽然以儿童福利为中心,但可以推广用于解决其他公共政策问题。
translated by 谷歌翻译
In contrast to the rapid digitalization of several industries, agriculture suffers from low adoption of smart farming tools. While AI-driven digital agriculture tools can offer high-performing predictive functionalities, they lack tangible quantitative evidence on their benefits to the farmers. Field experiments can derive such evidence, but are often costly, time consuming and hence limited in scope and scale of application. To this end, we propose an observational causal inference framework for the empirical evaluation of the impact of digital tools on target farm performance indicators (e.g., yield in this case). This way, we can increase farmers' trust via enhancing the transparency of the digital agriculture market and accelerate the adoption of technologies that aim to secure farmer income resilience and global agricultural sustainability. As a case study, we designed and implemented a recommendation system for the optimal sowing time of cotton based on numerical weather predictions, which was used by a farmers' cooperative during the growing season of 2021. We then leverage agricultural knowledge, collected yield data, and environmental information to develop a causal graph of the farm system. Using the back-door criterion, we identify the impact of sowing recommendations on the yield and subsequently estimate it using linear regression, matching, inverse propensity score weighting and meta-learners. The results reveal that a field sown according to our recommendations exhibited a statistically significant yield increase that ranged from 12% to 17%, depending on the method. The effect estimates were robust, as indicated by the agreement among the estimation methods and four successful refutation tests. We argue that this approach can be implemented for decision support systems of other fields, extending their evaluation beyond a performance assessment of internal functionalities.
translated by 谷歌翻译
我们根据机器学习,即人工智能的子场,折扣对瑞士联邦铁路发行的火车票的需求影响。考虑到基于调查的超级票的买家样本,我们调查了哪些客户或旅行相关的特征(包括折现率)预测购买行为,即:预订旅行,否则未通过火车实现,而不是第二次购买 - 售票或重新安排旅行时(例如,远离高峰时间),当时被提供超级票时。预测机器学习表明,客户的年龄,与特定连接的需求相关信息(例如出发时间和利用率)以及折现水平允许在一定程度上预测购买行为。此外,我们使用因果机学习来评估折现率对重新安排旅行的影响,这似乎是根据高峰时间的容量限制而相关的。假设(i)折现率是基于我们丰富的特征的准随机,(ii)购买决策以折现率单调较弱,我们确定了“始终购买者”的折现率的效果,谁会旅行。即使没有折扣,也要根据我们的调查,该调查在没有折扣的情况下询问客户行为。我们发现,平均而言,将折现率提高一个百分点会使重新安排的旅行的份额增加0.16个百分点,但总是买家。研究效果的异质性在观察物中的异质性表明,在控制其他几个特征时,休闲旅行者以及高峰时段的效果较高。
translated by 谷歌翻译
在这个大数据时代,当前一代很难从在线平台中包含的大量数据中找到正确的数据。在这种情况下,需要一个信息过滤系统,可以帮助他们找到所需的信息。近年来,出现了一个称为推荐系统的研究领域。推荐人变得重要,因为他们拥有许多现实生活应用。本文回顾了推荐系统在电子商务,电子商务,电子资源,电子政务,电子学习和电子生活中的不同技术和发展。通过分析有关该主题的最新工作,我们将能够详细概述当前的发展,并确定建议系统中的现有困难。最终结果为从业者和研究人员提供了对建议系统及其应用的必要指导和见解。
translated by 谷歌翻译
决策者通常想确定为某些干预或治疗最有效的个人,以决定要治疗谁。在这种情况下,理想情况下,决策者希望根据其个人因果影响对潜在的治疗者进行排名。但是,可用于估计因果效应的历史数据可能会混淆,因此,准确地估计效果是不可能的。我们提出了一个关于历史数据的新的且较少的限制性假设,称为排名保存假设(RPA),即使无法准确估算效果本身,也可以一致地估计单个效应的排名。重要的是,我们发现,当混杂偏见更大的因果效应的个体更大时,混淆有助于估计因果效应的排名,即使不是这种情况,也可以纠正混淆的任何有害影响,也可以纠正满足RPA时更大的培训数据。然后,我们在分析上表明,可以在各种情况下满足RPA,包括在线广告和客户保留等常见的业务应用程序。我们在在线广告的背景下以一个经验示例来支持这一发现。该示例还显示了如何在实践中评估混杂模型的决策。主要要点是,传统上可能被认为是因果估计的“好”数据(即,不满意的数据)可能不是必需的,而对于做出良好的因果决定,因此治疗作业方法可能比我们在面前允许他们荣誉更好混淆。
translated by 谷歌翻译
如今,可以在许多电子商务平台上找到自动建议,并且此类建议可以为消费者和提供商创造巨大的价值。但是,通常并非所有推荐的物品都具有相同的利润率,因此,提供商可能会诱使促进最大化其利润的项目。在短期内,消费者可能会接受非最佳建议,但从长远来看,他们可能会失去信任。最终,这导致了设计平衡推荐策略的问题,这些策略既考虑消费者和提供商的价值,并带来持续的业务成功。这项工作提出了一个基于基于代理的建模的仿真框架,旨在帮助提供者探索不同推荐策略的纵向动态。在我们的模型中,消费者代理人收到了提供者的建议,并且建议的质量随着时间的推移影响消费者的信任。我们设计了几种推荐策略,可以使提供商的利润更大,或者对消费者公用事业。我们的模拟表明,一种混合​​策略会增加消费者公用事业的权重,但没有忽略盈利能力,从长远来看会导致累计利润最高。与纯粹的消费者或面向利润的策略相比,这种混合策略的利润增加了约20%。我们还发现,社交媒体可以加强观察到的现象。如果消费者严重依赖社交媒体,最佳战略的累积利润进一步增加。为了确保可重复性并培养未来的研究,我们将公开共享我们的灵活模拟框架。
translated by 谷歌翻译