强化学习进行推荐和实验的现实应用面临实际挑战:不同匪徒的相对奖励可以在学习代理的一生中发展。要处理这些非机构案件,代理商必须忘记一些历史知识,因为它可能不再与最小化的遗憾有关。我们提出了一种处理非平稳性的解决方案,该解决方案适合于大规模部署,以向业务运营商提供自动适应性优化。我们的解决方案旨在提供可解释的学习,这些学习可以被人类信任,同时响应非平稳性以最大程度地减少遗憾。为此,我们开发了一种自适应的贝叶斯学习代理,该学习者采用了一种新型的动态记忆形式。它可以通过统计假设检验来实现可解释性,通过在比较奖励并动态调整其内存以实现此功能时,通过统计能力的设定点来实现统计能力的设定点。根据设计,代理对不同种类的非平稳性不可知。使用数值模拟,我们将其绩效与现有提案进行比较,并表明在多个非平稳场景下,我们的代理人正确地适应了真实奖励的实际变化。在所有强盗解决方案中,学习和实现最大表现之间都有明确的权衡。与另一种类似强大的方法相比,我们的解决方案在此权衡方面的一个不同点:我们优先考虑可解释性,这依靠更多的学习,而付出了一些遗憾。我们描述了自动优化的大规模部署的体系结构,即服务,我们的代理商在适应不断变化的情况的同时可以实现可解释性。
translated by 谷歌翻译
在潜在的强盗问题中,学习者可以访问奖励分布,并且 - 对于非平稳的变体 - 环境的过渡模型。奖励分布在手臂和未知的潜在状态下进行条件。目的是利用奖励历史来识别潜在状态,从而使未来的武器选择最佳。潜在的匪徒设置将自己适用于许多实际应用,例如推荐人和决策支持系统,其中丰富的数据允许在线学习的环境模型的离线估算仍然是关键组成部分。在这种情况下,以前的解决方案始终根据代理商对国家的信念选择最高的奖励组,而不是明确考虑信息收集臂的价值。这种信息收集的武器不一定会提供最高的奖励,因此永远不会选择始终选择最高奖励武器的代理商选择。在本文中,我们提出了一种潜在土匪信息收集的方法。鉴于特殊的奖励结构和过渡矩阵,我们表明,鉴于代理商对国家的信念,选择最好的手臂会产生更高的遗憾。此外,我们表明,通过仔细选择武器,我们可以改善对国家分布的估计,从而通过将来通过更好的手臂选择来降低累积后悔。我们在合成和现实世界数据集上评估了我们的方法,显示出对最新方法的遗憾显着改善。
translated by 谷歌翻译
像汤普森采样等多武装强盗算法可用于进行自适应实验,其中最大化奖励意味着数据用于逐步为更多参与者分配更有效的武器。这些转让策略增加了统计假设试验的风险,鉴定武器之间的差异,当没有一个时,并且在真正是一个是一个时,武器的差异存在差异。我们为2臂实验仿真,探讨了两种算法,这些算法结合了统计分析的均匀随机化的益处,具有通过Thompson采样(TS)实现的奖励最大化的益处。首先,前两种汤普森采样增加了固定量的均匀随机分配(UR)随时间均匀传播。二,一种新的启发式算法,称为TS Postdiff(差异后概率)。 Ts Postdiff采用贝叶斯方法来混合TS和UR:使用UR分配分配参与者的概率是后部概率,即两个臂之间的差异是“小”(低于某个阈值),允许在存在时探索更多的探索很少或没有奖励获得。我们发现TS PostDiff方法跨多种效果大小进行良好,因此不需要根据真实效果大小的猜测进行调整。
translated by 谷歌翻译
由于数据量增加,金融业的快速变化已经彻底改变了数据处理和数据分析的技术,并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比,解决模型假设的财务决策问题,强化学习(RL)的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程,这是许多常用的RL方法的设置。然后引入各种算法,重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的,以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用,包括最佳执行,投资组合优化,期权定价和对冲,市场制作,智能订单路由和Robo-Awaring。
translated by 谷歌翻译
We introduce a new setting, optimize-and-estimate structured bandits. Here, a policy must select a batch of arms, each characterized by its own context, that would allow it to both maximize reward and maintain an accurate (ideally unbiased) population estimate of the reward. This setting is inherent to many public and private sector applications and often requires handling delayed feedback, small data, and distribution shifts. We demonstrate its importance on real data from the United States Internal Revenue Service (IRS). The IRS performs yearly audits of the tax base. Two of its most important objectives are to identify suspected misreporting and to estimate the "tax gap" -- the global difference between the amount paid and true amount owed. Based on a unique collaboration with the IRS, we cast these two processes as a unified optimize-and-estimate structured bandit. We analyze optimize-and-estimate approaches to the IRS problem and propose a novel mechanism for unbiased population estimation that achieves rewards comparable to baseline approaches. This approach has the potential to improve audit efficacy, while maintaining policy-relevant estimates of the tax gap. This has important social consequences given that the current tax gap is estimated at nearly half a trillion dollars. We suggest that this problem setting is fertile ground for further research and we highlight its interesting challenges. The results of this and related research are currently being incorporated into the continual improvement of the IRS audit selection methods.
translated by 谷歌翻译
在比较多臂匪徒算法的性能时,通常会忽略缺失数据的潜在影响。实际上,这也影响了他们的实现,在克服此问题的最简单方法是继续根据原始的强盗算法进行采样,而忽略了缺失的结果。我们通过广泛的仿真研究研究了对这种方法的性能的影响,以处理几种强盗算法的缺失数据,假设奖励是随机缺失的。我们专注于具有二元结果的两臂匪徒在患者分配的背景下用于样本量相对较小的临床试验的背景下。但是,我们的结果适用于预计丢失数据的Bandit算法的其他应用。我们评估所得的运营特征,包括预期的奖励。考虑到双臂失踪的不同概率。我们工作的关键发现是,当使用忽略丢失数据的最简单策略时,对多军匪徒策略的预期性能的影响会根据这些策略平衡勘探探索折衷权衡的方式而有所不同。旨在探索的算法继续将样本分配给手臂,而响应却更多(被认为是具有较少观察到的信息的手臂,该算法比其他算法更具吸引力)。相比之下,针对剥削的算法将迅速为来自手臂的样品迅速分配高价值,而当前高平均值的算法如何,与每只手臂的水平观测无关。此外,对于算法更多地关注探索,我们说明,可以使用简单的平均插补方法来缓解缺失响应的问题。
translated by 谷歌翻译
Designing experiments often requires balancing between learning about the true treatment effects and earning from allocating more samples to the superior treatment. While optimal algorithms for the Multi-Armed Bandit Problem (MABP) provide allocation policies that optimally balance learning and earning, they tend to be computationally expensive. The Gittins Index (GI) is a solution to the MABP that can simultaneously attain optimality and computationally efficiency goals, and it has been recently used in experiments with Bernoulli and Gaussian rewards. For the first time, we present a modification of the GI rule that can be used in experiments with exponentially-distributed rewards. We report its performance in simulated 2- armed and 3-armed experiments. Compared to traditional non-adaptive designs, our novel GI modified design shows operating characteristics comparable in learning (e.g. statistical power) but substantially better in earning (e.g. direct benefits). This illustrates the potential that designs using a GI approach to allocate participants have to improve participant benefits, increase efficiencies, and reduce experimental costs in adaptive multi-armed experiments with exponential rewards.
translated by 谷歌翻译
在教育环境中进行随机实验提出了一个问题,即我们如何使用机器学习技术来改善教育干预措施。使用自适应实验中的汤普森采样(TS)(TS)等多臂匪徒(MAB)算法,即使在干预完成之前,也可以通过增加对最佳状态(ARM)的分配可能性来获得更好的结果的机会。这是比传统的A/B测试的优势,该测试可能会分配相等数量的学生为最佳和非最佳条件。问题是勘探探索权衡取舍。尽管自适应政策旨在收集足够的信息来分配更多的学生以可靠地提供更好的武器,但过去的工作表明,这可能还不够探索,无法就武器是否有所不同,得出可靠的结论。因此,在整个实验中提供额外的均匀随机(UR)探索是很有趣的。本文展示了一个真实的自适应实验,该实验是关于学生如何与教师每周的电子邮件提醒互动以建立时间管理习惯的。我们感兴趣的指标是打开电子邮件率,它跟踪由不同主题行的武器。这些是按照不同的分配算法传递的:ur,ts和我们确定为ts {\ dag} - 结合了TS和UR奖励以更新其先验者。我们强调了这些自适应算法的问题 - 在没有显着差异时可能会剥削手臂 - 并解决它们的原因和后果。未来的方向包括研究最佳臂的早期选择不是理想的情况以及自适应算法如何解决它们的情况。
translated by 谷歌翻译
基本的多臂匪徒(mAb)问题是试图最大程度地利用从不同概率分布的土匪获得的奖励,因为只能进行有限数量的尝试。在研究市场上的交易算法时,我们正在研究mabs问题最复杂的变体之一,即非平稳连续体匪徒(NCBS)问题。布里斯托尔证券交易所(BSE)是基于通过限制订单的连续双拍卖来对电子金融交换的简单模拟。市场可以由具有不同交易算法的自动交易者填充。在其中,PRSH算法体现了解决NCBS问题的一些基本思想。但是,它面临调整超参数并适应复杂市场条件变化的困难。我们提出了一种称为PRB的新算法,该算法通过贝叶斯优化解决了连续的土匪问题,并通过一种新颖的“ Burnit-Bandit”框架解决了非平稳土匪问题。使用BSE,我们使用尽可能多的交易者代理商在两个不同的市场动态下模拟真实的市场环境。然后,我们分别在不同的市场动态下研究了PRSH算法和PRB算法的最佳超参数。最后,通过同时让交易者使用两种算法贸易,我们证明了PRB算法的性能优于两个市场动态下的PRSH算法。特别是,我们对所有实验结果进行严格的假设测试,以确保其正确性。
translated by 谷歌翻译
大多数在线平台都在努力从与用户的互动中学习,许多人从事探索:为了获取新信息而做出潜在的次优选择。我们研究探索与竞争之间的相互作用:这样的平台如何平衡学习探索和用户的竞争。在这里,用户扮演三个不同的角色:他们是产生收入的客户,他们是学习的数据来源,并且是自私的代理商,可以在竞争平台中进行选择。我们考虑了一种风格化的双重垄断模型,其中两家公司面临着相同的多军强盗问题。用户一一到达,并在两家公司之间进行选择,因此,只有在选择它的情况下,每个公司都在其强盗问题上取得进展。通过理论结果和数值模拟的混合,我们研究了竞争是否会激发更好的Bandit算法的采用,以及它是否导致用户增加福利。我们发现,Stark竞争会导致公司致力于导致低福利的“贪婪”强盗算法。但是,通过向公司提供一些“免费”用户来激励更好的探索策略并增加福利来削弱竞争。我们调查了削弱竞争的两个渠道:放松用户的理性并为一家公司带来首次推广优势。我们的发现与“竞争与创新”关系密切相关,并阐明了数字经济中的第一步优势。
translated by 谷歌翻译
当不可用的数据不可用时,在电子商务行业中通常使用强盗算法来培训机器学习(ML)系统。但是,行业的设置提出了各种挑战,使实践中实施强盗算法的挑战是非平凡的。在本文中,我们详细阐述了非政策优化,延迟奖励,概念漂移,奖励设计和业务规则限制的挑战。我们的主要贡献是对开放匪徒(OBP)框架的扩展。我们为一些上述挑战提供模拟组件,以使未来的从业者,研究人员和教育工作者提供资源,以应对电子商务行业遇到的挑战。
translated by 谷歌翻译
Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.
translated by 谷歌翻译
Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.
translated by 谷歌翻译
本文介绍了一种新型的非平稳动态定价算法设计,定价代理面临不完整的需求信息和市场环境转移。代理商进行了价格实验,以了解每种产品的需求曲线和最大化价格,同时意识到市场环境的变化,以避免提供次优价的高机会成本。拟议的酸P扩展了来自统计机器学习的信息指导的采样(IDS)算法,以包括微观经济选择理论,并采用新颖的定价策略审核程序,以避免在市场环境转移后避免次优定价。拟议的酸P在一系列市场环境变化中胜过包括上置信度结合(UCB)和汤普森采样(TS)在内的匪徒算法。
translated by 谷歌翻译
蒙特卡洛树搜索(MCT)是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样,并存储动作的统计数据,以在每个随后的迭代中做出更有教育的选择。然而,该方法已成为组合游戏的最新技术,但是,在更复杂的游戏(例如那些具有较高的分支因素或实时系列的游戏)以及各种实用领域(例如,运输,日程安排或安全性)有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
通过观察自己的行为来了解决策者的优先事项对于在医疗保健等决策过程中的透明度和问责制至关重要。尽管传统的政策学习方法几乎总是假定行为的平稳性,但在实践中几乎不正确:随着临床专业人员随着时间的流逝,医学实践不断发展。例如,随着医学界对器官移植的理解多年来的发展,一个相关的问题是:实际的器官分配政策如何发展?为了给出答案,我们希望采用一种政策学习方法,该方法提供了可解释的决策代表,尤其是捕获代理商对世界的非统计知识,并以离线方式运作。首先,我们将决策者的不断发展的行为对上下文的强盗进行了建模,并正式化了背景匪徒(ICB)的问题。其次,我们提出了两种混凝土算法作为解决方案,学习代理行为的学习参数和非参数表示。最后,使用真实和模拟数据进行肝移植,我们说明了我们方法的适用性和解释性,以及基准测试并验证其准确性。
translated by 谷歌翻译
我们在这里采用贝叶斯非参数混合模型,以将多臂匪徒扩展到尤其是汤普森采样,以扩展到存在奖励模型不确定性的场景。在随机的多臂强盗中,播放臂的奖励是由未知分布产生的。奖励不确定性,即缺乏有关奖励生成分布的知识,引起了探索 - 开发权的权衡:强盗代理需要同时了解奖励分布的属性,并顺序决定下一步要采取哪种操作。在这项工作中,我们通过采用贝叶斯非参数高斯混合模型来进行奖励模型不确定性,将汤普森的抽样扩展到场景中,以进行灵活的奖励密度估计。提出的贝叶斯非参数混合物模型汤普森采样依次学习了奖励模型,该模型最能近似于真实但未知的每臂奖励分布,从而实现了成功的遗憾表现。我们基于基于后验分析的新颖的分析得出的,这是一种针对该方法的渐近遗憾。此外,我们从经验上评估了其在多样化和以前难以捉摸的匪徒环境中的性能,例如,在指数级的家族中,奖励不受异常值和不同的每臂奖励分布。我们表明,拟议的贝叶斯非参数汤普森取样优于表现,无论是平均累积的遗憾和遗憾的波动,最先进的替代方案。在存在强盗奖励模型不确定性的情况下,提出的方法很有价值,因为它避免了严格的逐案模型设计选择,但提供了重要的遗憾。
translated by 谷歌翻译
亚马逊客户服务每年为数百万客户联系提供实时支持。尽管Bot-Resolver有助于自动化一些流量,但我们仍然看到对人类代理商的需求很高,也称为主题专家(SME)。客户在不同域中的问题(返回策略,设备故障排除等)进行宣传。根据他们的培训,并非所有中小型企业都有资格处理所有联系人。与合格的中小型企业的路由联系是一个非平凡的问题,因为中小企业的域名资格受训练质量的影响,并且可以随着时间的推移而改变。为了在同时学习真正的资格状态的同时,我们建议使用非参数上下文的强盗算法(K-Boot)以及资格控制(EC)算法来制定路由问题。 K-Boot模型以$ K $ -NN选择的类似样品和Bootstrap Thompson采样进行探索,并以类似的样本进行奖励。 EC通过最初符合系统的资格过滤武器(SME),并动态验证该信息的可靠性。提出的K-boot是一种通用匪徒算法,EC适用于其他土匪。我们的仿真研究表明,K-boot在最新的匪徒模型上进行性能,并且当存在随机弹性信号时,EC会提高K-Boot性能。
translated by 谷歌翻译
在强盗多个假设测试中,每个ARM对应于我们希望测试的不同NULL假设,并且目标是设计正确识别大型有趣的武器(真正发现)的自适应算法,同时仅错误地识别少数不感兴趣的武器(虚假的发现)。非强盗多测试中的一个常见度量是错误的发现速率(FDR)。我们为强盗FDR控制提出了一个统一的模块化框架,强调了探索和证据总结的解耦。我们利用了强大的鞅的“e-processage”概念,以确保在通用问题设置中进行任意复合空无效,探索规则和停止时间的FDR控制。特别地,即使臂的奖励分布可能是相关的,有效的FDR控制也可以依赖,可以同时查询多个臂,并且多个(协作或竞争)代理可以是查询臂,也可以是覆盖组合半强盗类型设置。在每次步骤中,每次ARM奖励分配是独立的,并且在每个步骤都会审议了每个ARM奖励分配的环境。我们的框架在这​​个特殊情况下恢复了匹配的样本复杂性保证,在实践中表现相对或更好。对于其他设置,示例复杂性将取决于问题的更精细的细节(正在测试的复合空,探索算法,数据依赖结构,停止规则),我们不会探索这些;我们的贡献是表明FDR保证对这些细节进行了干净,完全不可知。
translated by 谷歌翻译
This paper surveys the eld of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the eld and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but di ers considerably in the details and in the use of the word \reinforcement." The paper discusses central issues of reinforcement learning, including trading o exploration and exploitation, establishing the foundations of the eld via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.
translated by 谷歌翻译