对使用因果机器学习模型做出的决策的现实测试是成功应用的基本先决条件。我们专注于评估和改善上下文治疗作业决策：这些是适用于例如客户，每个都有自己的上下文信息，以最大程度地获得奖励。在本文中，我们介绍了一个模型不足的框架，用于收集数据，以通过贝叶斯实验设计评估和改善上下文决策。具体而言，我们的方法用于对过去治疗作业的遗憾的数据有效评估。与A/B测试之类的方法不同，我们的方法避免了分配已知是高度优势的治疗方法，同时进行一些探索以收集相关信息。我们通过引入一个基于信息的设计目标来实现这一目标，我们优化了端到端。我们的方法适用于离散和连续治疗。在几项仿真研究中，将我们的信息理论方法与基准者进行比较，这表明了我们提出的方法的出色表现。
translated by 谷歌翻译
我们引入隐深自适应设计（iDAD），在实时与隐性模型进行适应性实验的新方法。iDAD通过学习设计政策网络的前期，然后可以在实验时快速部署摊销贝叶斯优化实验设计（BOED）的成本。该iDAD网络可以在其模拟微样品，不同于需要一个封闭的形式可能性和条件独立实验以前的设计政策工作的任何模型进行训练。在部署时，iDAD允许以毫秒为单位进行设计决策，而相比之下，需要实验本身期间繁重的计算传统BOED方法。我们说明了多项实验iDAD的适用性，并表明它提供了与隐式模型进行适应性设计一个快速和有效的机制。
translated by 谷歌翻译
我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。
translated by 谷歌翻译
我们研究了一个定价设置，其中每个客户都基于客户和/或产品特征提供了一种预测客户对该产品的估值的产品特征。通常只有历史销售记录，我们遵守每个客户是否以规定的价格购买产品，而不是客户的真实估值。因此，数据受到历史销售政策的影响，历史销售政策在没有进行实际实验的可能性的情况下估算未来损失/遗憾的困难/遗憾的损失/遗憾，而是优化诸如收入管理等下游任务的新政策。我们研究如何制定损失功能，该功能可用于直接优化定价策略，而不是通过中间需求估计阶段，这可能在实践中被偏见，因为模型拼写，正常化或校准差。虽然在估值数据可用时提出了现有方法，但我们提出了观察数据设置的损失函数。为实现这一目标，我们将机器学习的想法适应损坏的标签，我们可以考虑每个观察到的客户的结果（购买或不按规定的价格购买），作为客户估值的（已知）概率转变。从这种转变，我们派生了一类合适的无偏损失功能。在此类中，我们识别最小方差估计器，那些对不良需求函数估计的稳健性，并在估计的需求功能有用时提供指导。此外，我们还表明，当应用于我们的上下文定价环境时，在违规评估文学中流行的估计人员在这类损失职能范围内，并且当每个估算师在实践中可能表现良好时，还提供管理层。
translated by 谷歌翻译
我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。
translated by 谷歌翻译
We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.
translated by 谷歌翻译
PAC-Bayes has recently re-emerged as an effective theory with which one can derive principled learning algorithms with tight performance guarantees. However, applications of PAC-Bayes to bandit problems are relatively rare, which is a great misfortune. Many decision-making problems in healthcare, finance and natural sciences can be modelled as bandit problems. In many of these applications, principled algorithms with strong performance guarantees would be very much appreciated. This survey provides an overview of PAC-Bayes performance bounds for bandit problems and an experimental comparison of these bounds. Our experimental comparison has revealed that available PAC-Bayes upper bounds on the cumulative regret are loose, whereas available PAC-Bayes lower bounds on the expected reward can be surprisingly tight. We found that an offline contextual bandit algorithm that learns a policy by optimising a PAC-Bayes bound was able to learn randomised neural network polices with competitive expected reward and non-vacuous performance guarantees.
translated by 谷歌翻译
We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.
translated by 谷歌翻译
使用历史观察数据的政策学习是发现广泛应用程序的重要问题。示例包括选择优惠，价格，要发送给客户的广告，以及选择要开出患者的药物。但是，现有的文献取决于这样一个关键假设，即将在未来部署学习策略的未来环境与生成数据的过去环境相同 - 这个假设通常是错误或太粗糙的近似值。在本文中，我们提高了这一假设，并旨在通过不完整的观察数据来学习一项稳健的策略。我们首先提出了一个政策评估程序，该程序使我们能够评估政策在最坏情况下的转变下的表现。然后，我们为此建议的政策评估计划建立了中心限制定理类型保证。利用这种评估方案，我们进一步提出了一种新颖的学习算法，该算法能够学习一项对对抗性扰动和未知协变量转移的策略，并根据统一收敛理论的性能保证进行了绩效保证。最后，我们从经验上测试了合成数据集中提出的算法的有效性，并证明它提供了使用标准策略学习算法缺失的鲁棒性。我们通过在现实世界投票数据集的背景下提供了我们方法的全面应用来结束本文。
translated by 谷歌翻译
我们研究了在偏见的可观察性模型下，在对抗性匪徒问题中的在线学习问题，称为政策反馈。在这个顺序决策问题中，学习者无法直接观察其奖励，而是看到由另一个未知策略并行运行的奖励（行为策略）。学习者必须在这种情况下面临另一个挑战：由于他们的控制之外的观察结果有限，学习者可能无法同样估算每个政策的价值。为了解决这个问题，我们提出了一系列算法，以保证任何比较者政策与行为政策之间的自然不匹配概念的范围，从而提高了对观察结果良好覆盖的比较者的绩效。我们还为对抗性线性上下文匪徒的设置提供了扩展，并通过一组实验验证理论保证。我们的关键算法想法是调整最近在非政策强化学习背景下流行的悲观奖励估计量的概念。
translated by 谷歌翻译
我们研究了在高维稀疏线性上下文匪徒中动态批处理学习的问题，在给定的最大批量约束下，决策者在每个批次结束时只能观察奖励，可以动态地决定如何进行奖励。许多人将包括在下一批中（在当前批次结束时）以及每批采用哪些个性化行动选择方案。在各种实际情况下，这种批处理的限制无处不在，包括在临床试验中的营销和医疗选择中的个性化产品。我们通过后悔的下限表征了此问题中的基本学习限制，并提供了匹配的上限（直至日志因素），从而为此问题开了最佳方案。据我们所知，我们的工作为在高维稀疏线性上下文匪徒中对动态批处理学习的理论理解提供了第一个侵入。值得注意的是，即使我们的结果的一种特殊情况 - 当不存在批处理约束时 - 都会产生简单的无探索算法使用Lasso估算器，已经达到了在高维线性匪板中为标准在线学习的最小值最佳遗憾（对于No-Cargin情况），在高维上下文Bandits的新兴文献中似乎未知。
translated by 谷歌翻译
我们在随机多臂匪徒问题中使用固定预算和上下文（协变）信息研究最佳武器识别。在观察上下文信息之后，在每一轮中，我们使用过去的观察和当前上下文选择一个治疗臂。我们的目标是确定最好的治疗组，这是一个在上下文分布中被边缘化的最大预期奖励的治疗组，而错误识别的可能性最小。首先，我们为此问题得出半参数的下限，在这里我们将最佳和次优的治疗臂的预期奖励之间的差距视为感兴趣的参数，以及所有其他参数，例如在上下文中的预期奖励，作为滋扰参数。然后，我们开发“上下文RS-AIPW策略”，该策略由随机采样（RS）规则组成，跟踪目标分配比和使用增强反向概率加权（AIPW）估算器的建议规则。我们提出的上下文RS-AIPW策略是最佳的，因为错误识别概率的上限与预算到Infinity时的半参数下限相匹配，并且差距趋于零。
translated by 谷歌翻译
由于数据有限和非识别性，观察性和介入数据的因果发现是具有挑战性的：在估计基本结构因果模型（SCM）时引入不确定性的因素。基于这两个因素引起的不确定性选择实验（干预措施）可以加快SCM的识别。来自有限数据的因果发现实验设计中的现有方法要么依赖于SCM的线性假设，要么仅选择干预目标。这项工作将贝叶斯因果发现的最新进展纳入了贝叶斯最佳实验设计框架中，从而使大型非线性SCM的积极因果发现同时选择了介入目标和值。我们证明了对线性和非线性SCM的合成图（ERDOS-R \'enyi，breetr cable）以及在\ emph {intiLico}单细胞基因调节网络数据集的\ emph {inyeare scms的性能。
translated by 谷歌翻译
We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.
translated by 谷歌翻译
当从人类行为中推断出奖励功能（无论是演示，比较，物理校正或电子停靠点）时，它已证明对人类进行建模作为做出嘈杂的理性选择，并具有“合理性系数”，以捕获多少噪声或熵我们希望看到人类的行为。无论人类反馈的类型或质量如何，许多现有作品都选择修复此系数。但是，在某些情况下，进行演示可能要比回答比较查询要困难得多。在这种情况下，我们应该期望在示范中看到比比较中更多的噪音或次级临时性，并且应该相应地解释反馈。在这项工作中，我们提倡，将每种反馈类型的实际数据中的理性系数扎根，而不是假设默认值，对奖励学习具有重大的积极影响。我们在模拟反馈以及用户研究的实验中测试了这一点。我们发现，从单一反馈类型中学习时，高估人类理性可能会对奖励准确性和遗憾产生可怕的影响。此外，我们发现合理性层面会影响每种反馈类型的信息性：令人惊讶的是，示威并不总是最有用的信息 - 当人类的行为非常卑鄙时，即使在合理性水平相同的情况下，比较实际上就变得更加有用。 。此外，当机器人确定要要求的反馈类型时，它可以通过准确建模每种类型的理性水平来获得很大的优势。最终，我们的结果强调了关注假定理性级别的重要性，不仅是在从单个反馈类型中学习时，尤其是当代理商从多种反馈类型中学习时，尤其是在学习时。
translated by 谷歌翻译
在上下文土匪中，非政策评估（OPE）已在现实世界中迅速采用，因为它仅使用历史日志数据就可以离线评估新政策。不幸的是，当动作数量较大时，现有的OPE估计器（其中大多数是基于反相反的得分加权）会严重降解，并且可能会遭受极端偏见和差异。这挫败了从推荐系统到语言模型的许多应用程序中使用OPE。为了克服这个问题，我们提出了一个新的OPE估计器，即当动作嵌入在动作空间中提供结构时，利用边缘化的重要性权重。我们表征了所提出的估计器的偏差，方差和平方平方误差，并分析了动作嵌入提供了比常规估计器提供统计益处的条件。除了理论分析外，我们还发现，即使由于大量作用，现有估计量崩溃，经验性绩效的改善也可以实现可靠的OPE。
translated by 谷歌翻译
我们考虑使用未知差异的双臂高斯匪徒的固定预算最佳臂识别问题。当差异未知时，性能保证与下限的性能保证匹配的算法最紧密的下限和算法的算法很长。当算法不可知到ARM的最佳比例算法。在本文中，我们提出了一种策略，该策略包括在估计的ARM绘制的目标分配概率之后具有随机采样（RS）的采样规则，并且使用增强的反概率加权（AIPW）估计器通常用于因果推断文学。我们将我们的战略称为RS-AIPW战略。在理论分析中，我们首先推导出鞅的大偏差原理，当第二次孵化的均值时，可以使用，并将其应用于我们提出的策略。然后，我们表明，拟议的策略在错误识别的可能性达到了Kaufmann等人的意义上是渐近最佳的。 （2016）当样品尺寸无限大而双臂之间的间隙变为零。
translated by 谷歌翻译
开发了用于解决顺序实验的最佳设计的贝叶斯方法在数学上是优雅的，但在计算上具有挑战性。最近，已经提出了使用摊销的技术来使这些贝叶斯方法实用，通过培训参数化的政策，该政策在部署时有效地设计了设计。但是，这些方法可能无法充分探索设计空间，需要访问可区分的概率模型，并且只能在连续的设计空间上进行优化。在这里，我们通过证明优化政策的问题可以减少到解决马尔可夫决策过程（MDP）来解决这些局限性。我们使用现代深度强化学习技术来解决等效的MDP。我们的实验表明，即使概率模型是黑匣子，我们的方法在部署时间也很有效，并且在连续和离散的设计空间上都表现出最先进的性能。
translated by 谷歌翻译
因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。
translated by 谷歌翻译
非政策评估和学习（OPE/L）使用离线观察数据来做出更好的决策，这对于在线实验有限的应用至关重要。但是，完全取决于记录的数据，OPE/L对环境分布的变化很敏感 - 数据生成环境和部署策略的差异。 \ citet {si2020distributional}提议的分布在稳健的OPE/L（Drope/L）解决此问题，但该提案依赖于逆向权重，如果估计错误和遗憾，如果倾向是非参数估计的，即使其差异是次级估计，即使是次级估计的，其估计错误和遗憾将降低。对于标准的，非体，OPE/L，这是通过双重鲁棒（DR）方法来解决的，但它们并不自然地扩展到更复杂的drop/l，涉及最糟糕的期望。在本文中，我们提出了具有KL-Divergence不确定性集的DROPE/L的第一个DR算法。为了进行评估，我们提出了局部双重稳健的drope（LDR $^2 $ ope），并表明它在弱产品速率条件下实现了半摩托效率。多亏了本地化技术，LDR $^2 $ OPE仅需要安装少量回归，就像标准OPE的DR方法一样。为了学习，我们提出了连续的双重稳健下降（CDR $^2 $ opl），并表明，在涉及连续回归的产品速率条件下，它具有$ \ Mathcal {o} \ left的快速后悔率（n^） {-1/2} \ right）$即使未知的倾向是非参数估计的。我们从经验上验证了模拟中的算法，并将结果进一步扩展到一般$ f $ divergence的不确定性集。
translated by 谷歌翻译