因果匪徒问题将因果推断与多军匪徒集成在一起。因果匪徒的纯粹探索是以下在线学习任务:给定一个因果关系分布未知的因果图,在每一轮中,我们可以选择干预一个变量或不进行干预,并观察所有随机变量的随机结果,并与所有随机变量进行观察使用尽可能少的回合的目标,我们可以输出一种干预措施,该干预措施在奖励变量$ y $上具有至少$ 1- \ delta $,其中$ \ delta $是一个最佳(或几乎是最好的)预期结果给定信心水平。我们在三种类型的因果模型,包括平行图,具有少量后门父母的常规图和二进制通用线性模型的三种类型的因果模型上提供了第一个完全依赖GAP的完全自适应纯探索算法。我们的算法改善了先前的因果匪徒算法,这些算法并非自适应奖励差距,也没有先前的自适应纯探索算法,它们不利用因果匪徒的特殊特征。
translated by 谷歌翻译
在组合因果土匪(CCB)中,学习代理在每轮中最多选择$ k $变量进行干预,从观察到的变量中收集反馈,目的是最大程度地减少对目标变量$ y $的预期遗憾。与所有有关因果匪徒的研究不同,CCB需要处理指数较大的动作空间。我们在因果模型的简洁参数表示的二元广义线性模型(BGLM)的背景下进行研究。我们根据最大似然估计方法提出了Markovian BGLMS(即没有隐藏变量)的算法BGLM-OFU,并证明它可以实现$ O(\ sqrt {t} \ log t)$遗憾,其中$ t $是$ t $时间范围。对于具有隐藏变量的线性模型的特殊情况,我们应用因果推理技术,例如DO-Calculus将原始模型转换为马尔可夫模型,然后证明我们的BGLM OFFU U算法和另一种基于线性回归的算法都用隐藏变量求解此类线性模型。我们的新颖性包括(a)考虑组合干预行动空间,(b)考虑一般因果模型,包括具有隐藏变量的因果模型,(c)整合和适应来自多种研究的技术,例如广义线性匪徒和在线影响最大化,以及(d)不依赖不现实的假设,例如在某些先前研究中使用的所有干预措施中了解父母的共同分配。
translated by 谷歌翻译
本文研究了在因果图形模型中设计最佳干预措施序列的问题,以最大程度地减少对事后最佳干预的累积后悔。自然,这是一个因果匪徒问题。重点是线性结构方程模型(SEM)和软干预措施的因果匪徒。假定该图的结构是已知的,并且具有$ n $节点。每个节点都假定使用两种线性机制,一种软干预和一种观察性,产生了$ 2^n $可能的干预措施。现有的因果匪徒算法假设,至少完全指定了奖励节点父母的介入分布。但是,有$ 2^n $这样的分布(一个与每个干预措施相对应),即使在中等尺寸的图中也变得越来越高。本文分配了知道这些分布的假设。提出了两种算法,用于常见者(基于UCB)和贝叶斯(基于汤普森采样)的设置。这些算法的关键思想是避免直接估计$ 2^n $奖励分布,而是估算完全指定SEMS($ n $线性)的参数,并使用它们来计算奖励。在这两种算法中,在噪声和参数空间的有界假设下,累积遗憾的是$ \ tilde {\ cal o}(((2d)^l l \ sqrt {t})$,其中$ d $是图的最高度和$ l $是其最长因果路径的长度。
translated by 谷歌翻译
在因果强盗问题中,动作集包括关于因果图的变量的干预。最近几位研究人员研究了这种强盗问题并指出了他们的实际应用。然而,所有现有的作品都依赖于限制性和不切实际的假设,即学习者将全面了解因果图结构前期。在本文中,我们在不知道因果图的情况下开发新的因果强盗算法。我们的算法适用于因果树,因果林和一般的因果图。我们的算法的遗憾保证大大提高了温和条件下标准多臂强盗(MAB)算法的遗传。最后,我们证明了我们的温和条件是必要的:如果没有它们,不能比标准MAB算法更好。
translated by 谷歌翻译
在本文中,我们研究了组合半伴侣(CMAB),并专注于减少遗憾的批量$ k $的依赖性,其中$ k $是可以拉动或触发的武器总数每个回合。首先,对于用概率触发的臂(CMAB-T)设置CMAB,我们发现了一个新颖的(定向)触发概率和方差调制(TPVM)条件,可以替代各种应用程序的先前使用的平滑度条件,例如级联bandsistits bandits bandits。 ,在线网络探索和在线影响最大化。在这种新条件下,我们提出了一种具有方差感知置信区间的BCUCB-T算法,并进行遗憾分析,将$ O(k)$ actival降低到$ o(\ log k)$或$ o(\ log^2 k) )$在遗憾中,大大改善了上述申请的后悔界限。其次,为了设置具有独立武器的非触发CMAB,我们提出了一种SESCB算法,该算法利用TPVM条件的非触发版本,并完全消除了对$ k $的依赖,以备受遗憾。作为有价值的副产品,本文使用的遗憾分析可以将几个现有结果提高到$ O(\ log K)$的一倍。最后,实验评估表明,与不同应用中的基准算法相比,我们的表现出色。
translated by 谷歌翻译
在本文中,我们研究了汤普森采样(TS)方法的应用到随机组合多臂匪徒(CMAB)框架中。当所有基本臂的结果分布都是独立的,并获得$ o(m \ log k _ {\ max} \ log t / \ delta_时,我们首先分析一般CMAB模型的标准TS算法。 {\ min})$,其中$ m $是基本武器的数量,$ k _ {\ max} $是最大的超级臂的大小,$ t $是时间范围,而$ \ delta _ {\ min} $是最佳解决方案的预期奖励与任何非最佳解决方案之间的最小差距。这种遗憾的上限比$ o(m(\ log k _ {\ max})^2 \ log t / \ delta _ {\ min})$更好。此外,我们的新颖分析技术可以帮助收紧其他基于UCB的政策(例如ESC)的遗憾界限,因为我们改善了计算累积遗憾的方法。然后,我们考虑Matroid Bandit设置(CMAB模型的特殊类别),在这里我们可以删除跨武器的独立性假设,并实现与下限匹配的遗憾上限。除了遗憾的上限外,我们还指出,一个人不能直接替换确切的离线甲骨文(将离线问题实例的参数作为输入,并在此实例下输出确切的最佳操作),用TS算法中的近似oracle替换了ts算法的近似值。甚至经典的mAb问题。最后,我们使用一些实验来显示TS遗憾与其他现有算法之间的比较,实验结果表明TS优于现有基准。
translated by 谷歌翻译
汤普森抽样(TS)吸引了对强盗区域的兴趣。它在20世纪30年代介绍,但近年来尚未经过理论上证明。其在组合多武装强盗(CMAB)设置中的所有分析都需要精确的Oracle来提供任何输入的最佳解决方案。然而,这种Oracle通常是不可行的,因为许多组合优化问题是NP - 硬,并且只有近似oracles可用。一个例子(王和陈,2018)已经表明TS的失败来学习近似Oracle。但是,此Oracle罕见,仅用于特定问题实例。它仍然是一个开放的问题,无论TS的收敛分析是否可以扩展到CMAB中的精确oracle。在本文中,我们在贪婪的Oracle下研究了这个问题,这是一个常见的(近似)Oracle,具有理论上的保证来解决许多(离线)组合优化问题。我们提供了一个问题依赖性遗憾的遗憾下限为$ \ omega(\ log t / delta ^ 2)$,以量化Ts的硬度来解决贪婪的甲骨文的CMAB问题,其中$ T $是时间范围和$ Delta $是一些奖励差距。我们还提供几乎匹配的遗憾上限。这些是TS解决CMAB与常见近似甲骨文的第一个理论结果,并打破TS无法使用近似神谕的误解。
translated by 谷歌翻译
多武装强盗环境中最好的武器识别问题是许多真实世界决策问题的一个优秀模式,但它无法捕捉到现实世界中,在学习时通常必须满足安全限制的事实。在这项工作中,我们研究了安全关键环境中最好的武器识别问题,代理的目标是找到许多人的最佳安全选项,同时以保证某些方式达到满足肯定的方式的探索,最初是未知的安全约束。我们首先在奖励和安全约束采用线性结构的情况下分析此问题,并显示近乎匹配的上限和下限。然后,我们分析了更多的常规版本,我们只假设奖励和安全约束可以通过单调函数建模,并在此设置中提出算法,保证安全地学习。我们的结论与实验结果表明我们在方案中的方法的有效性,如安全地识别许多人以便治疗疾病。
translated by 谷歌翻译
积极的学习方法在减少学习所需的样本数量方面表现出了巨大的希望。随着自动化学习系统被采用到实时的现实世界决策管道中,越来越重要的是,这种算法的设计考虑到了安全性。在这项工作中,我们研究了在互动环境中学习最佳安全决定的复杂性。我们将这个问题减少到约束的线性匪徒问题,我们的目标是找到满足某些(未知)安全限制的最佳手臂。我们提出了一种基于自适应的实验性设计算法,在显示ARM的难度与次优的难度之间,我们表现出了有效的交易。据我们所知,我们的结果是具有安全限制的线性匪徒最佳武器识别。实际上,我们证明了这种方法在合成和现实世界数据集上的表现很好。
translated by 谷歌翻译
在本文中,我们制定了在内核强盗问题(COPE-KB)中的协作纯探索,它为在有限的通信和一般奖励函数下提供了一种用于多智能组件多任务决策的新型模型,并且适用于许多在线学习任务,例如,推荐系统和网络调度。我们考虑两个COPE-KB,即固定信道(FC)和固定预算(FB)的设置,以及设计两个最佳算法COOPKERNECC(FC)和Coopkerhelfb(FB)。我们的算法配备了创新和高效的核化估计,同时实现了计算和通信效率。建立统计和通信度量标准下的上限和下限以证明我们算法的最优性。理论界限成功地量化了任务相似性对学习加速度的影响,并且只取决于内核特征空间的有效维度。我们的分析技术,包括数据尺寸分解,线性结构化实例转换和(通信)圆形加速感应,是新颖的,适用于其他强盗问题。提供了实证评估以验证我们的理论结果,并展示我们算法的性能优势。
translated by 谷歌翻译
我们通过可共享的手臂设置概括了多武器的多臂土匪(MP-MAB)问题,其中几场比赛可以共享同一臂。此外,每个可共享的组都有有限的奖励能力和“每载”奖励分配,这两者都是学习者所不知道的。可共享臂的奖励取决于负载,这是“每载”奖励乘以拉动手臂的戏剧数量或当比赛数量超过容量限制时的奖励能力。当“按负载”奖励遵循高斯分布时,我们证明了样本复杂性的下限,从负载依赖的奖励中学习容量,也遗憾的是这个新的MP-MAB问题的下限。我们设计了一个容量估计器,其样品复杂性上限在奖励手段和能力方面与下限匹配。我们还提出了一种在线学习算法来解决该问题并证明其遗憾的上限。这个遗憾的上界的第一任期与遗憾的下限相同,其第二和第三个术语显然也对应于下边界。广泛的实验验证了我们算法的性能以及其在5G和4G基站选择中的增长。
translated by 谷歌翻译
我们介绍了一个多臂强盗模型,其中奖励是多个随机变量的总和,每个动作只会改变其中的分布。每次动作之后,代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的,在该系统中,变量代表单个客户的结果,例如点击。我们提出了UCB风格的算法,以估计基线上的动作的提升。我们研究了问题的多种变体,包括何时未知基线和受影响的变量,并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限,以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。
translated by 谷歌翻译
我们研究了给定因果模型的公平约束的最佳臂识别问题。目标是在给定节点上找到软干预,以通过仅通过因果模型的部分知识来满足公平约束的同时最大化结果。问题是通过确保在线市场的公平性的动机。我们提供了对误差概率的理论保证,并经验与两级基线进行算法的效果。
translated by 谷歌翻译
我们研究马尔可夫决策过程(MDP),其中状态对应于随机生成奖励的因果图。在这个设置中,学习者的目标是通过在每个州的变量上介绍,识别导致高奖励的原子干预措施。概括最近的因果强盗框架,目前的工作开发(简单)后悔最小化对两级因果MDP的保证,每个状态下并行因果图。我们提出了一种算法,实现了一个依赖于困境的实例。我们算法的一个关键特征是它利用凸优化来解决探索问题。我们识别我们遗憾保证基本紧张的课程,实验验证我们的理论结果。
translated by 谷歌翻译
我们研究上下文多军匪徒设置中的排名问题。学习代理在每个时间步骤中选择一个有序的项目列表,并观察每个位置的随机结果。在在线推荐系统中,显示最有吸引力的项目的有序列表将不是最佳选择,因为位置和项目依赖性都会带来复杂的奖励功能。一个非常天真的例子是,当所有最有吸引力的物品都来自同一类别时,缺乏多样性。我们为此问题在“排序列表”和“设计UCB”和Thompson采样类型算法中对位置和项目依赖性建模。我们证明,遗憾超过$ t $ rounds和$ l $ positions是$ \ tilde {o}(l \ sqrt {d t})$,它的订单与以前在$ t $和$ t $方面的作品相同仅用$ L $线性增加。我们的工作将现有的研究推广到多个方向,包括位置折扣是特定情况的位置依赖性,并提出了更一般的背景匪徒模型。
translated by 谷歌翻译
通过图形反馈的在线学习问题已经在文献中进行了广泛的研究,因为它的一般性和对各种学习任务进行建模的潜力。现有作品主要研究对抗和随机反馈。如果对反馈机制的先验知识是不可用的或错误的,那么这种专门设计的算法可能会遭受巨大的损失。为了避免此问题,\ citet {ererez2021towards}尝试针对两个环境进行优化。但是,他们认为反馈图是无方向性的,每个顶点都有一个自循环,这会损害框架的通用性,并且在应用程序中可能无法满足。有了一般的反馈图,在拉动该手臂时可能无法观察到手臂,这使得探索更加昂贵,并且在两种环境中最佳性能的算法更具挑战性。在这项工作中,我们通过新的权衡机制克服了这一困难,并精心设计的探索和剥削比例。我们证明了所提出的算法同时实现$ \ mathrm {poly} \ log t $在随机设置中的遗憾,而在$ versarial设置中,$ \ tilde {o} $ \ tilde {o}的最小值遗憾t $是地平线,$ \ tilde {o} $隐藏参数独立于$ t $以及对数项。据我们所知,这是通用反馈图的第一个最佳世界结果。
translated by 谷歌翻译
我们以已知的奖励和未知的约束来研究顺序决策,这是由约束代表昂贵评估人类偏好(例如安全舒适的驾驶行为)的情况所激发的。我们将互动学习这些约束作为新的线性匪徒问题的挑战正式化,我们称之为约束的线性最佳臂识别。为了解决这个问题,我们提出了自适应约束学习(ACOL)算法。我们为约束线性最佳臂识别提供了一个依赖实例的下限,并表明Acol的样品复杂性与最坏情况下的下限匹配。在平均情况下,ACOL的样品复杂性结合仍然比简单方法的边界更紧密。在合成实验中,ACOL与Oracle溶液相同,并且表现优于一系列基准。作为应用程序,我们考虑学习限制,以代表驾驶模拟中的人类偏好。对于此应用,ACOL比替代方案要高得多。此外,我们发现学习偏好作为约束对驾驶场景的变化比直接编码奖励函数中的偏好更强大。
translated by 谷歌翻译
我们通过反馈图来重新审视随机在线学习的问题,目的是设计最佳的算法,直至常数,无论是渐近还是有限的时间。我们表明,令人惊讶的是,在这种情况下,最佳有限时间遗憾的概念并不是一个唯一的定义属性,总的来说,它与渐近率是与渐近率分离的。我们讨论了替代选择,并提出了有限时间最优性的概念,我们认为是\ emph {有意义的}。对于这个概念,我们给出了一种算法,在有限的时间和渐近上都承认了准最佳的遗憾。
translated by 谷歌翻译
我们在随机匪徒上使用时(协变量)信息时,我们研究了固定信道的最佳武器识别问题。虽然我们可以在每轮中使用上下文信息,但我们对在语境分布上的边缘化平均奖励感兴趣。我们的目标是在给定值的错误率下识别最少数量的采样。我们显示出问题的特定实例的示例复杂性下限。然后,我们提出了一个“跟踪和停止”策略的上下文知识版本,其中ARM的比例绘制追踪一组最佳分配,并证明预期的ARM绘制数与渐近的下限匹配。我们证明,与Garivier&Kaufmann(2016)的结果相比,可以使用上下文信息来提高最佳边缘化平均奖励的效率。我们通过实验证实了上下文信息有助于更快的最佳武器识别。
translated by 谷歌翻译
本文介绍了信息性多臂强盗(IMAB)模型,在每个回合中,玩家选择手臂,观察符号,并以符号的自我信息形式获得未观察到的奖励。因此,手臂的预期奖励是产生其符号的源质量函数的香农熵。玩家的目标是最大程度地提高与武器的熵值相关的预期奖励。在假设字母大小是已知的假设下,为IMAB模型提出了两种基于UCB的算法,该算法考虑了插件熵估计器的偏差。第一种算法在熵估计中乐观地纠正了偏置项。第二算法依赖于数据依赖性置信区间,该置信区间适应具有较小熵值的源。性能保证是通过上限为每种算法的预期遗憾提供的。此外,在Bernoulli案例中,将这些算法的渐近行为与伪遗憾的Lai-Robbins的下限进行了比较。此外,在假设\ textit {cract}字母大小的假设下是未知的,而播放器仅知道其上方的宽度上限,提出了一种基于UCB的算法,在其中,玩家的目的是减少由该算法造成的遗憾。未知的字母尺寸在有限的时间方面。数字结果说明了论文中介绍的算法的预期遗憾。
translated by 谷歌翻译