Multi-player multi-armed bandit is an increasingly relevant decision-making problem, motivated by applications to cognitive radio systems. Most research for this problem focuses exclusively on the settings that players have \textit{full access} to all arms and receive no reward when pulling the same arm. Hence all players solve the same bandit problem with the goal of maximizing their cumulative reward. However, these settings neglect several important factors in many real-world applications, where players have \textit{limited access} to \textit{a dynamic local subset of arms} (i.e., an arm could sometimes be ``walking'' and not accessible to the player). To this end, this paper proposes a \textit{multi-player multi-armed walking bandits} model, aiming to address aforementioned modeling issues. The goal now is to maximize the reward, however, players can only pull arms from the local subset and only collect a full reward if no other players pull the same arm. We adopt Upper Confidence Bound (UCB) to deal with the exploration-exploitation tradeoff and employ distributed optimization techniques to properly handle collisions. By carefully integrating these two techniques, we propose a decentralized algorithm with near-optimal guarantee on the regret, and can be easily implemented to obtain competitive empirical performance.
translated by 谷歌翻译
Due mostly to its application to cognitive radio networks, multiplayer bandits gained a lot of interest in the last decade. A considerable progress has been made on its theoretical aspect. However, the current algorithms are far from applicable and many obstacles remain between these theoretical results and a possible implementation of multiplayer bandits algorithms in real cognitive radio networks. This survey contextualizes and organizes the rich multiplayer bandits literature. In light of the existing works, some clear directions for future research appear. We believe that a further study of these different directions might lead to theoretical algorithms adapted to real-world situations.
translated by 谷歌翻译
我们考虑一个完全分散的多人多手随机多武装匪盗匪徒,其中玩家不能互相通信,并且只能观察自己的行为和奖励。环境可能与不同的播放器不同,$ \ texit {i.e.} $,给定臂的奖励分布在球员之间是异构的。在碰撞的情况下(当多个玩家播放相同的手臂时),我们允许碰撞玩家接收非零奖励。播放武器的时间 - 地平线$ t $是\ emph {否}对玩家已知。在此设置中,允许玩家的数量大于武器的数量,我们展示了一项达到订单优化预期令人遗憾的政策$ O(\ log ^ {1 + delta} t)$有些$ 0 <\ delta <1 $超过时间的时间$ t $。IEEE关于信息理论的交易中接受了本文。
translated by 谷歌翻译
我们通过可共享的手臂设置概括了多武器的多臂土匪(MP-MAB)问题,其中几场比赛可以共享同一臂。此外,每个可共享的组都有有限的奖励能力和“每载”奖励分配,这两者都是学习者所不知道的。可共享臂的奖励取决于负载,这是“每载”奖励乘以拉动手臂的戏剧数量或当比赛数量超过容量限制时的奖励能力。当“按负载”奖励遵循高斯分布时,我们证明了样本复杂性的下限,从负载依赖的奖励中学习容量,也遗憾的是这个新的MP-MAB问题的下限。我们设计了一个容量估计器,其样品复杂性上限在奖励手段和能力方面与下限匹配。我们还提出了一种在线学习算法来解决该问题并证明其遗憾的上限。这个遗憾的上界的第一任期与遗憾的下限相同,其第二和第三个术语显然也对应于下边界。广泛的实验验证了我们算法的性能以及其在5G和4G基站选择中的增长。
translated by 谷歌翻译
我们研究了多人多武装匪徒的信息共享与合作问题。我们提出了第一个算法,实现了这个问题的对数遗憾。我们的结果基于两项创新。首先,我们表明对连续消除策略的简单修改可用于允许玩家在没有碰撞的情况下估计它们的子项货间隙,直到恒定因素。其次,我们利用第一个结果来设计一种成功使用碰撞的小额奖励来协调玩家之间的通信协议,同时保留有意义的实例依赖性对数后悔保证。
translated by 谷歌翻译
富达匪徒问题是$ k $的武器问题的变体,其中每个臂的奖励通过提供额外收益的富达奖励来增强,这取决于播放器如何对该臂进行“忠诚”在过去。我们提出了两种忠诚的模型。在忠诚点模型中,额外奖励的数量取决于手臂之前播放的次数。在订阅模型中,额外的奖励取决于手臂的连续绘制的当前数量。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最佳,因此对抗性环境中遗憾的概念需要仔细调整。我们介绍了三个可能的遗憾和调查,这可以是偏执的偏执。我们详细介绍了增加,减少和优惠券的特殊情况(玩家在手臂的每辆M $播放后获得额外的奖励)保真奖励。对于不一定享受载体遗憾的模型,我们提供了最糟糕的下限。对于那些展示Sublinear遗憾的模型,我们提供算法并绑定他们的遗憾。
translated by 谷歌翻译
在本文中,我们研究了汤普森采样(TS)方法的应用到随机组合多臂匪徒(CMAB)框架中。当所有基本臂的结果分布都是独立的,并获得$ o(m \ log k _ {\ max} \ log t / \ delta_时,我们首先分析一般CMAB模型的标准TS算法。 {\ min})$,其中$ m $是基本武器的数量,$ k _ {\ max} $是最大的超级臂的大小,$ t $是时间范围,而$ \ delta _ {\ min} $是最佳解决方案的预期奖励与任何非最佳解决方案之间的最小差距。这种遗憾的上限比$ o(m(\ log k _ {\ max})^2 \ log t / \ delta _ {\ min})$更好。此外,我们的新颖分析技术可以帮助收紧其他基于UCB的政策(例如ESC)的遗憾界限,因为我们改善了计算累积遗憾的方法。然后,我们考虑Matroid Bandit设置(CMAB模型的特殊类别),在这里我们可以删除跨武器的独立性假设,并实现与下限匹配的遗憾上限。除了遗憾的上限外,我们还指出,一个人不能直接替换确切的离线甲骨文(将离线问题实例的参数作为输入,并在此实例下输出确切的最佳操作),用TS算法中的近似oracle替换了ts算法的近似值。甚至经典的mAb问题。最后,我们使用一些实验来显示TS遗憾与其他现有算法之间的比较,实验结果表明TS优于现有基准。
translated by 谷歌翻译
本文研究了多功能网络网络中分散的多武装强盗问题。当他们面对一套常见的M武器并分享每个ARM奖励的相同均值,问题是由N代理同时解决的。每个代理可以从其邻居接收信息,其中代理之间的邻居关系由其顶点代表代理的定向图描述,并且其定向边缘描绘了邻居关系。针对每个试剂提出了一种完全分散的多武装强盗算法,其曲折了经典共识算法和上置信算法(UCB)算法。结果表明,该算法保证了每个代理,以实现比邻居图强烈连接的经典UCB更好的对数渐近遗憾。如果邻居图无向,则可以进一步提高遗憾。
translated by 谷歌翻译
移动边缘计算有助于用户将计算任务卸载到边缘服务器,以满足其严格的延迟要求。以前的作品主要探讨给出系统侧信息时的任务卸载(例如,服务器处理速度,蜂窝数据速率)或系统不确定性的集中卸载。但两者普遍跌倒,以处理涉及动态和不确定环境中许多共存用户的任务安置。在本文中,我们开发了考虑未知随机系统侧信息的多用户卸载框架,以实现分散的用户发起的服务放置。具体而言,我们将动态任务放置作为在线多用户多武装强盗过程,并提出基于分散的epoch的卸载(DEBO),以优化在网络延迟下进行的用户奖励。我们表明DEBO可以推断最佳用户服务器分配,从而实现了近距离的服务性能和紧密的O(log t)卸载后悔。此外,我们将DEBO概括为各种常见场景,如未知的奖励差距,动态进入或离开客户,以及公平的奖励分发,同时进一步探索用户卸载任务需要异构计算资源。特别是,我们为这些实例中的每一个完成子线性遗憾。基于实际测量的评估证实了我们在优化延迟敏感奖励的最先进方法中的卸载方案的优势。
translated by 谷歌翻译
我们考虑扩展到不可焦躁的多武装强盗(RMAB)问题,具有未知的ARM动态,其中一个未知的外源性Markov过程管理每只臂的卷发布分布。在每个全球状态下,每个手臂的奖励过程根据一个未知的马尔科维亚规则而发展,不同武器之间是非相同的。每次,玩家都选择了一个美元武器的手臂播放,并从有限一套奖励国家接收随机奖励。无论球员的行为如何,武器都不令人焦躁不安,即他们的当地状态。最近关于相关RMAB设置的研究,遗憾被定义为关于了解问题动态的玩家的奖励损失,每次都在每次都可以最大化预期立即值的ARM。目标是制定一个最小化遗憾的武装选择政策。为此,我们在外源马尔可夫过程(LEMP)算法下发展学习。我们理论上分析LEMP并建立遗憾的有限样本。我们表明LEMP与时间达到了对数遗憾的顺序。我们进一步分析了数控LEMP,并存在支持理论发现的仿真结果,并证明LEMP显着优于替代算法。
translated by 谷歌翻译
This thesis considers sequential decision problems, where the loss/reward incurred by selecting an action may not be inferred from observed feedback. A major part of this thesis focuses on the unsupervised sequential selection problem, where one can not infer the loss incurred for selecting an action from observed feedback. We also introduce a new setup named Censored Semi Bandits, where the loss incurred for selecting an action can be observed under certain conditions. Finally, we study the channel selection problem in the communication networks, where the reward for an action is only observed when no other player selects that action to play in the round. These problems find applications in many fields like healthcare, crowd-sourcing, security, adaptive resource allocation, among many others. This thesis aims to address the above-described sequential decision problems by exploiting specific structures these problems exhibit. We develop provably optimal algorithms for each of these setups with weak feedback and validate their empirical performance on different problem instances derived from synthetic and real datasets.
translated by 谷歌翻译
在古典语境匪徒问题中,在每轮$ t $,学习者观察一些上下文$ c $,选择一些动作$ i $执行,并收到一些奖励$ r_ {i,t}(c)$。我们考虑此问题的变体除了接收奖励$ r_ {i,t}(c)$之外,学习者还要学习其他一些上下文$的$ r_ {i,t}(c')$的值C'$ in设置$ \ mathcal {o} _i(c)$;即,通过在不同的上下文下执行该行动来实现的奖励\ mathcal {o} _i(c)$。这种变体出现在若干战略设置中,例如学习如何在非真实的重复拍卖中出价,最热衷于随着许多平台转换为运行的第一价格拍卖。我们将此问题称为交叉学习的上下文匪徒问题。古典上下围匪徒问题的最佳算法达到$ \ tilde {o}(\ sqrt {ckt})$遗憾针对所有固定策略,其中$ c $是上下文的数量,$ k $的行动数量和$ $次数。我们设计并分析了交叉学习的上下文匪徒问题的新算法,并表明他们的遗憾更好地依赖上下文的数量。在选择动作时学习所有上下文的奖励的完整交叉学习下,即设置$ \ mathcal {o} _i(c)$包含所有上下文,我们显示我们的算法实现后悔$ \ tilde {o}( \ sqrt {kt})$,删除$ c $的依赖。对于任何其他情况,即在部分交叉学习下,$ | \ mathcal {o} _i(c)| <c $ for $(i,c)$,遗憾界限取决于如何设置$ \ mathcal o_i(c)$影响上下文之间的交叉学习的程度。我们从Ad Exchange运行一流拍卖的广告交换中模拟了我们的真实拍卖数据的算法,并表明了它们优于传统的上下文强盗算法。
translated by 谷歌翻译
我们通过反馈图来重新审视随机在线学习的问题,目的是设计最佳的算法,直至常数,无论是渐近还是有限的时间。我们表明,令人惊讶的是,在这种情况下,最佳有限时间遗憾的概念并不是一个唯一的定义属性,总的来说,它与渐近率是与渐近率分离的。我们讨论了替代选择,并提出了有限时间最优性的概念,我们认为是\ emph {有意义的}。对于这个概念,我们给出了一种算法,在有限的时间和渐近上都承认了准最佳的遗憾。
translated by 谷歌翻译
合作匪徒问题越来越多地成为其在大规模决策中的应用。然而,对此问题的大多数研究专注于具有完美通信的环境,而在大多数现实世界分布式设置中,通信通常是随机网络,具有任意损坏和延迟。在本文中,我们在三个典型的真实沟通场景下研究了合作匪徒学习,即(a)通过随机时变网络的消息传递,(b)通过随机延迟的网络瞬时奖励共享(c )通过对冲损坏的奖励来传递消息,包括拜占庭式沟通。对于每个环境中的每一个,我们提出了实现竞争性能的分散算法,以及在发生的群体后悔的近乎最佳保证。此外,在具有完美通信的环境中,我们提出了一种改进的延迟更新算法,其优于各种网络拓扑的现有最先进的算法。最后,我们在集团后悔呈现紧密的网络依赖性最低限度。我们所提出的算法很简单,以实现和获得竞争性的经验性能。
translated by 谷歌翻译
由于信息不对称,多智能经纪增强学习(Marl)问题是挑战。为了克服这一挑战,现有方法通常需要代理商之间的高度协调或沟通。我们考虑具有在应用中产生的分层信息结构的两个代理多武装匪徒(MAB)和MARKOV决策过程(MDP),我们利用不需要协调或通信的更简单和更高效的算法。在结构中,在每个步骤中,“领导者”首先选择她的行动,然后“追随者”在观察领导者的行动后,“追随者”决定他的行动。这两个代理观察了相同的奖励(以及MDP设置中的相同状态转换),这取决于其联合行动。对于强盗设置,我们提出了一种分层匪盗算法,实现了$ \ widetilde {\ mathcal {o}}(\ sqrt {abt})$和近最佳差距依赖的近乎最佳的差距遗憾$ \ mathcal {o}(\ log(t))$,其中$ a $和$ b $分别是领导者和追随者的行动数,$ t $是步数。我们进一步延伸到多个追随者的情况,并且具有深层层次结构的情况,在那里我们都获得了近乎最佳的遗憾范围。对于MDP设置,我们获得$ \ widetilde {\ mathcal {o}}(\ sqrt {h ^ 7s ^ 2abt})$后悔,其中$ h $是每集的步骤数,$ s $是数量各国,$ T $是剧集的数量。这与$ a,b $和$ t $的现有下限匹配。
translated by 谷歌翻译
我们考虑腐烂奖励的无限多臂匪徒问题,其中手臂的平均奖励是根据任意趋势在每次拉动的手臂上减小的,最大腐烂速率$ \ varrho = o(1)$。我们表明,这个学习问题具有$ \ omega(\ max \ {\ varrho^{1/3} t,\ sqrt {t} \})$ worst-case遗憾的遗憾下降下降,其中$ t $是$ t $。我们表明,匹配的上限$ \ tilde {o}(\ max \ {\ varrho^{1/3} t,\ sqrt {t} \})$,最多可以通过多元素来实现当算法知道最大腐烂速率$ \ varrho $时,一种使用UCB索引的算法,该算法使用UCB索引和一个阈值来决定是否继续拉动手臂或从进一步考虑中移除手臂。我们还表明,$ \ tilde {o}(\ max \ {\ varrho^{1/3} t,t^{3/4} \})$遗憾的上限可以通过不知道的算法来实现$ \ varrho $的值通过使用自适应UCB索引以及自适应阈值值。
translated by 谷歌翻译
通过新兴应用程序,如现场媒体电子商务,促销和建议,我们介绍和解决了一般的非静止多武装强盗问题,具有以下两个特征:(i)决策者可以拉动和收集每次期间,从最多$ k \,(\ ge 1)美元的奖励; (ii)手臂拉动后的预期奖励立即下降,然后随着ARM空闲时间的增加,非参数恢复。目的是最大化预期累计奖励超过$ T $时间段,我们设计了一类“纯粹的周期性政策”,共同设置了拉动每个臂的时间。对于拟议的政策,我们证明了离线问题和在线问题的性能保证。对于脱机问题,当已知所有型号参数时,所提出的周期性策略获得1- \ Mathcal O(1 / \ Sqrt {k})$的近似率,当$ k $生长时是渐近的最佳状态到无穷远。对于在线问题时,当模型参数未知并且需要动态学习时,我们将脱机周期性策略与在线策略上的上部置信程序进行集成。拟议的在线策略被证明是对脱机基准的近似拥有$ \ widetilde {\ mathcal o}(n \ sqrt {t})。我们的框架和政策设计可能在更广泛的离线规划和在线学习应用程序中阐明,具有非静止和恢复奖励。
translated by 谷歌翻译
We consider the classic online learning and stochastic multi-armed bandit (MAB) problems, when at each step, the online policy can probe and find out which of a small number ($k$) of choices has better reward (or loss) before making its choice. In this model, we derive algorithms whose regret bounds have exponentially better dependence on the time horizon compared to the classic regret bounds. In particular, we show that probing with $k=2$ suffices to achieve time-independent regret bounds for online linear and convex optimization. The same number of probes improve the regret bound of stochastic MAB with independent arms from $O(\sqrt{nT})$ to $O(n^2 \log T)$, where $n$ is the number of arms and $T$ is the horizon length. For stochastic MAB, we also consider a stronger model where a probe reveals the reward values of the probed arms, and show that in this case, $k=3$ probes suffice to achieve parameter-independent constant regret, $O(n^2)$. Such regret bounds cannot be achieved even with full feedback after the play, showcasing the power of limited ``advice'' via probing before making the play. We also present extensions to the setting where the hints can be imperfect, and to the case of stochastic MAB where the rewards of the arms can be correlated.
translated by 谷歌翻译
我们考虑随机多武装强盗(MAB)问题,延迟影响了行动。在我们的环境中,过去采取的行动在随后的未来影响了ARM奖励。在现实世界中,行动的这种延迟影响是普遍的。例如,为某个社会群体中的人员偿还贷款的能力可能历史上历史上批准贷款申请的频率频率。如果银行将贷款申请拒绝拒绝弱势群体,则可以创建反馈循环,进一步损害该群体中获取贷款的机会。在本文中,我们制定了在多武装匪徒的背景下的行动延迟和长期影响。由于在学习期间,我们将强盗设置概括为对这种“偏置”的依赖性进行编码。目标是随着时间的推移最大化收集的公用事业,同时考虑到历史行动延迟影响所产生的动态。我们提出了一种算法,实现了$ \ tilde {\ mathcal {o}}的遗憾,并显示$ \ omega(kt ^ {2/3})$的匹配遗憾下限,其中$ k $是武器数量,$ t $是学习地平线。我们的结果通过添加技术来补充强盗文献,以处理具有长期影响的行动,并对设计公平算法有影响。
translated by 谷歌翻译
我们研究了在线多任务学习的问题,其中在相似但不一定相同的多臂强盗环境中执行任务。特别是,我们研究学习者如何通过知识转移来改善多个相关任务的整体绩效。虽然最近已证明,在所有任务同时解决的环境中,尚不清楚汤普森采样(TS)算法是否尚不清楚,虽然最近证明了基于上限的算法(UCB)算法几乎达到了最佳的性能保证,具有类似的理论属性。在这项工作中,我们为更通用的在线多任务学习协议提供了TS-Type算法,该协议扩展了并发设置。我们提供了其频繁的分析,并证明它在随机停止时间内使用新型浓度不平等的多任务数据聚集也几乎是最佳的。最后,我们评估了关于合成数据的算法,并表明与基于UCB的算法相比,TS-Type算法具有出色的经验性能和基线算法,该算法在没有转移的情况下为每个单独的任务执行TS。
translated by 谷歌翻译