我们研究了多人多武装匪徒的信息共享与合作问题。我们提出了第一个算法，实现了这个问题的对数遗憾。我们的结果基于两项创新。首先，我们表明对连续消除策略的简单修改可用于允许玩家在没有碰撞的情况下估计它们的子项货间隙，直到恒定因素。其次，我们利用第一个结果来设计一种成功使用碰撞的小额奖励来协调玩家之间的通信协议，同时保留有意义的实例依赖性对数后悔保证。

本文介绍了信息性多臂强盗（IMAB）模型，在每个回合中，玩家选择手臂，观察符号，并以符号的自我信息形式获得未观察到的奖励。因此，手臂的预期奖励是产生其符号的源质量函数的香农熵。玩家的目标是最大程度地提高与武器的熵值相关的预期奖励。在假设字母大小是已知的假设下，为IMAB模型提出了两种基于UCB的算法，该算法考虑了插件熵估计器的偏差。第一种算法在熵估计中乐观地纠正了偏置项。第二算法依赖于数据依赖性置信区间，该置信区间适应具有较小熵值的源。性能保证是通过上限为每种算法的预期遗憾提供的。此外，在Bernoulli案例中，将这些算法的渐近行为与伪遗憾的Lai-Robbins的下限进行了比较。此外，在假设\ textit {cract}字母大小的假设下是未知的，而播放器仅知道其上方的宽度上限，提出了一种基于UCB的算法，在其中，玩家的目的是减少由该算法造成的遗憾。未知的字母尺寸在有限的时间方面。数字结果说明了论文中介绍的算法的预期遗憾。

Due mostly to its application to cognitive radio networks, multiplayer bandits gained a lot of interest in the last decade. A considerable progress has been made on its theoretical aspect. However, the current algorithms are far from applicable and many obstacles remain between these theoretical results and a possible implementation of multiplayer bandits algorithms in real cognitive radio networks. This survey contextualizes and organizes the rich multiplayer bandits literature. In light of the existing works, some clear directions for future research appear. We believe that a further study of these different directions might lead to theoretical algorithms adapted to real-world situations.

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.

我们在嵌套政策类别的存在下研究匪徒场景中的模型选择问题，目的是获得同时的对抗和随机性（“两全其美”）高概率的遗憾保证。我们的方法要求每个基础学习者都有一个候选人的遗憾约束，可能会或可能不会举行，而我们的元算法按照一定时间表来扮演每个基础学习者，该时间表使基础学习者的候选人后悔的界限保持平衡，直到被发现违反他们的保证为止。我们开发了专门设计的仔细的错误指定测试，以将上述模型选择标准与利用环境的（潜在良性）性质的能力相结合。我们在对抗环境中恢复畜栏算法的模型选择保证，但是在实现高概率后悔界限的附加益处，特别是在嵌套对抗性线性斑块的情况下。更重要的是，我们的模型选择结果也同时在差距假设​​下的随机环境中同时保持。这些是在（线性）匪徒场景中执行模型选择时，可以达到世界上最好的（随机和对抗性）保证的第一个理论结果。

富达匪徒问题是$ k $的武器问题的变体，其中每个臂的奖励通过提供额外收益的富达奖励来增强，这取决于播放器如何对该臂进行“忠诚”在过去。我们提出了两种忠诚的模型。在忠诚点模型中，额外奖励的数量取决于手臂之前播放的次数。在订阅模型中，额外的奖励取决于手臂的连续绘制的当前数量。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最佳，因此对抗性环境中遗憾的概念需要仔细调整。我们介绍了三个可能的遗憾和调查，这可以是偏执的偏执。我们详细介绍了增加，减少和优惠券的特殊情况（玩家在手臂的每辆M $播放后获得额外的奖励）保真奖励。对于不一定享受载体遗憾的模型，我们提供了最糟糕的下限。对于那些展示Sublinear遗憾的模型，我们提供算法并绑定他们的遗憾。

我们考虑一个完全分散的多人多手随机多武装匪盗匪徒，其中玩家不能互相通信，并且只能观察自己的行为和奖励。环境可能与不同的播放器不同，$ \ texit {i.e.} $，给定臂的奖励分布在球员之间是异构的。在碰撞的情况下（当多个玩家播放相同的手臂时），我们允许碰撞玩家接收非零奖励。播放武器的时间 - 地平线$ t $是\ emph {否}对玩家已知。在此设置中，允许玩家的数量大于武器的数量，我们展示了一项达到订单优化预期令人遗憾的政策$ O（\ log ^ {1 + delta} t）$有些$ 0 <\ delta <1 $超过时间的时间$ t $。IEEE关于信息理论的交易中接受了本文。

我们通过反馈图来重新审视随机在线学习的问题，目的是设计最佳的算法，直至常数，无论是渐近还是有限的时间。我们表明，令人惊讶的是，在这种情况下，最佳有限时间遗憾的概念并不是一个唯一的定义属性，总的来说，它与渐近率是与渐近率分离的。我们讨论了替代选择，并提出了有限时间最优性的概念，我们认为是\ emph {有意义的}。对于这个概念，我们给出了一种算法，在有限的时间和渐近上都承认了准最佳的遗憾。

在古典语境匪徒问题中，在每轮$ t $，学习者观察一些上下文$ c $，选择一些动作$ i $执行，并收到一些奖励$ r_ {i，t}（c）$。我们考虑此问题的变体除了接收奖励$ r_ {i，t}（c）$之外，学习者还要学习其他一些上下文$的$ r_ {i，t}（c'）$的值C'$ in设置$ \ mathcal {o} _i（c）$;即，通过在不同的上下文下执行该行动来实现的奖励\ mathcal {o} _i（c）$。这种变体出现在若干战略设置中，例如学习如何在非真实的重复拍卖中出价，最热衷于随着许多平台转换为运行的第一价格拍卖。我们将此问题称为交叉学习的上下文匪徒问题。古典上下围匪徒问题的最佳算法达到$ \ tilde {o}（\ sqrt {ckt}）$遗憾针对所有固定策略，其中$ c $是上下文的数量，$ k $的行动数量和$ $次数。我们设计并分析了交叉学习的上下文匪徒问题的新算法，并表明他们的遗憾更好地依赖上下文的数量。在选择动作时学习所有上下文的奖励的完整交叉学习下，即设置$ \ mathcal {o} _i（c）$包含所有上下文，我们显示我们的算法实现后悔$ \ tilde {o}（ \ sqrt {kt}）$，删除$ c $的依赖。对于任何其他情况，即在部分交叉学习下，$ | \ mathcal {o} _i（c）| <c $ for $（i，c）$，遗憾界限取决于如何设置$ \ mathcal o_i（c）$影响上下文之间的交叉学习的程度。我们从Ad Exchange运行一流拍卖的广告交换中模拟了我们的真实拍卖数据的算法，并表明了它们优于传统的上下文强盗算法。

我们研究了$ k $武装的决斗匪徒问题，这是传统的多武器匪徒问题的一种变体，其中以成对比较的形式获得了反馈。以前的学习算法专注于$ \ textit {完全自适应} $设置，在每次比较后，算法可以进行更新。 “批处理”决斗匪徒问题是由Web搜索排名和推荐系统等大规模应用程序激励的，在这种应用程序中执行顺序更新可能是不可行的。在这项工作中，我们要问：$ \ textit {是否只使用几个自适应回合有解决方案，该回合与$ k $ armed的决斗匪徒的最佳顺序算法的渐近后悔界限？} $？ \ textit {在condorcet条件下} $，这是$ k $武装的决斗匪徒问题的标准设置。我们获得$ O（k^2 \ log^2（k）） + O（k \ log（t））$的渐近遗憾地平线。我们的遗憾界限几乎与在Condorcet条件下完全顺序环境中已知的最佳后悔界限相匹配。最后，在各种现实世界数据集的计算实验中，我们观察到使用$ o（\ log（t））$ rounds的算法与完全顺序的算法（使用$ t $ rounds）的性能几乎相同。

动态治疗方案（DTRS）是个性化的，适应性的，多阶段的治疗计划，可将治疗决策适应个人的初始特征，并在随后的每个阶段中的中级结果和特征，在前阶段受到决策的影响。例子包括对糖尿病，癌症和抑郁症等慢性病的个性化一线和二线治疗，这些治疗适应患者对一线治疗，疾病进展和个人特征的反应。尽管现有文献主要集中于估算离线数据（例如从依次随机试验）中的最佳DTR，但我们研究了以在线方式开发最佳DTR的问题，在线与每个人的互动都会影响我们的累积奖励和我们的数据收集，以供我们的数据收集。未来的学习。我们将其称为DTR匪徒问题。我们提出了一种新颖的算法，通过仔细平衡探索和剥削，可以保证当过渡和奖励模型是线性时，可以实现最佳的遗憾。我们证明了我们的算法及其在合成实验和使用现实世界中对重大抑郁症的适应性治疗的案例研究中的好处。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

多武装强盗环境中最好的武器识别问题是许多真实世界决策问题的一个优秀模式，但它无法捕捉到现实世界中，在学习时通常必须满足安全限制的事实。在这项工作中，我们研究了安全关键环境中最好的武器识别问题，代理的目标是找到许多人的最佳安全选项，同时以保证某些方式达到满足肯定的方式的探索，最初是未知的安全约束。我们首先在奖励和安全约束采用线性结构的情况下分析此问题，并显示近乎匹配的上限和下限。然后，我们分析了更多的常规版本，我们只假设奖励和安全约束可以通过单调函数建模，并在此设置中提出算法，保证安全地学习。我们的结论与实验结果表明我们在方案中的方法的有效性，如安全地识别许多人以便治疗疾病。

我们考虑扩展到不可焦躁的多武装强盗（RMAB）问题，具有未知的ARM动态，其中一个未知的外源性Markov过程管理每只臂的卷发布分布。在每个全球状态下，每个手臂的奖励过程根据一个未知的马尔科维亚规则而发展，不同武器之间是非相同的。每次，玩家都选择了一个美元武器的手臂播放，并从有限一套奖励国家接收随机奖励。无论球员的行为如何，武器都不令人焦躁不安，即他们的当地状态。最近关于相关RMAB设置的研究，遗憾被定义为关于了解问题动态的玩家的奖励损失，每次都在每次都可以最大化预期立即值的ARM。目标是制定一个最小化遗憾的武装选择政策。为此，我们在外源马尔可夫过程（LEMP）算法下发展学习。我们理论上分析LEMP并建立遗憾的有限样本。我们表明LEMP与时间达到了对数遗憾的顺序。我们进一步分析了数控LEMP，并存在支持理论发现的仿真结果，并证明LEMP显着优于替代算法。

我们研究了带有切换成本的土匪的最佳世界世界算法，最近由Rouyer，Seldin和Cesa-Bianchi提出，2021年。我们引入了一种令人惊讶的简单有效的算法}（t^{2/3}）$在遗忘的对抗设置中，$ \ mathcal {o}（\ min \ {\ log（t）/\ delta^2，T^{2/3} \ \}）$在随机约束的制度中，均具有（单位）切换成本，其中$ \ delta $是武器之间的差距。在随机限制的情况下，由于Rouyer等人，我们的界限比以前的结果得到了改善，这使$ \ Mathcal {o}（t^{1/3}/\ delta）$。我们伴随我们的结果，下限表明，通常，$ \ tilde {\ omega}（\ min \ {1/\ delta^2，t^{2/3} \}）$遗憾是不可避免的。 - 具有$ \ mathcal {o}（t^{2/3}）$ wort-case遗憾的算法的算法。

我们研究了在线多任务学习的问题，其中在相似但不一定相同的多臂强盗环境中执行任务。特别是，我们研究学习者如何通过知识转移来改善多个相关任务的整体绩效。虽然最近已证明，在所有任务同时解决的环境中，尚不清楚汤普森采样（TS）算法是否尚不清楚，虽然最近证明了基于上限的算法（UCB）算法几乎达到了最佳的性能保证，具有类似的理论属性。在这项工作中，我们为更通用的在线多任务学习协议提供了TS-Type算法，该协议扩展了并发设置。我们提供了其频繁的分析，并证明它在随机停止时间内使用新型浓度不平等的多任务数据聚集也几乎是最佳的。最后，我们评估了关于合成数据的算法，并表明与基于UCB的算法相比，TS-Type算法具有出色的经验性能和基线算法，该算法在没有转移的情况下为每个单独的任务执行TS。

Multi-player multi-armed bandit is an increasingly relevant decision-making problem, motivated by applications to cognitive radio systems. Most research for this problem focuses exclusively on the settings that players have \textit{full access} to all arms and receive no reward when pulling the same arm. Hence all players solve the same bandit problem with the goal of maximizing their cumulative reward. However, these settings neglect several important factors in many real-world applications, where players have \textit{limited access} to \textit{a dynamic local subset of arms} (i.e., an arm could sometimes be ``walking'' and not accessible to the player). To this end, this paper proposes a \textit{multi-player multi-armed walking bandits} model, aiming to address aforementioned modeling issues. The goal now is to maximize the reward, however, players can only pull arms from the local subset and only collect a full reward if no other players pull the same arm. We adopt Upper Confidence Bound (UCB) to deal with the exploration-exploitation tradeoff and employ distributed optimization techniques to properly handle collisions. By carefully integrating these two techniques, we propose a decentralized algorithm with near-optimal guarantee on the regret, and can be easily implemented to obtain competitive empirical performance.

我们考虑使用$ K $臂的随机匪徒问题，每一个都与$ [m，m] $范围内支持的有限分布相关。我们不认为$ [m，m] $是已知的范围，并表明学习此范围有成本。确实，出现了与分销相关和无分配后悔界限之间的新权衡，这阻止了同时实现典型的$ \ ln t $和$ \ sqrt {t} $ bunds。例如，仅当与分布相关的遗憾界限至少属于$ \ sqrt {t} $的顺序时，才能实现$ \ sqrt {t} $}无分布遗憾。我们展示了一项策略，以实现新的权衡表明的遗憾。

积极的学习方法在减少学习所需的样本数量方面表现出了巨大的希望。随着自动化学习系统被采用到实时的现实世界决策管道中，越来越重要的是，这种算法的设计考虑到了安全性。在这项工作中，我们研究了在互动环境中学习最佳安全决定的复杂性。我们将这个问题减少到约束的线性匪徒问题，我们的目标是找到满足某些（未知）安全限制的最佳手臂。我们提出了一种基于自适应的实验性设计算法，在显示ARM的难度与次优的难度之间，我们表现出了有效的交易。据我们所知，我们的结果是具有安全限制的线性匪徒最佳武器识别。实际上，我们证明了这种方法在合成和现实世界数据集上的表现很好。

We consider distributed linear bandits where $M$ agents learn collaboratively to minimize the overall cumulative regret incurred by all agents. Information exchange is facilitated by a central server, and both the uplink and downlink communications are carried over channels with fixed capacity, which limits the amount of information that can be transmitted in each use of the channels. We investigate the regret-communication trade-off by (i) establishing information-theoretic lower bounds on the required communications (in terms of bits) for achieving a sublinear regret order; (ii) developing an efficient algorithm that achieves the minimum sublinear regret order offered by centralized learning using the minimum order of communications dictated by the information-theoretic lower bounds. For sparse linear bandits, we show a variant of the proposed algorithm offers better regret-communication trade-off by leveraging the sparsity of the problem.