我们研究了带有未知上下文的分布式随机多臂上下文匪徒的问题，其中M代理商在中央服务器的协调下合作选择最佳动作，以最大程度地减少遗憾。在我们的模型中，对手选择在可能的上下文集上的分布，而代理只观察到上下文分布，而确切的上下文是代理人未知的。例如，当上下文本身是嘈杂的测量或基于天气预报或股票市场预测中的预测机制时，就会出现这种情况。我们的目标是开发一种分布式算法，该算法选择一系列最佳动作序列以最大程度地提高累积奖励。通过执行功能向量转换并利用UCB算法，我们提出了一种具有上下文分布的随机匪徒的UCB算法，并证明我们的算法实现了$ O（D \ sqrt {mt} log^2t log^2t）$ o的遗憾和通信范围对于线性参数化的奖励函数，分别为$ o（m^{1.5} d^3）$。我们还考虑了一种情况，代理在选择动作后会观察实际情况。对于此设置，我们提出了一种修改后的算法，该算法利用其他信息来实现更严格的遗憾。最后，我们验证了算法的性能，并使用有关合成数据和现实世界Movielens数据集的大量模拟将其与其他基线方法进行了比较。

我们研究联合的上下文线性匪徒，其中$ m $代理相互合作，在中央服务器的帮助下解决全球上下文线性匪徒问题。我们考虑了异步设置，所有代理商都独立工作，一个代理和服务器之间的通信不会触发其他代理的通信。我们提出了一种基于乐观原理的简单算法\ texttt {fedlinucb}。我们证明\ texttt {fedlinucb}的遗憾是由$ \ tilde {o}（d \ sqrt {\ sum_ {m = 1}^m t_m}）$界定的，通信复杂性是$ \ tilde {o}（o}（o}（o}（o}（o））dm^2）$，其中$ d $是上下文向量的尺寸，$ t_m $是与环境的交互总数，$ m $ -th代理。据我们所知，这是第一种可证明有效的算法，它允许联合上下文线性匪徒完全异步通信，同时获得与单一代理设置相同的遗憾保证。

We study distributed contextual linear bandits with stochastic contexts, where $N$ agents act cooperatively to solve a linear bandit-optimization problem with $d$-dimensional features over the course of $T$ rounds. For this problem, we derive the first ever information-theoretic lower bound $\Omega(dN)$ on the communication cost of any algorithm that performs optimally in a regret minimization setup. We then propose a distributed batch elimination version of the LinUCB algorithm, DisBE-LUCB, where the agents share information among each other through a central server. We prove that the communication cost of DisBE-LUCB matches our lower bound up to logarithmic factors. In particular, for scenarios with known context distribution, the communication cost of DisBE-LUCB is only $\tilde{\mathcal{O}}(dN)$ and its regret is ${\tilde{\mathcal{O}}}(\sqrt{dNT})$, which is of the same order as that incurred by an optimal single-agent algorithm for $NT$ rounds. We also provide similar bounds for practical settings where the context distribution can only be estimated. Therefore, our proposed algorithm is nearly minimax optimal in terms of \emph{both regret and communication cost}. Finally, we propose DecBE-LUCB, a fully decentralized version of DisBE-LUCB, which operates without a central server, where agents share information with their \emph{immediate neighbors} through a carefully designed consensus procedure.

We improve the theoretical analysis and empirical performance of algorithms for the stochastic multi-armed bandit problem and the linear stochastic multi-armed bandit problem. In particular, we show that a simple modification of Auer's UCB algorithm achieves with high probability constant regret. More importantly, we modify and, consequently, improve the analysis of the algorithm for the for linear stochastic bandit problem studied by Auer ( 2002), Dani et al. (2008), Rusmevichientong and Tsitsiklis (2010), Li et al. (2010). Our modification improves the regret bound by a logarithmic factor, though experiments show a vast improvement. In both cases, the improvement stems from the construction of smaller confidence sets. For their construction we use a novel tail inequality for vector-valued martingales.

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

我们应对在分布式环境中学习内核上下文匪徒的沟通效率挑战。尽管最近的沟通效率分布式强盗学习取得了进步，但现有的解决方案仅限于简单的模型，例如多臂匪徒和线性匪徒，这阻碍了其实用性。在本文中，我们没有假设存在从功能到预期奖励的线性奖励映射，而是通过让代理商在复制的内核希尔伯特（RKHS）中协作搜索来考虑非线性奖励映射。由于分布式内核学习需要传输原始数据，因此引入了沟通效率的重大挑战，从而导致沟通成本增长线性W.R.T.时间范围$ t $。我们通过装备所有代理通过通用的nystr \“ {o} m嵌入，随着收集更多的数据点的收集。我们严格地证明我们的算法可以以遗憾和通信成本达到次线性率，我们可以通过适应性更新的嵌入来解决这个问题。 。

由于信息不对称，多智能经纪增强学习（Marl）问题是挑战。为了克服这一挑战，现有方法通常需要代理商之间的高度协调或沟通。我们考虑具有在应用中产生的分层信息结构的两个代理多武装匪徒（MAB）和MARKOV决策过程（MDP），我们利用不需要协调或通信的更简单和更高效的算法。在结构中，在每个步骤中，“领导者”首先选择她的行动，然后“追随者”在观察领导者的行动后，“追随者”决定他的行动。这两个代理观察了相同的奖励（以及MDP设置中的相同状态转换），这取决于其联合行动。对于强盗设置，我们提出了一种分层匪盗算法，实现了$ \ widetilde {\ mathcal {o}}（\ sqrt {abt}）$和近最佳差距依赖的近乎最佳的差距遗憾$ \ mathcal {o}（\ log（t））$，其中$ a $和$ b $分别是领导者和追随者的行动数，$ t $是步数。我们进一步延伸到多个追随者的情况，并且具有深层层次结构的情况，在那里我们都获得了近乎最佳的遗憾范围。对于MDP设置，我们获得$ \ widetilde {\ mathcal {o}}（\ sqrt {h ^ 7s ^ 2abt}）$后悔，其中$ h $是每集的步骤数，$ s $是数量各国，$ T $是剧集的数量。这与$ a，b $和$ t $的现有下限匹配。

In this paper, we address the stochastic contextual linear bandit problem, where a decision maker is provided a context (a random set of actions drawn from a distribution). The expected reward of each action is specified by the inner product of the action and an unknown parameter. The goal is to design an algorithm that learns to play as close as possible to the unknown optimal policy after a number of action plays. This problem is considered more challenging than the linear bandit problem, which can be viewed as a contextual bandit problem with a \emph{fixed} context. Surprisingly, in this paper, we show that the stochastic contextual problem can be solved as if it is a linear bandit problem. In particular, we establish a novel reduction framework that converts every stochastic contextual linear bandit instance to a linear bandit instance, when the context distribution is known. When the context distribution is unknown, we establish an algorithm that reduces the stochastic contextual instance to a sequence of linear bandit instances with small misspecifications and achieves nearly the same worst-case regret bound as the algorithm that solves the misspecified linear bandit instances. As a consequence, our results imply a $O(d\sqrt{T\log T})$ high-probability regret bound for contextual linear bandits, making progress in resolving an open problem in (Li et al., 2019), (Li et al., 2021). Our reduction framework opens up a new way to approach stochastic contextual linear bandit problems, and enables improved regret bounds in a number of instances including the batch setting, contextual bandits with misspecifications, contextual bandits with sparse unknown parameters, and contextual bandits with adversarial corruption.

我们在存在对抗性腐败的情况下研究线性上下文的强盗问题，在场，每回合的奖励都被对手损坏，腐败级别（即，地平线上的腐败总数）为$ c \ geq 0 $。在这种情况下，最著名的算法受到限制，因为它们要么在计算效率低下，要么需要对腐败做出强烈的假设，或者他们的遗憾至少比没有腐败的遗憾差的$ C $倍。在本文中，为了克服这些局限性，我们提出了一种基于不确定性的乐观原则的新算法。我们算法的核心是加权山脊回归，每个选择动作的重量都取决于其置信度，直到一定的阈值。 We show that for both known $C$ and unknown $C$ cases, our algorithm with proper choice of hyperparameter achieves a regret that nearly matches the lower bounds.因此，我们的算法几乎是两种情况的对数因素的最佳选择。值得注意的是，我们的算法同时对腐败和未腐败的案件（$ c = 0 $）实现了近乎最理想的遗憾。

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.

Autoregressive processes naturally arise in a large variety of real-world scenarios, including e.g., stock markets, sell forecasting, weather prediction, advertising, and pricing. When addressing a sequential decision-making problem in such a context, the temporal dependence between consecutive observations should be properly accounted for converge to the optimal decision policy. In this work, we propose a novel online learning setting, named Autoregressive Bandits (ARBs), in which the observed reward follows an autoregressive process of order $k$, whose parameters depend on the action the agent chooses, within a finite set of $n$ actions. Then, we devise an optimistic regret minimization algorithm AutoRegressive Upper Confidence Bounds (AR-UCB) that suffers regret of order $\widetilde{\mathcal{O}} \left( \frac{(k+1)^{3/2}\sqrt{nT}}{(1-\Gamma)^2} \right)$, being $T$ the optimization horizon and $\Gamma < 1$ an index of the stability of the system. Finally, we present a numerical validation in several synthetic and one real-world setting, in comparison with general and specific purpose bandit baselines showing the advantages of the proposed approach.

我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。

上下文线性土匪是具有许多实际应用的丰富且理论上重要的模型。最近，这种设置对无线的应用程序引起了很多兴趣，在无线上，通信限制可能是性能瓶颈，尤其是当上下文来自大型$ d $维空间时。在本文中，我们考虑了一个分布式的无记忆上下文线性匪徒学习问题，在该问题中，观察上下文并采取行动的代理人在地理上与学习中的学习者而在看不到上下文的同时分离。我们假设上下文是从分布中生成的，并提出了一种方法，该方法对于未知上下文分布的情况使用$ \ \ 5D $位，如果已知上下文分布，则每上下文$ 0 $ bits $ 0 $位，同时实现了几乎相同的遗憾。好像可以直接观察到上下文。前者的界限通过$ \ log（t）$因素在现有界限上进行了改进，其中$ t $是地平线的长度，而后者则达到了信息理论的紧密度。

We consider distributed linear bandits where $M$ agents learn collaboratively to minimize the overall cumulative regret incurred by all agents. Information exchange is facilitated by a central server, and both the uplink and downlink communications are carried over channels with fixed capacity, which limits the amount of information that can be transmitted in each use of the channels. We investigate the regret-communication trade-off by (i) establishing information-theoretic lower bounds on the required communications (in terms of bits) for achieving a sublinear regret order; (ii) developing an efficient algorithm that achieves the minimum sublinear regret order offered by centralized learning using the minimum order of communications dictated by the information-theoretic lower bounds. For sparse linear bandits, we show a variant of the proposed algorithm offers better regret-communication trade-off by leveraging the sparsity of the problem.

我们考虑一个完全分散的多人多手随机多武装匪盗匪徒，其中玩家不能互相通信，并且只能观察自己的行为和奖励。环境可能与不同的播放器不同，$ \ texit {i.e.} $，给定臂的奖励分布在球员之间是异构的。在碰撞的情况下（当多个玩家播放相同的手臂时），我们允许碰撞玩家接收非零奖励。播放武器的时间 - 地平线$ t $是\ emph {否}对玩家已知。在此设置中，允许玩家的数量大于武器的数量，我们展示了一项达到订单优化预期令人遗憾的政策$ O（\ log ^ {1 + delta} t）$有些$ 0 <\ delta <1 $超过时间的时间$ t $。IEEE关于信息理论的交易中接受了本文。

随机通用的线性匪徒是针对顺序决策问题的一个很好理解的模型，许多算法在立即反馈下实现了近乎最佳的遗憾。但是，在许多现实世界中，立即观察奖励的要求不适用。在这种情况下，不再理解标准算法。我们通过在选择动作和获得奖励之间引入延迟，以理论方式研究延迟奖励的现象。随后，我们表明，基于乐观原则的算法通过消除对决策集和延迟的延迟分布和放松假设的需要，从而改善了本设置的现有方法。这也导致从$ \ widetilde o（\ sqrt {dt} \ sqrt {d + \ mathbb {e} [\ tau]}）$改善遗憾保证。 ^{3/2} \ mathbb {e} [\ tau]）$，其中$ \ mathbb {e} [\ tau] $表示预期的延迟，$ d $是尺寸，$ t $ t $ the Time Horizo​​n，我们我们抑制了对数术语。我们通过对模拟数据进行实验来验证我们的理论结果。

我们研究了随机线性匪徒（LB）中的两个模型选择设置。在我们将其称为特征选择的第一个设置中，LB问题的预期奖励是$ M $特征映射（模型）中至少一个的线性跨度。在第二个设置中，LB问题的奖励参数由$ \ MATHBB r ^ d $中表示（可能）重叠球的$ M $模型任意选择。但是，该代理只能访问错过模型，即球的中心和半径的估计。我们将此设置称为参数选择。对于每个设置，我们开发和分析一种基于从匪徒减少到全信息问题的算法。这允许我们获得遗憾的界限（最多超过$ \ sqrt {\ log m} $ factor）而不是已知真实模型的情况。我们参数选择算法的遗憾也以模型不确定性对数进行缩放。最后，我们经验展现了使用合成和现实世界实验的算法的有效性。

在古典语境匪徒问题中，在每轮$ t $，学习者观察一些上下文$ c $，选择一些动作$ i $执行，并收到一些奖励$ r_ {i，t}（c）$。我们考虑此问题的变体除了接收奖励$ r_ {i，t}（c）$之外，学习者还要学习其他一些上下文$的$ r_ {i，t}（c'）$的值C'$ in设置$ \ mathcal {o} _i（c）$;即，通过在不同的上下文下执行该行动来实现的奖励\ mathcal {o} _i（c）$。这种变体出现在若干战略设置中，例如学习如何在非真实的重复拍卖中出价，最热衷于随着许多平台转换为运行的第一价格拍卖。我们将此问题称为交叉学习的上下文匪徒问题。古典上下围匪徒问题的最佳算法达到$ \ tilde {o}（\ sqrt {ckt}）$遗憾针对所有固定策略，其中$ c $是上下文的数量，$ k $的行动数量和$ $次数。我们设计并分析了交叉学习的上下文匪徒问题的新算法，并表明他们的遗憾更好地依赖上下文的数量。在选择动作时学习所有上下文的奖励的完整交叉学习下，即设置$ \ mathcal {o} _i（c）$包含所有上下文，我们显示我们的算法实现后悔$ \ tilde {o}（ \ sqrt {kt}）$，删除$ c $的依赖。对于任何其他情况，即在部分交叉学习下，$ | \ mathcal {o} _i（c）| <c $ for $（i，c）$，遗憾界限取决于如何设置$ \ mathcal o_i（c）$影响上下文之间的交叉学习的程度。我们从Ad Exchange运行一流拍卖的广告交换中模拟了我们的真实拍卖数据的算法，并表明了它们优于传统的上下文强盗算法。

We present the UC$^3$RL algorithm for regret minimization in Stochastic Contextual MDPs (CMDPs). The algorithm operates under the minimal assumptions of realizable function class, and access to offline least squares and log loss regression oracles. Our algorithm is efficient (assuming efficient offline regression oracles) and enjoys an $\widetilde{O}(H^3 \sqrt{T |S| |A|(\log (|\mathcal{F}|/\delta) + \log (|\mathcal{P}|/ \delta) )})$ regret guarantee, with $T$ being the number of episodes, $S$ the state space, $A$ the action space, $H$ the horizon, and $\mathcal{P}$ and $\mathcal{F}$ are finite function classes, used to approximate the context-dependent dynamics and rewards, respectively. To the best of our knowledge, our algorithm is the first efficient and rate-optimal regret minimization algorithm for CMDPs, which operates under the general offline function approximation setting.

合作匪徒问题越来越多地成为其在大规模决策中的应用。然而，对此问题的大多数研究专注于具有完美通信的环境，而在大多数现实世界分布式设置中，通信通常是随机网络，具有任意损坏和延迟。在本文中，我们在三个典型的真实沟通场景下研究了合作匪徒学习，即（a）通过随机时变网络的消息传递，（b）通过随机延迟的网络瞬时奖励共享（c ）通过对冲损坏的奖励来传递消息，包括拜占庭式沟通。对于每个环境中的每一个，我们提出了实现竞争性能的分散算法，以及在发生的群体后悔的近乎最佳保证。此外，在具有完美通信的环境中，我们提出了一种改进的延迟更新算法，其优于各种网络拓扑的现有最先进的算法。最后，我们在集团后悔呈现紧密的网络依赖性最低限度。我们所提出的算法很简单，以实现和获得竞争性的经验性能。