在本文中，我们制定了在内核强盗问题（COPE-KB）中的协作纯探索，它为在有限的通信和一般奖励函数下提供了一种用于多智能组件多任务决策的新型模型，并且适用于许多在线学习任务，例如，推荐系统和网络调度。我们考虑两个COPE-KB，即固定信道（FC）和固定预算（FB）的设置，以及设计两个最佳算法COOPKERNECC（FC）和Coopkerhelfb（FB）。我们的算法配备了创新和高效的核化估计，同时实现了计算和通信效率。建立统计和通信度量标准下的上限和下限以证明我们算法的最优性。理论界限成功地量化了任务相似性对学习加速度的影响，并且只取决于内核特征空间的有效维度。我们的分析技术，包括数据尺寸分解，线性结构化实例转换和（通信）圆形加速感应，是新颖的，适用于其他强盗问题。提供了实证评估以验证我们的理论结果，并展示我们算法的性能优势。

级别设置估计问题旨在查找域$ {\ cal x} $的所有点，其中一个未知函数$ f：{\ cal x} \ lightarrow \ mathbb {r} $超过阈值$ \ alpha $ 。估计基于可以在$ {\ cal x} $中顺序和自适应地选择的位置获取的嘈杂函数评估。阈值$ \ alpha $可以是\弹性{显式}，并提供先验，或\ \ ich {隐式}，相对于最佳函数值定义，即$ \ alpha =（1- \ epsilon）f（x_ \ AST）$关于给定$ \ epsilon> 0 $ why $ f（x_ \ ist）$是最大函数值，并且未知。在这项工作中，我们通过将其与最近的自适应实验设计方法相关联，为近期自适应实验设计方法提供了一种新的再现内核盗窃空间（RKHS）设置。我们假设可以通过RKHS中的函数近似于未知的拼写，并为此设置中隐含和显式案件提供新的算法，具有很强的理论保证。此外，在线性（内核）设置中，我们表明我们的界限几乎是最佳的，即，我们的上限与阈值线性匪徒的现有下限匹配。据我们所知，这项工作提供了第一个实例依赖性非渐近的上限，就匹配信息理论下限的水平设定估计的样本复杂性。

在本文中，我们研究了时间速度与非IID数据的协作学习模型中学习过程的交流次数之间的权衡，其中多个代理与可能不同的环境互动，他们希望学习一个目标。汇总环境。我们在匪徒理论中使用一个基本问题，称为多臂匪徒中最佳ARM识别作为传递以下概念信息的工具：对非IID数据的协作学习比在IID数据上更加困难。特别是，我们显示以下内容：a）非IID数据设置中的加速度可能小于$ 1 $（即放缓）。当回合$ r = o（1）$的数量时，我们将至少需要多项式数量的代理（就武器数量而言）来实现大于$ 1 $的加速。这与IID数据设置形成鲜明对比，在$ r \ ge 2 $中，无论代理数量如何，加速度总是至少$ 1 $。 b）学习过程中的适应性无济于事。这与IID数据设置形成鲜明对比，为了实现相同的速度，最佳的非自适应算法需要比最佳自适应算法要大得多。在技​​术空间中，我们进一步开发了Arxiv：1904.03293中引入的广义消除技术。我们表明，在使用复杂的硬输入分布并直接证明自适应算法的下限时，分配类别的隐式表示非常有用。

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

我们研究固定预算设置中线性匪徒中最佳手臂识别的问题。通过利用G-Optimal设计的属性并将其纳入ARM分配规则，我们设计了一种无参数算法，基于最佳设计的基于设计的线性最佳臂识别（OD-Linbai）。我们提供了OD-Linbai的失败概率的理论分析。 OD-Linbai的性能并非所有最优差距，而是取决于顶部$ d $臂的差距，其中$ d $是线性匪徒实例的有效维度。补充，我们为此问题提供了一个Minimax下限。上限和下限表明，OD-Linbai是最佳的最佳选择，直到指数中的恒定乘法因素，这是对现有方法的显着改进（例如，贝耶斯加普，和平，线性化和GSE），并解决了确定确定该问题的问题。在固定预算设置中学习最好的手臂的困难。最后，数值实验表明，对各种真实和合成数据集的现有算法进行了相当大的经验改进。

在本文中，我们研究了汤普森采样（TS）方法的应用到随机组合多臂匪徒（CMAB）框架中。当所有基本臂的结果分布都是独立的，并获得$ o（m \ log k _ {\ max} \ log t / \ delta_时，我们首先分析一般CMAB模型的标准TS算法。 {\ min}）$，其中$ m $是基本武器的数量，$ k _ {\ max} $是最大的超级臂的大小，$ t $是时间范围，而$ \ delta _ {\ min} $是最佳解决方案的预期奖励与任何非最佳解决方案之间的最小差距。这种遗憾的上限比$ o（m（\ log k _ {\ max}）^2 \ log t / \ delta _ {\ min}）$更好。此外，我们的新颖分析技术可以帮助收紧其他基于UCB的政策（例如ESC）的遗憾界限，因为我们改善了计算累积遗憾的方法。然后，我们考虑Matroid Bandit设置（CMAB模型的特殊类别），在这里我们可以删除跨武器的独立性假设，并实现与下限匹配的遗憾上限。除了遗憾的上限外，我们还指出，一个人不能直接替换确切的离线甲骨文（将离线问题实例的参数作为输入，并在此实例下输出确切的最佳操作），用TS算法中的近似oracle替换了ts算法的近似值。甚至经典的mAb问题。最后，我们使用一些实验来显示TS遗憾与其他现有算法之间的比较，实验结果表明TS优于现有基准。

积极的学习方法在减少学习所需的样本数量方面表现出了巨大的希望。随着自动化学习系统被采用到实时的现实世界决策管道中，越来越重要的是，这种算法的设计考虑到了安全性。在这项工作中，我们研究了在互动环境中学习最佳安全决定的复杂性。我们将这个问题减少到约束的线性匪徒问题，我们的目标是找到满足某些（未知）安全限制的最佳手臂。我们提出了一种基于自适应的实验性设计算法，在显示ARM的难度与次优的难度之间，我们表现出了有效的交易。据我们所知，我们的结果是具有安全限制的线性匪徒最佳武器识别。实际上，我们证明了这种方法在合成和现实世界数据集上的表现很好。

我们考虑使用未知差异的双臂高斯匪徒的固定预算最佳臂识别问题。当差异未知时，性能保证与下限的性能保证匹配的算法最紧密的下限和算法的算法很长。当算法不可知到ARM的最佳比例算法。在本文中，我们提出了一种策略，该策略包括在估计的ARM绘制的目标分配概率之后具有随机采样（RS）的采样规则，并且使用增强的反概率加权（AIPW）估计器通常用于因果推断文学。我们将我们的战略称为RS-AIPW战略。在理论分析中，我们首先推导出鞅的大偏差原理，当第二次孵化的均值时，可以使用，并将其应用于我们提出的策略。然后，我们表明，拟议的策略在错误识别的可能性达到了Kaufmann等人的意义上是渐近最佳的。 （2016）当样品尺寸无限大而双臂之间的间隙变为零。

We consider distributed linear bandits where $M$ agents learn collaboratively to minimize the overall cumulative regret incurred by all agents. Information exchange is facilitated by a central server, and both the uplink and downlink communications are carried over channels with fixed capacity, which limits the amount of information that can be transmitted in each use of the channels. We investigate the regret-communication trade-off by (i) establishing information-theoretic lower bounds on the required communications (in terms of bits) for achieving a sublinear regret order; (ii) developing an efficient algorithm that achieves the minimum sublinear regret order offered by centralized learning using the minimum order of communications dictated by the information-theoretic lower bounds. For sparse linear bandits, we show a variant of the proposed algorithm offers better regret-communication trade-off by leveraging the sparsity of the problem.

我们在随机多臂匪徒问题中使用固定预算和上下文（协变）信息研究最佳武器识别。在观察上下文信息之后，在每一轮中，我们使用过去的观察和当前上下文选择一个治疗臂。我们的目标是确定最好的治疗组，这是一个在上下文分布中被边缘化的最大预期奖励的治疗组，而错误识别的可能性最小。首先，我们为此问题得出半参数的下限，在这里我们将最佳和次优的治疗臂的预期奖励之间的差距视为感兴趣的参数，以及所有其他参数，例如在上下文中的预期奖励，作为滋扰参数。然后，我们开发“上下文RS-AIPW策略”，该策略由随机采样（RS）规则组成，跟踪目标分配比和使用增强反向概率加权（AIPW）估算器的建议规则。我们提出的上下文RS-AIPW策略是最佳的，因为错误识别概率的上限与预算到Infinity时的半参数下限相匹配，并且差距趋于零。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

We study the best-arm identification problem in multi-armed bandits with stochastic, potentially private rewards, when the goal is to identify the arm with the highest quantile at a fixed, prescribed level. First, we propose a (non-private) successive elimination algorithm for strictly optimal best-arm identification, we show that our algorithm is $\delta$-PAC and we characterize its sample complexity. Further, we provide a lower bound on the expected number of pulls, showing that the proposed algorithm is essentially optimal up to logarithmic factors. Both upper and lower complexity bounds depend on a special definition of the associated suboptimality gap, designed in particular for the quantile bandit problem, as we show when the gap approaches zero, best-arm identification is impossible. Second, motivated by applications where the rewards are private, we provide a differentially private successive elimination algorithm whose sample complexity is finite even for distributions with infinite support-size, and we characterize its sample complexity. Our algorithms do not require prior knowledge of either the suboptimality gap or other statistical information related to the bandit problem at hand.

我们为随机线性匪徒问题提出了一种新的基于自举的在线算法。关键的想法是采用残留的自举勘探，在该探索中，代理商通过重新采样平均奖励估算的残差来估算下一步奖励。我们的算法，随机线性匪徒（\ texttt {linreboot}）的残留bootstrap探索，从其重新采样分布中估算了线性奖励，并以最高的奖励估计拉动了手臂。特别是，我们为理论框架做出了一个理论框架，以使基于自举的探索机制在随机线性匪徒问题中脱颖而出。关键见解是，Bootstrap探索的强度基于在线学习模型和残差的重新采样分布之间的乐观情绪。这样的观察使我们能够证明所提出的\ texttt {linreboot}确保了高概率$ \ tilde {o}（d \ sqrt {n}）$ sub-linear在温和条件下的遗憾。我们的实验支持\ texttt {重新启动}原理在线性匪徒问题的各种公式中的简易概括性，并显示了\ texttt {linreboot}的显着计算效率。

在本文中，我们提出了一种新颖的分支增强学习（分支RL）模型，并研究了该模型的遗憾最小化（RM）和无奖励探索（RFE）指标。与标准RL不同，每个情节的轨迹是单个$ h $步骤路径，分支RL允许代理在一个状态下采用多个基本动作，从而相应地将分支转移到多个后继状态，从而生成树 - 结构化轨迹。该模型在分层推荐系统和在线广告中找到了重要的应用程序。对于分支RL，我们建立了新的Bellman方程和关键引理，即分支值差异引理和总方差的分支定律，并且在指数级别的轨迹下，总方差仅约为$ O（H^2）$。对于RM和RFE指标，我们分别提出了计算有效算法Branchvi和BranchRFE，并得出几乎匹配的上限和下限。尽管大大轨迹呈指数型，但我们的结果在问题参数上只是多项式。

因果匪徒问题将因果推断与多军匪徒集成在一起。因果匪徒的纯粹探索是以下在线学习任务：给定一个因果关系分布未知的因果图，在每一轮中，我们可以选择干预一个变量或不进行干预，并观察所有随机变量的随机结果，并与所有随机变量进行观察使用尽可能少的回合的目标，我们可以输出一种干预措施，该干预措施在奖励变量$ y $上具有至少$ 1- \ delta $，其中$ \ delta $是一个最佳（或几乎是最好的）预期结果给定信心水平。我们在三种类型的因果模型，包括平行图，具有少量后门父母的常规图和二进制通用线性模型的三种类型的因果模型上提供了第一个完全依赖GAP的完全自适应纯探索算法。我们的算法改善了先前的因果匪徒算法，这些算法并非自适应奖励差距，也没有先前的自适应纯探索算法，它们不利用因果匪徒的特殊特征。

汤普森采样（TS）是解决上下文多武装强盗问题最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，这适应了深度神经网络，用于勘探和剥削。在我们的算法的核心是一种新的奖励的后分布，其平均值是神经网络近似器，并且其方差建立在相应神经网络的神经切线特征上。我们证明，如果底层奖励函数是有界的，则可以保证所提出的算法来实现$ \ mathcal {o}（t ^ {1/2}）$的累积遗憾，它与其他上下文强盗算法的遗憾匹配总轮数量$ t $。各种数据集中其他基准强盗算法的实验比较证实了我们的理论。

在随机上下文的强盗设置中，对遗憾最小化算法进行了广泛的研究，但是他们的实例最少的最佳武器识别对应物仍然很少研究。在这项工作中，我们将重点关注$（\ epsilon，\ delta）$ - $ \ textit {pac} $设置：给定策略类$ \ pi $，学习者的目标是返回策略的目标， $ \ pi \ in \ pi $的预期奖励在最佳政策的$ \ epsilon $之内，概率大于$ 1- \ delta $。我们表征了第一个$ \ textit {实例依赖性} $ PAC样品通过数量$ \ rho _ {\ pi} $的上下文匪徒的复杂性，并根据$ \ rho _ {\ pi} $提供匹配的上和下限不可知论和线性上下文最佳武器标识设置。我们表明，对于遗憾的最小化和实例依赖性PAC而言，无法同时最小化算法。我们的主要结果是一种新的实例 - 最佳和计算有效算法，该算法依赖于多项式呼叫对Argmax Oracle的调用。

在本文中，我们在稀疏的随机上下文线性土匪中重新审视了遗憾的最小化问题，其中特征向量可能具有很大的尺寸$ d $，但是奖励功能取决于一些，例如$ s_0 \ ll d $，其中这些功能的这些功能只要。我们提出了阈值拉索匪徒，该算法（i）估算了定义奖励功能及其稀疏支持的向量，即显着特征元素，使用带有阈值的Lasso框架，以及（ii）根据此处选择手臂估计预测其支持。该算法不需要对稀疏索引$ s_0 $的先验知识，并且可以在某些对称假设下不含参数。对于这种简单的算法，我们将非偶然的遗憾上限建立为$ \ mathcal {o}（\ log d + d + \ sqrt {t}）$一般，为$ \ mathcal {o} log t）$在所谓的边缘条件下（手臂奖励分离的概率条件）。以前的算法的遗憾将其缩放为$ \ Mathcal {o}（\ log D + \ \ sqrt {t \ log（d t）}）$和$ \ mathcal {o}（\ log log t \ log t \ log t \ log t \ log d）$设置分别。通过数值实验，我们确认我们的算法优于现有方法。

Consider the following abstract coin tossing problem: Given a set of $n$ coins with unknown biases, find the most biased coin using a minimal number of coin tosses. This is a common abstraction of various exploration problems in theoretical computer science and machine learning and has been studied extensively over the years. In particular, algorithms with optimal sample complexity (number of coin tosses) have been known for this problem for quite some time. Motivated by applications to processing massive datasets, we study the space complexity of solving this problem with optimal number of coin tosses in the streaming model. In this model, the coins are arriving one by one and the algorithm is only allowed to store a limited number of coins at any point -- any coin not present in the memory is lost and can no longer be tossed or compared to arriving coins. Prior algorithms for the coin tossing problem with optimal sample complexity are based on iterative elimination of coins which inherently require storing all the coins, leading to memory-inefficient streaming algorithms. We remedy this state-of-affairs by presenting a series of improved streaming algorithms for this problem: we start with a simple algorithm which require storing only $O(\log{n})$ coins and then iteratively refine it further and further, leading to algorithms with $O(\log\log{(n)})$ memory, $O(\log^*{(n)})$ memory, and finally a one that only stores a single extra coin in memory -- the same exact space needed to just store the best coin throughout the stream. Furthermore, we extend our algorithms to the problem of finding the $k$ most biased coins as well as other exploration problems such as finding top-$k$ elements using noisy comparisons or finding an $\epsilon$-best arm in stochastic multi-armed bandits, and obtain efficient streaming algorithms for these problems.

本文介绍了信息性多臂强盗（IMAB）模型，在每个回合中，玩家选择手臂，观察符号，并以符号的自我信息形式获得未观察到的奖励。因此，手臂的预期奖励是产生其符号的源质量函数的香农熵。玩家的目标是最大程度地提高与武器的熵值相关的预期奖励。在假设字母大小是已知的假设下，为IMAB模型提出了两种基于UCB的算法，该算法考虑了插件熵估计器的偏差。第一种算法在熵估计中乐观地纠正了偏置项。第二算法依赖于数据依赖性置信区间，该置信区间适应具有较小熵值的源。性能保证是通过上限为每种算法的预期遗憾提供的。此外，在Bernoulli案例中，将这些算法的渐近行为与伪遗憾的Lai-Robbins的下限进行了比较。此外，在假设\ textit {cract}字母大小的假设下是未知的，而播放器仅知道其上方的宽度上限，提出了一种基于UCB的算法，在其中，玩家的目的是减少由该算法造成的遗憾。未知的字母尺寸在有限的时间方面。数字结果说明了论文中介绍的算法的预期遗憾。