我们建议使用$ \ tilde {o}（\ sqrt {\ kappa^{ - 1} \ phi t} \ phi t}）$ hears $ t $ the $ \ phi $ phi $是$ \ phi $是最olutimut，$ \ phi $是$ \ phi $，我们提出了一种用于广义线性奖励的新颖的上下文强盗算法。上下文协方差和$ \ kappa $的特征值是奖励差异的下限。在几种实际情况下，$ \ phi = o（d）$，我们的结果是带有$ \ sqrt {d} $的广义线性模型（GLM）土匪的第一个遗憾，而无需依赖Auer [2002]的方法。我们使用一个称为双重运动估计器的新型估计器（Doubly-bobust（DR）估计器的子类，但误差较紧，我们就实现了这种结合。 Auer [2002]的方法通过丢弃观察到的奖励来实现独立性，而我们的算法则在使用我们的DDR估计器的所有情况下实现了独立性。我们还提供了一个$ o（\ kappa^{ - 1} \ phi \ log（nt）\ log t）$遗憾在概率的边缘条件下以$ n $武器约束。 Bastani和Bayati [2020]和Bastani等人给出了遗憾的界限。 [2021]在环境中，所有臂都是共同的，但系数是特定的。当所有臂的上下文都不同，但系数很常见时，我们的第一个遗憾是在线性模型或GLM的边缘条件下绑定的。我们使用合成数据和真实示例进行实证研究，证明了我们的算法的有效性。

我们为线性上下文匪徒提出了一种新颖的算法（\ sqrt {dt \ log t}）$遗憾，其中$ d $是上下文的尺寸，$ t $是时间范围。我们提出的算法配备了一种新型估计量，其中探索通过显式随机化嵌入。根据随机化的不同，我们提出的估计器从所有武器的上下文或选定的上下文中都取得了贡献。我们为我们的估计器建立了一个自称的绑定，这使累积遗憾的新颖分解为依赖添加剂的术语而不是乘法术语。在我们的问题设置下，我们还证明了$ \ omega（\ sqrt {dt}）$的新颖下限。因此，我们提出的算法的遗憾与对数因素的下限相匹配。数值实验支持理论保证，并表明我们所提出的方法的表现优于现有的线性匪徒算法。

We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.

在本文中，我们在稀疏的随机上下文线性土匪中重新审视了遗憾的最小化问题，其中特征向量可能具有很大的尺寸$ d $，但是奖励功能取决于一些，例如$ s_0 \ ll d $，其中这些功能的这些功能只要。我们提出了阈值拉索匪徒，该算法（i）估算了定义奖励功能及其稀疏支持的向量，即显着特征元素，使用带有阈值的Lasso框架，以及（ii）根据此处选择手臂估计预测其支持。该算法不需要对稀疏索引$ s_0 $的先验知识，并且可以在某些对称假设下不含参数。对于这种简单的算法，我们将非偶然的遗憾上限建立为$ \ mathcal {o}（\ log d + d + \ sqrt {t}）$一般，为$ \ mathcal {o} log t）$在所谓的边缘条件下（手臂奖励分离的概率条件）。以前的算法的遗憾将其缩放为$ \ Mathcal {o}（\ log D + \ \ sqrt {t \ log（d t）}）$和$ \ mathcal {o}（\ log log t \ log t \ log t \ log t \ log d）$设置分别。通过数值实验，我们确认我们的算法优于现有方法。

具有低维结构的随机高维匪徒问题可用于不同的应用程序，例如在线广告和药物发现。在这项工作中，我们为此类问题提出了一种简单的统一算法，并为我们算法的遗憾上限提供了一个一般分析框架。我们表明，在一些温和的统一假设下，我们的算法可以应用于不同的高维匪徒问题。我们的框架利用低维结构来指导问题中的参数估计，因此我们的算法在套索匪徒中达到了可比的遗憾界限，以及低级别矩阵匪徒的新颖界限，组稀疏矩阵强盗和IN组中一个新问题：多代理拉索强盗。

动态治疗方案（DTRS）是个性化的，适应性的，多阶段的治疗计划，可将治疗决策适应个人的初始特征，并在随后的每个阶段中的中级结果和特征，在前阶段受到决策的影响。例子包括对糖尿病，癌症和抑郁症等慢性病的个性化一线和二线治疗，这些治疗适应患者对一线治疗，疾病进展和个人特征的反应。尽管现有文献主要集中于估算离线数据（例如从依次随机试验）中的最佳DTR，但我们研究了以在线方式开发最佳DTR的问题，在线与每个人的互动都会影响我们的累积奖励和我们的数据收集，以供我们的数据收集。未来的学习。我们将其称为DTR匪徒问题。我们提出了一种新颖的算法，通过仔细平衡探索和剥削，可以保证当过渡和奖励模型是线性时，可以实现最佳的遗憾。我们证明了我们的算法及其在合成实验和使用现实世界中对重大抑郁症的适应性治疗的案例研究中的好处。

我们在存在对抗性腐败的情况下研究线性上下文的强盗问题，在场，每回合的奖励都被对手损坏，腐败级别（即，地平线上的腐败总数）为$ c \ geq 0 $。在这种情况下，最著名的算法受到限制，因为它们要么在计算效率低下，要么需要对腐败做出强烈的假设，或者他们的遗憾至少比没有腐败的遗憾差的$ C $倍。在本文中，为了克服这些局限性，我们提出了一种基于不确定性的乐观原则的新算法。我们算法的核心是加权山脊回归，每个选择动作的重量都取决于其置信度，直到一定的阈值。 We show that for both known $C$ and unknown $C$ cases, our algorithm with proper choice of hyperparameter achieves a regret that nearly matches the lower bounds.因此，我们的算法几乎是两种情况的对数因素的最佳选择。值得注意的是，我们的算法同时对腐败和未腐败的案件（$ c = 0 $）实现了近乎最理想的遗憾。

随机通用的线性匪徒是针对顺序决策问题的一个很好理解的模型，许多算法在立即反馈下实现了近乎最佳的遗憾。但是，在许多现实世界中，立即观察奖励的要求不适用。在这种情况下，不再理解标准算法。我们通过在选择动作和获得奖励之间引入延迟，以理论方式研究延迟奖励的现象。随后，我们表明，基于乐观原则的算法通过消除对决策集和延迟的延迟分布和放松假设的需要，从而改善了本设置的现有方法。这也导致从$ \ widetilde o（\ sqrt {dt} \ sqrt {d + \ mathbb {e} [\ tau]}）$改善遗憾保证。 ^{3/2} \ mathbb {e} [\ tau]）$，其中$ \ mathbb {e} [\ tau] $表示预期的延迟，$ d $是尺寸，$ t $ t $ the Time Horizo​​n，我们我们抑制了对数术语。我们通过对模拟数据进行实验来验证我们的理论结果。

我们研究汤普森采样对上下文匪徒的效率。现有的基于汤普森采样的算法需要构建后验分布的拉普拉斯近似（即高斯分布），这是在一般协方差矩阵中的高维应用中效率低下的效率。此外，高斯近似可能不是对一般奖励产生功能的后验分布的良好替代物。我们提出了一种有效的后采样算法，即Langevin Monte Carlo Thompson采样（LMC-TS），该采样（LMC-TS）使用Markov Chain Monte Carlo（MCMC）方法直接从上下文斑块中的后验分布中直接采样。我们的方法在计算上是有效的，因为它只需要执行嘈杂的梯度下降更新而不构建后验分布的拉普拉斯近似。我们证明，所提出的算法实现了相同的sublinear遗憾，作为一种特殊情况的汤普森采样算法，是上下文匪徒的特殊情况，即线性上下文的强盗。我们在不同上下文匪徒模型上对合成数据和现实世界数据集进行实验，这表明直接从后验进行采样既具有计算上有效又具有竞争性能。

我们在随机多臂匪徒问题中使用固定预算和上下文（协变）信息研究最佳武器识别。在观察上下文信息之后，在每一轮中，我们使用过去的观察和当前上下文选择一个治疗臂。我们的目标是确定最好的治疗组，这是一个在上下文分布中被边缘化的最大预期奖励的治疗组，而错误识别的可能性最小。首先，我们为此问题得出半参数的下限，在这里我们将最佳和次优的治疗臂的预期奖励之间的差距视为感兴趣的参数，以及所有其他参数，例如在上下文中的预期奖励，作为滋扰参数。然后，我们开发“上下文RS-AIPW策略”，该策略由随机采样（RS）规则组成，跟踪目标分配比和使用增强反向概率加权（AIPW）估算器的建议规则。我们提出的上下文RS-AIPW策略是最佳的，因为错误识别概率的上限与预算到Infinity时的半参数下限相匹配，并且差距趋于零。

决策者经常面对“许多匪徒”问题，其中必须同时学习相关但异构的情境匪徒实例。例如，大型零售商可能希望在许多商店中动态地学习产品需求，以解决定价或库存问题，这使得可以共同学习为服务类似客户的商店;或者，医院网络可能希望在许多提供商中动态学习患者风险以分配个性化干预措施，这使得可以为服务类似患者群体的医院共同学习。我们研究每个匪徒实例中未知参数可以分解为全局参数加上稀疏实例特定术语的设置。然后，我们提出了一种新颖的两级估计器，通过使用强大的统计数据组合（在类似的实例中学到）和套索回归（将结果进行替代），以样本有效的方式利用这种结构。我们在强盗算法中嵌入了这个估计器，并证明它在上下文维度下，它可以改善渐近遗憾界限。这种改进是数据较差的实例的指数。我们进一步展示了我们的结果如何依赖于强盗实例的基础网络结构。

在线学习算法广泛用于网络上的搜索和内容优化，必须平衡探索和开发，可能牺牲当前用户的经验，以获得将来会导致未来更好决策的信息。虽然在最坏的情况下，与贪婪算法相比，显式探索具有许多缺点，其通过选择当前看起来最佳的动作始终“利用”。我们在数据中固有的多样性的情况下提出了明确的探索不必要。我们在最近的一系列工作中进行了线性上下围匪盗模型中贪婪算法的平滑分析。我们提高了先前的结果，表明，只要多样性条件保持，贪婪的方法几乎符合任何其他算法的最佳可能性贝叶斯遗憾率，并且这种遗憾是最多的$ \ tilde o（t ^ {1/ 3}）$。

Thompson Sampling is one of the oldest heuristics for multi-armed bandit problems. It is a randomized algorithm based on Bayesian ideas, and has recently generated significant interest after several studies demonstrated it to have better empirical performance compared to the stateof-the-art methods. However, many questions regarding its theoretical performance remained open. In this paper, we design and analyze a generalization of Thompson Sampling algorithm for the stochastic contextual multi-armed bandit problem with linear payoff functions, when the contexts are provided by an adaptive adversary. This is among the most important and widely studied version of the contextual bandits problem. We provide the first theoretical guarantees for the contextual version of Thompson Sampling. We prove a high probability regret bound of Õ(d 3/2 √ T ) (or Õ(d T log(N ))), which is the best regret bound achieved by any computationally efficient algorithm for this problem, and is within a factor of √ d (or log(N )) of the information-theoretic lower bound for this problem.

汤普森抽样（TS）吸引了对强盗区域的兴趣。它在20世纪30年代介绍，但近年来尚未经过理论上证明。其在组合多武装强盗（CMAB）设置中的所有分析都需要精确的Oracle来提供任何输入的最佳解决方案。然而，这种Oracle通常是不可行的，因为许多组合优化问题是NP - 硬，并且只有近似oracles可用。一个例子（王和陈，2018）已经表明TS的失败来学习近似Oracle。但是，此Oracle罕见，仅用于特定问题实例。它仍然是一个开放的问题，无论TS的收敛分析是否可以扩展到CMAB中的精确oracle。在本文中，我们在贪婪的Oracle下研究了这个问题，这是一个常见的（近似）Oracle，具有理论上的保证来解决许多（离线）组合优化问题。我们提供了一个问题依赖性遗憾的遗憾下限为$ \ omega（\ log t / delta ^ 2）$，以量化Ts的硬度来解决贪婪的甲骨文的CMAB问题，其中$ T $是时间范围和$ Delta $是一些奖励差距。我们还提供几乎匹配的遗憾上限。这些是TS解决CMAB与常见近似甲骨文的第一个理论结果，并打破TS无法使用近似神谕的误解。

我们研究汤普森采样（TS）算法的遗憾，指数为家庭土匪，其中奖励分配来自一个一维指数式家庭，该家庭涵盖了许多常见的奖励分布，包括伯努利，高斯，伽玛，伽玛，指数等。我们建议汤普森采样算法，称为expts，它使用新颖的采样分布来避免估计最佳臂。我们为expts提供了严格的遗憾分析，同时产生有限的遗憾和渐近遗憾。特别是，对于带指数级家庭奖励的$ k $臂匪徒，expts of horizo​​n $ t $ sub-ucb（对于有限的时间遗憾的是问题依赖的有限时间标准） $ \ sqrt {\ log k} $，并且对于指数家庭奖励，渐近最佳。此外，我们通过在Expts中使用的采样分配外添加一个贪婪的剥削步骤，提出$^+$，以避免过度估计亚最佳武器。 expts $^+$是随时随地的强盗算法，可用于指数级的家庭奖励分布同时实现最小值和渐近最优性。我们的证明技术在概念上很简单，可以轻松地应用于用特定奖励分布分析标准的汤普森抽样。

我们在随机匪徒上使用时（协变量）信息时，我们研究了固定信道的最佳武器识别问题。虽然我们可以在每轮中使用上下文信息，但我们对在语境分布上的边缘化平均奖励感兴趣。我们的目标是在给定值的错误率下识别最少数量的采样。我们显示出问题的特定实例的示例复杂性下限。然后，我们提出了一个“跟踪和停止”策略的上下文知识版本，其中ARM的比例绘制追踪一组最佳分配，并证明预期的ARM绘制数与渐近的下限匹配。我们证明，与Garivier＆Kaufmann（2016）的结果相比，可以使用上下文信息来提高最佳边缘化平均奖励的效率。我们通过实验证实了上下文信息有助于更快的最佳武器识别。

本文考虑了多臂强盗（MAB）问题，并提供了一种新的最佳世界（BOBW）算法，该算法在随机和对抗性设置中几乎最佳地工作。在随机设置中，某些现有的BOBW算法获得了$ o的紧密依赖性遗憾界限（\ sum_ {i：\ delta_i> 0} \ frac {\ log t} {\ log t} {\ delta_i} {\ delta_i}）手臂$ i $和时间范围$ t $。如Audibert等。 [2007]但是，在具有低变化的臂的随机环境中，可以改善性能。实际上，他们提供了一种随机mab算法，具有$ o的差距依赖性遗憾界限t）损失方差$ \ sigma_i^2 $ a臂$ i $。在本文中，我们提出了具有差距依赖性界限的第一个BOBW算法，表明即使在可能的对抗环境中，这些方差信息也可以使用。此外，我们的间隙变量依赖性结合中的领先常数因子仅是（几乎）下界值的两倍。此外，所提出的算法在对抗环境中享有多个与数据有关的遗憾界限，并且在具有对抗性腐败的随机设置中很好地工作。所提出的算法基于以下规范化的领导方法，并采用了自适应学习率，取决于损失的经验预测误差，这导致了差距变化依赖性的遗憾界限，反映了武器的方差。

我们考虑使用未知差异的双臂高斯匪徒的固定预算最佳臂识别问题。当差异未知时，性能保证与下限的性能保证匹配的算法最紧密的下限和算法的算法很长。当算法不可知到ARM的最佳比例算法。在本文中，我们提出了一种策略，该策略包括在估计的ARM绘制的目标分配概率之后具有随机采样（RS）的采样规则，并且使用增强的反概率加权（AIPW）估计器通常用于因果推断文学。我们将我们的战略称为RS-AIPW战略。在理论分析中，我们首先推导出鞅的大偏差原理，当第二次孵化的均值时，可以使用，并将其应用于我们提出的策略。然后，我们表明，拟议的策略在错误识别的可能性达到了Kaufmann等人的意义上是渐近最佳的。 （2016）当样品尺寸无限大而双臂之间的间隙变为零。

我们在嵌套政策类别的存在下研究匪徒场景中的模型选择问题，目的是获得同时的对抗和随机性（“两全其美”）高概率的遗憾保证。我们的方法要求每个基础学习者都有一个候选人的遗憾约束，可能会或可能不会举行，而我们的元算法按照一定时间表来扮演每个基础学习者，该时间表使基础学习者的候选人后悔的界限保持平衡，直到被发现违反他们的保证为止。我们开发了专门设计的仔细的错误指定测试，以将上述模型选择标准与利用环境的（潜在良性）性质的能力相结合。我们在对抗环境中恢复畜栏算法的模型选择保证，但是在实现高概率后悔界限的附加益处，特别是在嵌套对抗性线性斑块的情况下。更重要的是，我们的模型选择结果也同时在差距假设​​下的随机环境中同时保持。这些是在（线性）匪徒场景中执行模型选择时，可以达到世界上最好的（随机和对抗性）保证的第一个理论结果。

在本文中，我们考虑了在规避风险的标准下线性收益的上下文多臂强盗问题。在每个回合中，每个手臂都会揭示上下文，决策者选择一只手臂拉动并获得相应的奖励。特别是，我们将均值变化视为风险标准，最好的组是具有最大均值奖励的均值。我们将汤普森采样算法应用于脱节模型，并为提出算法的变体提供全面的遗憾分析。对于$ t $ rounds，$ k $ Actions和$ d $ - 维功能向量，我们证明了$ o（（1+ \ rho+\ frac {1} {1} {\ rho}）{\ rho}）d \ ln t \ ln t \ ln的遗憾。 \ frac {k} {\ delta} \ sqrt {d k t^{1+2 \ epsilon} \ ln \ frac {k} {\ delta} \ frac {1} {\ epsilon}} $ 1 - \ \ delta $在带有风险公差$ \ rho $的均值方差标准下，对于任何$ 0 <\ epsilon <\ frac {1} {2} $，$ 0 <\ delta <1 $。我们提出的算法的经验性能通过投资组合选择问题来证明。