多武装匪徒（MAB）在各种设置中进行广泛研究，其中目标是\ Texit {Maximize}随着时间的推移{Maximize}的措施（即，奖励）。由于安全在许多现实世界问题中至关重要，因此MAB算法的安全版本也获得了相当大的兴趣。在这项工作中，我们通过\ Texit {线性随机炸药杆}的镜头来解决不同的关键任务，其中目的是将动作靠近目标级别的结果，同时尊重\ Texit {双面}安全约束，我们调用\ textit {lecoling}。这种任务在许多域中普遍存在。例如，许多医疗保健问题要求在范围内保持生理变量，并且优选地接近目标水平。我们客观的激进变化需要一种新的采购策略，它是MAB算法的核心。我们提出Sale-LTS：通过线性汤普森采样算法进行安全调整，采用新的采集策略来适应我们的任务，并表明它达到了同一时间和维度依赖的索姆林的遗憾，因为以前的经典奖励最大化问题缺乏任何安全约束。我们通过彻底的实验展示并讨论了我们的算法的经验性能。

寻找最佳个性化的治疗方案被认为是最具挑战性的精确药物问题之一。各种患者特征会影响对治疗的反应，因此，没有一种尺寸适合 - 所有方案。此外，甚至在治疗过程中均不服用单一不安全剂量可能对患者的健康产生灾难性后果。因此，个性化治疗模型必须确保患者{\ EM安全} {\ EM有效}优化疗程。在这项工作中，我们研究了一种普遍的和基本的医学问题，其中治疗旨在在范围内保持生理变量，优选接近目标水平。这样的任务也与其他域中相关。我们提出ESCADA，这是一个用于这个问题结构的通用算法，在确保患者安全的同时制作个性化和背景感知最佳剂量推荐。我们在Escada的遗憾中获得了高概率的上限以及安全保证。最后，我们对1型糖尿病疾病的{\ em推注胰岛素剂量}分配问题进行了广泛的模拟，并比较ESCADA对汤普森采样，规则的剂量分配者和临床医生的表现。

动态治疗方案（DTRS）是个性化的，适应性的，多阶段的治疗计划，可将治疗决策适应个人的初始特征，并在随后的每个阶段中的中级结果和特征，在前阶段受到决策的影响。例子包括对糖尿病，癌症和抑郁症等慢性病的个性化一线和二线治疗，这些治疗适应患者对一线治疗，疾病进展和个人特征的反应。尽管现有文献主要集中于估算离线数据（例如从依次随机试验）中的最佳DTR，但我们研究了以在线方式开发最佳DTR的问题，在线与每个人的互动都会影响我们的累积奖励和我们的数据收集，以供我们的数据收集。未来的学习。我们将其称为DTR匪徒问题。我们提出了一种新颖的算法，通过仔细平衡探索和剥削，可以保证当过渡和奖励模型是线性时，可以实现最佳的遗憾。我们证明了我们的算法及其在合成实验和使用现实世界中对重大抑郁症的适应性治疗的案例研究中的好处。

我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。

Autoregressive processes naturally arise in a large variety of real-world scenarios, including e.g., stock markets, sell forecasting, weather prediction, advertising, and pricing. When addressing a sequential decision-making problem in such a context, the temporal dependence between consecutive observations should be properly accounted for converge to the optimal decision policy. In this work, we propose a novel online learning setting, named Autoregressive Bandits (ARBs), in which the observed reward follows an autoregressive process of order $k$, whose parameters depend on the action the agent chooses, within a finite set of $n$ actions. Then, we devise an optimistic regret minimization algorithm AutoRegressive Upper Confidence Bounds (AR-UCB) that suffers regret of order $\widetilde{\mathcal{O}} \left( \frac{(k+1)^{3/2}\sqrt{nT}}{(1-\Gamma)^2} \right)$, being $T$ the optimization horizon and $\Gamma < 1$ an index of the stability of the system. Finally, we present a numerical validation in several synthetic and one real-world setting, in comparison with general and specific purpose bandit baselines showing the advantages of the proposed approach.

我们提出了一个\下划线{d} oully \下划线{o} \下划线{s} afe- \ \ useverline {l} inline {l} inear- \ usew suespline {b}和doslb的问题。安全的线性匪徒问题是使用随机的强盗反馈和动作安全风险的动作来优化未知的线性奖励，同时满足动作的未知圆形安全限制。与先前在汇总资源约束方面的工作相反，我们的公式明确要求控制环形安全风险。与现有的对安全匪徒的乐观态度范式不同，DOSLB练习至高无上，使用对奖励和安全得分的乐观估计来选择动作。然而，令人惊讶的是，我们表明doslb很少采取风险的行动，并获得了$ \ tilde {o}（d \ sqrt {t}）$遗憾，在这里，我们对遗憾的概念既说明效率低下又缺乏行动的安全性。我们首先尤其表明$ \ sqrt {t} $ - 即使有较大的差距也无法改善遗憾的绑定，然后确定我们显示紧密的实例依赖性$ O（\ log（\ log），也无法改善，我们首先表明$ \ sqrt {t} $ - 遗憾的界限也无法改善，我们首先表明$ \ sqrt {t} $ - ^2 t）$边界。我们进一步认为，在这样的域中，播放过度风险的动作的次数也被限制为$ o（\ log^2t）$。

多武装强盗环境中最好的武器识别问题是许多真实世界决策问题的一个优秀模式，但它无法捕捉到现实世界中，在学习时通常必须满足安全限制的事实。在这项工作中，我们研究了安全关键环境中最好的武器识别问题，代理的目标是找到许多人的最佳安全选项，同时以保证某些方式达到满足肯定的方式的探索，最初是未知的安全约束。我们首先在奖励和安全约束采用线性结构的情况下分析此问题，并显示近乎匹配的上限和下限。然后，我们分析了更多的常规版本，我们只假设奖励和安全约束可以通过单调函数建模，并在此设置中提出算法，保证安全地学习。我们的结论与实验结果表明我们在方案中的方法的有效性，如安全地识别许多人以便治疗疾病。

We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.

随机通用的线性匪徒是针对顺序决策问题的一个很好理解的模型，许多算法在立即反馈下实现了近乎最佳的遗憾。但是，在许多现实世界中，立即观察奖励的要求不适用。在这种情况下，不再理解标准算法。我们通过在选择动作和获得奖励之间引入延迟，以理论方式研究延迟奖励的现象。随后，我们表明，基于乐观原则的算法通过消除对决策集和延迟的延迟分布和放松假设的需要，从而改善了本设置的现有方法。这也导致从$ \ widetilde o（\ sqrt {dt} \ sqrt {d + \ mathbb {e} [\ tau]}）$改善遗憾保证。 ^{3/2} \ mathbb {e} [\ tau]）$，其中$ \ mathbb {e} [\ tau] $表示预期的延迟，$ d $是尺寸，$ t $ t $ the Time Horizo​​n，我们我们抑制了对数术语。我们通过对模拟数据进行实验来验证我们的理论结果。

汤普森采样（TS）是解决上下文多武装强盗问题最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，这适应了深度神经网络，用于勘探和剥削。在我们的算法的核心是一种新的奖励的后分布，其平均值是神经网络近似器，并且其方差建立在相应神经网络的神经切线特征上。我们证明，如果底层奖励函数是有界的，则可以保证所提出的算法来实现$ \ mathcal {o}（t ^ {1/2}）$的累积遗憾，它与其他上下文强盗算法的遗憾匹配总轮数量$ t $。各种数据集中其他基准强盗算法的实验比较证实了我们的理论。

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.

本文考虑了具有一般非线性约束的随机线性匪徒。目标是通过每轮$ \ Tau \ Leq T $的一组限制来最大化预期的累计奖励。我们提出了一种悲观的乐观乐观算法，其在两个方面有效。首先，算法产生$ \ tilde {\ cal o} \ left（\ left（\ frac {k ^ {0.75}} {\ delta}} {\ delta} + d \ over）\ sqrt {\ tau} \右）$（伪）在圆形$ \ tau \ leq t，$ k $的遗憾，$ k $是约束的数量，$ d $是奖励功能空间的尺寸，$ \ delta $ in是slater的常数;在任何圆形$ \ tau> \ tau'中的零限制违规，$ \ tau' $独立于地平线$ t. $ the $秒，算法是计算效率的。我们的算法基于优化中的原始方法，包括两个组件。原始分量类似于无约束的随机线性匪徒（我们的算法使用线性上置信界限算法（Linucb））。双组分的计算复杂性取决于约束的数量，而是与上下文空间，动作空间和特征空间的大小无关。因此，我们的算法的整体计算复杂性类似于线性UCB的线性UCB，用于无约束随机线性匪徒。

我们为线性上下文匪徒提出了一种新颖的算法（\ sqrt {dt \ log t}）$遗憾，其中$ d $是上下文的尺寸，$ t $是时间范围。我们提出的算法配备了一种新型估计量，其中探索通过显式随机化嵌入。根据随机化的不同，我们提出的估计器从所有武器的上下文或选定的上下文中都取得了贡献。我们为我们的估计器建立了一个自称的绑定，这使累积遗憾的新颖分解为依赖添加剂的术语而不是乘法术语。在我们的问题设置下，我们还证明了$ \ omega（\ sqrt {dt}）$的新颖下限。因此，我们提出的算法的遗憾与对数因素的下限相匹配。数值实验支持理论保证，并表明我们所提出的方法的表现优于现有的线性匪徒算法。

We improve the theoretical analysis and empirical performance of algorithms for the stochastic multi-armed bandit problem and the linear stochastic multi-armed bandit problem. In particular, we show that a simple modification of Auer's UCB algorithm achieves with high probability constant regret. More importantly, we modify and, consequently, improve the analysis of the algorithm for the for linear stochastic bandit problem studied by Auer ( 2002), Dani et al. (2008), Rusmevichientong and Tsitsiklis (2010), Li et al. (2010). Our modification improves the regret bound by a logarithmic factor, though experiments show a vast improvement. In both cases, the improvement stems from the construction of smaller confidence sets. For their construction we use a novel tail inequality for vector-valued martingales.

我们研究了一个知情的发件人面临的重复信息设计问题，该问题试图影响自我利益接收者的行为。我们考虑接收器面临顺序决策（SDM）问题的设置。在每回合中，发件人都会观察SDM问题中随机事件的实现。这会面临如何逐步向接收者披露此类信息以说服他们遵循（理想的）行动建议的挑战。我们研究了发件人不知道随机事件概率的情况，因此，他们必须在说服接收器的同时逐渐学习它们。首先，我们提供了发件人说服力信息结构集的非平凡的多面近似。这对于设计有效的学习算法至关重要。接下来，我们证明了一个负面的结果：没有学习算法可以说服力。因此，我们通过关注算法来保证接收者对以下建议的遗憾会增长，从而放松说服力。在全反馈设置（发件人观察所有随机事件实现）中，我们提供了一种算法，其中包括$ \ tilde {o}（\ sqrt {t}）$ sexter和接收者遗憾。取而代之的是，在Bandit反馈设置中 - 发件人仅观察SDM问题中实际发生的随机事件的实现 - 我们设计了一种算法，给定一个$ \ alpha \ in [1/2，1] $作为输入，确保$ \ tilde {o}（{t^\ alpha}）$和$ \ tilde {o}（t^{\ max \ arpha，1- \ frac {\ frac {\ alpha} }）$遗憾，分别为发件人和接收器。该结果补充了下限，表明这种遗憾的权衡本质上是紧张的。

我们考虑优化从高斯过程（GP）采样的矢量值的目标函数$ \ boldsymbol {f} $ sampled的问题，其索引集是良好的，紧凑的度量空间$（{\ cal x}，d）$设计。我们假设$ \ boldsymbol {f} $之前未知，并且在Design $ x $的$ \ \ boldsymbol {f} $ x $导致$ \ boldsymbol {f}（x）$。由于当$ {\ cal x} $很大的基数时，识别通过详尽搜索的帕累托最优设计是不可行的，因此我们提出了一种称为Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL的算法，从而利用GP的平滑度-Ampled函数和$（{\ cal x}，d）$的结构快速学习。从本质上讲，Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL采用基于树的自适应离散化技术，以识别$ \ Boldsymbol {\ epsilon} $ - 尽可能少的评估中的准确帕累托一组设计。我们在$ \ boldsymbol {\ epsilon} $ - 准确的Pareto Set识别上提供信息类型和度量尺寸类型界限。我们还在实验表明我们的算法在多个基准数据集上优于其他Pareto Set识别方法。

我们通过反馈图来重新审视随机在线学习的问题，目的是设计最佳的算法，直至常数，无论是渐近还是有限的时间。我们表明，令人惊讶的是，在这种情况下，最佳有限时间遗憾的概念并不是一个唯一的定义属性，总的来说，它与渐近率是与渐近率分离的。我们讨论了替代选择，并提出了有限时间最优性的概念，我们认为是\ emph {有意义的}。对于这个概念，我们给出了一种算法，在有限的时间和渐近上都承认了准最佳的遗憾。

我们为随机线性匪徒问题提出了一种新的基于自举的在线算法。关键的想法是采用残留的自举勘探，在该探索中，代理商通过重新采样平均奖励估算的残差来估算下一步奖励。我们的算法，随机线性匪徒（\ texttt {linreboot}）的残留bootstrap探索，从其重新采样分布中估算了线性奖励，并以最高的奖励估计拉动了手臂。特别是，我们为理论框架做出了一个理论框架，以使基于自举的探索机制在随机线性匪徒问题中脱颖而出。关键见解是，Bootstrap探索的强度基于在线学习模型和残差的重新采样分布之间的乐观情绪。这样的观察使我们能够证明所提出的\ texttt {linreboot}确保了高概率$ \ tilde {o}（d \ sqrt {n}）$ sub-linear在温和条件下的遗憾。我们的实验支持\ texttt {重新启动}原理在线性匪徒问题的各种公式中的简易概括性，并显示了\ texttt {linreboot}的显着计算效率。

我们研究上下文多军匪徒设置中的排名问题。学习代理在每个时间步骤中选择一个有序的项目列表，并观察每个位置的随机结果。在在线推荐系统中，显示最有吸引力的项目的有序列表将不是最佳选择，因为位置和项目依赖性都会带来复杂的奖励功能。一个非常天真的例子是，当所有最有吸引力的物品都来自同一类别时，缺乏多样性。我们为此问题在“排序列表”和“设计UCB”和Thompson采样类型算法中对位置和项目依赖性建模。我们证明，遗憾超过$ t $ rounds和$ l $ positions是$ \ tilde {o}（l \ sqrt {d t}）$，它的订单与以前在$ t $和$ t $方面的作品相同仅用$ L $线性增加。我们的工作将现有的研究推广到多个方向，包括位置折扣是特定情况的位置依赖性，并提出了更一般的背景匪徒模型。

本文研究了在因果图形模型中设计最佳干预措施序列的问题，以最大程度地减少对事后最佳干预的累积后悔。自然，这是一个因果匪徒问题。重点是线性结构方程模型（SEM）和软干预措施的因果匪徒。假定该图的结构是已知的，并且具有$ n $节点。每个节点都假定使用两种线性机制，一种软干预和一种观察性，产生了$ 2^n $可能的干预措施。现有的因果匪徒算法假设，至少完全指定了奖励节点父母的介入分布。但是，有$ 2^n $这样的分布（一个与每个干预措施相对应），即使在中等尺寸的图中也变得越来越高。本文分配了知道这些分布的假设。提出了两种算法，用于常见者（基于UCB）和贝叶斯（基于汤普森采样）的设置。这些算法的关键思想是避免直接估计$ 2^n $奖励分布，而是估算完全指定SEMS（$ n $线性）的参数，并使用它们来计算奖励。在这两种算法中，在噪声和参数空间的有界假设下，累积遗憾的是$ \ tilde {\ cal o}（（（2d）^l l \ sqrt {t}）$，其中$ d $是图的最高度和$ l $是其最长因果路径的长度。