我们研究了在高维稀疏线性上下文匪徒中动态批处理学习的问题，在给定的最大批量约束下，决策者在每个批次结束时只能观察奖励，可以动态地决定如何进行奖励。许多人将包括在下一批中（在当前批次结束时）以及每批采用哪些个性化行动选择方案。在各种实际情况下，这种批处理的限制无处不在，包括在临床试验中的营销和医疗选择中的个性化产品。我们通过后悔的下限表征了此问题中的基本学习限制，并提供了匹配的上限（直至日志因素），从而为此问题开了最佳方案。据我们所知，我们的工作为在高维稀疏线性上下文匪徒中对动态批处理学习的理论理解提供了第一个侵入。值得注意的是，即使我们的结果的一种特殊情况 - 当不存在批处理约束时 - 都会产生简单的无探索算法使用Lasso估算器，已经达到了在高维线性匪板中为标准在线学习的最小值最佳遗憾（对于No-Cargin情况），在高维上下文Bandits的新兴文献中似乎未知。

We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

决策者经常面对“许多匪徒”问题，其中必须同时学习相关但异构的情境匪徒实例。例如，大型零售商可能希望在许多商店中动态地学习产品需求，以解决定价或库存问题，这使得可以共同学习为服务类似客户的商店;或者，医院网络可能希望在许多提供商中动态学习患者风险以分配个性化干预措施，这使得可以为服务类似患者群体的医院共同学习。我们研究每个匪徒实例中未知参数可以分解为全局参数加上稀疏实例特定术语的设置。然后，我们提出了一种新颖的两级估计器，通过使用强大的统计数据组合（在类似的实例中学到）和套索回归（将结果进行替代），以样本有效的方式利用这种结构。我们在强盗算法中嵌入了这个估计器，并证明它在上下文维度下，它可以改善渐近遗憾界限。这种改进是数据较差的实例的指数。我们进一步展示了我们的结果如何依赖于强盗实例的基础网络结构。

在本文中，我们在稀疏的随机上下文线性土匪中重新审视了遗憾的最小化问题，其中特征向量可能具有很大的尺寸$ d $，但是奖励功能取决于一些，例如$ s_0 \ ll d $，其中这些功能的这些功能只要。我们提出了阈值拉索匪徒，该算法（i）估算了定义奖励功能及其稀疏支持的向量，即显着特征元素，使用带有阈值的Lasso框架，以及（ii）根据此处选择手臂估计预测其支持。该算法不需要对稀疏索引$ s_0 $的先验知识，并且可以在某些对称假设下不含参数。对于这种简单的算法，我们将非偶然的遗憾上限建立为$ \ mathcal {o}（\ log d + d + \ sqrt {t}）$一般，为$ \ mathcal {o} log t）$在所谓的边缘条件下（手臂奖励分离的概率条件）。以前的算法的遗憾将其缩放为$ \ Mathcal {o}（\ log D + \ \ sqrt {t \ log（d t）}）$和$ \ mathcal {o}（\ log log t \ log t \ log t \ log t \ log d）$设置分别。通过数值实验，我们确认我们的算法优于现有方法。

我们通过审查反馈重复进行一定的第一价格拍卖来研究在线学习，在每次拍卖结束时，出价者只观察获胜的出价，学会了适应性地出价，以最大程度地提高她的累积回报。为了实现这一目标，投标人面临着一个具有挑战性的困境：如果她赢得了竞标 - 获得正收益的唯一方法 - 然后她无法观察其他竞标者的最高竞标，我们认为我们认为这是从中汲取的。一个未知的分布。尽管这一困境让人联想到上下文强盗中的探索探索折衷权，但现有的UCB或汤普森采样算法无法直接解决。在本文中，通过利用第一价格拍卖的结构属性，我们开发了第一个实现$ o（\ sqrt {t} \ log^{2.5} t）$ hearry bund的第一个学习算法（\ sqrt {t} \ log^{2.5} t），这是最小值的最低$ $ \ log $因素，当投标人的私人价值随机生成时。我们这样做是通过在一系列问题上提供算法，称为部分有序的上下文匪徒，该算法将图形反馈跨动作，跨环境跨上下文进行结合，以及在上下文中的部分顺序。我们通过表现出一个奇怪的分离来确定该框架的优势和劣势，即在随机环境下几乎可以独立于动作/背景规模的遗憾，但是在对抗性环境下是不可能的。尽管这一通用框架有限制，但我们进一步利用了第一价格拍卖的结构，并开发了一种学习算法，该算法在存在对手生成的私有价值的情况下，在存在的情况下可以有效地运行样本（并有效地计算）。我们建立了一个$ o（\ sqrt {t} \ log^3 t）$遗憾，以此为此算法，因此提供了对第一价格拍卖的最佳学习保证的完整表征。

在线学习算法广泛用于网络上的搜索和内容优化，必须平衡探索和开发，可能牺牲当前用户的经验，以获得将来会导致未来更好决策的信息。虽然在最坏的情况下，与贪婪算法相比，显式探索具有许多缺点，其通过选择当前看起来最佳的动作始终“利用”。我们在数据中固有的多样性的情况下提出了明确的探索不必要。我们在最近的一系列工作中进行了线性上下围匪盗模型中贪婪算法的平滑分析。我们提高了先前的结果，表明，只要多样性条件保持，贪婪的方法几乎符合任何其他算法的最佳可能性贝叶斯遗憾率，并且这种遗憾是最多的$ \ tilde o（t ^ {1/ 3}）$。

This paper studies offline policy learning, which aims at utilizing observations collected a priori (from either fixed or adaptively evolving behavior policies) to learn an optimal individualized decision rule that achieves the best overall outcomes for a given population. Existing policy learning methods rely on a uniform overlap assumption, i.e., the propensities of exploring all actions for all individual characteristics are lower bounded in the offline dataset; put differently, the performance of the existing methods depends on the worst-case propensity in the offline dataset. As one has no control over the data collection process, this assumption can be unrealistic in many situations, especially when the behavior policies are allowed to evolve over time with diminishing propensities for certain actions. In this paper, we propose a new algorithm that optimizes lower confidence bounds (LCBs) -- instead of point estimates -- of the policy values. The LCBs are constructed using knowledge of the behavior policies for collecting the offline data. Without assuming any uniform overlap condition, we establish a data-dependent upper bound for the suboptimality of our algorithm, which only depends on (i) the overlap for the optimal policy, and (ii) the complexity of the policy class we optimize over. As an implication, for adaptively collected data, we ensure efficient policy learning as long as the propensities for optimal actions are lower bounded over time, while those for suboptimal ones are allowed to diminish arbitrarily fast. In our theoretical analysis, we develop a new self-normalized type concentration inequality for inverse-propensity-weighting estimators, generalizing the well-known empirical Bernstein's inequality to unbounded and non-i.i.d. data.

使用历史观察数据的政策学习是发现广泛应用程序的重要问题。示例包括选择优惠，价格，要发送给客户的广告，以及选择要开出患者的药物。但是，现有的文献取决于这样一个关键假设，即将在未来部署学习策略的未来环境与生成数据的过去环境相同 - 这个假设通常是错误或太粗糙的近似值。在本文中，我们提高了这一假设，并旨在通过不完整的观察数据来学习一项稳健的策略。我们首先提出了一个政策评估程序，该程序使我们能够评估政策在最坏情况下的转变下的表现。然后，我们为此建议的政策评估计划建立了中心限制定理类型保证。利用这种评估方案，我们进一步提出了一种新颖的学习算法，该算法能够学习一项对对抗性扰动和未知协变量转移的策略，并根据统一收敛理论的性能保证进行了绩效保证。最后，我们从经验上测试了合成数据集中提出的算法的有效性，并证明它提供了使用标准策略学习算法缺失的鲁棒性。我们通过在现实世界投票数据集的背景下提供了我们方法的全面应用来结束本文。

动态治疗方案（DTRS）是个性化的，适应性的，多阶段的治疗计划，可将治疗决策适应个人的初始特征，并在随后的每个阶段中的中级结果和特征，在前阶段受到决策的影响。例子包括对糖尿病，癌症和抑郁症等慢性病的个性化一线和二线治疗，这些治疗适应患者对一线治疗，疾病进展和个人特征的反应。尽管现有文献主要集中于估算离线数据（例如从依次随机试验）中的最佳DTR，但我们研究了以在线方式开发最佳DTR的问题，在线与每个人的互动都会影响我们的累积奖励和我们的数据收集，以供我们的数据收集。未来的学习。我们将其称为DTR匪徒问题。我们提出了一种新颖的算法，通过仔细平衡探索和剥削，可以保证当过渡和奖励模型是线性时，可以实现最佳的遗憾。我们证明了我们的算法及其在合成实验和使用现实世界中对重大抑郁症的适应性治疗的案例研究中的好处。

本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前，卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例，其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小，位置和分散的联合效果。具体而言，离线数据的大小，位置和色散由历史样本数量为$ n $，平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left（\ sqrt {t} \ wedge \ frac {t} {（n \ wedge t）\ delta ^ 2 + n \ sigma ^ 2} \右）$，基于“面对不确定性”原则的“乐观主义”的学习算法，其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换，我们称之为阶段转型。此外，我们的结果表明，离线数据的位置和分散也对最佳遗憾具有内在效果，我们通过逆平面法量化了这种效果。

具有低维结构的随机高维匪徒问题可用于不同的应用程序，例如在线广告和药物发现。在这项工作中，我们为此类问题提出了一种简单的统一算法，并为我们算法的遗憾上限提供了一个一般分析框架。我们表明，在一些温和的统一假设下，我们的算法可以应用于不同的高维匪徒问题。我们的框架利用低维结构来指导问题中的参数估计，因此我们的算法在套索匪徒中达到了可比的遗憾界限，以及低级别矩阵匪徒的新颖界限，组稀疏矩阵强盗和IN组中一个新问题：多代理拉索强盗。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.

上下文匪徒的模型选择是一个重要的互补问题，以便对固定式模型类进行后悔最小化。我们考虑最简单的模型选择实例：区分从线性上下文强盗问题中的简单的多武装强盗问题。即使在这种情况下，目前的最先进的方法以次优的方式探索，并且需要强烈的“特征分集”条件。在本文中，我们介绍了一种以数据适应方式探索的新算法，b）提供表单$ \ mathcal {o}的模型选择保证（d ^ {\ alpha} t ^ {1- \ alpha} ）$，没有任何功能分集条件，其中$ d $表示线性模型的尺寸，$ t $表示圆数的总轮数。第一个算法享有“最佳世界”属性，恢复两种以后的分布假设，同时恢复两种结果。第二种删除分布假设，扩展了易于模型选择的范围。我们的方法在一些额外的假设下延伸到嵌套线性上下文匪徒之间的模型选择。

我们研究了情节块MDP中模型估计和无奖励学习的问题。在这些MDP中，决策者可以访问少数潜在状态产生的丰富观察或上下文。我们首先对基于固定行为策略生成的数据估算潜在状态解码功能（从观测到潜在状态的映射）感兴趣。我们在估计此功能的错误率上得出了信息理论的下限，并提出了接近此基本限制的算法。反过来，我们的算法还提供了MDP的所有组件的估计值。然后，我们研究在无奖励框架中学习近乎最佳政策的问题。根据我们有效的模型估计算法，我们表明我们可以以最佳的速度推断出策略（随着收集样品的数量增长大）的最佳策略。有趣的是，我们的分析提供了必要和充分的条件，在这些条件下，利用块结构可以改善样本复杂性，以识别近乎最佳的策略。当满足这些条件时，Minimax无奖励设置中的样本复杂性将通过乘法因子$ n $提高，其中$ n $是可能的上下文数量。

我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。

我们考虑具有未知实用程序参数的多项式logit模型（MNL）下的动态分类优化问题。本文研究的主要问题是$ \ varepsilon $ - 污染模型下的模型错误指定，该模型是强大统计和机器学习中的基本模型。特别是，在整个长度$ t $的销售范围内，我们假设客户根据$（1- \ varepsilon）$ - 时间段的$（1- \ varepsilon）的基础多项式logit选择模型进行购买，并进行任意购买取而代之的是在剩余的$ \ varepsilon $ - 分数中的决策。在此模型中，我们通过主动淘汰策略制定了新的强大在线分类优化政策。我们对遗憾建立上限和下界，并表明当分类能力恒定时，我们的政策是$ t $的最佳对数因素。分类能力具有恒定的上限。我们进一步制定了一种完全自适应策略，该政策不需要任何先验知识，即污染参数$ \ varepsilon $。如果存在最佳和亚最佳产品之间存在的亚临时差距，我们还建立了依赖差距的对数遗憾上限和已知的 - $ \ VAREPSILON $和UNKNOWER-$ \ \ VAREPSILON $案例。我们的仿真研究表明，我们的政策表现优于基于上置信度范围（UCB）和汤普森采样的现有政策。

我们为线性上下文匪徒提出了一种新颖的算法（\ sqrt {dt \ log t}）$遗憾，其中$ d $是上下文的尺寸，$ t $是时间范围。我们提出的算法配备了一种新型估计量，其中探索通过显式随机化嵌入。根据随机化的不同，我们提出的估计器从所有武器的上下文或选定的上下文中都取得了贡献。我们为我们的估计器建立了一个自称的绑定，这使累积遗憾的新颖分解为依赖添加剂的术语而不是乘法术语。在我们的问题设置下，我们还证明了$ \ omega（\ sqrt {dt}）$的新颖下限。因此，我们提出的算法的遗憾与对数因素的下限相匹配。数值实验支持理论保证，并表明我们所提出的方法的表现优于现有的线性匪徒算法。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。