当动作集具有良好的曲率时，我们在任何线性匪徒算法产生的设计矩阵的特征矩阵上介绍了一个非呈现的下限。具体而言，我们表明，每当算法的预期累积后悔为$ o（\ sqrt {n}）$时，预期设计矩阵的最低特征值将随着$ \ omega（\ sqrt {n}）$的增长而生长为$ n $是学习范围，动作空间在最佳臂周围具有恒定的Hessian。这表明，这种作用空间在离散（即分离良好的）动作空间中迫使多项式下限而不是对数下限，如\ cite {lattimore2017end}所示。此外，虽然先前的结果仅在渐近方案（如$ n \ to \ infty $）中保留，但我们对这些``本地富裕的''动作空间的结果随时都在。此外，在温和的技术假设下，我们以高概率获得了对最小本本特征值的相似下限。我们将结果应用于两个实用的方案 - \ emph {model selection}和\ emph {clustering}在线性匪徒中。对于模型选择，我们表明了一个基于时期的线性匪徒算法适应了真实模型的复杂性，以时代数量的速率指数，借助我们的新频谱结合。对于聚类，我们考虑了一个多代理框架，我们通过利用光谱结果，该框架来证明该框架，该框架，该框架，该框架通过光谱结果，该频谱结果，该框架的结果，该频谱结果，该框架的结果，该频谱结果该框架，该框架的结果不需要强制探索 - 代理商可以运行线性匪徒算法并立即估算其基本参数，从而产生低遗憾。

我们解决了有限地平线的模型选择的问题，用于转换内核$ P ^ * $属于一个型号$ \ mathcal {p} ^ * $的offultic公制熵。在模型选择框架中，而不是$ \ mathcal {p} ^ * $，我们被给予了$ m $嵌套的转换内核rested interned内核$ \ cp_1 \ subset \ cp_2 \ subset \ ldots \ subset \ cp_m $。我们提出并分析了一种新颖的算法，即\ EMPH {自适应增强学习（常规）}（\ texttt {arl-gen}），它适应真正的转换内核$ p ^ * $谎言的最小这些家庭。 \ texttt {arl-gen}使用具有价值目标回归的上置信度强化学习（\ texttt {Ucrl}）算法作为Blackbox，并在每个时代的开头放置模型选择模块。在模型类上的温和可分离性假设下，我们显示\ texttt {arl-gen}获得$ \ tilde {\ mathcal {o}}的后悔（d _ {\ mathcal {e}} ^ * h ^ 2 + \ sqrt {d _ {\ mathcal {e}} ^ * \ mathbb {m} ^ * h ^ 2 t}）$，具有高概率，其中$ h $是地平线长度，$ t $是步骤总数， $ d _ {\ mathcal {e}} ^ * $是ecured维度和$ \ mathbb {m} ^ * $是与$ \ mathcal {p} ^ * $相对应的度量熵。请注意，这一遗憾缩放匹配Oracle的Oracle，它提前了解$ \ mathcal {p} ^ * $。我们表明，对于\ texttt {arl-gen}的模型选择成本是一个附加术语，遗憾是对$ t $的弱点。随后，我们删除可分离假设，并考虑线性混合MDP的设置，其中转换内核$ P ^ * $具有线性函数近似。通过这种低等级结构，我们提出了新颖的自适应算法，用于模型选择，并获得（令人令人令）与Oracle的遗憾相同，具有真正的模型类。

我们考虑在一般函数近似下，考虑了经典增强学习（RL）环境的模型选择 - 多武装强盗（mAb）和马尔可夫决策过程（MDPS）。在模型选择框架中，我们不知道函数类，由$ \ MATHCAL {F} $和$ \ MATHCAL {M} $表示，其中True Models-奖励MABS的奖励生成函数以及MDPS的过渡内核 - - 分别撒谎。取而代之的是，我们获得了$ M $嵌套功能（假设）类，使得真正的模型包含在至上的类别中。在本文中，我们提出并分析了MAB和MDP的有效模型选择算法，将\ Emph {Adapt} \ emph {Adapt}到最小的函数类（在嵌套的$ M $类中），其中包含真实的基础模型。在嵌套假设类别的可分离性假设下，我们表明我们的自适应算法的累积后悔与知道正确功能类（即$ \ cf $和$ \ cm $）的Oracle的累积后悔相匹配。此外，对于这两种设置，我们都表明，模型选择的成本是一个遗憾的术语，因为它对学习范围$ t $的弱（对数）依赖性弱（对数）。

We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.

我们考虑通过有限的地平线$ t $控制线性二次调节器（LQR）系统的问题，以固定和已知的成本矩阵$ q，r $但未知和非静止动力$ \ {a_t，b_t \} $。动态矩阵的序列可以是任意的，但总体变化，V_T $，假设为$ O（t）$和控制器未知。在假设所有$ $ $的稳定序列，但潜在的子最优控制器中，我们介绍了一种实现$ \ tilde {\ mathcal {o}} \ left的最佳动态遗憾的算法（v_t ^ { 2/5} t ^ {3/5} \右）$。通过分词恒定动态，我们的算法实现了$ \ tilde {\ mathcal {o}}（\ sqrt {st}）$的最佳遗憾，其中$ s $是交换机的数量。我们的算法的关键是一种自适应的非平稳性检测策略，它在最近开发的用于上下文多武装匪徒问题的方法中构建。我们还争辩说，不适应忘记（例如，重新启动或使用静态窗口大小的滑动窗口学习）可能对LQR问题的后悔最佳，即使窗口大小以$ V_T $的知识最佳地调整。我们算法分析中的主要技术挑战是证明普通的最小二乘（OLS）估计器在待估计的参数是非静止的情况下具有小的偏差。我们的分析还突出了推动遗憾的关键主题是LQR问题在于LQR问题是具有线性反馈和局部二次成本的强盗问题。这个主题比LQR问题本身更普及，因此我们相信我们的结果应该找到更广泛的应用。

在线学习算法广泛用于网络上的搜索和内容优化，必须平衡探索和开发，可能牺牲当前用户的经验，以获得将来会导致未来更好决策的信息。虽然在最坏的情况下，与贪婪算法相比，显式探索具有许多缺点，其通过选择当前看起来最佳的动作始终“利用”。我们在数据中固有的多样性的情况下提出了明确的探索不必要。我们在最近的一系列工作中进行了线性上下围匪盗模型中贪婪算法的平滑分析。我们提高了先前的结果，表明，只要多样性条件保持，贪婪的方法几乎符合任何其他算法的最佳可能性贝叶斯遗憾率，并且这种遗憾是最多的$ \ tilde o（t ^ {1/ 3}）$。

我们考虑使用$ K $臂的随机匪徒问题，每一个都与$ [m，m] $范围内支持的有限分布相关。我们不认为$ [m，m] $是已知的范围，并表明学习此范围有成本。确实，出现了与分销相关和无分配后悔界限之间的新权衡，这阻止了同时实现典型的$ \ ln t $和$ \ sqrt {t} $ bunds。例如，仅当与分布相关的遗憾界限至少属于$ \ sqrt {t} $的顺序时，才能实现$ \ sqrt {t} $}无分布遗憾。我们展示了一项策略，以实现新的权衡表明的遗憾。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们研究了一种强化学习理论（RL），其中学习者在情节结束时仅收到一次二进制反馈。尽管这是理论上的极端测试案例，但它也可以说是实际应用程序的代表性，而不是在RL实践中，学习者在每个时间步骤中都会收到反馈。的确，在许多实际应用的应用程序中，例如自动驾驶汽车和机器人技术，更容易评估学习者的完整轨迹要么是“好”还是“坏”，但是更难在每个方面提供奖励信号步。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算上有效的算法，从而实现了sublinear遗憾。

上下文匪徒的模型选择是一个重要的互补问题，以便对固定式模型类进行后悔最小化。我们考虑最简单的模型选择实例：区分从线性上下文强盗问题中的简单的多武装强盗问题。即使在这种情况下，目前的最先进的方法以次优的方式探索，并且需要强烈的“特征分集”条件。在本文中，我们介绍了一种以数据适应方式探索的新算法，b）提供表单$ \ mathcal {o}的模型选择保证（d ^ {\ alpha} t ^ {1- \ alpha} ）$，没有任何功能分集条件，其中$ d $表示线性模型的尺寸，$ t $表示圆数的总轮数。第一个算法享有“最佳世界”属性，恢复两种以后的分布假设，同时恢复两种结果。第二种删除分布假设，扩展了易于模型选择的范围。我们的方法在一些额外的假设下延伸到嵌套线性上下文匪徒之间的模型选择。

我们在嵌套政策类别的存在下研究匪徒场景中的模型选择问题，目的是获得同时的对抗和随机性（“两全其美”）高概率的遗憾保证。我们的方法要求每个基础学习者都有一个候选人的遗憾约束，可能会或可能不会举行，而我们的元算法按照一定时间表来扮演每个基础学习者，该时间表使基础学习者的候选人后悔的界限保持平衡，直到被发现违反他们的保证为止。我们开发了专门设计的仔细的错误指定测试，以将上述模型选择标准与利用环境的（潜在良性）性质的能力相结合。我们在对抗环境中恢复畜栏算法的模型选择保证，但是在实现高概率后悔界限的附加益处，特别是在嵌套对抗性线性斑块的情况下。更重要的是，我们的模型选择结果也同时在差距假设​​下的随机环境中同时保持。这些是在（线性）匪徒场景中执行模型选择时，可以达到世界上最好的（随机和对抗性）保证的第一个理论结果。

In this paper, we address the stochastic contextual linear bandit problem, where a decision maker is provided a context (a random set of actions drawn from a distribution). The expected reward of each action is specified by the inner product of the action and an unknown parameter. The goal is to design an algorithm that learns to play as close as possible to the unknown optimal policy after a number of action plays. This problem is considered more challenging than the linear bandit problem, which can be viewed as a contextual bandit problem with a \emph{fixed} context. Surprisingly, in this paper, we show that the stochastic contextual problem can be solved as if it is a linear bandit problem. In particular, we establish a novel reduction framework that converts every stochastic contextual linear bandit instance to a linear bandit instance, when the context distribution is known. When the context distribution is unknown, we establish an algorithm that reduces the stochastic contextual instance to a sequence of linear bandit instances with small misspecifications and achieves nearly the same worst-case regret bound as the algorithm that solves the misspecified linear bandit instances. As a consequence, our results imply a $O(d\sqrt{T\log T})$ high-probability regret bound for contextual linear bandits, making progress in resolving an open problem in (Li et al., 2019), (Li et al., 2021). Our reduction framework opens up a new way to approach stochastic contextual linear bandit problems, and enables improved regret bounds in a number of instances including the batch setting, contextual bandits with misspecifications, contextual bandits with sparse unknown parameters, and contextual bandits with adversarial corruption.

In contextual linear bandits, the reward function is assumed to be a linear combination of an unknown reward vector and a given embedding of context-arm pairs. In practice, the embedding is often learned at the same time as the reward vector, thus leading to an online representation learning problem. Existing approaches to representation learning in contextual bandits are either very generic (e.g., model-selection techniques or algorithms for learning with arbitrary function classes) or specialized to particular structures (e.g., nested features or representations with certain spectral properties). As a result, the understanding of the cost of representation learning in contextual linear bandit is still limited. In this paper, we take a systematic approach to the problem and provide a comprehensive study through an instance-dependent perspective. We show that representation learning is fundamentally more complex than linear bandits (i.e., learning with a given representation). In particular, learning with a given set of representations is never simpler than learning with the worst realizable representation in the set, while we show cases where it can be arbitrarily harder. We complement this result with an extensive discussion of how it relates to existing literature and we illustrate positive instances where representation learning is as complex as learning with a fixed representation and where sub-logarithmic regret is achievable.

具有低维结构的随机高维匪徒问题可用于不同的应用程序，例如在线广告和药物发现。在这项工作中，我们为此类问题提出了一种简单的统一算法，并为我们算法的遗憾上限提供了一个一般分析框架。我们表明，在一些温和的统一假设下，我们的算法可以应用于不同的高维匪徒问题。我们的框架利用低维结构来指导问题中的参数估计，因此我们的算法在套索匪徒中达到了可比的遗憾界限，以及低级别矩阵匪徒的新颖界限，组稀疏矩阵强盗和IN组中一个新问题：多代理拉索强盗。

本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前，卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例，其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小，位置和分散的联合效果。具体而言，离线数据的大小，位置和色散由历史样本数量为$ n $，平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left（\ sqrt {t} \ wedge \ frac {t} {（n \ wedge t）\ delta ^ 2 + n \ sigma ^ 2} \右）$，基于“面对不确定性”原则的“乐观主义”的学习算法，其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换，我们称之为阶段转型。此外，我们的结果表明，离线数据的位置和分散也对最佳遗憾具有内在效果，我们通过逆平面法量化了这种效果。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

本文研究了在因果图形模型中设计最佳干预措施序列的问题，以最大程度地减少对事后最佳干预的累积后悔。自然，这是一个因果匪徒问题。重点是线性结构方程模型（SEM）和软干预措施的因果匪徒。假定该图的结构是已知的，并且具有$ n $节点。每个节点都假定使用两种线性机制，一种软干预和一种观察性，产生了$ 2^n $可能的干预措施。现有的因果匪徒算法假设，至少完全指定了奖励节点父母的介入分布。但是，有$ 2^n $这样的分布（一个与每个干预措施相对应），即使在中等尺寸的图中也变得越来越高。本文分配了知道这些分布的假设。提出了两种算法，用于常见者（基于UCB）和贝叶斯（基于汤普森采样）的设置。这些算法的关键思想是避免直接估计$ 2^n $奖励分布，而是估算完全指定SEMS（$ n $线性）的参数，并使用它们来计算奖励。在这两种算法中，在噪声和参数空间的有界假设下，累积遗憾的是$ \ tilde {\ cal o}（（（2d）^l l \ sqrt {t}）$，其中$ d $是图的最高度和$ l $是其最长因果路径的长度。

汤普森采样（TS）是在不确定性下进行决策的有效方法，其中从精心规定的分布中采样了动作，该分布根据观察到的数据进行更新。在这项工作中，我们研究了使用TS的可稳定线性季度调节剂（LQR）自适应控制的问题，其中系统动力学是未知的。先前的作品已经确定，$ \ tilde o（\ sqrt {t}）$频繁的遗憾对于LQR的自适应控制是最佳的。但是，现有方法要么仅在限制性设置中起作用，需要先验已知的稳定控制器，要么使用计算上棘手的方法。我们提出了一种有效的TS算法，用于对LQR的自适应控制，TS基于TS的自适应控制，TSAC，该算法达到了$ \ tilde o（\ sqrt {t}）$遗憾，即使对于多维系统和Lazaric（2018）。 TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效探索环境来实现基础系统的快速稳定。我们的结果取决于开发新颖的下限TS提供乐观样本的概率。通过仔细规定早期的探索策略和政策更新规则，我们表明TS在适应性控制多维可稳定性LQR方面实现了最佳的遗憾。我们从经验上证明了TSAC在几个自适应控制任务中的性能和效率。

我们提出了一个\下划线{d} oully \下划线{o} \下划线{s} afe- \ \ useverline {l} inline {l} inear- \ usew suespline {b}和doslb的问题。安全的线性匪徒问题是使用随机的强盗反馈和动作安全风险的动作来优化未知的线性奖励，同时满足动作的未知圆形安全限制。与先前在汇总资源约束方面的工作相反，我们的公式明确要求控制环形安全风险。与现有的对安全匪徒的乐观态度范式不同，DOSLB练习至高无上，使用对奖励和安全得分的乐观估计来选择动作。然而，令人惊讶的是，我们表明doslb很少采取风险的行动，并获得了$ \ tilde {o}（d \ sqrt {t}）$遗憾，在这里，我们对遗憾的概念既说明效率低下又缺乏行动的安全性。我们首先尤其表明$ \ sqrt {t} $ - 即使有较大的差距也无法改善遗憾的绑定，然后确定我们显示紧密的实例依赖性$ O（\ log（\ log），也无法改善，我们首先表明$ \ sqrt {t} $ - 遗憾的界限也无法改善，我们首先表明$ \ sqrt {t} $ - ^2 t）$边界。我们进一步认为，在这样的域中，播放过度风险的动作的次数也被限制为$ o（\ log^2t）$。