多武装强盗环境中最好的武器识别问题是许多真实世界决策问题的一个优秀模式，但它无法捕捉到现实世界中，在学习时通常必须满足安全限制的事实。在这项工作中，我们研究了安全关键环境中最好的武器识别问题，代理的目标是找到许多人的最佳安全选项，同时以保证某些方式达到满足肯定的方式的探索，最初是未知的安全约束。我们首先在奖励和安全约束采用线性结构的情况下分析此问题，并显示近乎匹配的上限和下限。然后，我们分析了更多的常规版本，我们只假设奖励和安全约束可以通过单调函数建模，并在此设置中提出算法，保证安全地学习。我们的结论与实验结果表明我们在方案中的方法的有效性，如安全地识别许多人以便治疗疾病。

积极的学习方法在减少学习所需的样本数量方面表现出了巨大的希望。随着自动化学习系统被采用到实时的现实世界决策管道中，越来越重要的是，这种算法的设计考虑到了安全性。在这项工作中，我们研究了在互动环境中学习最佳安全决定的复杂性。我们将这个问题减少到约束的线性匪徒问题，我们的目标是找到满足某些（未知）安全限制的最佳手臂。我们提出了一种基于自适应的实验性设计算法，在显示ARM的难度与次优的难度之间，我们表现出了有效的交易。据我们所知，我们的结果是具有安全限制的线性匪徒最佳武器识别。实际上，我们证明了这种方法在合成和现实世界数据集上的表现很好。

强化学习理论集中在两个基本问题上：实现低遗憾，并确定$ \ epsilon $ - 最佳政策。虽然简单的减少允许人们应用低温算法来获得$ \ epsilon $ - 最佳政策并达到最坏的最佳速率，但尚不清楚低regret算法是否可以获得实例 - 最佳率的策略识别率。我们表明这是不可能的 - 在遗憾和确定$ \ epsilon $ - 最佳政策之间以最佳的利率确定了基本的权衡。由于我们的负面发现，我们提出了针对PAC表格增强学习实例依赖性样本复杂性的新量度，该方法明确说明了基础MDP中可达到的国家访问分布。然后，我们提出和分析一种基于计划的新型算法，该算法达到了这种样本的复杂性 - 产生的复杂性会随着次要差距和状态的“可达到性”而缩放。我们显示我们的算法几乎是最小的最佳选择，并且在一些示例中，我们实例依赖性样品复杂性比最差案例界限可显着改善。

尽管在理解增强学习的最小样本复杂性（RL）（在“最坏情况”的实例上学习的复杂性）方面已经取得了很多进展，但这种复杂性的衡量标准通常不会捕捉到真正的学习困难。在实践中，在“简单”的情况下，我们可能希望获得比最糟糕的实例可以实现的要好得多。在这项工作中，我们试图理解在具有线性函数近似的RL设置中学习近乎最佳策略（PAC RL）的“实例依赖性”复杂性。我们提出了一种算法，\ textsc {pedel}，该算法实现了依赖于实例的复杂性的量度，这是RL中的第一个具有功能近似设置，从而捕获了每个特定问题实例的学习难度。通过一个明确的示例，我们表明\ textsc {pedel}可以在低重晶，最小值 - 最佳算法上获得可证明的收益，并且这种算法无法达到实例 - 最佳速率。我们的方法取决于基于设计的新型实验程序，该程序将勘探预算重点放在与学习近乎最佳政策最相关的“方向”上，并且可能具有独立的兴趣。

Two central paradigms have emerged in the reinforcement learning (RL) community: online RL and offline RL. In the online RL setting, the agent has no prior knowledge of the environment, and must interact with it in order to find an $\epsilon$-optimal policy. In the offline RL setting, the learner instead has access to a fixed dataset to learn from, but is unable to otherwise interact with the environment, and must obtain the best policy it can from this offline data. Practical scenarios often motivate an intermediate setting: if we have some set of offline data and, in addition, may also interact with the environment, how can we best use the offline data to minimize the number of online interactions necessary to learn an $\epsilon$-optimal policy? In this work, we consider this setting, which we call the \textsf{FineTuneRL} setting, for MDPs with linear structure. We characterize the necessary number of online samples needed in this setting given access to some offline dataset, and develop an algorithm, \textsc{FTPedel}, which is provably optimal. We show through an explicit example that combining offline data with online interactions can lead to a provable improvement over either purely offline or purely online RL. Finally, our results illustrate the distinction between \emph{verifiable} learning, the typical setting considered in online RL, and \emph{unverifiable} learning, the setting often considered in offline RL, and show that there is a formal separation between these regimes.

在随机上下文的强盗设置中，对遗憾最小化算法进行了广泛的研究，但是他们的实例最少的最佳武器识别对应物仍然很少研究。在这项工作中，我们将重点关注$（\ epsilon，\ delta）$ - $ \ textit {pac} $设置：给定策略类$ \ pi $，学习者的目标是返回策略的目标， $ \ pi \ in \ pi $的预期奖励在最佳政策的$ \ epsilon $之内，概率大于$ 1- \ delta $。我们表征了第一个$ \ textit {实例依赖性} $ PAC样品通过数量$ \ rho _ {\ pi} $的上下文匪徒的复杂性，并根据$ \ rho _ {\ pi} $提供匹配的上和下限不可知论和线性上下文最佳武器标识设置。我们表明，对于遗憾的最小化和实例依赖性PAC而言，无法同时最小化算法。我们的主要结果是一种新的实例 - 最佳和计算有效算法，该算法依赖于多项式呼叫对Argmax Oracle的调用。

级别设置估计问题旨在查找域$ {\ cal x} $的所有点，其中一个未知函数$ f：{\ cal x} \ lightarrow \ mathbb {r} $超过阈值$ \ alpha $ 。估计基于可以在$ {\ cal x} $中顺序和自适应地选择的位置获取的嘈杂函数评估。阈值$ \ alpha $可以是\弹性{显式}，并提供先验，或\ \ ich {隐式}，相对于最佳函数值定义，即$ \ alpha =（1- \ epsilon）f（x_ \ AST）$关于给定$ \ epsilon> 0 $ why $ f（x_ \ ist）$是最大函数值，并且未知。在这项工作中，我们通过将其与最近的自适应实验设计方法相关联，为近期自适应实验设计方法提供了一种新的再现内核盗窃空间（RKHS）设置。我们假设可以通过RKHS中的函数近似于未知的拼写，并为此设置中隐含和显式案件提供新的算法，具有很强的理论保证。此外，在线性（内核）设置中，我们表明我们的界限几乎是最佳的，即，我们的上限与阈值线性匪徒的现有下限匹配。据我们所知，这项工作提供了第一个实例依赖性非渐近的上限，就匹配信息理论下限的水平设定估计的样本复杂性。

我们考虑在可实现的环境中进行交互式学习，并开发一般框架，以处理从最佳ARM识别到主动分类的问题。我们开始调查，即观察到可怕算法\ emph {无法实现可实现的设置中最佳最佳状态。因此，我们设计了新的计算有效的算法，可实现最可实现的设置，该算法与对数因子的最小限制相匹配，并且是通用的，适用于包括内核方法的各种功能类，H {\“O}偏置函数，以及凸起功能。我们的算法的样本复杂性可以在众所周知的数量中量化，如延长的教学尺寸和干草堆维度。然而，与直接基于这些组合量的算法不同，我们的算法是计算效率的。实现计算效率，我们的算法使用Monte Carlo“命令运行”算法来从版本空间中的样本，而不是明确地维护版本空间。我们的方法有两个关键优势。首先，简单，由两个统一，贪婪的算法组成。第二，我们的算法具有能够无缝地利用经常可用和在实践中有用的知识。此外为了我们的新理论结果，我们经验证明我们的算法与高斯过程UCB方法具有竞争力。

We study the best-arm identification problem in multi-armed bandits with stochastic, potentially private rewards, when the goal is to identify the arm with the highest quantile at a fixed, prescribed level. First, we propose a (non-private) successive elimination algorithm for strictly optimal best-arm identification, we show that our algorithm is $\delta$-PAC and we characterize its sample complexity. Further, we provide a lower bound on the expected number of pulls, showing that the proposed algorithm is essentially optimal up to logarithmic factors. Both upper and lower complexity bounds depend on a special definition of the associated suboptimality gap, designed in particular for the quantile bandit problem, as we show when the gap approaches zero, best-arm identification is impossible. Second, motivated by applications where the rewards are private, we provide a differentially private successive elimination algorithm whose sample complexity is finite even for distributions with infinite support-size, and we characterize its sample complexity. Our algorithms do not require prior knowledge of either the suboptimality gap or other statistical information related to the bandit problem at hand.

无奖励强化学习（RL）考虑了代理在探索过程中无法访问奖励功能的设置，但必须提出仅在探索后才揭示的任意奖励功能的近乎最佳的政策。在表格环境中，众所周知，这是一个比奖励意识（PAC）RL（代理在探索过程中访问奖励功能）更困难的问题$ | \ Mathcal {s} | $，状态空间的大小。我们表明，在线性MDP的设置中，这种分离不存在。我们首先在$ d $二维线性MDP中开发了一种计算高效算法，其样品复杂度比例为$ \ widetilde {\ Mathcal {o}}（d^2 H^5/\ epsilon^2）$ 。然后，我们显示出$ \ omega（d^2 h^2/\ epsilon^2）$的匹配尺寸依赖性的下限，该限制为奖励感知的RL设置。据我们所知，我们的方法是第一个在线性MDP中实现最佳$ d $依赖性的计算有效算法，即使在单次奖励PAC设置中也是如此。我们的算法取决于一种新的程序，该过程有效地穿越了线性MDP，在任何给定的``特征方向''中收集样品，并在最大状态访问概率（线性MDP等效）中享受最佳缩放样品复杂性。我们表明，该探索过程也可以应用于解决线性MDP中````良好条件''''协变量的问题。

在表演性预测中，预测模型的部署触发了数据分布的变化。由于这些转变通常是未知的，因此学习者需要部署模型以获取有关其引起的分布的反馈。我们研究了在性能下发现近乎最佳模型的问题，同时保持低廉的遗憾。从表面上看，这个问题似乎等同于强盗问题。但是，它表现出一种从根本上说的反馈结构，我们将其称为表演反馈：在每次部署后，学习者都会从转移的分布中收到样本，而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一种算法，该算法仅随着分配的复杂性而不是奖励功能的复杂性而实现后悔的界限。该算法仅依赖于移位的平滑度，并且不假定凸度。此外，它的最终迭代保证是近乎最佳的。关键算法的想法是对分布变化的仔细探索，该分布变化为新颖的置信范围构造了未开发模型的风险。从更广泛的角度来看，我们的工作为从土匪文献中利用工具的概念方法建立了一种概念性方法，目的是通过表演性反馈最小化后悔的目的。

我们提出了一个\下划线{d} oully \下划线{o} \下划线{s} afe- \ \ useverline {l} inline {l} inear- \ usew suespline {b}和doslb的问题。安全的线性匪徒问题是使用随机的强盗反馈和动作安全风险的动作来优化未知的线性奖励，同时满足动作的未知圆形安全限制。与先前在汇总资源约束方面的工作相反，我们的公式明确要求控制环形安全风险。与现有的对安全匪徒的乐观态度范式不同，DOSLB练习至高无上，使用对奖励和安全得分的乐观估计来选择动作。然而，令人惊讶的是，我们表明doslb很少采取风险的行动，并获得了$ \ tilde {o}（d \ sqrt {t}）$遗憾，在这里，我们对遗憾的概念既说明效率低下又缺乏行动的安全性。我们首先尤其表明$ \ sqrt {t} $ - 即使有较大的差距也无法改善遗憾的绑定，然后确定我们显示紧密的实例依赖性$ O（\ log（\ log），也无法改善，我们首先表明$ \ sqrt {t} $ - 遗憾的界限也无法改善，我们首先表明$ \ sqrt {t} $ - ^2 t）$边界。我们进一步认为，在这样的域中，播放过度风险的动作的次数也被限制为$ o（\ log^2t）$。

本文调查$ \纺织品{污染} $随机多臂爆炸中最佳臂识别问题。在此设置中，从任何臂获得的奖励由来自概率$ \ varepsilon $的对抗性模型的样本所取代。考虑了固定的置信度（无限地平线）设置，其中学习者的目标是识别最大的平均值。由于奖励的对抗污染，每个ARM的平均值仅部分可识别。本文提出了两种算法，基于连续消除的基于间隙的算法和一个，以便在亚高斯匪徒中最佳臂识别。这些算法涉及平均估计，从渐近估计的估计值达到真实均值的偏差上实现最佳误差保证。此外，这些算法渐近地实现了最佳的样本复杂性。具体地，对于基于差距的算法，样本复杂性呈渐近最佳到恒定因子，而对于基于连续的基于算法，​​它是最佳的对数因子。最后，提供了数值实验以说明与现有基线相比的算法的增益。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们通过反馈图来重新审视随机在线学习的问题，目的是设计最佳的算法，直至常数，无论是渐近还是有限的时间。我们表明，令人惊讶的是，在这种情况下，最佳有限时间遗憾的概念并不是一个唯一的定义属性，总的来说，它与渐近率是与渐近率分离的。我们讨论了替代选择，并提出了有限时间最优性的概念，我们认为是\ emph {有意义的}。对于这个概念，我们给出了一种算法，在有限的时间和渐近上都承认了准最佳的遗憾。

在本文中，我们介绍了一个多武装的强盗问题被称为MAX-MIN分组的匪徒，其中臂在可能重叠的群体中排列，并且目标是找到最糟糕的均值奖励的组。此问题对推荐系统等应用感兴趣，并且与广泛研究的鲁棒优化问题也密切相关。我们呈现了两种基于算法的连续消除和稳健的优化，并导出了样本数量的上限，以保证找到最大最佳或近最佳组，以及算法无关的下限。我们讨论了各种兴趣案件中我们界的紧绷程度，以及衍生均匀紧张的界限。

本文介绍了信息性多臂强盗（IMAB）模型，在每个回合中，玩家选择手臂，观察符号，并以符号的自我信息形式获得未观察到的奖励。因此，手臂的预期奖励是产生其符号的源质量函数的香农熵。玩家的目标是最大程度地提高与武器的熵值相关的预期奖励。在假设字母大小是已知的假设下，为IMAB模型提出了两种基于UCB的算法，该算法考虑了插件熵估计器的偏差。第一种算法在熵估计中乐观地纠正了偏置项。第二算法依赖于数据依赖性置信区间，该置信区间适应具有较小熵值的源。性能保证是通过上限为每种算法的预期遗憾提供的。此外，在Bernoulli案例中，将这些算法的渐近行为与伪遗憾的Lai-Robbins的下限进行了比较。此外，在假设\ textit {cract}字母大小的假设下是未知的，而播放器仅知道其上方的宽度上限，提出了一种基于UCB的算法，在其中，玩家的目的是减少由该算法造成的遗憾。未知的字母尺寸在有限的时间方面。数字结果说明了论文中介绍的算法的预期遗憾。

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

我们在固定的误差率$ \ delta $（固定信道TOP-M识别）下最大的手段识别M武器的问题，用于错过的线性匪盗模型。这个问题是由实际应用的动机，特别是在医学和推荐系统中，由于它们的简单性和有效算法的存在，线性模型很受欢迎，但是数据不可避免地偏离线性。在这项工作中，我们首先在普通Top-M识别问题的任何$ \ delta $ -correct算法的样本复杂性上得出了一个易行的下限。我们表明，知道从线性度偏差的偏差是利用问题的结构所必需的。然后，我们描述了该设置的第一个算法，这既实际，也适应了误操作。我们从其样本复杂度推出了一个上限，证实了这种适应性，与$ \ delta $ $ \ lightarrow $ 0匹配。最后，我们在合成和现实世界数据上评估了我们的算法，表现出尊重的竞争性能到现有的基准。

这项工作考虑了最佳手臂识别的选择性采样问题。给定一组潜在选项$ \ mathcal {z} \ subset \ mathbb {r} ^ d $，学习者旨在计算概率大于1- \ delta $，$ \ arg \ max_ {z \ mathcal { z}} z ^ {\ top} \ theta _ {\ ast} $ where $ \ theta _ {\ art} $未知。在每个时间步骤中，潜在的测量$ x_t \ in \ mathcal {x} \ subset \ mathbb {r} ^ d $被绘制的iid，学习者可以选择采取测量，在这种情况下，他们观察到嘈杂的测量$ x ^ {\ top} \ theta _ {\ ast} $，或弃权采取测量并等待可能更多的信息点到达流。因此，学习者在他们采取的标签样本数量之间面临的基本折衷，并且当他们收集足够的证据来宣布最好的手臂并停止抽样时。这项工作的主要结果精确地表征了标记的样本和停止时间之间的这种权衡，并提供了一种算法，几乎最佳地实现了给出所需停止时间的最小标签复杂性。此外，我们表明最佳决策规则具有基于决定点是否处于椭圆形的简单几何形式。最后，我们的框架足以捕获先前作品的二进制分类。