我们考虑在可实现的环境中进行交互式学习，并开发一般框架，以处理从最佳ARM识别到主动分类的问题。我们开始调查，即观察到可怕算法\ emph {无法实现可实现的设置中最佳最佳状态。因此，我们设计了新的计算有效的算法，可实现最可实现的设置，该算法与对数因子的最小限制相匹配，并且是通用的，适用于包括内核方法的各种功能类，H {\“O}偏置函数，以及凸起功能。我们的算法的样本复杂性可以在众所周知的数量中量化，如延长的教学尺寸和干草堆维度。然而，与直接基于这些组合量的算法不同，我们的算法是计算效率的。实现计算效率，我们的算法使用Monte Carlo“命令运行”算法来从版本空间中的样本，而不是明确地维护版本空间。我们的方法有两个关键优势。首先，简单，由两个统一，贪婪的算法组成。第二，我们的算法具有能够无缝地利用经常可用和在实践中有用的知识。此外为了我们的新理论结果，我们经验证明我们的算法与高斯过程UCB方法具有竞争力。

积极的学习方法在减少学习所需的样本数量方面表现出了巨大的希望。随着自动化学习系统被采用到实时的现实世界决策管道中，越来越重要的是，这种算法的设计考虑到了安全性。在这项工作中，我们研究了在互动环境中学习最佳安全决定的复杂性。我们将这个问题减少到约束的线性匪徒问题，我们的目标是找到满足某些（未知）安全限制的最佳手臂。我们提出了一种基于自适应的实验性设计算法，在显示ARM的难度与次优的难度之间，我们表现出了有效的交易。据我们所知，我们的结果是具有安全限制的线性匪徒最佳武器识别。实际上，我们证明了这种方法在合成和现实世界数据集上的表现很好。

在随机上下文的强盗设置中，对遗憾最小化算法进行了广泛的研究，但是他们的实例最少的最佳武器识别对应物仍然很少研究。在这项工作中，我们将重点关注$（\ epsilon，\ delta）$ - $ \ textit {pac} $设置：给定策略类$ \ pi $，学习者的目标是返回策略的目标， $ \ pi \ in \ pi $的预期奖励在最佳政策的$ \ epsilon $之内，概率大于$ 1- \ delta $。我们表征了第一个$ \ textit {实例依赖性} $ PAC样品通过数量$ \ rho _ {\ pi} $的上下文匪徒的复杂性，并根据$ \ rho _ {\ pi} $提供匹配的上和下限不可知论和线性上下文最佳武器标识设置。我们表明，对于遗憾的最小化和实例依赖性PAC而言，无法同时最小化算法。我们的主要结果是一种新的实例 - 最佳和计算有效算法，该算法依赖于多项式呼叫对Argmax Oracle的调用。

级别设置估计问题旨在查找域$ {\ cal x} $的所有点，其中一个未知函数$ f：{\ cal x} \ lightarrow \ mathbb {r} $超过阈值$ \ alpha $ 。估计基于可以在$ {\ cal x} $中顺序和自适应地选择的位置获取的嘈杂函数评估。阈值$ \ alpha $可以是\弹性{显式}，并提供先验，或\ \ ich {隐式}，相对于最佳函数值定义，即$ \ alpha =（1- \ epsilon）f（x_ \ AST）$关于给定$ \ epsilon> 0 $ why $ f（x_ \ ist）$是最大函数值，并且未知。在这项工作中，我们通过将其与最近的自适应实验设计方法相关联，为近期自适应实验设计方法提供了一种新的再现内核盗窃空间（RKHS）设置。我们假设可以通过RKHS中的函数近似于未知的拼写，并为此设置中隐含和显式案件提供新的算法，具有很强的理论保证。此外，在线性（内核）设置中，我们表明我们的界限几乎是最佳的，即，我们的上限与阈值线性匪徒的现有下限匹配。据我们所知，这项工作提供了第一个实例依赖性非渐近的上限，就匹配信息理论下限的水平设定估计的样本复杂性。

强化学习理论集中在两个基本问题上：实现低遗憾，并确定$ \ epsilon $ - 最佳政策。虽然简单的减少允许人们应用低温算法来获得$ \ epsilon $ - 最佳政策并达到最坏的最佳速率，但尚不清楚低regret算法是否可以获得实例 - 最佳率的策略识别率。我们表明这是不可能的 - 在遗憾和确定$ \ epsilon $ - 最佳政策之间以最佳的利率确定了基本的权衡。由于我们的负面发现，我们提出了针对PAC表格增强学习实例依赖性样本复杂性的新量度，该方法明确说明了基础MDP中可达到的国家访问分布。然后，我们提出和分析一种基于计划的新型算法，该算法达到了这种样本的复杂性 - 产生的复杂性会随着次要差距和状态的“可达到性”而缩放。我们显示我们的算法几乎是最小的最佳选择，并且在一些示例中，我们实例依赖性样品复杂性比最差案例界限可显着改善。

多武装强盗环境中最好的武器识别问题是许多真实世界决策问题的一个优秀模式，但它无法捕捉到现实世界中，在学习时通常必须满足安全限制的事实。在这项工作中，我们研究了安全关键环境中最好的武器识别问题，代理的目标是找到许多人的最佳安全选项，同时以保证某些方式达到满足肯定的方式的探索，最初是未知的安全约束。我们首先在奖励和安全约束采用线性结构的情况下分析此问题，并显示近乎匹配的上限和下限。然后，我们分析了更多的常规版本，我们只假设奖励和安全约束可以通过单调函数建模，并在此设置中提出算法，保证安全地学习。我们的结论与实验结果表明我们在方案中的方法的有效性，如安全地识别许多人以便治疗疾病。

公司跨行业对机器学习（ML）的快速传播采用了重大的监管挑战。一个这样的挑战就是可伸缩性：监管机构如何有效地审核这些ML模型，以确保它们是公平的？在本文中，我们启动基于查询的审计算法的研究，这些算法可以以查询有效的方式估算ML模型的人口统计学率。我们提出了一种最佳的确定性算法，以及具有可比保证的实用随机，甲骨文效率的算法。此外，我们进一步了解了随机活动公平估计算法的最佳查询复杂性。我们对主动公平估计的首次探索旨在将AI治理置于更坚定的理论基础上。

这项工作考虑了最佳手臂识别的选择性采样问题。给定一组潜在选项$ \ mathcal {z} \ subset \ mathbb {r} ^ d $，学习者旨在计算概率大于1- \ delta $，$ \ arg \ max_ {z \ mathcal { z}} z ^ {\ top} \ theta _ {\ ast} $ where $ \ theta _ {\ art} $未知。在每个时间步骤中，潜在的测量$ x_t \ in \ mathcal {x} \ subset \ mathbb {r} ^ d $被绘制的iid，学习者可以选择采取测量，在这种情况下，他们观察到嘈杂的测量$ x ^ {\ top} \ theta _ {\ ast} $，或弃权采取测量并等待可能更多的信息点到达流。因此，学习者在他们采取的标签样本数量之间面临的基本折衷，并且当他们收集足够的证据来宣布最好的手臂并停止抽样时。这项工作的主要结果精确地表征了标记的样本和停止时间之间的这种权衡，并提供了一种算法，几乎最佳地实现了给出所需停止时间的最小标签复杂性。此外，我们表明最佳决策规则具有基于决定点是否处于椭圆形的简单几何形式。最后，我们的框架足以捕获先前作品的二进制分类。

我们研究Stackelberg游戏，其中一位校长反复与长寿，非洋流代理商进行互动，而不知道代理商的回报功能。尽管当代理商是近视，非侧心代理会带来额外的并发症时，在Stackelberg游戏中的学习是充分理解的。尤其是，非洋流代理可以从战略上选择当前劣等的行动，以误导校长的学习算法并在未来获得更好的结果。我们提供了一个通用框架，该框架可在存在近视剂的情况下降低非洋白酶的学习来优化强大的匪徒。通过设计和分析微型反应性匪徒算法，我们的还原从校长学习算法的统计效率中进行了差异，以与其在诱导接近最佳的响应中的有效性。我们将此框架应用于Stackelberg Security Games（SSG），需求曲线，战略分类和一般有限的Stackelberg游戏的价格。在每种情况下，我们都表征了近最佳响应中存在的错误的类型和影响，并为此类拼写错误开发了一种鲁棒性的学习算法。在此过程中，我们通过最先进的$ O（n^3）$从SSGS中提高了SSG中的学习复杂性，从通过发现此类游戏的基本结构属性。该结果除了对非洋流药物学习之外，还具有独立的兴趣。

In contextual linear bandits, the reward function is assumed to be a linear combination of an unknown reward vector and a given embedding of context-arm pairs. In practice, the embedding is often learned at the same time as the reward vector, thus leading to an online representation learning problem. Existing approaches to representation learning in contextual bandits are either very generic (e.g., model-selection techniques or algorithms for learning with arbitrary function classes) or specialized to particular structures (e.g., nested features or representations with certain spectral properties). As a result, the understanding of the cost of representation learning in contextual linear bandit is still limited. In this paper, we take a systematic approach to the problem and provide a comprehensive study through an instance-dependent perspective. We show that representation learning is fundamentally more complex than linear bandits (i.e., learning with a given representation). In particular, learning with a given set of representations is never simpler than learning with the worst realizable representation in the set, while we show cases where it can be arbitrarily harder. We complement this result with an extensive discussion of how it relates to existing literature and we illustrate positive instances where representation learning is as complex as learning with a fixed representation and where sub-logarithmic regret is achievable.

在纯探索问题中，依次收集信息以回答关于随机环境的问题。虽然近年来对线性匪徒的最佳武器识别进行了广泛的研究，但很少有作品专门用于识别一只手臂，即$ \ varepsilon $ close close close to to to to to to n of the $ \ varepsilon $ close（也不是最好的一只）。在这个有几个正确答案的问题中，识别算法应重点放在这些答案之间的一个候选人上，并验证其正确。我们证明，以最高平均值选择答案不允许算法就预期的样本复杂性达到渐近最优性。相反，应识别\ textit {最远的答案}。使用该洞察力仔细选择候选人答案，我们开发了一个简单的过程，以适应最佳臂识别算法，以应对托管线性随机匪徒中的$ \ varepsilon $ best-best-andwer识别。最后，我们为此设置提出了一种渐近最佳算法，该算法证明可以针对现有的改良最佳臂识别算法实现竞争性的经验性能。

We study the best-arm identification problem in multi-armed bandits with stochastic, potentially private rewards, when the goal is to identify the arm with the highest quantile at a fixed, prescribed level. First, we propose a (non-private) successive elimination algorithm for strictly optimal best-arm identification, we show that our algorithm is $\delta$-PAC and we characterize its sample complexity. Further, we provide a lower bound on the expected number of pulls, showing that the proposed algorithm is essentially optimal up to logarithmic factors. Both upper and lower complexity bounds depend on a special definition of the associated suboptimality gap, designed in particular for the quantile bandit problem, as we show when the gap approaches zero, best-arm identification is impossible. Second, motivated by applications where the rewards are private, we provide a differentially private successive elimination algorithm whose sample complexity is finite even for distributions with infinite support-size, and we characterize its sample complexity. Our algorithms do not require prior knowledge of either the suboptimality gap or other statistical information related to the bandit problem at hand.

尽管在理解增强学习的最小样本复杂性（RL）（在“最坏情况”的实例上学习的复杂性）方面已经取得了很多进展，但这种复杂性的衡量标准通常不会捕捉到真正的学习困难。在实践中，在“简单”的情况下，我们可能希望获得比最糟糕的实例可以实现的要好得多。在这项工作中，我们试图理解在具有线性函数近似的RL设置中学习近乎最佳策略（PAC RL）的“实例依赖性”复杂性。我们提出了一种算法，\ textsc {pedel}，该算法实现了依赖于实例的复杂性的量度，这是RL中的第一个具有功能近似设置，从而捕获了每个特定问题实例的学习难度。通过一个明确的示例，我们表明\ textsc {pedel}可以在低重晶，最小值 - 最佳算法上获得可证明的收益，并且这种算法无法达到实例 - 最佳速率。我们的方法取决于基于设计的新型实验程序，该程序将勘探预算重点放在与学习近乎最佳政策最相关的“方向”上，并且可能具有独立的兴趣。

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们研究了用于线性回归的主动采样算法，该算法仅旨在查询目标向量$ b \ in \ mathbb {r} ^ n $的少量条目，并将近最低限度输出到$ \ min_ {x \ In \ mathbb {r} ^ d} \ | ax-b \ | $，其中$ a \ in \ mathbb {r} ^ {n \ times d} $是一个设计矩阵和$ \ | \ cdot \ | $是一些损失函数。对于$ \ ell_p $ norm回归的任何$ 0 <p <\ idty $，我们提供了一种基于Lewis权重采样的算法，其使用只需$ \ tilde {o}输出$（1+ \ epsilon）$近似解决方案（d ^ {\ max（1，{p / 2}）} / \ mathrm {poly}（\ epsilon））$查询到$ b $。我们表明，这一依赖于$ D $是最佳的，直到对数因素。我们的结果解决了陈和Derezi的最近开放问题，陈和Derezi \'{n} Ski，他们为$ \ ell_1 $ norm提供了附近的最佳界限，以及$ p \中的$ \ ell_p $回归的次优界限（1,2） $。我们还提供了$ O的第一个总灵敏度上限（D ^ {\ max \ {1，p / 2 \} \ log ^ 2 n）$以满足最多的$ p $多项式增长。这改善了Tukan，Maalouf和Feldman的最新结果。通过将此与我们的技术组合起来的$ \ ell_p $回归结果，我们获得了一个使$ \ tilde o的活动回归算法（d ^ {1+ \ max \ {1，p / 2 \}} / \ mathrm {poly}。 （\ epsilon））$疑问，回答陈和德里兹的另一个打开问题{n}滑雪。对于Huber损失的重要特殊情况，我们进一步改善了我们对$ \ tilde o的主动样本复杂性的绑定（d ^ {（1+ \ sqrt2）/ 2} / \ epsilon ^ c）$和非活跃$ \ tilde o的样本复杂性（d ^ {4-2 \ sqrt 2} / \ epsilon ^ c）$，由于克拉克森和伍德拉夫而改善了Huber回归的以前的D ^ 4 $。我们的敏感性界限具有进一步的影响，使用灵敏度采样改善了各种先前的结果，包括orlicz规范子空间嵌入和鲁棒子空间近似。最后，我们的主动采样结果为每种$ \ ell_p $ norm提供的第一个Sublinear时间算法。

我们在固定的误差率$ \ delta $（固定信道TOP-M识别）下最大的手段识别M武器的问题，用于错过的线性匪盗模型。这个问题是由实际应用的动机，特别是在医学和推荐系统中，由于它们的简单性和有效算法的存在，线性模型很受欢迎，但是数据不可避免地偏离线性。在这项工作中，我们首先在普通Top-M识别问题的任何$ \ delta $ -correct算法的样本复杂性上得出了一个易行的下限。我们表明，知道从线性度偏差的偏差是利用问题的结构所必需的。然后，我们描述了该设置的第一个算法，这既实际，也适应了误操作。我们从其样本复杂度推出了一个上限，证实了这种适应性，与$ \ delta $ $ \ lightarrow $ 0匹配。最后，我们在合成和现实世界数据上评估了我们的算法，表现出尊重的竞争性能到现有的基准。

We investigate the sample complexity of learning the optimal arm for multi-task bandit problems. Arms consist of two components: one that is shared across tasks (that we call representation) and one that is task-specific (that we call predictor). The objective is to learn the optimal (representation, predictor)-pair for each task, under the assumption that the optimal representation is common to all tasks. Within this framework, efficient learning algorithms should transfer knowledge across tasks. We consider the best-arm identification problem for a fixed confidence, where, in each round, the learner actively selects both a task, and an arm, and observes the corresponding reward. We derive instance-specific sample complexity lower bounds satisfied by any $(\delta_G,\delta_H)$-PAC algorithm (such an algorithm identifies the best representation with probability at least $1-\delta_G$, and the best predictor for a task with probability at least $1-\delta_H$). We devise an algorithm OSRL-SC whose sample complexity approaches the lower bound, and scales at most as $H(G\log(1/\delta_G)+ X\log(1/\delta_H))$, with $X,G,H$ being, respectively, the number of tasks, representations and predictors. By comparison, this scaling is significantly better than the classical best-arm identification algorithm that scales as $HGX\log(1/\delta)$.

主动学习可以减少执行假设测试所需的样本数量并估计模型的参数。在本文中，我们重新审视Chernoff的作品，所述工作描述了用于执行假设测试的渐近最佳算法。我们获得了对Chernoff的算法的新颖性复杂性，具有非渐近术语，其在固定置信水平处具有其性能。我们还开发了Chernoff采样的延伸，可用于估计各种模型的参数，并且我们在估计误差上获得非渐近绑定。我们将延长Chernoff采样延伸，积极学习神经网络模型，并估算实际数据线性和非线性回归问题中的参数，其中我们的方法有利地对最先进的方法执行。

我们研究了一个顺序决策问题，其中学习者面临$ k $武装的随机匪徒任务的顺序。对手可能会设计任务，但是对手受到限制，以在$ m $ and的较小（但未知）子集中选择每个任务的最佳组。任务边界可能是已知的（强盗元学习设置）或未知（非平稳的强盗设置）。我们设计了一种基于Burnit subsodular最大化的减少的算法，并表明，在大量任务和少数最佳武器的制度中，它在两种情况下的遗憾都比$ \ tilde {o}的简单基线要小。 \ sqrt {knt}）$可以通过使用为非平稳匪徒问题设计的标准算法获得。对于固定任务长度$ \ tau $的强盗元学习问题，我们证明该算法的遗憾被限制为$ \ tilde {o}（nm \ sqrt {m \ tau}+n^{2/3} m \ tau）$。在每个任务中最佳武器的可识别性的其他假设下，我们显示了一个带有改进的$ \ tilde {o}（n \ sqrt {m \ tau}+n^{1/2} {1/2} \ sqrt的强盗元学习算法{m k \ tau}）$遗憾。