当前的论文研究在仅假定最佳值函数可线化的设置中，在设置中样本效率增强学习（RL）。最近已经理解，即使在这种看似强大的假设和对生成模型的访问下，最坏情况的样本复杂性也可能是庞大的（即指数）。我们研究了学习者还可以从专家政策中访问交互式演示的设置，并提出一种统计和计算上有效的算法（DELPHI），用于将探索与专家查询融合。特别是，Delphi需要$ \ tilde {\ Mathcal {o}}（d）$专家查询和$ \ texttt {poly} {poly}（d，h，h，| \ mathcal {a} |，1/\ varepsilon）$探索性样本可证明恢复$ \ varepsilon $ -suboptimal策略。与纯RL方法相比，这对应于样品复杂性的指数改善，而专家输入令人惊讶。与先前的模仿学习（IL）方法相比，我们所需的专家演示数量独立于$ h $和$ 1/\ varepsilon $的对数，而所有先前的工作至少需要两者的线性因素，除了对$ $ $ $的依赖性外， D $。为了确定所需的专家查询数量最少，我们表明，在同一环境中，任何其勘探预算是多项式限制的学习者（在$ d，h，$和$ | \ | \ MATHCAL {a} | $方面，需要至少$ \ tilde \ omega（\ sqrt {d}）$ oracle调用以恢复与专家的价值函数竞争的策略。在较弱的假设中，专家的政策是线性的，我们表明下限将增加到$ \ tilde \ omega（d）$。

This paper studies systematic exploration for reinforcement learning with rich observations and function approximation. We introduce a new model called contextual decision processes, that unifies and generalizes most prior settings. Our first contribution is a complexity measure, the Bellman rank , that we show enables tractable learning of near-optimal behavior in these processes and is naturally small for many well-studied reinforcement learning settings. Our second contribution is a new reinforcement learning algorithm that engages in systematic exploration to learn contextual decision processes with low Bellman rank. Our algorithm provably learns near-optimal behavior with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The approach uses Bellman error minimization with optimistic exploration and provides new insights into efficient exploration for reinforcement learning with function approximation.

强化学习算法的实用性由于相对于问题大小的规模差而受到限制，因为学习$ \ epsilon $ -optimal策略的样本复杂性为$ \ tilde {\ omega} \ left（| s | s || a || a || a || a | h^3 / \ eps^2 \ right）$在MDP的最坏情况下，带有状态空间$ S $，ACTION SPACE $ A $和HORIZON $ H $。我们考虑一类显示出低级结构的MDP，其中潜在特征未知。我们认为，价值迭代和低级别矩阵估计的自然组合导致估计误差在地平线上呈指数增长。然后，我们提供了一种新算法以及统计保证，即有效利用了对生成模型的访问，实现了$ \ tilde {o} \ left的样本复杂度（d^5（d^5（| s |+| a |）\），我们有效利用低级结构。对于等级$ d $设置的Mathrm {Poly}（h）/\ EPS^2 \ right）$，相对于$ | s |，| a | $和$ \ eps $的缩放，这是最小值的最佳。与线性和低级别MDP的文献相反，我们不需要已知的功能映射，我们的算法在计算上很简单，并且我们的结果长期存在。我们的结果提供了有关MDP对过渡内核与最佳动作值函数所需的最小低级结构假设的见解。

大部分强化学习理论都建立在计算上难以实施的甲板上。专门用于在部分可观察到的马尔可夫决策过程（POMDP）中学习近乎最佳的政策，现有算法要么需要对模型动态（例如确定性过渡）做出强有力的假设，要么假设访问甲骨文作为解决艰难的计划或估算问题的访问子例程。在这项工作中，我们在合理的假设下开发了第一个用于POMDP的无Oracle学习算法。具体而言，我们给出了一种用于在“可观察” pomdps中学习的准化性时间端到端算法，其中可观察性是一个假设，即对国家而言，分离良好的分布诱导了分离良好的分布分布而不是观察。我们的技术规定了在不确定性下使用乐观原则来促进探索的更传统的方法，而是在构建策略涵盖的情况下提供了一种新颖的barycentric跨度应用。

Modern Reinforcement Learning (RL) is commonly applied to practical problems with an enormous number of states, where function approximation must be deployed to approximate either the value function or the policy. The introduction of function approximation raises a fundamental set of challenges involving computational and statistical efficiency, especially given the need to manage the exploration/exploitation tradeoff. As a result, a core RL question remains open: how can we design provably efficient RL algorithms that incorporate function approximation? This question persists even in a basic setting with linear dynamics and linear rewards, for which only linear function approximation is needed.This paper presents the first provable RL algorithm with both polynomial runtime and polynomial sample complexity in this linear setting, without requiring a "simulator" or additional assumptions. Concretely, we prove that an optimistic modification of Least-Squares Value Iteration (LSVI)-a classical algorithm frequently studied in the linear setting-achieves O( √ d 3 H 3 T ) regret, where d is the ambient dimension of feature space, H is the length of each episode, and T is the total number of steps. Importantly, such regret is independent of the number of states and actions.

无奖励强化学习（RL）考虑了代理在探索过程中无法访问奖励功能的设置，但必须提出仅在探索后才揭示的任意奖励功能的近乎最佳的政策。在表格环境中，众所周知，这是一个比奖励意识（PAC）RL（代理在探索过程中访问奖励功能）更困难的问题$ | \ Mathcal {s} | $，状态空间的大小。我们表明，在线性MDP的设置中，这种分离不存在。我们首先在$ d $二维线性MDP中开发了一种计算高效算法，其样品复杂度比例为$ \ widetilde {\ Mathcal {o}}（d^2 H^5/\ epsilon^2）$ 。然后，我们显示出$ \ omega（d^2 h^2/\ epsilon^2）$的匹配尺寸依赖性的下限，该限制为奖励感知的RL设置。据我们所知，我们的方法是第一个在线性MDP中实现最佳$ d $依赖性的计算有效算法，即使在单次奖励PAC设置中也是如此。我们的算法取决于一种新的程序，该过程有效地穿越了线性MDP，在任何给定的``特征方向''中收集样品，并在最大状态访问概率（线性MDP等效）中享受最佳缩放样品复杂性。我们表明，该探索过程也可以应用于解决线性MDP中````良好条件''''协变量的问题。

我们研究了通过功能近似的强化学习，以部分可观察到的马尔可夫决策过程（POMDP），其中状态空间和观察空间很大甚至连续。特别是，我们考虑了POMDP的Hilbert空间嵌入，其中潜在状态的特征和观察的特征允许观测发射过程的有条件的希尔伯特空间嵌入，而潜在状态过渡是确定性的。在函数近似设置下，最佳潜在状态行动$ q $函数在状态功能中是线性的，而最佳$ q $ - 功能具有差距，我们提供了\ emph {计算和统计上有效} algorithm查找\ emph {确切的最佳}策略。我们在观察空间上的算法和特征的固有维度上，在多项式上显示了算法的计算和统计复杂性。此外，我们显示了确定性的潜在过渡和差距假设对于避免统计复杂性指数在地平线或维度中是必要的。由于我们的保证对状态和观察空间的大小没有明确的依赖性，因此我们的算法可证明对大规模POMDPS。

We study learning contextual MDPs using a function approximation for both the rewards and the dynamics. We consider both the case that the dynamics dependent or independent of the context. For both models we derive polynomial sample and time complexity (assuming an efficient ERM oracle). Our methodology gives a general reduction from learning contextual MDP to supervised learning.

我们介绍了一种普遍的策略，可实现有效的多目标勘探。它依赖于adagoal，一种基于简单约束优化问题的新的目标选择方案，其自适应地针对目标状态，这既不是太困难也不是根据代理目前的知识达到的。我们展示了Adagoal如何用于解决学习$ \ epsilon $ -optimal的目标条件的政策，以便在$ L $ S_0 $ S_0 $奖励中获得的每一个目标状态，以便在$ S_0 $中获取。免费马尔可夫决策过程。在标准的表格外壳中，我们的算法需要$ \ tilde {o}（l ^ 3 s a \ epsilon ^ { - 2}）$探索步骤，这几乎很少最佳。我们还容易在线性混合Markov决策过程中实例化Adagoal，其产生具有线性函数近似的第一目标导向的PAC保证。除了强大的理论保证之外，迈克纳队以现有方法的高级别算法结构为锚定，为目标条件的深度加固学习。

低级MDP已成为研究强化学习中的表示和探索的重要模型。有了已知的代表，存在几种无模型的探索策略。相反，未知表示设置的所有算法都是基于模型的，因此需要对完整动力学进行建模。在这项工作中，我们介绍了低级MDP的第一个无模型表示学习算法。关键的算法贡献是一个新的Minimax表示学习目标，我们为其提供具有不同权衡的变体，其统计和计算属性不同。我们将这一表示的学习步骤与探索策略交织在一起，以无奖励的方式覆盖状态空间。所得算法可证明样品有效，并且可以适应一般函数近似以扩展到复杂的环境。

在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。

强化学习理论集中在两个基本问题上：实现低遗憾，并确定$ \ epsilon $ - 最佳政策。虽然简单的减少允许人们应用低温算法来获得$ \ epsilon $ - 最佳政策并达到最坏的最佳速率，但尚不清楚低regret算法是否可以获得实例 - 最佳率的策略识别率。我们表明这是不可能的 - 在遗憾和确定$ \ epsilon $ - 最佳政策之间以最佳的利率确定了基本的权衡。由于我们的负面发现，我们提出了针对PAC表格增强学习实例依赖性样本复杂性的新量度，该方法明确说明了基础MDP中可达到的国家访问分布。然后，我们提出和分析一种基于计划的新型算法，该算法达到了这种样本的复杂性 - 产生的复杂性会随着次要差距和状态的“可达到性”而缩放。我们显示我们的算法几乎是最小的最佳选择，并且在一些示例中，我们实例依赖性样品复杂性比最差案例界限可显着改善。

模仿学习（IL）是解决顺序决策问题的一般学习范式。互动模仿学习，学习者可以在其中与专家示范的互动查询，与其离线同行或强化学习相比，已证明可以实现可证明的卓越样本效率保证。在这项工作中，我们研究了基于分类的在线模仿学习（abbrev。$ \ textbf {coil} $），以及在这种情况下设计Oracle有效的遗憾最小化算法的基本可行性，重点是一般的不可思议的情况。我们做出以下贡献：（1）我们表明，在$ \ textbf {coil} $问题中，任何适当的在线学习算法都不能保证总体上遗憾的是； （2）我们提出了$ \ textbf {logger} $，一种不当的在线学习算法框架，通过利用混合策略类的新定义，将$ \ textbf {coil} $降低到在线线性优化； （3）我们在$ \ textbf {logger} $框架中设计了两种Oracle效率算法，它们享受不同的样本和互动的复杂性权衡，并进行有限样本分析以显示其对幼稚行为克隆的改进； （4）我们表明，在标准复杂性理论假设下，在$ \ textbf {logger} $框架中，有效的动态遗憾最小化是不可行的。我们的工作将基于分类的在线模仿学习（一个重要的IL设置）置于更牢固的基础上。

我们在一般的非线性函数近似下研究无奖励增强学习（RL），并在各种标准结构假设下建立样品效率和硬度结果。从积极的一面来看，我们提出了在最小的结构假设下进行样品有效奖励探索的Rfolive（无奖励橄榄）算法，该假设涵盖了先前研究的线性MDPS的设置（Jin等，2020b），线性完整性（线性完整性）（ Zanette等人，2020b）和低级MDP，具有未知的表示（Modi等，2021）。我们的分析表明，以前针对后两个设置的易学性或可及性假设在统计上对于无奖励探索而言并不是必需的。在负面方面，我们为在线性完整性假设下的无奖励和奖励意识探索提供统计硬度结果时，当基础特征未知时，显示了低级别和线性完整性设置之间的指数分离。

我们研究了基于模型的无奖励加强学习，具有ePiSodic Markov决策过程的线性函数近似（MDP）。在此设置中，代理在两个阶段工作。在勘探阶段，代理商与环境相互作用并在没有奖励的情况下收集样品。在规划阶段，代理商给出了特定的奖励功能，并使用从勘探阶段收集的样品来学习良好的政策。我们提出了一种新的可直接有效的算法，称为UCRL-RFE在线性混合MDP假设，其中MDP的转换概率内核可以通过线性函数参数化，在状态，动作和下一个状态的三联体上定义的某些特征映射上参数化。我们展示了获得$ \ epsilon $-Optimal策略进行任意奖励函数，Ucrl-RFE需要以大多数$ \ tilde {\ mathcal {o}}来进行采样（h ^ 5d ^ 2 \ epsilon ^ { - 2}）勘探阶段期间的$派对。在这里，$ H $是集的长度，$ d $是特征映射的尺寸。我们还使用Bernstein型奖金提出了一种UCRL-RFE的变种，并表明它需要在大多数$ \ TINDE {\ MATHCAL {o}}（H ^ 4D（H + D）\ epsilon ^ { - 2}）进行样本$达到$ \ epsilon $ -optimal政策。通过构建特殊类的线性混合MDPS，我们还证明了对于任何无奖励算法，它需要至少为$ \ TINDE \ OMEGA（H ^ 2d \ epsilon ^ { - 2}）$剧集来获取$ \ epsilon $ -optimal政策。我们的上限与依赖于$ \ epsilon $的依赖性和$ d $ if $ h \ ge d $。

在现实世界的强化学习应用中，学习者的观察空间无处不在，有关手头任务的相关信息和无关紧要。从高维观察中学习一直是监督学习和统计数据（例如，通过稀疏性）进行广泛研究的主题，但是即使在有限的状态/行动（表格）领域，也不能很好地理解强化学习中的类似问题。我们引入了一个新的问题设置，用于增强学习，即马尔可夫决策过程（EXOMDP），其中状态空间将（未知）分解成一个小的（或内源性）组件，并且很大的无关（或外源）组件;外源成分独立于学习者的行为，但以任意的，时间相关的方式演变。我们提供了一种新的算法Exorl，该算法学习了一种近乎最佳的政策，其样品复杂性在内源性组件的大小中多项式，几乎独立于外源成分的大小，从而提供了一个双重指数的改进算法。我们的结果首次突出了在存在外源信息的情况下首次可以进行样品高效的增强学习，并为未来的调查提供了简单，用户友好的基准。

我们考虑了离线强化学习问题，其中目的是学习从记录数据的决策策略。离线RL - 特别是当耦合时函数近似时允许在大或连续状态空间中允许泛化 - 在实践中变得越来越相关，因为它避免了昂贵且耗时的在线数据收集，并且非常适合安全 - 关键域名。对于离线值函数近似方法的现有样本复杂性保证通常需要（1）分配假设（即，良好的覆盖率）和（2）代表性假设（即，表示一些或所有$ q $ -value函数的能力）比什么是更强大的受监督学习所必需的。然而，尽管研究了几十年的研究，但仍然无法充分理解这些条件和离线RL的基本限制。这使得陈和江（2019）猜想勇敢地（覆盖范围最大的覆盖率）和可实现性（最弱的代表条件）不足以足以用于样品有效的离线RL。通过证明通常，即使满足勇敢性和可实现性，也要解决这一猜想，即使满足既勇敢性和可实现性，也需要在状态空间的大小中需要采样复杂性多项式以学习非琐碎的政策。我们的研究结果表明，采样高效的离线强化学习需要超越监督学习的限制性覆盖条件或代表条件，并突出显示出称为过度覆盖的现象，该现象用作离线值函数近似方法的基本障碍。通过线性函数近似的加强学习结果的结果是，即使在恒定尺寸，在线和离线RL之间的分离也可以是任意大的。

Epsilon-Greedy，SoftMax或Gaussian噪声等近视探索政策在某些强化学习任务中无法有效探索，但是在许多其他方面，它们的表现都很好。实际上，实际上，由于简单性，它们通常被选为最佳选择。但是，对于哪些任务执行此类政策成功？我们可以为他们的有利表现提供理论保证吗？尽管这些政策具有显着的实际重要性，但这些关键问题几乎没有得到研究。本文介绍了对此类政策的理论分析，并为通过近视探索提供了对增强学习的首次遗憾和样本复杂性。我们的结果适用于具有有限的Bellman Eluder维度的情节MDP中的基于价值功能的算法。我们提出了一种新的复杂度度量，称为近视探索差距，用Alpha表示，该差距捕获了MDP的结构属性，勘探策略和给定的值函数类别。我们表明，近视探索的样品复杂性与该数量的倒数1 / alpha^2二次地量表。我们通过具体的例子进一步证明，由于相应的动态和奖励结构，在近视探索成功的几项任务中，近视探索差距确实是有利的。

我们使用访问离线最小二乘回归甲骨文的访问权限，在最低可及性假设下为随机上下文MDP提供了遗憾的最小化算法。我们分析了三个不同的设置：在该动力学的位置，动力学是未知的，但独立于上下文和最具挑战性的设置，而动力学是未知和上下文依赖性的。对于后者，我们的算法获得$ \ tilde {o} \ left（\ max \ {h，{1}/{p_ {min}}} \} \} t \ log（\ max \ {| \ mathcal {f} |，| \ mathcal {p} | \}/\ delta）} \ right）$ hearse bunder bund bund bund bund bund bund bund bunging bund bunger，probinality $ 1- \ delta $，其中$ \ mathcal { P} $和$ \ Mathcal {f} $是用于分别近似动态和奖励的有限且可实现的函数类，$ p_ {min} $是最小可及性参数，$ s $是一组状态，$ a $ a $一组动作，$ h $ the Horizo​​n和$ t $情节数。据我们所知，我们的方法是使用一般函数近似的上下文MDP的第一种乐观方法（即，在没有其他有关功能类别的知识的情况下，例如线性等）。此外，我们还提供$ \ omega的下限即使在已知的动态情况下，也会产生预期的遗憾。

We study time-inhomogeneous episodic reinforcement learning (RL) under general function approximation and sparse rewards. We design a new algorithm, Variance-weighted Optimistic $Q$-Learning (VO$Q$L), based on $Q$-learning and bound its regret assuming completeness and bounded Eluder dimension for the regression function class. As a special case, VO$Q$L achieves $\tilde{O}(d\sqrt{HT}+d^6H^{5})$ regret over $T$ episodes for a horizon $H$ MDP under ($d$-dimensional) linear function approximation, which is asymptotically optimal. Our algorithm incorporates weighted regression-based upper and lower bounds on the optimal value function to obtain this improved regret. The algorithm is computationally efficient given a regression oracle over the function class, making this the first computationally tractable and statistically optimal approach for linear MDPs.