平衡勘探和剥削对加强学习（RL）至关重要。在本文中，我们在理论上和经验上，研究了用于连续状态行动空间的加固学习（PSRL）的模型后采样。首先，我们在连续空间中显示PSRL的第一个遗憾，这是我们知识中的最佳地段中的多项式。假设奖励和转换函数可以由贝叶斯线性回归建模，我们开发了$ \ tilde {o}的遗憾（h ^ {3/2} d \ sqrt {t}）$，其中$ h $剧集长度，$ D $是状态动作空间的维度，$ t $表示总时间步骤。此结果与线性MDP中的非PSRL方法的最佳已知的遗憾符合。我们的绑定可以扩展到非线性情况以及功能嵌入功能：在特征表示上的线性内核$ \ phi $，后悔绑定成为$ \ tilde {o}（h ^ {3/2} d _ {\ phi} \ SQRT {T}）$，其中$ d_ \ phi $是表示空间的尺寸。此外，我们呈现MPC-PSRL，一种基于模型的后部采样算法，具有用于动作选择的模型预测控制。为了捕获模型中的不确定性，我们在神经网络的倒数第二层（特征表示层$ \ phi $）上使用贝叶斯线性回归。实证结果表明，与基于模型的算法相比，我们的算法在基准连续控制任务中实现了最先进的示例效率，并匹配无模型算法的渐近性能。

代表学习呈现在深入学习的经验成功的核心，以处理维度的诅咒。然而，由于i），表现力（RL）的钢筋学习（RL）尚未充分利用卓越的能力，表现力和易疏忽之间的权衡;二世），探索与代表学习之间的耦合。在本文中，我们首先揭示了在随机控制模型中的一些噪声假设下，我们可以免费获得其相应的马尔可夫过渡操作员的线性谱特征。基于该观察，我们提出了嵌入（Spede）的谱动力学嵌入（SPEDE），这将通过利用噪声结构来完成对代表学习的乐观探索。我们提供对Speded的严格理论分析，并展示了几种基准上现有最先进的实证算法的实际卓越性能。

我们认为在情节环境中的强化学习（RL）中的遗憾最小化问题。在许多实际的RL环境中，状态和动作空间是连续的或非常大的。现有方法通过随机过渡模型的低维表示或$ q $ functions的近似值来确定遗憾的保证。但是，对国家价值函数的函数近似方案的理解基本上仍然缺失。在本文中，我们提出了一种基于在线模型的RL算法，即CME-RL，该算法将过渡分布的表示形式学习为嵌入在复制的内核希尔伯特领域中的嵌入，同时仔细平衡了利用探索 - 探索权衡取舍。我们通过证明频繁的（最糟糕的）遗憾结束了$ \ tilde {o} \ big（h \ gamma_n \ sqrt {n} \ big）$ \ footnote {$ footnote {$ tilde {$ o}（\ cdot）$仅隐藏绝对常数和poly-logarithmic因素。}，其中$ h $是情节长度，$ n $是时间步长的总数，$ \ gamma_n $是信息理论数量国家行动特征空间的有效维度。我们的方法绕过了估计过渡概率的需求，并适用于可以定义内核的任何域。它还为内核方法的一般理论带来了新的见解，以进行近似推断和RL遗憾的最小化。

确保基于乐观或后采样（PSRL）的基于模型的强化增强学习（MBRL）通过引入模型的复杂度度量，以渐近地实现全局最优性。但是，对于最简单的非线性模型，复杂性可能会成倍增长，在有限的迭代中，全局收敛是不可能的。当模型遭受大的概括误差（通过模型复杂性定量测量）时，不确定性可能很大。因此，对当前策略进行贪婪优化的采样模型将不设置，从而导致积极的政策更新和过度探索。在这项工作中，我们提出了涉及参考更新和保守更新的保守双重政策优化（CDPO）。该策略首先在参考模型下进行了优化，该策略模仿PSRL的机制，同时提供更大的稳定性。通过最大化模型值的期望来保证保守的随机性范围。没有有害的采样程序，CDPO仍然可以达到与PSRL相同的遗憾。更重要的是，CDPO同时享有单调的政策改进和全球最优性。经验结果还验证了CDPO的勘探效率。

在不确定性面前的乐观原则在整个连续决策中普遍存在，如多武装匪和加强学习（RL）等问题。为了成功，乐观的RL算法必须过度估计真正的值函数（乐观），但不是通过它不准确的（估计错误）。在表格设置中，许多最先进的方法通过在缩放到深rl时难以应变的方法产生所需的乐观。我们重新解释基于可扩展的乐观模型的算法，以解决易解噪声增强MDP。这种配方实现了竞争遗憾：$ \ tilde {\ mathcal {o}}（| \ mathcal {s} | h \ sqrt {| \ mathcal {a} | t} $在使用高斯噪音时，$ t $是环境步骤的总数。我们还探讨了这种权衡在深度RL设置中的权衡变化，我们在验证上显示估计误差明显更麻烦。但是，我们还表明，如果此错误减少，基于乐观的模型的RL算法可以在连续控制问题中匹配最先进的性能。

Many real-world reinforcement learning tasks require control of complex dynamical systems that involve both costly data acquisition processes and large state spaces. In cases where the transition dynamics can be readily evaluated at specified states (e.g., via a simulator), agents can operate in what is often referred to as planning with a \emph{generative model}. We propose the AE-LSVI algorithm for best-policy identification, a novel variant of the kernelized least-squares value iteration (LSVI) algorithm that combines optimism with pessimism for active exploration (AE). AE-LSVI provably identifies a near-optimal policy \emph{uniformly} over an entire state space and achieves polynomial sample complexity guarantees that are independent of the number of states. When specialized to the recently introduced offline contextual Bayesian optimization setting, our algorithm achieves improved sample complexity bounds. Experimentally, we demonstrate that AE-LSVI outperforms other RL algorithms in a variety of environments when robustness to the initial state is required.

我们提出了一种乐观的基于模型的算法，Dubbed SMRL，用于通过指数族分布指定的转换模型，以D $参数指定，奖励是有界和已知的。SMRL使用得分匹配，一种无通量的密度估计技术，可以通过RIDGE回归有效地估计模型参数。在标准规律性假设下，SMRL实现$ \ tilde o（d \ sqrt {h ^ 3t}）$在线遗憾，其中$ h $是每一集的长度，$ t $是互动的总数（忽略多项式依赖结构尺度参数）。

在RL的许多实际应用中，观察来自环境的状态过渡是昂贵的。例如，在核聚变的等离子体控制问题中，计算给定的状态对对的下一个状态需要查询昂贵的过渡功能，这可以导致许多小时的计算机模拟或美元科学研究。这种昂贵的数据收集禁止应用标准RL算法，该算法通常需要大量观察来学习。在这项工作中，我们解决了有效地学习策略的问题，同时为转换函数进行最小数量的状态动作查询。特别是，我们利用贝叶斯最优实验设计的想法，以指导选择国家行动查询以获得高效学习。我们提出了一种采集功能，该函数量化了状态动作对将提供多少信息对Markov决策过程提供的最佳解决方案。在每次迭代时，我们的算法最大限度地提高了该采集功能，选择要查询的最具信息性的状态动作对，从而产生数据有效的RL方法。我们试验各种模拟的连续控制问题，并显示我们的方法学习最佳政策，最高$ 5 $ - $ 1,000 \倍的数据，而不是基于模型的RL基线，10 ^ 3美元 - $ 10 ^ 5 \ times比无模型RL基线更少的数据。我们还提供了几种消融比较，这指出了从获得数据的原理方法产生的大量改进。

We study model-based reinforcement learning (RL) for episodic Markov decision processes (MDP) whose transition probability is parametrized by an unknown transition core with features of state and action. Despite much recent progress in analyzing algorithms in the linear MDP setting, the understanding of more general transition models is very restrictive. In this paper, we establish a provably efficient RL algorithm for the MDP whose state transition is given by a multinomial logistic model. To balance the exploration-exploitation trade-off, we propose an upper confidence bound-based algorithm. We show that our proposed algorithm achieves $\tilde{\mathcal{O}}(d \sqrt{H^3 T})$ regret bound where $d$ is the dimension of the transition core, $H$ is the horizon, and $T$ is the total number of steps. To the best of our knowledge, this is the first model-based RL algorithm with multinomial logistic function approximation with provable guarantees. We also comprehensively evaluate our proposed algorithm numerically and show that it consistently outperforms the existing methods, hence achieving both provable efficiency and practical superior performance.

We develop an extension of posterior sampling for reinforcement learning (PSRL) that is suited for a continuing agent-environment interface and integrates naturally into agent designs that scale to complex environments. The approach maintains a statistically plausible model of the environment and follows a policy that maximizes expected $\gamma$-discounted return in that model. At each time, with probability $1-\gamma$, the model is replaced by a sample from the posterior distribution over environments. For a suitable schedule of $\gamma$, we establish an $\tilde{O}(\tau S \sqrt{A T})$ bound on the Bayesian regret, where $S$ is the number of environment states, $A$ is the number of actions, and $\tau$ denotes the reward averaging time, which is a bound on the duration required to accurately estimate the average reward of any policy.

Modern Reinforcement Learning (RL) is commonly applied to practical problems with an enormous number of states, where function approximation must be deployed to approximate either the value function or the policy. The introduction of function approximation raises a fundamental set of challenges involving computational and statistical efficiency, especially given the need to manage the exploration/exploitation tradeoff. As a result, a core RL question remains open: how can we design provably efficient RL algorithms that incorporate function approximation? This question persists even in a basic setting with linear dynamics and linear rewards, for which only linear function approximation is needed.This paper presents the first provable RL algorithm with both polynomial runtime and polynomial sample complexity in this linear setting, without requiring a "simulator" or additional assumptions. Concretely, we prove that an optimistic modification of Least-Squares Value Iteration (LSVI)-a classical algorithm frequently studied in the linear setting-achieves O( √ d 3 H 3 T ) regret, where d is the ambient dimension of feature space, H is the length of each episode, and T is the total number of steps. Importantly, such regret is independent of the number of states and actions.

我们在非静止线性（AKA低级别）马尔可夫决策过程（MDP）中研究了集中加强学习，即奖励和转换内核都是关于给定特征映射的线性，并且被允许缓慢或突然演变时间。对于此问题设置，我们提出了一种基于加权最小二乘值的乐观模型算法的Opt-WLSVI，其使用指数权重来平滑地忘记过去远远的数据。我们表明我们的算法在每次竞争最佳政策时，实现了由$ \ widetilde {\ mathcal {o}}的上部界限的遗憾（d ^ {5/4} h ^ 2 \ delta ^ {1 / 4} k ^ {3/4}）$何地在$ d $是特征空间的尺寸，$ h $是规划地平线，$ k $是剧集的数量和$ \ delta $是一个合适的衡量标准MDP的非固定性。此外，我们指出了在忘记以前作品的非静止线性匪徒环境中忘记策略的技术差距，并提出了修复其遗憾分析。

In reinforcement learning the Q-values summarize the expected future rewards that the agent will attain. However, they cannot capture the epistemic uncertainty about those rewards. In this work we derive a new Bellman operator with associated fixed point we call the `knowledge values'. These K-values compress both the expected future rewards and the epistemic uncertainty into a single value, so that high uncertainty, high reward, or both, can yield high K-values. The key principle is to endow the agent with a risk-seeking utility function that is carefully tuned to balance exploration and exploitation. When the agent follows a Boltzmann policy over the K-values it yields a Bayes regret bound of $\tilde O(L \sqrt{S A T})$, where $L$ is the time horizon, $S$ is the total number of states, $A$ is the number of actions, and $T$ is the number of elapsed timesteps. We show deep connections of this approach to the soft-max and maximum-entropy strands of research in reinforcement learning.

Deep latent variable models have achieved significant empirical successes in model-based reinforcement learning (RL) due to their expressiveness in modeling complex transition dynamics. On the other hand, it remains unclear theoretically and empirically how latent variable models may facilitate learning, planning, and exploration to improve the sample efficiency of RL. In this paper, we provide a representation view of the latent variable models for state-action value functions, which allows both tractable variational learning algorithm and effective implementation of the optimism/pessimism principle in the face of uncertainty for exploration. In particular, we propose a computationally efficient planning algorithm with UCB exploration by incorporating kernel embeddings of latent variable models. Theoretically, we establish the sample complexity of the proposed approach in the online and offline settings. Empirically, we demonstrate superior performance over current state-of-the-art algorithms across various benchmarks.

我们研究了基于模型的无奖励加强学习，具有ePiSodic Markov决策过程的线性函数近似（MDP）。在此设置中，代理在两个阶段工作。在勘探阶段，代理商与环境相互作用并在没有奖励的情况下收集样品。在规划阶段，代理商给出了特定的奖励功能，并使用从勘探阶段收集的样品来学习良好的政策。我们提出了一种新的可直接有效的算法，称为UCRL-RFE在线性混合MDP假设，其中MDP的转换概率内核可以通过线性函数参数化，在状态，动作和下一个状态的三联体上定义的某些特征映射上参数化。我们展示了获得$ \ epsilon $-Optimal策略进行任意奖励函数，Ucrl-RFE需要以大多数$ \ tilde {\ mathcal {o}}来进行采样（h ^ 5d ^ 2 \ epsilon ^ { - 2}）勘探阶段期间的$派对。在这里，$ H $是集的长度，$ d $是特征映射的尺寸。我们还使用Bernstein型奖金提出了一种UCRL-RFE的变种，并表明它需要在大多数$ \ TINDE {\ MATHCAL {o}}（H ^ 4D（H + D）\ epsilon ^ { - 2}）进行样本$达到$ \ epsilon $ -optimal政策。通过构建特殊类的线性混合MDPS，我们还证明了对于任何无奖励算法，它需要至少为$ \ TINDE \ OMEGA（H ^ 2d \ epsilon ^ { - 2}）$剧集来获取$ \ epsilon $ -optimal政策。我们的上限与依赖于$ \ epsilon $的依赖性和$ d $ if $ h \ ge d $。

Epsilon-Greedy，SoftMax或Gaussian噪声等近视探索政策在某些强化学习任务中无法有效探索，但是在许多其他方面，它们的表现都很好。实际上，实际上，由于简单性，它们通常被选为最佳选择。但是，对于哪些任务执行此类政策成功？我们可以为他们的有利表现提供理论保证吗？尽管这些政策具有显着的实际重要性，但这些关键问题几乎没有得到研究。本文介绍了对此类政策的理论分析，并为通过近视探索提供了对增强学习的首次遗憾和样本复杂性。我们的结果适用于具有有限的Bellman Eluder维度的情节MDP中的基于价值功能的算法。我们提出了一种新的复杂度度量，称为近视探索差距，用Alpha表示，该差距捕获了MDP的结构属性，勘探策略和给定的值函数类别。我们表明，近视探索的样品复杂性与该数量的倒数1 / alpha^2二次地量表。我们通过具体的例子进一步证明，由于相应的动态和奖励结构，在近视探索成功的几项任务中，近视探索差距确实是有利的。

我们考虑在以$ s $状态的地平线$ h $和$ a $ ACTIVE的偶发性，有限的，依赖于阶段的马尔可夫决策过程的环境中进行强化学习。代理商的性能是在与环境互动以$ t $插件互动后的遗憾来衡量的。我们提出了一种乐观的后验抽样算法（OPSRL），这是一种简单的后验抽样变体，仅需要许多后样品对数，$ h $，$ s $，$ a $和$ t $ a $ h $ s $ s $ a $ a $和$ t $一对。对于OPSRL，我们保证最多可容纳订单的高概率遗憾，$ \ wideTilde {\ mathcal {o}}}（\ sqrt {h^3sat}）$忽略$ \ text {poly} \ log（hsat）$项。新型的新型技术成分是线性形式的新型抗浓缩不等式，可能具有独立感兴趣。具体而言，我们将Alfers and Dinges [1984]的Beta分布的基于正常近似的下限扩展到Dirichlet分布。我们的界限匹配订单$ \ omega（\ sqrt {h^3sat}）$的下限，从而回答了Agrawal和Jia [2017b]在情节环境中提出的空旷问题。

基于模型的强化学习引起了广泛的样本效率。尽管到目前为止，它令人印象深刻，但仍然不清楚如何适当安排重要的超参数，以实现足够的性能，例如基于Dyna样式的算法中的政策优化的实际数据比。在本文中，我们首先分析了实际数据在政策培训中的作用，这表明逐渐增加了实际数据的比例会产生更好的性能。灵感来自分析，我们提出了一个名为autombpo的框架，以自动安排真实的数据比以及基于培训模型的策略优化（MBPO）算法的其他超参数，是基于模型的方法的代表性运行情况。在几个连续控制任务上，由AutomBPO安排的HyperParameters培训的MBPO实例可以显着超越原始的，并且AutomBPO找到的真实数据比例计划显示了与我们的理论分析的一致性。

我们提出了在表格，依赖阶段的，情节的马尔可夫决策过程中使用贝叶斯-UCBVI算法进行增强学习的：Kaufmann等人的贝叶斯-UCB算法的自然扩展。 （2012年）用于多军匪徒。我们的方法将Q值函数后部的分位数用作最佳Q值函数上的上限。对于贝叶斯-UCBVI，我们证明了一个遗憾的是$ \ wideTilde {o}（\ sqrt {h^3sat}）$，其中$ h $是一集的长度，$ s $是$ s $的数量，$ a $ a $动作数量，$ t $情节数，与$ \ omega（\ sqrt {h^3sat}）$符合poly-$ \ $ \ log $ enter $ h，s，s，a，a，a，a，a ，适用于足够大的$ t $的t $。据我们所知，这是第一种获得对地平线$ h $（和$ s $）的最佳依赖性的算法，而无需涉及伯恩斯坦的奖金或噪音。对于我们的分析而言，至关重要的是一种新的细粒抗浓缩，以具有独立感兴趣的加权dirichlet总和。然后，我们解释了如何轻松地将贝叶斯-UCBVI延伸到表格环境之外，从而在我们的算法和贝叶斯引导之间表现出牢固的联系（Rubin，1981）。

我们研究了具有线性函数近似增强学习中的随机最短路径（SSP）问题，其中过渡内核表示为未知模型的线性混合物。我们将此类别的SSP问题称为线性混合物SSP。我们提出了一种具有Hoeffding-type置信度的新型算法，用于学习线性混合物SSP，可以获得$ \ tilde {\ Mathcal {o}}}}（d B _ {\ star}^{1.5} \ sqrt {k/c_ {k/c_ {k/c_ {k/c_ { \ min}}）$遗憾。这里$ k $是情节的数量，$ d $是混合模型中功能映射的维度，$ b _ {\ star} $限制了最佳策略的预期累积成本，$ c _ {\ min}>> 0 $是成本函数的下限。当$ c _ {\ min} = 0 $和$ \ tilde {\ mathcal {o}}}（k^{2/3}）$遗憾时，我们的算法也适用于情况。据我们所知，这是第一个具有sublrinear遗憾保证线性混合物SSP的算法。此外，我们设计了精致的伯恩斯坦型信心集并提出了改进的算法，该算法可实现$ \ tilde {\ Mathcal {o}}}（d b _ {\ star} \ sqrt {k/c/c/c {k/c _ {\ min}}） $遗憾。为了补充遗憾的上限，我们还证明了$ \ omega（db _ {\ star} \ sqrt {k}）$的下限。因此，我们的改进算法将下限匹配到$ 1/\ sqrt {c _ {\ min}} $ factor和poly-logarithmic因素，从而实现了近乎最佳的遗憾保证。