有许多可用于情节增强学习的有效算法。然而,这些算法是在假设与每个剧集相关的状态,动作和奖励的序列立即到达的假设之下,允许在与环境的各个交互之后进行策略更新。这种假设在实践中通常是不现实的,特别是在诸如医疗保健和在线推荐等领域。在本文中,我们研究了延迟反馈对近几种可释放有效算法的影响,以便在情节增强学习中遗工最小化。首先,一旦新的反馈可用,我们会考虑更新策略。使用此更新方案,我们表明遗憾的是涉及状态,措施,发作长度和预期延迟的数量的附加术语增加。这种添加剂术语根据乐观选择算法而变化。我们还表明,更新的更新政策可能会导致对延迟遗憾的改进依赖。
translated by 谷歌翻译
Model-free reinforcement learning (RL) algorithms, such as Q-learning, directly parameterize and update value functions or policies without explicitly modeling the environment. They are typically simpler, more flexible to use, and thus more prevalent in modern deep RL than model-based approaches. However, empirical work has suggested that model-free algorithms may require more samples to learn [7,22]. The theoretical question of "whether model-free algorithms can be made sample efficient" is one of the most fundamental questions in RL, and remains unsolved even in the basic scenario with finitely many states and actions.We prove that, in an episodic MDP setting, Q-learning with UCB exploration achieves regret Õ( √ H 3 SAT ), where S and A are the numbers of states and actions, H is the number of steps per episode, and T is the total number of steps. This sample efficiency matches the optimal regret that can be achieved by any model-based approach, up to a single √ H factor. To the best of our knowledge, this is the first analysis in the model-free setting that establishes √ T regret without requiring access to a "simulator." * The first two authors contributed equally.
translated by 谷歌翻译
强化学习通常假设代理人立即观察其动作的反馈,但在许多实际应用中(如推荐系统),延迟观察到反馈。本文在线学习在线学习,具有未知过渡,过渡性的成本和不受限制的延迟反馈,在线学习。也就是说,集中的成本和轨迹只在第k + d ^ k $的集中延迟到学习者,其中延迟$ d ^ k $既不相同也不有界限,并由其中选择忘记的对手。我们提出了基于策略优化的新型算法,该算法在全信息反馈下实现了$ \ sqrt {k + d} $的近乎最佳的高概率遗憾,其中$ k $是剧集的数量和$ d = \ sum_ {k D ^ K $是总延迟。在强盗反馈下,我们证明了类似$ \ SQRT {K + D} $遗憾假设成本是随机的,而在一般情况下为$(k + d)^ {2/3} $遗憾。我们是第一个在具有延迟反馈的MDP的重要设置中考虑后悔最小化。
translated by 谷歌翻译
我们在随机和对抗性马尔可夫决策过程(MDP)中研究合作在线学习。也就是说,在每一集中,$ m $代理商同时与MDP互动,并共享信息以最大程度地减少他们的遗憾。我们考虑具有两种随机性的环境:\ emph {Fresh} - 在每个代理的轨迹均已采样i.i.d和\ emph {non-fresh} - 其中所有代理人共享实现(但每个代理的轨迹也受到影响)通过其自己的行动)。更确切地说,通过非志趣相投的随机性,每个成本和过渡的实现都在每个情节开始时都固定了,并且在同一时间同时采取相同行动的代理人观察到相同的成本和下一个状态。我们彻底分析了所有相关设置,强调了模型之间的挑战和差异,并证明了几乎匹配的遗憾下层和上限。据我们所知,我们是第一个考虑具有非伪造随机性或对抗性MDP的合作强化学习(RL)。
translated by 谷歌翻译
We consider the problem of provably optimal exploration in reinforcement learning for finite horizon MDPs. We show that an optimistic modification to value iteration achieves a regret bound of O(where H is the time horizon, S the number of states, A the number of actions and T the number of time-steps. This result improves over the best previous known bound O(HS √ AT ) achieved by the UCRL2 algorithm of Jaksch et al. ( 2010). The key significance of our new results is that when T ≥ H 3 S 3 A and SA ≥ H, it leads to a regret of O( √ HSAT ) that matches the established lower bound of Ω( √ HSAT ) up to a logarithmic factor. Our analysis contains two key insights. We use careful application of concentration inequalities to the optimal value function as a whole, rather than to the transitions probabilities (to improve scaling in S), and we define Bernstein-based "exploration bonuses" that use the empirical variance of the estimated values at the next states (to improve scaling in H).
translated by 谷歌翻译
我们研究了随机的最短路径(SSP)问题,其中代理商必须以最短的预计成本达到目标状态。在问题的学习制定中,代理商没有关于模型的成本和动态的知识。她反复与k $剧集的型号交互,并且必须尽量减少她的遗憾。在这项工作中,我们表明这个设置的Minimax遗憾是$ \ widetilde o(\ sqrt {(b_ \ star ^ 2 + b_ \ star)| s | a | a | k})$ why $ b_ \ star $ a符合来自任何州的最佳政策的预期成本,$ S $是状态空间,$ a $是行动空间。此相匹配的$ \欧米茄(\ SQRT {B_ \星^ 2 | S | |甲| K})$下界Rosenberg等人的。 [2020]对于$ b_ \ star \ ge 1 $,并改善了他们的遗憾,以\ sqrt {| s |} $ \ you的遗憾。对于$ b_ \ star <1 $我们证明$ \ omega的匹配下限(\ sqrt {b_ \ star | s | a | a | k})$。我们的算法基于SSP的新颖减少到有限地平线MDP。为此,我们为有限地域设置提供了一种算法,其前期遗憾遗憾地取决于最佳政策的预期成本,并且仅对地平线上的对数。
translated by 谷歌翻译
在差异隐私(DP)的约束下,我们在有限地域表格马尔可夫决策过程(MDP)中研究了遗憾最小化。这是由强化学习(RL)在现实世界顺序决策中的广泛应用程序的推动,保护用户敏感和私人信息变得最大程度。我们考虑了两种DP - 关节DP(JDP)的变体,其中集中式代理负责保护用户的敏感数据和本地DP(LDP),其中需要直接在用户端保护信息。我们首先提出了两个一般框架 - 一个用于策略优化,另一个用于迭代 - 用于设计私有,乐观的RL算法。然后,我们将这些框架实例化了合适的隐私机制来满足JDP和LDP要求,并同时获得Sublinear遗憾担保。遗憾的界限表明,在JDP下,隐私费用只是较低的秩序添加剂项,而在LDP下,对于更强的隐私保护,遭受的成本是乘法的。最后,通过统一的分析获得了遗憾范围,我们相信,我们相信,可以超出表格MDP。
translated by 谷歌翻译
在表格设置下,我们研究了折扣马尔可夫决策过程(MDP)的强化学习问题。我们提出了一种名为UCBVI - $ \ Gamma $的基于模型的算法,该算法基于\ emph {面对不确定原理}和伯尔斯坦型奖金的乐观。我们展示了UCBVI - $ \ Gamma $实现了一个$ \ tilde {o} \ big({\ sqrt {sat}} / {(1- \ gamma)^ {1.5}} \ big)$后悔,在哪里$ s $是州的数量,$ a $是行动的数量,$ \ gamma $是折扣因子,$ t $是步数。此外,我们构建了一类硬MDP并表明对于任何算法,预期的遗憾是至少$ \ tilde {\ omega} \ big({\ sqrt {sat}} / {(1- \ gamma)^ {1.5}} \大)$。我们的上限与对数因子的最低限度相匹配,这表明UCBVI - $ \ Gamma $几乎最小的贴现MDP。
translated by 谷歌翻译
强化学习理论集中在两个基本问题上:实现低遗憾,并确定$ \ epsilon $ - 最佳政策。虽然简单的减少允许人们应用低温算法来获得$ \ epsilon $ - 最佳政策并达到最坏的最佳速率,但尚不清楚低regret算法是否可以获得实例 - 最佳率的策略识别率。我们表明这是不可能的 - 在遗憾和确定$ \ epsilon $ - 最佳政策之间以最佳的利率确定了基本的权衡。由于我们的负面发现,我们提出了针对PAC表格增强学习实例依赖性样本复杂性的新量度,该方法明确说明了基础MDP中可达到的国家访问分布。然后,我们提出和分析一种基于计划的新型算法,该算法达到了这种样本的复杂性 - 产生的复杂性会随着次要差距和状态的“可达到性”而缩放。我们显示我们的算法几乎是最小的最佳选择,并且在一些示例中,我们实例依赖性样品复杂性比最差案例界限可显着改善。
translated by 谷歌翻译
我们考虑对对抗性马尔可夫决策过程(AMDP)的遗憾最小化,其中损失功能随着时间的流逝而变化和对抗性,学习者仅观察访问的国家行动对的损失(即强盗反馈)。尽管使用在线培训(OMD)方法对此问题进行了大量研究,但对以下扰动领导者(FTPL)方法的了解很少,这些方法通常在计算上更有效,并且更易于实施仅仅需要解决离线计划问题。以此为激励,我们仔细研究了从标准的情节有限摩托设置开始学习AMDP的FTPL。我们在分析中发现了一些独特而有趣的困难,并提出解决方法,最终表明FTPL在这种情况下也能够达到近乎最佳的遗憾界限。更重要的是,我们然后找到两个重要的应用:首先,FTPL的分析很容易被延迟的匪徒反馈和订单最佳的遗憾,而OMD方法则表现出额外的困难(Jin等,2022)。其次,使用FTPL,我们还开发了第一个用于学习在无限 - 摩恩环境中通过匪徒反馈和随机过渡的无限 - 马设置中通信AMDP的NO-Regret算法。我们的算法是有效的,假设访问离线规划Oracle,即使为了易于全信息设置,唯一的现有算法(Chandrasekaran和Tewari,2021年)在计算上效率低下。
translated by 谷歌翻译
我们考虑非平稳马尔可夫决策过程中的无模型增强学习(RL)。只要其累积变化不超过某些变化预算,奖励功能和国家过渡功能都可以随时间随时间变化。我们提出了重新启动的Q学习,以上置信度范围(RestartQ-UCB),这是第一个用于非平稳RL的无模型算法,并表明它在动态遗憾方面优于现有的解决方案。具体而言,带有freedman型奖励项的restartq-ucb实现了$ \ widetilde {o}(s^{\ frac {1} {3}} {\ frac {\ frac {1} {1} {3}} {3}} {3}} {3}} {3}} {3}} {3}} {3}} {\ delta ^{\ frac {1} {3}} h t^{\ frac {2} {3}}} $,其中$ s $和$ a $分别是$ \ delta> 0 $的状态和动作的数字是变化预算,$ h $是每集的时间步数,而$ t $是时间步长的总数。我们进一步提出了一种名为Double-Restart Q-UCB的无参数算法,该算法不需要事先了解变化预算。我们证明我们的算法是\ emph {几乎是最佳},通过建立$ \ omega的信息理论下限(s^{\ frac {1} {1} {3}}} a^{\ frac {1} {1} {3}}}}}} \ delta^{\ frac {1} {3}} h^{\ frac {2} {3}}}} t^{\ frac {2} {3}}} $,是非稳态RL中的第一个下下限。数值实验可以根据累积奖励和计算效率来验证RISTARTQ-UCB的优势。我们在相关产品的多代理RL和库存控制的示例中证明了我们的结果的力量。
translated by 谷歌翻译
我们根据熵风险措施研究风险敏感的强化学习(RL)。虽然现有的作品已经建立了这个问题的非渐近遗憾担保,但它们会在上限和下限之间开放指数差距。我们确定现有算法中的缺陷及其分析,从而导致如此差距。为了解决这些缺陷,我们调查了风险敏感的Bellman方程的简单转变,我们称之为指数钟声方程。指数贝尔曼方程激励我们在风险敏感RL算法中开发对Bellman备份程序的新型分析,并进一步激励了一种新颖勘探机制的设计。我们表明,这些分析和算法创新共同导致现有的遗憾的上限。
translated by 谷歌翻译
我们考虑了有多个具有不同奖励功能的利益相关者的情节强化学习问题。我们的目标是输出有关不同奖励功能在社会上公平的政策。先前的工作提出了不同的目标,即公平政策必须优化,包括最低福利和广义的基尼福利。我们首先对问题进行公理视图,并提出四个公理,任何这样的公平目标都必须满足。我们表明,纳什社会福利是一个独特的目标,它独特地满足了所有四个目标,而先前的目标无法满足所有四个公理。然后,我们考虑了基础模型,即马尔可夫决策过程未知的问题的学习版本。我们考虑到最大程度地降低对公平政策最大化的遗憾的问题,从而最大化三个不同的公平目标 - 最低限度的福利,广义基尼福利和纳什社会福利。基于乐观的计划,我们提出了一种通用的学习算法,并在三种不同的政策方面得出了遗憾。为了纳什社会福利的目的,我们还遗憾地得出了一个遗憾的遗憾,它以$ n $(代理的数量)成倍增长。最后,我们表明,为了最低限度福利的目的,对于较弱的遗憾概念,人们可以将遗憾提高到$ o(h)$。
translated by 谷歌翻译
Motivated by personalized healthcare and other applications involving sensitive data, we study online exploration in reinforcement learning with differential privacy (DP) constraints. Existing work on this problem established that no-regret learning is possible under joint differential privacy (JDP) and local differential privacy (LDP) but did not provide an algorithm with optimal regret. We close this gap for the JDP case by designing an $\epsilon$-JDP algorithm with a regret of $\widetilde{O}(\sqrt{SAH^2T}+S^2AH^3/\epsilon)$ which matches the information-theoretic lower bound of non-private learning for all choices of $\epsilon> S^{1.5}A^{0.5} H^2/\sqrt{T}$. In the above, $S$, $A$ denote the number of states and actions, $H$ denotes the planning horizon, and $T$ is the number of steps. To the best of our knowledge, this is the first private RL algorithm that achieves \emph{privacy for free} asymptotically as $T\rightarrow \infty$. Our techniques -- which could be of independent interest -- include privately releasing Bernstein-type exploration bonuses and an improved method for releasing visitation statistics. The same techniques also imply a slightly improved regret bound for the LDP case.
translated by 谷歌翻译
Modern Reinforcement Learning (RL) is commonly applied to practical problems with an enormous number of states, where function approximation must be deployed to approximate either the value function or the policy. The introduction of function approximation raises a fundamental set of challenges involving computational and statistical efficiency, especially given the need to manage the exploration/exploitation tradeoff. As a result, a core RL question remains open: how can we design provably efficient RL algorithms that incorporate function approximation? This question persists even in a basic setting with linear dynamics and linear rewards, for which only linear function approximation is needed.This paper presents the first provable RL algorithm with both polynomial runtime and polynomial sample complexity in this linear setting, without requiring a "simulator" or additional assumptions. Concretely, we prove that an optimistic modification of Least-Squares Value Iteration (LSVI)-a classical algorithm frequently studied in the linear setting-achieves O( √ d 3 H 3 T ) regret, where d is the ambient dimension of feature space, H is the length of each episode, and T is the total number of steps. Importantly, such regret is independent of the number of states and actions.
translated by 谷歌翻译
我们在加固学习中使用汤普森采样(TS) - 样算法中的随机价值函数研究探索。这种类型的算法享有有吸引力的经验性能。我们展示当我们使用1)每一集中的单个随机种子,而2)伯尼斯坦型噪声幅度,我们获得了最坏的情况$ \ widetilde {o}左(h \ sqrt {sat} \右)$遗憾绑定了焦点时间 - 不均匀的马尔可夫决策过程,其中$ S $是国家空间的大小,$ a $的是行动空间的大小,$ h $是规划地平线,$ t $是互动的数量。这种绑定的多项式基于随机值函数的TS样算法的所有现有界限,并且首次匹配$ \ Omega \左(H \ SQRT {SAT}右)$下限到对数因子。我们的结果强调随机勘探可以近乎最佳,这是以前仅通过乐观算法实现的。为了实现所需的结果,我们开发1)新的剪辑操作,以确保持续持续的概率和悲观的概率是较低的常数,并且2)用于分析估计误差的绝对值的新递归公式。后悔。
translated by 谷歌翻译
We develop an extension of posterior sampling for reinforcement learning (PSRL) that is suited for a continuing agent-environment interface and integrates naturally into agent designs that scale to complex environments. The approach maintains a statistically plausible model of the environment and follows a policy that maximizes expected $\gamma$-discounted return in that model. At each time, with probability $1-\gamma$, the model is replaced by a sample from the posterior distribution over environments. For a suitable schedule of $\gamma$, we establish an $\tilde{O}(\tau S \sqrt{A T})$ bound on the Bayesian regret, where $S$ is the number of environment states, $A$ is the number of actions, and $\tau$ denotes the reward averaging time, which is a bound on the duration required to accurately estimate the average reward of any policy.
translated by 谷歌翻译
我们解决了有限地平线的模型选择的问题,用于转换内核$ P ^ * $属于一个型号$ \ mathcal {p} ^ * $的offultic公制熵。在模型选择框架中,而不是$ \ mathcal {p} ^ * $,我们被给予了$ m $嵌套的转换内核rested interned内核$ \ cp_1 \ subset \ cp_2 \ subset \ ldots \ subset \ cp_m $。我们提出并分析了一种新颖的算法,即\ EMPH {自适应增强学习(常规)}(\ texttt {arl-gen}),它适应真正的转换内核$ p ^ * $谎言的最小这些家庭。 \ texttt {arl-gen}使用具有价值目标回归的上置信度强化学习(\ texttt {Ucrl})算法作为Blackbox,并在每个时代的开头放置模型选择模块。在模型类上的温和可分离性假设下,我们显示\ texttt {arl-gen}获得$ \ tilde {\ mathcal {o}}的后悔(d _ {\ mathcal {e}} ^ * h ^ 2 + \ sqrt {d _ {\ mathcal {e}} ^ * \ mathbb {m} ^ * h ^ 2 t})$,具有高概率,其中$ h $是地平线长度,$ t $是步骤总数, $ d _ {\ mathcal {e}} ^ * $是ecured维度和$ \ mathbb {m} ^ * $是与$ \ mathcal {p} ^ * $相对应的度量熵。请注意,这一遗憾缩放匹配Oracle的Oracle,它提前了解$ \ mathcal {p} ^ * $。我们表明,对于\ texttt {arl-gen}的模型选择成本是一个附加术语,遗憾是对$ t $的弱点。随后,我们删除可分离假设,并考虑线性混合MDP的设置,其中转换内核$ P ^ * $具有线性函数近似。通过这种低等级结构,我们提出了新颖的自适应算法,用于模型选择,并获得(令人令人令)与Oracle的遗憾相同,具有真正的模型类。
translated by 谷歌翻译
无奖励强化学习(RL)考虑了代理在探索过程中无法访问奖励功能的设置,但必须提出仅在探索后才揭示的任意奖励功能的近乎最佳的政策。在表格环境中,众所周知,这是一个比奖励意识(PAC)RL(代理在探索过程中访问奖励功能)更困难的问题$ | \ Mathcal {s} | $,状态空间的大小。我们表明,在线性MDP的设置中,这种分离不存在。我们首先在$ d $二维线性MDP中开发了一种计算高效算法,其样品复杂度比例为$ \ widetilde {\ Mathcal {o}}(d^2 H^5/\ epsilon^2)$ 。然后,我们显示出$ \ omega(d^2 h^2/\ epsilon^2)$的匹配尺寸依赖性的下限,该限制为奖励感知的RL设置。据我们所知,我们的方法是第一个在线性MDP中实现最佳$ d $依赖性的计算有效算法,即使在单次奖励PAC设置中也是如此。我们的算法取决于一种新的程序,该过程有效地穿越了线性MDP,在任何给定的``特征方向''中收集样品,并在最大状态访问概率(线性MDP等效)中享受最佳缩放样品复杂性。我们表明,该探索过程也可以应用于解决线性MDP中````良好条件''''协变量的问题。
translated by 谷歌翻译
本文研究了马尔可夫决策过程(MDPS)中用于政策评估的数据收集问题。在政策评估中,我们获得了目标政策,并要求估计它将在正式作为MDP的环境中获得的预期累积奖励。我们通过首先得出了使用奖励分布方差知识的Oracle数据收集策略来开发在树结构MDPS中的最佳数据收集理论。然后,我们介绍了减少的方差采样(射击)算法,即当奖励方差未知并与Oracle策略相比,奖励方差未知并绑定其亚典型性时,它近似于Oracle策略。最后,我们从经验上验证了射手会导致与甲骨文策略相当的均衡误差进行政策评估,并且比仅仅运行目标策略要低得多。
translated by 谷歌翻译