在线强化学习(RL)中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾,采样复杂性,状态空间覆盖范围或模型估计,我们都需要攻击不同的勘探开发权衡。在本文中,我们建议在分离方法组成的探索 - 剥削问题:1)“客观特定”算法(自适应)规定哪些样本以收集到哪些状态,似乎它可以访问a生成模型(即环境的模拟器); 2)负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法,我们首先提供一种算法,它给出了每个状态动作对所需的样本$ B(S,a)$的样本数量,需要$ \ tilde {o} (bd + d ^ {3/2} s ^ 2 a)收集$ b = \ sum_ {s,a} b(s,a)$所需样本的$时间步骤,以$ s $各国,$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对,这些策略规定了解决各种设置的样本要求 - 例如,模型估计,稀疏奖励发现,无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。
translated by 谷歌翻译
尽管基于模型的增强学习(RL)方法被认为是更具样本的高效,但现有算法通常依赖于复杂的规划算法与模型学习过程紧密粘合。因此,学习模型可能缺乏与更专业规划者重新使用的能力。在本文中,我们解决了这个问题,并提供了在没有奖励信号的指导的情况下有效地学习RL模型的方法。特别是,我们采取了一个插件求解器方法,我们专注于在探索阶段学习模型,并要求在学习模型上的\ emph {任何规划算法}可以给出近最佳的政策。具体而言,我们专注于线性混合MDP设置,其中概率转换矩阵是一组现有模型的(未知)凸面组合。我们表明,通过建立新的探索算法,即插即用通过\ tilde {o}来学习模型(d ^ 2h ^ 3 / epsilon ^ 2)$与环境交互,\ emph {任何} $ \ epsilon $ -optimal Planner在模型上给出$ O(\ epsilon)$ - 原始模型上的最佳政策。此示例复杂性与非插入方法的下限与下限匹配,并且是\ EMPH {统计上最佳}。我们通过利用使用伯尔斯坦不等式和指定的线性混合MDP的属性来实现仔细的最大总差异来实现这一结果。
translated by 谷歌翻译
我们在加固学习中使用汤普森采样(TS) - 样算法中的随机价值函数研究探索。这种类型的算法享有有吸引力的经验性能。我们展示当我们使用1)每一集中的单个随机种子,而2)伯尼斯坦型噪声幅度,我们获得了最坏的情况$ \ widetilde {o}左(h \ sqrt {sat} \右)$遗憾绑定了焦点时间 - 不均匀的马尔可夫决策过程,其中$ S $是国家空间的大小,$ a $的是行动空间的大小,$ h $是规划地平线,$ t $是互动的数量。这种绑定的多项式基于随机值函数的TS样算法的所有现有界限,并且首次匹配$ \ Omega \左(H \ SQRT {SAT}右)$下限到对数因子。我们的结果强调随机勘探可以近乎最佳,这是以前仅通过乐观算法实现的。为了实现所需的结果,我们开发1)新的剪辑操作,以确保持续持续的概率和悲观的概率是较低的常数,并且2)用于分析估计误差的绝对值的新递归公式。后悔。
translated by 谷歌翻译
我们介绍了一个通用模板,用于在随机最短路径(SSP)模型中开发遗憾最小化算法,只要确保某些特性,就可以实现最佳的最佳遗憾。我们分析的关键是一种称为隐含的有限范围近似的新技术,其仅在没有明确实现的情况下在分析中近似于分析的Unite-Horizo n对应。使用此模板,我们开发了两个新的算法:第一个是无模型的(文献中的第一个在我们的知识中),并且在严格的积极成本下最佳最佳状态;即使使用零成本状态 - 动作对,第二个是基于模型的和最小的最佳状态,匹配来自[Tarbouriech等,2021b]的最佳现有结果。重要的是,这两个算法都承认高度稀疏的更新,使得它们比所有现有算法更有效。此外,两者都可以完全无参数。
translated by 谷歌翻译
最近有兴趣了解地平线依赖于加固学习(RL)的样本复杂性。值得注意的是,对于具有Horizo​​ n长度$ H $的RL环境,之前的工作表明,使用$ \ mathrm {polylog}(h)有可能学习$ o(1)$ - 最佳策略的可能大致正确(pac)算法$当州和行动的数量固定时的环境交互剧集。它尚不清楚$ \ mathrm {polylog}(h)$依赖性是必要的。在这项工作中,我们通过开发一种算法来解决这个问题,该算法在仅使用ONTO(1)美元的环境交互的同时实现相同的PAC保证,完全解决RL中样本复杂性的地平线依赖性。我们通过(i)在贴现和有限地平线马尔可夫决策过程(MDP)和(ii)在MDP中的新型扰动分析中建立价值函数之间的联系。我们相信我们的新技术具有独立兴趣,可在RL中应用相关问题。
translated by 谷歌翻译
我们根据熵风险措施研究风险敏感的强化学习(RL)。虽然现有的作品已经建立了这个问题的非渐近遗憾担保,但它们会在上限和下限之间开放指数差距。我们确定现有算法中的缺陷及其分析,从而导致如此差距。为了解决这些缺陷,我们调查了风险敏感的Bellman方程的简单转变,我们称之为指数钟声方程。指数贝尔曼方程激励我们在风险敏感RL算法中开发对Bellman备份程序的新型分析,并进一步激励了一种新颖勘探机制的设计。我们表明,这些分析和算法创新共同导致现有的遗憾的上限。
translated by 谷歌翻译
在在线学习问题中,利用低方差在获得紧密性能保证方面发挥着重要作用,但仍然是挑战的,因为差异通常不知道先验。最近,张等人取得了相当大的进展。 (2021)在没有知识的情况下获得用于线性匪徒的方差 - 自适应遗憾,没有知识的差异和对​​线性混合物Markov决策过程(MDP)的无差异的无差异遗憾。在本文中,我们提出了一种新的分析,从而显着改善了他们的遗憾。对于线性匪徒,我们实现$ \ tilde o(d ^ {1.5} \ sqrt {\ sum_ {k} ^ k \ sigma_k ^ 2} + d ^ 2)$ why $ d $是功能的维度$ k $是时间横向,$ \ sigma_k ^ 2 $是时间步骤$ k $的噪声差异,而$ \ tilde o $忽略了polylogarithmic依赖,这是$ d ^ 3 $的因素。对于线性混合MDP,我们达到$ \ tilde o(d ^ {1.5} \ sqrt {k} + d ^ 3)$ white $ d $的地平线遗憾的遗憾遗憾的遗憾 - 是基本型号的数量和$ k $剧集的数量。这是较低的术语和下订单中的持续期限和D ^ 6美元的倍数。我们的分析依稀依赖于新颖的椭圆潜力“计数”的引理。这种引理允许基于剥离的遗憾分析,这可以是独立的兴趣。
translated by 谷歌翻译
Q-Learning,旨在以无模式的方式学习Markov决策过程(MDP)的最佳Q函数,位于加强学习的核心。当涉及到同步设置时(从每次迭代中从生成模型中从生成模型中汲取独立样本)时,已经对理解Q学习的样本效率进行了实质性进展。考虑一个$ \ gamma $ -discounted infinite-horizo​​ n mdp与状态空间$ \ mathcal {s} $和动作空间$ \ mathcal {a} $:要产生一个entrywise $ \ varepsilon $ - 最佳q函数的克制,最先进的Q-Learning理论需要超出$ \ FRAC {| \ Mathcal {s} || \ mathcal {a} || \ {(1- \ gamma)^ 5 \ varepsilon的示例大小^ {2}} $,它无法匹配现有的最低限度下限。这引起了自然问题:Q-Learning的急剧性复杂性是什么?是Q-Learning可怕的次优吗?本文为同步设置解决了这些问题:(1)当$ | \ mathcal {a} | = 1 $(使q学习减少到TD学习)时,我们证明了TD学习的样本复杂性是最佳的最佳和尺度为$ \ frac {| \ mathcal {s} |} {(1- \ gamma)^ 3 \ varepsilon ^ 2} $(最多到日志系数); (2)当$ | \ mathcal {a} | \ geq 2 $时,我们解决了q-learning的样本复杂性,按$ \ frac {| \ mathcal {s} || \ mathcal {a} || } {(1- \ gamma)^ 4 \ varepsilon ^ 2} $(最多到日志系数)。我们的理论推出了Q-Leature的严格次优,当$ | \ mathcal {a} | \ geq 2 $,并严格严格估计在q-learning中的负面影响。最后,我们扩展了我们的分析以适应异步Q-Learning(即,与马尔可夫样本的情况),锐化其样本复杂性的地平线依赖性为$ \ frac {1} {(1- \ gamma)^ 4} $。
translated by 谷歌翻译
我们考虑了离线强化学习问题,其中目的是学习从记录数据的决策策略。离线RL - 特别是当耦合时函数近似时允许在大或连续状态空间中允许泛化 - 在实践中变得越来越相关,因为它避免了昂贵且耗时的在线数据收集,并且非常适合安全 - 关键域名。对于离线值函数近似方法的现有样本复杂性保证通常需要(1)分配假设(即,良好的覆盖率)和(2)代表性假设(即,表示一些或所有$ q $ -value函数的能力)比什么是更强大的受监督学习所必需的。然而,尽管研究了几十年的研究,但仍然无法充分理解这些条件和离线RL的基本限制。这使得陈和江(2019)猜想勇敢地(覆盖范围最大的覆盖率)和可实现性(最弱的代表条件)不足以足以用于样品有效的离线RL。通过证明通常,即使满足勇敢性和可实现性,也要解决这一猜想,即使满足既勇敢性和可实现性,也需要在状态空间的大小中需要采样复杂性多项式以学习非琐碎的政策。我们的研究结果表明,采样高效的离线强化学习需要超越监督学习的限制性覆盖条件或代表条件,并突出显示出称为过度覆盖的现象,该现象用作离线值函数近似方法的基本障碍。通过线性函数近似的加强学习结果的结果是,即使在恒定尺寸,在线和离线RL之间的分离也可以是任意大的。
translated by 谷歌翻译
代表学习呈现在深入学习的经验成功的核心,以处理维度的诅咒。然而,由于i),表现力(RL)的钢筋学习(RL)尚未充分利用卓越的能力,表现力和易疏忽之间的权衡;二世),探索与代表学习之间的耦合。在本文中,我们首先揭示了在随机控制模型中的一些噪声假设下,我们可以免费获得其相应的马尔可夫过渡操作员的线性谱特征。基于该观察,我们提出了嵌入(Spede)的谱动力学嵌入(SPEDE),这将通过利用噪声结构来完成对代表学习的乐观探索。我们提供对Speded的严格理论分析,并展示了几种基准上现有最先进的实证算法的实际卓越性能。
translated by 谷歌翻译
这项工作研究了RL中的代表性学习问题:我们如何学习紧凑的低维表示,使得在代表之上,我们可以以示例有效的方式执行诸如勘探和开发的RL程序。我们专注于低级马尔可夫决策过程(MDP),其中转换动态对应于低秩转换矩阵。与假设表示的事先作品(例如,线性MDP)不同,这里我们需要学习低秩MDP的表示。我们研究在线RL和离线RL设置。对于在线设置,在Flambe(Agarwal et.al)中使用相同的计算oracells操作,用于在低级MDP中学习表示的最先进的算法,我们提出了一种算法Rep-UCB上部置信束缚的驱动表示学习对于RL),这显着提高了$ \ widetilde {o}的样本复杂性(a ^ 9 d ^ 7 /(\ epsilon ^ {10}(1- \ gamma)^ {22}),因为flambe到$ \ widetilde {o}(a ^ 4 d ^ 4 /(\ epsilon ^ 2(1- \ gamma)^ {3})$ d $是转换矩阵的等级(或地面真相表示的维度) ,$ a $是行动次数,而$ \ gamma $是折扣因素。值得注意的是,rep-ucb比flambe更简单,因为它直接余额余额表示学习,探索和剥削之间的相互作用,而Flambe是一种探索的探索式风格方法,并且必须逐步执行无奖励探索及时。对于离线RL设置,我们开发了一种利用悲观主义在部分覆盖条件下学习的算法:我们的算法能够与脱机分布所涵盖的策略进行竞争。
translated by 谷歌翻译
使用悲观,推理缺乏详尽的勘探数据集时的脱机强化学习最近颇具知名度。尽管它增加了算法的鲁棒性,过于悲观的推理可以在排除利好政策的发现,这是流行的基于红利悲观的问题同样有害。在本文中,我们介绍一般函数近似的Bellman-一致悲观的概念:不是计算逐点下界的值的功能,我们在超过设定的与贝尔曼方程一致的功能的初始状态实现悲观。我们的理论保证只需要贝尔曼封闭性作为探索性的设置标准,其中基于奖金的情况下的悲观情绪未能提供担保。即使在线性函数逼近的特殊情况下更强的表现力假设成立,我们的结果由$ \ mathcal {}Ø(d)在其样品的复杂$在最近的基于奖金的方法改善的时候,动作的空间是有限的。值得注意的是,我们的算法,能够自动适应事后最好的偏差 - 方差折中,而大多数现有的方法中需要调整的额外超参数的先验。
translated by 谷歌翻译
本文研究了钢筋学习中随机价值函数的遗为最小化。在表格有限地平线马尔可夫决策过程中,我们引入了一种典型的汤普森采样(TS)-like算法的剪切变体,随机最小二乘值迭代(RLSVI)。我们的$ \ tilde {\ mathrm {o}}(h ^ 2s \ sqrt {at})$高概率最坏情况后悔绑定改善了rlsvi的先前最锐化的最糟糕的遗憾界限,并匹配现有的状态 - 基于最糟糕的TS的遗憾界限。
translated by 谷歌翻译
有许多可用于情节增强学习的有效算法。然而,这些算法是在假设与每个剧集相关的状态,动作和奖励的序列立即到达的假设之下,允许在与环境的各个交互之后进行策略更新。这种假设在实践中通常是不现实的,特别是在诸如医疗保健和在线推荐等领域。在本文中,我们研究了延迟反馈对近几种可释放有效算法的影响,以便在情节增强学习中遗工最小化。首先,一旦新的反馈可用,我们会考虑更新策略。使用此更新方案,我们表明遗憾的是涉及状态,措施,发作长度和预期延迟的数量的附加术语增加。这种添加剂术语根据乐观选择算法而变化。我们还表明,更新的更新政策可能会导致对延迟遗憾的改进依赖。
translated by 谷歌翻译
我们考虑在马尔可夫决策过程中的强化学习(RL),其中代理人反复交互与由受控马尔可夫进程建模的环境进行交互。在每次步骤$ $ $时,它赢得了奖励,并招收了由$ M $成本组成的成本矢量。我们设计学习算法,最大限度地提高$ T $时间步长的时间范围内获得的累积奖励,同时确保$ M $成本支出的平均值由代理指定的阈值界限为$ C ^ {UB} _I ,i = 1,2,\ ldots,m $。关于累积成本支出的审议从现有文献中离开,因为代理商此外需要以在线方式平衡成本费用,同时执行通常遇到的RL任务中的勘探开发权衡。为了测量满足平均成本约束的加强学习算法的性能,我们定义了由其奖励后悔组成的$ M + 1 $维度遗憾的载体,而M $费用遗憾。奖励后悔在累计奖励中衡量次级最优性,而成本遗憾的奖励奖励奖励是其$ I $ -Th累计成本费用与预期成本支出之间的差异,而预期的成本支出$ TC ^ {UB} _i $。我们证明,通过高概率,UCRL-CMDP的遗憾矢量是高度限制的(S \ SQRT {AT ^ {1.5} \ log(t)\右)$,其中$ s $状态的数量,$ a $是行动的数量,而$ t $是时间范围。我们进一步展示了如何减少预期奖金的所需子集的遗憾,以牺牲奖励遗憾和剩余成本的牺牲品为代价。据我们所知,我们的是唯一考虑在平均成本限制下的非焦化RL的工作,并且可以根据代理人对其成本遗憾的要求进行〜\ excph {调整后悔向量}的算法。
translated by 谷歌翻译
经济学和政策等现实世界应用程序往往涉及解决多智能运动游戏与两个独特的特点:(1)代理人本质上是不对称的,并分成领导和追随者; (2)代理商有不同的奖励功能,因此游戏是普通的。该领域的大多数现有结果侧重于对称解决方案概念(例如纳什均衡)或零和游戏。它仍然开放了如何学习Stackelberg均衡 - 从嘈杂的样本有效地纳入均衡的不对称模拟 - 纳入均衡。本文启动了对Birtit反馈设置中Stackelberg均衡的样本高效学习的理论研究,我们只观察奖励的噪音。我们考虑三个代表双人普通和游戏:强盗游戏,强盗加固学习(Bandit-RL)游戏和线性匪徒游戏。在所有这些游戏中,我们使用有义的许多噪声样本来确定Stackelberg均衡和其估计版本的确切值之间的基本差距,无论算法如何,都无法封闭信息。然后,我们在对上面识别的差距最佳的基础上的数据高效学习的样本高效学习的敏锐积极结果,在依赖于依赖性的差距,误差容限和动作空间的大小,匹配下限。总体而言,我们的结果在嘈杂的强盗反馈下学习Stackelberg均衡的独特挑战,我们希望能够在未来的研究中阐明这一主题。
translated by 谷歌翻译
近年来,研究人员在设计了用于优化线性时间逻辑(LTL)目标和LTL的目标中的增强学习算法方面取得了重大进展。尽管有这些进步,但解决了这个问题的基本限制,以至于以前的研究暗示,但对我们的知识而言,尚未深入检查。在本文中,我们通过一般的LTL目标理解了学习的硬度。我们在马尔可夫决策过程(PAC-MDP)框架(PAC-MDP)框架中可能大致正确学习的问题正式化,这是一种测量加固学习中的样本复杂性的标准框架。在这一形式化中,我们证明,只有在LTL层次结构中最有限的类别中,才有于仅当公式中的最有限的类别,因此才能获得PAC-MDP的最佳政策。实际上,我们的结果意味着加强学习算法无法在与非有限范围可解除的LTL目标的无限环境的相互作用之后获得其学习政策的性能的PAC-MDP保证。
translated by 谷歌翻译
由于信息不对称,多智能经纪增强学习(Marl)问题是挑战。为了克服这一挑战,现有方法通常需要代理商之间的高度协调或沟通。我们考虑具有在应用中产生的分层信息结构的两个代理多武装匪徒(MAB)和MARKOV决策过程(MDP),我们利用不需要协调或通信的更简单和更高效的算法。在结构中,在每个步骤中,“领导者”首先选择她的行动,然后“追随者”在观察领导者的行动后,“追随者”决定他的行动。这两个代理观察了相同的奖励(以及MDP设置中的相同状态转换),这取决于其联合行动。对于强盗设置,我们提出了一种分层匪盗算法,实现了$ \ widetilde {\ mathcal {o}}(\ sqrt {abt})$和近最佳差距依赖的近乎最佳的差距遗憾$ \ mathcal {o}(\ log(t))$,其中$ a $和$ b $分别是领导者和追随者的行动数,$ t $是步数。我们进一步延伸到多个追随者的情况,并且具有深层层次结构的情况,在那里我们都获得了近乎最佳的遗憾范围。对于MDP设置,我们获得$ \ widetilde {\ mathcal {o}}(\ sqrt {h ^ 7s ^ 2abt})$后悔,其中$ h $是每集的步骤数,$ s $是数量各国,$ T $是剧集的数量。这与$ a,b $和$ t $的现有下限匹配。
translated by 谷歌翻译
我们研究马尔可夫决策过程(MDP)框架中的离线数据驱动的顺序决策问题。为了提高学习政策的概括性和适应性,我们建议通过一套关于在政策诱导的固定分配所在的分发的一套平均奖励来评估每项政策。给定由某些行为策略生成的多个轨迹的预收集数据集,我们的目标是在预先指定的策略类中学习一个强大的策略,可以最大化此集的最小值。利用半参数统计的理论,我们开发了一种统计上有效的策略学习方法,用于估算DE NED强大的最佳政策。在数据集中的总决策点方面建立了达到对数因子的速率最佳遗憾。
translated by 谷歌翻译
我们考虑通过有限的地平线$ t $控制线性二次调节器(LQR)系统的问题,以固定和已知的成本矩阵$ q,r $但未知和非静止动力$ \ {a_t,b_t \} $。动态矩阵的序列可以是任意的,但总体变化,V_T $,假设为$ O(t)$和控制器未知。在假设所有$ $ $的稳定序列,但潜在的子最优控制器中,我们介绍了一种实现$ \ tilde {\ mathcal {o}} \ left的最佳动态遗憾的算法(v_t ^ { 2/5} t ^ {3/5} \右)$。通过分词恒定动态,我们的算法实现了$ \ tilde {\ mathcal {o}}(\ sqrt {st})$的最佳遗憾,其中$ s $是交换机的数量。我们的算法的关键是一种自适应的非平稳性检测策略,它在最近开发的用于上下文多武装匪徒问题的方法中构建。我们还争辩说,不适应忘记(例如,重新启动或使用静态窗口大小的滑动窗口学习)可能对LQR问题的后悔最佳,即使窗口大小以$ V_T $的知识最佳地调整。我们算法分析中的主要技术挑战是证明普通的最小二乘(OLS)估计器在待估计的参数是非静止的情况下具有小的偏差。我们的分析还突出了推动遗憾的关键主题是LQR问题在于LQR问题是具有线性反馈和局部二次成本的强盗问题。这个主题比LQR问题本身更普及,因此我们相信我们的结果应该找到更广泛的应用。
translated by 谷歌翻译