强化学习通常假设代理人立即观察其动作的反馈，但在许多实际应用中（如推荐系统），延迟观察到反馈。本文在线学习在线学习，具有未知过渡，过渡性的成本和不受限制的延迟反馈，在线学习。也就是说，集中的成本和轨迹只在第k + d ^ k $的集中延迟到学习者，其中延迟$ d ^ k $既不相同也不有界限，并由其中选择忘记的对手。我们提出了基于策略优化的新型算法，该算法在全信息反馈下实现了$ \ sqrt {k + d} $的近乎最佳的高概率遗憾，其中$ k $是剧集的数量和$ d = \ sum_ {k D ^ K $是总延迟。在强盗反馈下，我们证明了类似$ \ SQRT {K + D} $遗憾假设成本是随机的，而在一般情况下为$（k + d）^ {2/3} $遗憾。我们是第一个在具有延迟反馈的MDP的重要设置中考虑后悔最小化。
translated by 谷歌翻译
我们在随机和对抗性马尔可夫决策过程（MDP）中研究合作在线学习。也就是说，在每一集中，$ m $代理商同时与MDP互动，并共享信息以最大程度地减少他们的遗憾。我们考虑具有两种随机性的环境：\ emph {Fresh} - 在每个代理的轨迹均已采样i.i.d和\ emph {non-fresh} - 其中所有代理人共享实现（但每个代理的轨迹也受到影响）通过其自己的行动）。更确切地说，通过非志趣相投的随机性，每个成本和过渡的实现都在每个情节开始时都固定了，并且在同一时间同时采取相同行动的代理人观察到相同的成本和下一个状态。我们彻底分析了所有相关设置，强调了模型之间的挑战和差异，并证明了几乎匹配的遗憾下层和上限。据我们所知，我们是第一个考虑具有非伪造随机性或对抗性MDP的合作强化学习（RL）。
translated by 谷歌翻译
我们研究了随机的最短路径（SSP）问题，其中代理商必须以最短的预计成本达到目标状态。在问题的学习制定中，代理商没有关于模型的成本和动态的知识。她反复与k $剧集的型号交互，并且必须尽量减少她的遗憾。在这项工作中，我们表明这个设置的Minimax遗憾是$ \ widetilde o（\ sqrt {（b_ \ star ^ 2 + b_ \ star）| s | a | a | k}）$ why $ b_ \ star $ a符合来自任何州的最佳政策的预期成本，$ S $是状态空间，$ a $是行动空间。此相匹配的$ \欧米茄（\ SQRT {B_ \星^ 2 | S | |甲| K}）$下界Rosenberg等人的。 [2020]对于$ b_ \ star \ ge 1 $，并改善了他们的遗憾，以\ sqrt {| s |} $ \ you的遗憾。对于$ b_ \ star <1 $我们证明$ \ omega的匹配下限（\ sqrt {b_ \ star | s | a | a | k}）$。我们的算法基于SSP的新颖减少到有限地平线MDP。为此，我们为有限地域设置提供了一种算法，其前期遗憾遗憾地取决于最佳政策的预期成本，并且仅对地平线上的对数。
translated by 谷歌翻译
我们考虑对对抗性马尔可夫决策过程（AMDP）的遗憾最小化，其中损失功能随着时间的流逝而变化和对抗性，学习者仅观察访问的国家行动对的损失（即强盗反馈）。尽管使用在线培训（OMD）方法对此问题进行了大量研究，但对以下扰动领导者（FTPL）方法的了解很少，这些方法通常在计算上更有效，并且更易于实施仅仅需要解决离线计划问题。以此为激励，我们仔细研究了从标准的情节有限摩托设置开始学习AMDP的FTPL。我们在分析中发现了一些独特而有趣的困难，并提出解决方法，最终表明FTPL在这种情况下也能够达到近乎最佳的遗憾界限。更重要的是，我们然后找到两个重要的应用：首先，FTPL的分析很容易被延迟的匪徒反馈和订单最佳的遗憾，而OMD方法则表现出额外的困难（Jin等，2022）。其次，使用FTPL，我们还开发了第一个用于学习在无限 - 摩恩环境中通过匪徒反馈和随机过渡的无限 - 马设置中通信AMDP的NO-Regret算法。我们的算法是有效的，假设访问离线规划Oracle，即使为了易于全信息设置，唯一的现有算法（Chandrasekaran和Tewari，2021年）在计算上效率低下。
translated by 谷歌翻译
有许多可用于情节增强学习的有效算法。然而，这些算法是在假设与每个剧集相关的状态，动作和奖励的序列立即到达的假设之下，允许在与环境的各个交互之后进行策略更新。这种假设在实践中通常是不现实的，特别是在诸如医疗保健和在线推荐等领域。在本文中，我们研究了延迟反馈对近几种可释放有效算法的影响，以便在情节增强学习中遗工最小化。首先，一旦新的反馈可用，我们会考虑更新策略。使用此更新方案，我们表明遗憾的是涉及状态，措施，发作长度和预期延迟的数量的附加术语增加。这种添加剂术语根据乐观选择算法而变化。我们还表明，更新的更新政策可能会导致对延迟遗憾的改进依赖。
translated by 谷歌翻译
政策优化方法是使用最广泛使用的加固学习（RL）算法之一。然而，对这些方法的理论理解仍然不足。即使在eoisodic（时代）的表格设置中，\ citet的基于政策方法的最先进的理论结果也是只需$ \ tilde {o}（\ sqrt {s ^ 2ah ^ 4k }）$何地在$ S $是州的数量，$ a $是行动的数量，$ h $是地平线，而$ k $是剧集的数量，还有$ \ sqrt {sh} $与信息理论下限$ \ tilde {\ omega}相比，差距（\ sqrt {sah ^ 3k}）$。为了弥合这样的差距，我们提出了一种新的算法基于参考的基于参考的策略优化，在任何时间保证（\ AlgnameAcro），它具有“随时稳定”的特征。我们证明我们的算法实现$ \ tilde {o}（\ sqrt {sah ^ 3k} + \ sqrt {ah ^ 4}）$后悔。当$ s> h $时，我们的算法在忽略对数因子时最佳最佳。为了我们的最佳知识，RPO-SAT是第一次计算上高效，几乎最小的表格RL最佳策略算法。
translated by 谷歌翻译
在学徒学习（AL）中，我们在没有获得成本函数的情况下给予马尔可夫决策过程（MDP）。相反，我们观察由根据某些政策执行的专家采样的轨迹。目标是找到一个与专家对某些预定义的成本函数的性能相匹配的策略。我们介绍了AL的在线变体（在线学徒学习; OAL），其中代理商预计与环境相互作用，在与环境互动的同时相互表现。我们表明，通过组合两名镜面血缘无遗憾的算法可以有效地解决了OAL问题：一个用于策略优化，另一个用于学习最坏情况的成本。通过采用乐观的探索，我们使用$ O（\ SQRT {k}）$后悔派生算法，其中$ k $是与MDP的交互数量以及额外的线性错误术语，其取决于专家轨迹的数量可用的。重要的是，我们的算法避免了在每次迭代时求解MDP的需要，与先前的AL方法相比，更实用。最后，我们实现了我们算法的深层变体，该算法与Gail \ Cite {Ho2016Generative}共享了一些相似之处，但在鉴别者被替换为OAL问题的成本。我们的模拟表明OAL在高维控制问题中表现良好。
translated by 谷歌翻译
我们研究了在线马尔可夫决策过程（MDP），具有对抗性变化的损失功能和已知过渡。我们选择动态遗憾作为绩效度量，定义为学习者和任何可行的变化策略序列之间的绩效差异。这项措施严格比标准的静态遗憾要强得多，该标准遗憾的是，基准通过固定的政策将学习者的绩效表现为学习者的表现。我们考虑了三种在线MDP的基础模型，包括无情节循环随机路径（SSP），情节SSP和Infinite-Horizon MDP。对于这三个模型，我们提出了新颖的在线集合算法并分别建立了动态遗憾保证，在这种情况下，情节性（无环）SSP的结果在时间范围和某些非平稳性度量方面是最佳的最低限度。此外，当学习者遇到的在线环境是可以预测的时，我们设计了改进的算法并为情节（无环）SSP实现更好的动态遗憾界限；此外，我们证明了无限 - 摩恩MDP的不可能结果。
translated by 谷歌翻译
我们为随机最短路径（SSP）问题引入了两个新的无悔算法，其线性MDP显着改善了唯一的现有结果（Vial等，2021）。我们的第一算法是计算上的效率，实现了遗憾的绑定$ \ wideetilde {o} \ left（\ sqrt {d ^ 3b _ {\ star} ^ 2t _ {\ star} k}右）$，其中$ d $是维度特征空间，$ B _ {\ star} $和$ t _ {\ star} $分别是预期成本的上限，分别击中最佳政策的时间，$ k $是剧集的数量。具有略微修改的相同算法也实现了对数为OR o \ lex的对数后悔（\ frac {d ^ 3b _ {\ star} ^ 4} {c _ {\ min} ^ 2 \ text {gap} _ {\ min}} \ ln ^ 5 \ frac {db _ {\ star}} {c _ {\ min}} \右）$，其中$ \ text {gap} _ {\ min} $是最小的子项目差距和$ c_ { \ min} $是所有国家动作对的最低成本。我们的结果是通过开发更简单和改进的分析（Cohen等人，2021）的有限范围的分析而具有较小的近似误差，这可能具有独立兴趣。另一方面，在全局优化问题中使用方差感知的信心集，我们的第二算法是计算效率低下的，但实现了第一个“免费”后悔绑定$ \ widetilde {o}（d ^ {3.5} b _ {\ star } \ sqrt {k}）$与$ t _ {\ star} $或$ 1 / c _ {\ min} $，几乎匹配$ \ omega（db _ {\ star} \ sqrt {k}）$较低（Min等，2021）的绑定。
translated by 谷歌翻译
我们介绍了一种普遍的策略，可实现有效的多目标勘探。它依赖于adagoal，一种基于简单约束优化问题的新的目标选择方案，其自适应地针对目标状态，这既不是太困难也不是根据代理目前的知识达到的。我们展示了Adagoal如何用于解决学习$ \ epsilon $ -optimal的目标条件的政策，以便在$ L $ S_0 $ S_0 $奖励中获得的每一个目标状态，以便在$ S_0 $中获取。免费马尔可夫决策过程。在标准的表格外壳中，我们的算法需要$ \ tilde {o}（l ^ 3 s a \ epsilon ^ { - 2}）$探索步骤，这几乎很少最佳。我们还容易在线性混合Markov决策过程中实例化Adagoal，其产生具有线性函数近似的第一目标导向的PAC保证。除了强大的理论保证之外，迈克纳队以现有方法的高级别算法结构为锚定，为目标条件的深度加固学习。
translated by 谷歌翻译
我们研究了在随机最短路径（SSP）设置中的学习问题，其中代理试图最小化在达到目标状态之前累积的预期成本。我们设计了一种新型基于模型的算法EB-SSP，仔细地偏离了经验转变，并通过探索奖励来赋予经验成本，以诱导乐观的SSP问题，其相关价值迭代方案被保证收敛。我们证明了EB-SSP实现了Minimax后悔率$ \ tilde {o}（b _ {\ star} \ sqrt {sak}）$，其中$ k $是剧集的数量，$ s $是状态的数量， $ a $是行动的数量，而B _ {\ star} $绑定了从任何状态的最佳策略的预期累积成本，从而缩小了下限的差距。有趣的是，EB-SSP在没有参数的同时获得此结果，即，它不需要任何先前的$ B _ {\ star} $的知识，也不需要$ t _ {\ star} $，它绑定了预期的时间 - 任何州的最佳政策的目标。此外，我们说明了各种情况（例如，当$ t _ {\ star} $的订单准确估计可用时，遗憾地仅包含对$ t _ {\ star} $的对数依赖性，因此产生超出有限范围MDP设置的第一个（几乎）的免地相会遗憾。
translated by 谷歌翻译
我们研究了具有线性函数近似增强学习中的随机最短路径（SSP）问题，其中过渡内核表示为未知模型的线性混合物。我们将此类别的SSP问题称为线性混合物SSP。我们提出了一种具有Hoeffding-type置信度的新型算法，用于学习线性混合物SSP，可以获得$ \ tilde {\ Mathcal {o}}}}（d B _ {\ star}^{1.5} \ sqrt {k/c_ {k/c_ {k/c_ {k/c_ { \ min}}）$遗憾。这里$ k $是情节的数量，$ d $是混合模型中功能映射的维度，$ b _ {\ star} $限制了最佳策略的预期累积成本，$ c _ {\ min}>> 0 $是成本函数的下限。当$ c _ {\ min} = 0 $和$ \ tilde {\ mathcal {o}}}（k^{2/3}）$遗憾时，我们的算法也适用于情况。据我们所知，这是第一个具有sublrinear遗憾保证线性混合物SSP的算法。此外，我们设计了精致的伯恩斯坦型信心集并提出了改进的算法，该算法可实现$ \ tilde {\ Mathcal {o}}}（d b _ {\ star} \ sqrt {k/c/c/c {k/c _ {\ min}}） $遗憾。为了补充遗憾的上限，我们还证明了$ \ omega（db _ {\ star} \ sqrt {k}）$的下限。因此，我们的改进算法将下限匹配到$ 1/\ sqrt {c _ {\ min}} $ factor和poly-logarithmic因素，从而实现了近乎最佳的遗憾保证。
translated by 谷歌翻译
Epsilon-Greedy，SoftMax或Gaussian噪声等近视探索政策在某些强化学习任务中无法有效探索，但是在许多其他方面，它们的表现都很好。实际上，实际上，由于简单性，它们通常被选为最佳选择。但是，对于哪些任务执行此类政策成功？我们可以为他们的有利表现提供理论保证吗？尽管这些政策具有显着的实际重要性，但这些关键问题几乎没有得到研究。本文介绍了对此类政策的理论分析，并为通过近视探索提供了对增强学习的首次遗憾和样本复杂性。我们的结果适用于具有有限的Bellman Eluder维度的情节MDP中的基于价值功能的算法。我们提出了一种新的复杂度度量，称为近视探索差距，用Alpha表示，该差距捕获了MDP的结构属性，勘探策略和给定的值函数类别。我们表明，近视探索的样品复杂性与该数量的倒数1 / alpha^2二次地量表。我们通过具体的例子进一步证明，由于相应的动态和奖励结构，在近视探索成功的几项任务中，近视探索差距确实是有利的。
translated by 谷歌翻译
在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。
translated by 谷歌翻译
在差异隐私（DP）的约束下，我们在有限地域表格马尔可夫决策过程（MDP）中研究了遗憾最小化。这是由强化学习（RL）在现实世界顺序决策中的广泛应用程序的推动，保护用户敏感和私人信息变得最大程度。我们考虑了两种DP - 关节DP（JDP）的变体，其中集中式代理负责保护用户的敏感数据和本地DP（LDP），其中需要直接在用户端保护信息。我们首先提出了两个一般框架 - 一个用于策略优化，另一个用于迭代 - 用于设计私有，乐观的RL算法。然后，我们将这些框架实例化了合适的隐私机制来满足JDP和LDP要求，并同时获得Sublinear遗憾担保。遗憾的界限表明，在JDP下，隐私费用只是较低的秩序添加剂项，而在LDP下，对于更强的隐私保护，遭受的成本是乘法的。最后，通过统一的分析获得了遗憾范围，我们相信，我们相信，可以超出表格MDP。
translated by 谷歌翻译
尽管固定环境中的单一机构政策优化最近在增强学习社区中引起了很多研究的关注，但是当在潜在竞争性的环境中有多个代理商在玩耍时，从理论上讲，少得多。我们通过提出和分析具有结构化但未知过渡的零和Markov游戏的新的虚拟游戏策略优化算法来向前迈进。我们考虑两类的过渡结构：分类的独立过渡和单个控制器过渡。对于这两种情况，我们都证明了紧密的$ \ widetilde {\ Mathcal {o}}（\ sqrt {k}）$遗憾的范围在$ k $ eviepodes之后，在两种代理竞争的游戏场景中。每个代理人的遗憾是针对潜在的对抗对手的衡量，他们在观察完整的政策序列后可以在事后选择一个最佳政策。我们的算法在非平稳环境中同时进行政策优化的范围下，具有上置信度结合（UCB）的乐观和虚拟游戏的结合。当两个玩家都采用所提出的算法时，他们的总体最优差距为$ \ widetilde {\ Mathcal {o}}（\ sqrt {k}）$。
translated by 谷歌翻译
强化学习理论集中在两个基本问题上：实现低遗憾，并确定$ \ epsilon $ - 最佳政策。虽然简单的减少允许人们应用低温算法来获得$ \ epsilon $ - 最佳政策并达到最坏的最佳速率，但尚不清楚低regret算法是否可以获得实例 - 最佳率的策略识别率。我们表明这是不可能的 - 在遗憾和确定$ \ epsilon $ - 最佳政策之间以最佳的利率确定了基本的权衡。由于我们的负面发现，我们提出了针对PAC表格增强学习实例依赖性样本复杂性的新量度，该方法明确说明了基础MDP中可达到的国家访问分布。然后，我们提出和分析一种基于计划的新型算法，该算法达到了这种样本的复杂性 - 产生的复杂性会随着次要差距和状态的“可达到性”而缩放。我们显示我们的算法几乎是最小的最佳选择，并且在一些示例中，我们实例依赖性样品复杂性比最差案例界限可显着改善。
translated by 谷歌翻译
我们在加固学习中使用汤普森采样（TS） - 样算法中的随机价值函数研究探索。这种类型的算法享有有吸引力的经验性能。我们展示当我们使用1）每一集中的单个随机种子，而2）伯尼斯坦型噪声幅度，我们获得了最坏的情况$ \ widetilde {o}左（h \ sqrt {sat} \右）$遗憾绑定了焦点时间 - 不均匀的马尔可夫决策过程，其中$ S $是国家空间的大小，$ a $的是行动空间的大小，$ h $是规划地平线，$ t $是互动的数量。这种绑定的多项式基于随机值函数的TS样算法的所有现有界限，并且首次匹配$ \ Omega \左（H \ SQRT {SAT}右）$下限到对数因子。我们的结果强调随机勘探可以近乎最佳，这是以前仅通过乐观算法实现的。为了实现所需的结果，我们开发1）新的剪辑操作，以确保持续持续的概率和悲观的概率是较低的常数，并且2）用于分析估计误差的绝对值的新递归公式。后悔。
translated by 谷歌翻译
获取一阶遗憾界限 - 遗憾的界限不是作为最坏情况，但有一些衡量给定实例的最佳政策的性能 - 是连续决策的核心问题。虽然这种界限存在于许多设置中，但它们在具有大状态空间的钢筋学习中被证明是难以捉摸的。在这项工作中，我们解决了这个差距，并表明可以将遗憾的缩放作为$ \ mathcal {o}（\ sqrt {v_1 ^ \ star}）$中的钢筋学习，即用大状态空间，即线性MDP设置。这里$ v_1 ^ \ star $是最佳政策的价值，$ k $是剧集的数量。我们证明基于最小二乘估计的现有技术不足以获得该结果，而是基于强大的Catoni平均估计器制定一种新的稳健自归一化浓度，其可能具有独立兴趣。
translated by 谷歌翻译
无奖励强化学习（RL）考虑了代理在探索过程中无法访问奖励功能的设置，但必须提出仅在探索后才揭示的任意奖励功能的近乎最佳的政策。在表格环境中，众所周知，这是一个比奖励意识（PAC）RL（代理在探索过程中访问奖励功能）更困难的问题$ | \ Mathcal {s} | $，状态空间的大小。我们表明，在线性MDP的设置中，这种分离不存在。我们首先在$ d $二维线性MDP中开发了一种计算高效算法，其样品复杂度比例为$ \ widetilde {\ Mathcal {o}}（d^2 H^5/\ epsilon^2）$ 。然后，我们显示出$ \ omega（d^2 h^2/\ epsilon^2）$的匹配尺寸依赖性的下限，该限制为奖励感知的RL设置。据我们所知，我们的方法是第一个在线性MDP中实现最佳$ d $依赖性的计算有效算法，即使在单次奖励PAC设置中也是如此。我们的算法取决于一种新的程序，该过程有效地穿越了线性MDP，在任何给定的``特征方向''中收集样品，并在最大状态访问概率（线性MDP等效）中享受最佳缩放样品复杂性。我们表明，该探索过程也可以应用于解决线性MDP中````良好条件''''协变量的问题。
translated by 谷歌翻译