由于信息不对称，多智能经纪增强学习（Marl）问题是挑战。为了克服这一挑战，现有方法通常需要代理商之间的高度协调或沟通。我们考虑具有在应用中产生的分层信息结构的两个代理多武装匪徒（MAB）和MARKOV决策过程（MDP），我们利用不需要协调或通信的更简单和更高效的算法。在结构中，在每个步骤中，“领导者”首先选择她的行动，然后“追随者”在观察领导者的行动后，“追随者”决定他的行动。这两个代理观察了相同的奖励（以及MDP设置中的相同状态转换），这取决于其联合行动。对于强盗设置，我们提出了一种分层匪盗算法，实现了$ \ widetilde {\ mathcal {o}}（\ sqrt {abt}）$和近最佳差距依赖的近乎最佳的差距遗憾$ \ mathcal {o}（\ log（t））$，其中$ a $和$ b $分别是领导者和追随者的行动数，$ t $是步数。我们进一步延伸到多个追随者的情况，并且具有深层层次结构的情况，在那里我们都获得了近乎最佳的遗憾范围。对于MDP设置，我们获得$ \ widetilde {\ mathcal {o}}（\ sqrt {h ^ 7s ^ 2abt}）$后悔，其中$ h $是每集的步骤数，$ s $是数量各国，$ T $是剧集的数量。这与$ a，b $和$ t $的现有下限匹配。

我们考虑了有多个具有不同奖励功能的利益相关者的情节强化学习问题。我们的目标是输出有关不同奖励功能在社会上公平的政策。先前的工作提出了不同的目标，即公平政策必须优化，包括最低福利和广义的基尼福利。我们首先对问题进行公理视图，并提出四个公理，任何这样的公平目标都必须满足。我们表明，纳什社会福利是一个独特的目标，它独特地满足了所有四个目标，而先前的目标无法满足所有四个公理。然后，我们考虑了基础模型，即马尔可夫决策过程未知的问题的学习版本。我们考虑到最大程度地降低对公平政策最大化的遗憾的问题，从而最大化三个不同的公平目标 - 最低限度的福利，广义基尼福利和纳什社会福利。基于乐观的计划，我们提出了一种通用的学习算法，并在三种不同的政策方面得出了遗憾。为了纳什社会福利的目的，我们还遗憾地得出了一个遗憾的遗憾，它以$ n $（代理的数量）成倍增长。最后，我们表明，为了最低限度福利的目的，对于较弱的遗憾概念，人们可以将遗憾提高到$ o（h）$。

我们在随机和对抗性马尔可夫决策过程（MDP）中研究合作在线学习。也就是说，在每一集中，$ m $代理商同时与MDP互动，并共享信息以最大程度地减少他们的遗憾。我们考虑具有两种随机性的环境：\ emph {Fresh} - 在每个代理的轨迹均已采样i.i.d和\ emph {non-fresh} - 其中所有代理人共享实现（但每个代理的轨迹也受到影响）通过其自己的行动）。更确切地说，通过非志趣相投的随机性，每个成本和过渡的实现都在每个情节开始时都固定了，并且在同一时间同时采取相同行动的代理人观察到相同的成本和下一个状态。我们彻底分析了所有相关设置，强调了模型之间的挑战和差异，并证明了几乎匹配的遗憾下层和上限。据我们所知，我们是第一个考虑具有非伪造随机性或对抗性MDP的合作强化学习（RL）。

我们考虑非平稳马尔可夫决策过程中的无模型增强学习（RL）。只要其累积变化不超过某些变化预算，奖励功能和国家过渡功能都可以随时间随时间变化。我们提出了重新启动的Q学习，以上置信度范围（RestartQ-UCB），这是第一个用于非平稳RL的无模型算法，并表明它在动态遗憾方面优于现有的解决方案。具体而言，带有freedman型奖励项的restartq-ucb实现了$ \ widetilde {o}（s^{\ frac {1} {3}} {\ frac {\ frac {1} {1} {3}} {3}} {3}} {3}} {3}} {3}} {3}} {3}} {\ delta ^{\ frac {1} {3}} h t^{\ frac {2} {3}}} $，其中$ s $和$ a $分别是$ \ delta> 0 $的状态和动作的数字是变化预算，$ h $是每集的时间步数，而$ t $是时间步长的总数。我们进一步提出了一种名为Double-Restart Q-UCB的无参数算法，该算法不需要事先了解变化预算。我们证明我们的算法是\ emph {几乎是最佳}，通过建立$ \ omega的信息理论下限（s^{\ frac {1} {1} {3}}} a^{\ frac {1} {1} {3}}}}}} \ delta^{\ frac {1} {3}} h^{\ frac {2} {3}}}} t^{\ frac {2} {3}}} $，是非稳态RL中的第一个下下限。数值实验可以根据累积奖励和计算效率来验证RISTARTQ-UCB的优势。我们在相关产品的多代理RL和库存控制的示例中证明了我们的结果的力量。

We consider a multi-agent episodic MDP setup where an agent (leader) takes action at each step of the episode followed by another agent (follower). The state evolution and rewards depend on the joint action pair of the leader and the follower. Such type of interactions can find applications in many domains such as smart grids, mechanism design, security, and policymaking. We are interested in how to learn policies for both the players with provable performance guarantee under a bandit feedback setting. We focus on a setup where both the leader and followers are {\em non-myopic}, i.e., they both seek to maximize their rewards over the entire episode and consider a linear MDP which can model continuous state-space which is very common in many RL applications. We propose a {\em model-free} RL algorithm and show that $\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$ regret bounds can be achieved for both the leader and the follower, where $d$ is the dimension of the feature mapping, $H$ is the length of the episode, and $T$ is the total number of steps under the bandit feedback information setup. Thus, our result holds even when the number of states becomes infinite. The algorithm relies on {\em novel} adaptation of the LSVI-UCB algorithm. Specifically, we replace the standard greedy policy (as the best response) with the soft-max policy for both the leader and the follower. This turns out to be key in establishing uniform concentration bound for the value functions. To the best of our knowledge, this is the first sub-linear regret bound guarantee for the Markov games with non-myopic followers with function approximation.

强化学习通常假设代理人立即观察其动作的反馈，但在许多实际应用中（如推荐系统），延迟观察到反馈。本文在线学习在线学习，具有未知过渡，过渡性的成本和不受限制的延迟反馈，在线学习。也就是说，集中的成本和轨迹只在第k + d ^ k $的集中延迟到学习者，其中延迟$ d ^ k $既不相同也不有界限，并由其中选择忘记的对手。我们提出了基于策略优化的新型算法，该算法在全信息反馈下实现了$ \ sqrt {k + d} $的近乎最佳的高概率遗憾，其中$ k $是剧集的数量和$ d = \ sum_ {k D ^ K $是总延迟。在强盗反馈下，我们证明了类似$ \ SQRT {K + D} $遗憾假设成本是随机的，而在一般情况下为$（k + d）^ {2/3} $遗憾。我们是第一个在具有延迟反馈的MDP的重要设置中考虑后悔最小化。

我们研究了线性函数近似的强化学习（RL）。此问题的现有算法仅具有高概率遗憾和/或可能大致正确（PAC）样本复杂性保证，这不能保证对最佳政策的趋同。在本文中，为了克服现有算法的限制，我们提出了一种新的算法，称为长笛，它享有统一-PAC收敛到具有高概率的最佳政策。统一-PAC保证是文献中强化学习的最强烈保证，它可以直接意味着PAC和高概率遗憾，使我们的算法优于具有线性函数近似的所有现有算法。在我们的算法的核心，是一种新颖的最小值函数估计器和多级别分区方案，以从历史观察中选择训练样本。这两种技术都是新的和独立的兴趣。

我们提出了一个新的学习框架，该框架捕获了许多真实世界用户交互应用程序的分层结构，在该框架中，可以根据探索风险的不同公差将用户分为两组，并应分别处理。在这种情况下，我们同时维护两个政策$ \ pi^{\ text {o}} $和$ \ pi^{\ text {e}} $：$ \ pi^{\ pi^{\ text {o}}} $（“ o “对于“在线”）与第一层的更具风险的用户进行互动，并像往常一样平衡探索和剥削来最大程度地减少后悔，而$ \ pi^{\ text {e}} $（“ e” for“ exploit”）专注于利用到目前为止收集的数据，从第二层的规避风险用户进行剥削。一个重要的问题是，这种分离是否比标准在线设置（即$ \ pi^{\ text {e}} = \ pi^{\ text {o}} $）是否产生优势。我们单独考虑与差距无关的与差距依赖性设置。对于前者来说，我们证明从最小值的角度来看，分离确实不是有益的。对于后者，我们表明，如果选择悲观的价值迭代作为剥削算法来产生$ \ pi^{\ text {e}} $，我们可以不断地对无独立的风险用户$ k的数量来实现遗憾$，与$ \ omega（\ log k）$相同的$ \ omega（\ log k）$在同一环境中遗憾在线遗憾的最优性，不需要为成功的成功而妥协。

我们在非静止线性（AKA低级别）马尔可夫决策过程（MDP）中研究了集中加强学习，即奖励和转换内核都是关于给定特征映射的线性，并且被允许缓慢或突然演变时间。对于此问题设置，我们提出了一种基于加权最小二乘值的乐观模型算法的Opt-WLSVI，其使用指数权重来平滑地忘记过去远远的数据。我们表明我们的算法在每次竞争最佳政策时，实现了由$ \ widetilde {\ mathcal {o}}的上部界限的遗憾（d ^ {5/4} h ^ 2 \ delta ^ {1 / 4} k ^ {3/4}）$何地在$ d $是特征空间的尺寸，$ h $是规划地平线，$ k $是剧集的数量和$ \ delta $是一个合适的衡量标准MDP的非固定性。此外，我们指出了在忘记以前作品的非静止线性匪徒环境中忘记策略的技术差距，并提出了修复其遗憾分析。

强化学习理论集中在两个基本问题上：实现低遗憾，并确定$ \ epsilon $ - 最佳政策。虽然简单的减少允许人们应用低温算法来获得$ \ epsilon $ - 最佳政策并达到最坏的最佳速率，但尚不清楚低regret算法是否可以获得实例 - 最佳率的策略识别率。我们表明这是不可能的 - 在遗憾和确定$ \ epsilon $ - 最佳政策之间以最佳的利率确定了基本的权衡。由于我们的负面发现，我们提出了针对PAC表格增强学习实例依赖性样本复杂性的新量度，该方法明确说明了基础MDP中可达到的国家访问分布。然后，我们提出和分析一种基于计划的新型算法，该算法达到了这种样本的复杂性 - 产生的复杂性会随着次要差距和状态的“可达到性”而缩放。我们显示我们的算法几乎是最小的最佳选择，并且在一些示例中，我们实例依赖性样品复杂性比最差案例界限可显着改善。

我们与指定为领导者的球员之一和其他球员读为追随者的球员学习多人一般汇总马尔可夫游戏。特别是，我们专注于追随者是近视的游戏，即，他们的目标是最大限度地提高他们的瞬间奖励。对于这样的游戏，我们的目标是找到一个Stackelberg-Nash均衡（SNE），这是一个策略对$（\ pi ^ *，\ nu ^ *）$，这样（i）$ \ pi ^ * $是追随者始终发挥最佳回应的领导者的最佳政策，（ii）$ \ nu ^ * $是追随者的最佳反应政策，这是由$ \ pi ^ *引起的追随者游戏的纳什均衡$。我们开发了用于在线和离线设置中的SNE解决SNE的采样高效的强化学习（RL）算法。我们的算法是最小二乘值迭代的乐观和悲观的变体，并且它们很容易能够在大状态空间的设置中结合函数近似工具。此外，对于线性函数近似的情况，我们证明我们的算法分别在线和离线设置下实现了Sublinear遗憾和次优。据我们所知，我们建立了第一种可用于解决近代Markov游戏的SNES的第一款可透明的RL算法。

我们使用访问离线最小二乘回归甲骨文的访问权限，在最低可及性假设下为随机上下文MDP提供了遗憾的最小化算法。我们分析了三个不同的设置：在该动力学的位置，动力学是未知的，但独立于上下文和最具挑战性的设置，而动力学是未知和上下文依赖性的。对于后者，我们的算法获得$ \ tilde {o} \ left（\ max \ {h，{1}/{p_ {min}}} \} \} t \ log（\ max \ {| \ mathcal {f} |，| \ mathcal {p} | \}/\ delta）} \ right）$ hearse bunder bund bund bund bund bund bund bund bunging bund bunger，probinality $ 1- \ delta $，其中$ \ mathcal { P} $和$ \ Mathcal {f} $是用于分别近似动态和奖励的有限且可实现的函数类，$ p_ {min} $是最小可及性参数，$ s $是一组状态，$ a $ a $一组动作，$ h $ the Horizo​​n和$ t $情节数。据我们所知，我们的方法是使用一般函数近似的上下文MDP的第一种乐观方法（即，在没有其他有关功能类别的知识的情况下，例如线性等）。此外，我们还提供$ \ omega的下限即使在已知的动态情况下，也会产生预期的遗憾。

我们在嵌套政策类别的存在下研究匪徒场景中的模型选择问题，目的是获得同时的对抗和随机性（“两全其美”）高概率的遗憾保证。我们的方法要求每个基础学习者都有一个候选人的遗憾约束，可能会或可能不会举行，而我们的元算法按照一定时间表来扮演每个基础学习者，该时间表使基础学习者的候选人后悔的界限保持平衡，直到被发现违反他们的保证为止。我们开发了专门设计的仔细的错误指定测试，以将上述模型选择标准与利用环境的（潜在良性）性质的能力相结合。我们在对抗环境中恢复畜栏算法的模型选择保证，但是在实现高概率后悔界限的附加益处，特别是在嵌套对抗性线性斑块的情况下。更重要的是，我们的模型选择结果也同时在差距假设​​下的随机环境中同时保持。这些是在（线性）匪徒场景中执行模型选择时，可以达到世界上最好的（随机和对抗性）保证的第一个理论结果。

经济学和政策等现实世界应用程序往往涉及解决多智能运动游戏与两个独特的特点：（1）代理人本质上是不对称的，并分成领导和追随者; （2）代理商有不同的奖励功能，因此游戏是普通的。该领域的大多数现有结果侧重于对称解决方案概念（例如纳什均衡）或零和游戏。它仍然开放了如何学习Stackelberg均衡 - 从嘈杂的样本有效地纳入均衡的不对称模拟 - 纳入均衡。本文启动了对Birtit反馈设置中Stackelberg均衡的样本高效学习的理论研究，我们只观察奖励的噪音。我们考虑三个代表双人普通和游戏：强盗游戏，强盗加固学习（Bandit-RL）游戏和线性匪徒游戏。在所有这些游戏中，我们使用有义的许多噪声样本来确定Stackelberg均衡和其估计版本的确切值之间的基本差距，无论算法如何，都无法封闭信息。然后，我们在对上面识别的差距最佳的基础上的数据高效学习的样本高效学习的敏锐积极结果，在依赖于依赖性的差距，误差容限和动作空间的大小，匹配下限。总体而言，我们的结果在嘈杂的强盗反馈下学习Stackelberg均衡的独特挑战，我们希望能够在未来的研究中阐明这一主题。

我们在加固学习中使用汤普森采样（TS） - 样算法中的随机价值函数研究探索。这种类型的算法享有有吸引力的经验性能。我们展示当我们使用1）每一集中的单个随机种子，而2）伯尼斯坦型噪声幅度，我们获得了最坏的情况$ \ widetilde {o}左（h \ sqrt {sat} \右）$遗憾绑定了焦点时间 - 不均匀的马尔可夫决策过程，其中$ S $是国家空间的大小，$ a $的是行动空间的大小，$ h $是规划地平线，$ t $是互动的数量。这种绑定的多项式基于随机值函数的TS样算法的所有现有界限，并且首次匹配$ \ Omega \左（H \ SQRT {SAT}右）$下限到对数因子。我们的结果强调随机勘探可以近乎最佳，这是以前仅通过乐观算法实现的。为了实现所需的结果，我们开发1）新的剪辑操作，以确保持续持续的概率和悲观的概率是较低的常数，并且2）用于分析估计误差的绝对值的新递归公式。后悔。

尽管固定环境中的单一机构政策优化最近在增强学习社区中引起了很多研究的关注，但是当在潜在竞争性的环境中有多个代理商在玩耍时，从理论上讲，少得多。我们通过提出和分析具有结构化但未知过渡的零和Markov游戏的新的虚拟游戏策略优化算法来向前迈进。我们考虑两类的过渡结构：分类的独立过渡和单个控制器过渡。对于这两种情况，我们都证明了紧密的$ \ widetilde {\ Mathcal {o}}（\ sqrt {k}）$遗憾的范围在$ k $ eviepodes之后，在两种代理竞争的游戏场景中。每个代理人的遗憾是针对潜在的对抗对手的衡量，他们在观察完整的政策序列后可以在事后选择一个最佳政策。我们的算法在非平稳环境中同时进行政策优化的范围下，具有上置信度结合（UCB）的乐观和虚拟游戏的结合。当两个玩家都采用所提出的算法时，他们的总体最优差距为$ \ widetilde {\ Mathcal {o}}（\ sqrt {k}）$。

在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.

We study time-inhomogeneous episodic reinforcement learning (RL) under general function approximation and sparse rewards. We design a new algorithm, Variance-weighted Optimistic $Q$-Learning (VO$Q$L), based on $Q$-learning and bound its regret assuming completeness and bounded Eluder dimension for the regression function class. As a special case, VO$Q$L achieves $\tilde{O}(d\sqrt{HT}+d^6H^{5})$ regret over $T$ episodes for a horizon $H$ MDP under ($d$-dimensional) linear function approximation, which is asymptotically optimal. Our algorithm incorporates weighted regression-based upper and lower bounds on the optimal value function to obtain this improved regret. The algorithm is computationally efficient given a regression oracle over the function class, making this the first computationally tractable and statistically optimal approach for linear MDPs.

无奖励强化学习（RL）考虑了代理在探索过程中无法访问奖励功能的设置，但必须提出仅在探索后才揭示的任意奖励功能的近乎最佳的政策。在表格环境中，众所周知，这是一个比奖励意识（PAC）RL（代理在探索过程中访问奖励功能）更困难的问题$ | \ Mathcal {s} | $，状态空间的大小。我们表明，在线性MDP的设置中，这种分离不存在。我们首先在$ d $二维线性MDP中开发了一种计算高效算法，其样品复杂度比例为$ \ widetilde {\ Mathcal {o}}（d^2 H^5/\ epsilon^2）$ 。然后，我们显示出$ \ omega（d^2 h^2/\ epsilon^2）$的匹配尺寸依赖性的下限，该限制为奖励感知的RL设置。据我们所知，我们的方法是第一个在线性MDP中实现最佳$ d $依赖性的计算有效算法，即使在单次奖励PAC设置中也是如此。我们的算法取决于一种新的程序，该过程有效地穿越了线性MDP，在任何给定的``特征方向''中收集样品，并在最大状态访问概率（线性MDP等效）中享受最佳缩放样品复杂性。我们表明，该探索过程也可以应用于解决线性MDP中````良好条件''''协变量的问题。