躁动不安的多臂土匪（RMAB）是一种恰当的模型，可以代表公共卫生干预措施（例如结核病，母性和儿童保育），反偷猎计划，传感器监测，个性化建议等方面的决策问题。 RMAB的现有研究为各种环境提供了机制和理论结果，其中重点是最大化期望值。在本文中，我们有兴趣确保RMAB决策对不同的武器也很公平，同时最大化了预期价值。在公共卫生环境的背景下，这将确保在做出公共卫生干预决策时公平地代表不同的人和/或社区。为了实现这一目标，我们正式定义了RMAB中的公平限制，并提供计划和学习方法以公平的方式解决RMAB。我们证明了公平RMAB的关键理论特性，并在实验上证明了我们所提出的方法处理公平限制，而无需在溶液质量上显着牺牲。

躁动不安的多臂土匪（RMAB）是在不确定性下分配有限资源的框架。这是一个非常有用的模型，用于监测受益人和执行及时的干预措施，以确保在公共卫生环境中获得最大的利益（例如，确保患者在结核病环境中服用药物，确保怀孕的母亲听取有关良好怀孕习惯的自动电话）。由于资源有限，通常某些社区或地区会饿死可能带来后续影响的干预措施。为了避免在个人/地区/社区的执行干预措施中饥饿，我们首先提供了软性约束，然后提供了一种方法来强制RMAB中的软性公平约束。柔软的公平约束要求，如果选择后一个臂的长期累积奖励较高，则算法永远不会在概率上偏爱另一只手臂。我们的方法将基于SoftMax的价值迭代方法在RMAB设置中纳入设计选择算法，以满足提出的公平约束。我们的方法（称为Softfair）也提供了理论性能保证，并且在渐近上是最佳的。最后，我们证明了我们在模拟基准上的方法的实用性，并证明可以在没有重大牺牲的价值牺牲的情况下处理软性公平约束。

我们考虑了一类不安的匪徒问题，这些问题在随机优化，增强学习和操作研究中发现了一个广泛的应用领域。我们考虑$ n $独立离散时间马尔可夫流程，每个过程都有两个可能的状态：1和0（“好”和“坏”）。只有在状态1中既有过程又观察到的过程才能得到奖励。目的是最大限度地提高无限视野的预期折扣总和，受到约束，即在每个步骤中只能观察到$ m $ $ $（<n）$。观察是容易出错的：有一个已知的概率，即状态1（0）将被观察为0（1）。从这个人知道，在任何时候$ t $，过程$ i $在状态1中的概率1。可以将结果系统建模为不​​安的多臂强盗问题，具有无数基数的信息状态空间。一般而言，即使是有限状态空间的不安强盗问题也是Pspace-Hard。我们提出了一种新颖的方法，以简化这类不安的土匪的动态编程方程，并开发出一种低复杂性算法，该算法实现了强劲的性能，并且对于带有观察错误的一般不安强盗模型而言，很容易扩展。在某些条件下，我们确定了Whittle指数的存在（索引性）及其与我们的算法的等效性。当这些条件不满足时，我们通过数值实验显示了算法在一般参数空间中的近乎最佳性能。最后，从理论上讲，我们证明了我们算法对于均匀系统的最佳性。

Restless multi-armed bandits (RMABs) extend multi-armed bandits to allow for stateful arms, where the state of each arm evolves restlessly with different transitions depending on whether that arm is pulled. Solving RMABs requires information on transition dynamics, which are often unknown upfront. To plan in RMAB settings with unknown transitions, we propose the first online learning algorithm based on the Whittle index policy, using an upper confidence bound (UCB) approach to learn transition dynamics. Specifically, we estimate confidence bounds of the transition probabilities and formulate a bilinear program to compute optimistic Whittle indices using these estimates. Our algorithm, UCWhittle, achieves sublinear $O(H \sqrt{T \log T})$ frequentist regret to solve RMABs with unknown transitions in $T$ episodes with a constant horizon $H$. Empirically, we demonstrate that UCWhittle leverages the structure of RMABs and the Whittle index policy solution to achieve better performance than existing online learning baselines across three domains, including one constructed via sampling from a real-world maternal and childcare dataset.

我们考虑非平稳马尔可夫决策过程中的无模型增强学习（RL）。只要其累积变化不超过某些变化预算，奖励功能和国家过渡功能都可以随时间随时间变化。我们提出了重新启动的Q学习，以上置信度范围（RestartQ-UCB），这是第一个用于非平稳RL的无模型算法，并表明它在动态遗憾方面优于现有的解决方案。具体而言，带有freedman型奖励项的restartq-ucb实现了$ \ widetilde {o}（s^{\ frac {1} {3}} {\ frac {\ frac {1} {1} {3}} {3}} {3}} {3}} {3}} {3}} {3}} {3}} {\ delta ^{\ frac {1} {3}} h t^{\ frac {2} {3}}} $，其中$ s $和$ a $分别是$ \ delta> 0 $的状态和动作的数字是变化预算，$ h $是每集的时间步数，而$ t $是时间步长的总数。我们进一步提出了一种名为Double-Restart Q-UCB的无参数算法，该算法不需要事先了解变化预算。我们证明我们的算法是\ emph {几乎是最佳}，通过建立$ \ omega的信息理论下限（s^{\ frac {1} {1} {3}}} a^{\ frac {1} {1} {3}}}}}} \ delta^{\ frac {1} {3}} h^{\ frac {2} {3}}}} t^{\ frac {2} {3}}} $，是非稳态RL中的第一个下下限。数值实验可以根据累积奖励和计算效率来验证RISTARTQ-UCB的优势。我们在相关产品的多代理RL和库存控制的示例中证明了我们的结果的力量。

我们考虑随机多武装强盗（MAB）问题，延迟影响了行动。在我们的环境中，过去采取的行动在随后的未来影响了ARM奖励。在现实世界中，行动的这种延迟影响是普遍的。例如，为某个社会群体中的人员偿还贷款的能力可能历史上历史上批准贷款申请的频率频率。如果银行将贷款申请拒绝拒绝弱势群体，则可以创建反馈循环，进一步损害该群体中获取贷款的机会。在本文中，我们制定了在多武装匪徒的背景下的行动延迟和长期影响。由于在学习期间，我们将强盗设置概括为对这种“偏置”的依赖性进行编码。目标是随着时间的推移最大化收集的公用事业，同时考虑到历史行动延迟影响所产生的动态。我们提出了一种算法，实现了$ \ tilde {\ mathcal {o}}的遗憾，并显示$ \ omega（kt ^ {2/3}）$的匹配遗憾下限，其中$ k $是武器数量，$ t $是学习地平线。我们的结果通过添加技术来补充强盗文献，以处理具有长期影响的行动，并对设计公平算法有影响。

本文研究了马尔可夫决策过程（MDPS）中用于政策评估的数据收集问题。在政策评估中，我们获得了目标政策，并要求估计它将在正式作为MDP的环境中获得的预期累积奖励。我们通过首先得出了使用奖励分布方差知识的Oracle数据收集策略来开发在树结构MDPS中的最佳数据收集理论。然后，我们介绍了减少的方差采样（射击）算法，即当奖励方差未知并与Oracle策略相比，奖励方差未知并绑定其亚典型性时，它近似于Oracle策略。最后，我们从经验上验证了射手会导致与甲骨文策略相当的均衡误差进行政策评估，并且比仅仅运行目标策略要低得多。

在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。

This paper studies systematic exploration for reinforcement learning with rich observations and function approximation. We introduce a new model called contextual decision processes, that unifies and generalizes most prior settings. Our first contribution is a complexity measure, the Bellman rank , that we show enables tractable learning of near-optimal behavior in these processes and is naturally small for many well-studied reinforcement learning settings. Our second contribution is a new reinforcement learning algorithm that engages in systematic exploration to learn contextual decision processes with low Bellman rank. Our algorithm provably learns near-optimal behavior with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The approach uses Bellman error minimization with optimistic exploration and provides new insights into efficient exploration for reinforcement learning with function approximation.

我们研究了基于模型的未识别的强化学习，用于部分可观察到的马尔可夫决策过程（POMDPS）。我们认为的Oracle是POMDP的最佳政策，其在无限视野的平均奖励方面具有已知环境。我们为此问题提出了一种学习算法，基于隐藏的马尔可夫模型的光谱方法估计，POMDPS中的信念错误控制以及在线学习的上等信心结合方法。我们为提出的学习算法建立了$ o（t^{2/3} \ sqrt {\ log t}）$的后悔界限，其中$ t $是学习范围。据我们所知，这是第一种算法，这是对我们学习普通POMDP的甲骨文的统一性后悔。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

We consider infinite horizon Markov decision processes (MDPs) with fast-slow structure, meaning that certain parts of the state space move "fast" (and in a sense, are more influential) while other parts transition more "slowly." Such structure is common in real-world problems where sequential decisions need to be made at high frequencies, yet information that varies at a slower timescale also influences the optimal policy. Examples include: (1) service allocation for a multi-class queue with (slowly varying) stochastic costs, (2) a restless multi-armed bandit with an environmental state, and (3) energy demand response, where both day-ahead and real-time prices play a role in the firm's revenue. Models that fully capture these problems often result in MDPs with large state spaces and large effective time horizons (due to frequent decisions), rendering them computationally intractable. We propose an approximate dynamic programming algorithmic framework based on the idea of "freezing" the slow states, solving a set of simpler finite-horizon MDPs (the lower-level MDPs), and applying value iteration (VI) to an auxiliary MDP that transitions on a slower timescale (the upper-level MDP). We also extend the technique to a function approximation setting, where a feature-based linear architecture is used. On the theoretical side, we analyze the regret incurred by each variant of our frozen-state approach. Finally, we give empirical evidence that the frozen-state approach generates effective policies using just a fraction of the computational cost, while illustrating that simply omitting slow states from the decision modeling is often not a viable heuristic.

本文研究了不知所措的多臂匪徒（RMAB）问题，该问题具有未知的手臂过渡动力学，但具有已知的相关手臂特征。目的是学习一个模型，以预测给定功能的过渡动态，在这种功能下，使用预测的过渡解决了RMAB问题。但是，先前的工作通常通过最大化预测精度而不是最终的RMAB解决方案质量来学习模型，从而在培训和评估目标之间导致不匹配。为了解决这一缺点，我们提出了一种新颖的方法，用于在RMAB中以决策为中心的学习，该方法直接训练预测模型，以最大程度地提高Whittle索引解决方案质量。我们提出了三个关键贡献：（i）我们建立了Whittle Index政策以支持决策的学习的不同； （ii）我们在顺序问题中显着提高了以前以决策为中心的学习方法的可伸缩性； （iii）我们将算法应用于现实世界中的母婴健康领域的服务通话计划问题。我们的算法是第一个在RMAB中以决策为中心的学习，该学习范围扩展到大型现实世界中的问题。 \ end {摘要}

我们在\ textit {躁动不安的多臂土匪}（rmabs）中引入了鲁棒性，这是一个流行的模型，用于在独立随机过程（臂）之间进行约束资源分配。几乎所有RMAB技术都假设随机动力学是精确的。但是，在许多实际设置中，动态是用显着的\ emph {不确定性}估算的，例如，通过历史数据，如果被忽略，这可能会导致不良结果。为了解决这个问题，我们开发了一种算法来计算Minimax遗憾 - RMAB的强大政策。我们的方法使用双oracle框架（\ textit {agent}和\ textit {nature}），通常用于单过程强大的计划，但需要大量的新技术来适应RMAB的组合性质。具体而言，我们设计了深入的强化学习（RL）算法DDLPO，该算法通过学习辅助机构“ $ \ lambda $ -network”来应对组合挑战，并与每手臂的策略网络串联，大大降低了样本复杂性，并确保了融合。普遍关注的DDLPO实现了我们的奖励最大化代理Oracle。然后，我们通过将其作为策略优化器和对抗性性质之间的多代理RL问题提出来解决具有挑战性的遗憾最大化自然甲骨文，这是一个非平稳的RL挑战。这种表述具有普遍的兴趣 - 我们通过与共同的评论家创建DDLPO的多代理扩展来解决RMAB。我们显示我们的方法在三个实验域中效果很好。

我们研究了具有线性函数近似增强学习中的随机最短路径（SSP）问题，其中过渡内核表示为未知模型的线性混合物。我们将此类别的SSP问题称为线性混合物SSP。我们提出了一种具有Hoeffding-type置信度的新型算法，用于学习线性混合物SSP，可以获得$ \ tilde {\ Mathcal {o}}}}（d B _ {\ star}^{1.5} \ sqrt {k/c_ {k/c_ {k/c_ {k/c_ { \ min}}）$遗憾。这里$ k $是情节的数量，$ d $是混合模型中功能映射的维度，$ b _ {\ star} $限制了最佳策略的预期累积成本，$ c _ {\ min}>> 0 $是成本函数的下限。当$ c _ {\ min} = 0 $和$ \ tilde {\ mathcal {o}}}（k^{2/3}）$遗憾时，我们的算法也适用于情况。据我们所知，这是第一个具有sublrinear遗憾保证线性混合物SSP的算法。此外，我们设计了精致的伯恩斯坦型信心集并提出了改进的算法，该算法可实现$ \ tilde {\ Mathcal {o}}}（d b _ {\ star} \ sqrt {k/c/c/c {k/c _ {\ min}}） $遗憾。为了补充遗憾的上限，我们还证明了$ \ omega（db _ {\ star} \ sqrt {k}）$的下限。因此，我们的改进算法将下限匹配到$ 1/\ sqrt {c _ {\ min}} $ factor和poly-logarithmic因素，从而实现了近乎最佳的遗憾保证。

在线强化学习（RL）算法通常难以在复杂的人体面对应用中部署，因为它们可能会缓慢学习并且早期性能差。为了解决这个问题，我们介绍了一种结合人类洞察速度学习的实用算法。我们的算法，约束采样增强学习（CSRL）将现有域知识包含为RL策略的约束/限制。它需要多种潜在的政策限制，以保持稳健性，以便在利用有用的时击败个体限制，以便快速学习。鉴于基础RL学习算法（例如UCRL，DQN，Rainbow），我们提出了对消除方案的上下置信度，该方案利用了限制与其观察性能之间的关系，以便自适应地切换它们。我们将我们的算法用DQN型算法和UCRL作为基础算法，并在四种环境中评估我们的算法，包括基于实际数据的三个模拟器：建议，教育活动排序和HIV处理测序。在所有情况下，CSRL比基线更快地学习良好的政策。

我们考虑一个不当的强化学习设置，在该设置中，为学习者提供了$ M $的基本控制器，以进行未知的马尔可夫决策过程，并希望最佳地结合它们，以生产一个可能胜过每个基本基础的控制器。这对于在不匹配或模拟环境中学习的跨控制器进行调整可能很有用，可以为给定的目标环境获得良好的控制器，而试验相对较少。在此方面，我们提出了两种算法：（1）一种基于政策梯度的方法； （2）可以根据可用信息在基于简单的参与者（AC）方案和天然参与者（NAC）方案之间切换的算法。两种算法都在给定控制器的一类不当混合物上运行。对于第一种情况，我们得出融合率保证，假设访问梯度甲骨文。对于基于AC的方法，我们提供了基本AC案例中的固定点的收敛速率保证，并在NAC情况下为全球最优值提供了保证。 （i）稳定卡特柱的标准控制理论基准的数值结果； （ii）一个受约束的排队任务表明，即使可以使用的基本策略不稳定，我们的不当政策优化算法也可以稳定系统。

强化学习被广泛用于在与环境互动时需要执行顺序决策的应用中。当决策要求包括满足一些安全限制时，问题就变得更加具有挑战性。该问题在数学上是作为约束的马尔可夫决策过程（CMDP）提出的。在文献中，可以通过无模型的方式解决各种算法来解决CMDP问题，以实现$ \ epsilon $ - 最佳的累积奖励，并使用$ \ epsilon $可行的政策。 $ \ epsilon $可行的政策意味着它遭受了违规的限制。这里的一个重要问题是，我们是否可以实现$ \ epsilon $ - 最佳的累积奖励，并违反零约束。为此，我们主张使用随机原始偶对偶方法来解决CMDP问题，并提出保守的随机原始二重算法（CSPDA），该算法（CSPDA）显示出$ \ tilde {\ tilde {\ Mathcal {o}} \ left（1 /\ epsilon^2 \ right）$样本复杂性，以实现$ \ epsilon $ - 最佳累积奖励，违反零约束。在先前的工作中，$ \ epsilon $ - 最佳策略的最佳可用样本复杂性是零约束的策略是$ \ tilde {\ Mathcal {o}}} \ left（1/\ epsilon^5 \ right）$。因此，与最新技术相比，拟议的算法提供了重大改进。

在线学习通常需要探索以最大程度地提高长期奖励，但这是以短期“遗憾”为代价的。我们研究如何在多个小组之间分担这种探索成本。例如，在临床试验环境中，分配了亚最佳治疗的患者有效地产生了勘探成本。当患者根据种族或年龄与自然群体相关联时，自然要问任何单一群体所承担的探索成本是否“公平”。如此有动力，我们介绍了“分组”的强盗模型。我们利用公理讨价还价的理论，尤其是纳什议价解决方案，以形式化可能构成跨群体勘探成本的公平分裂的方式。一方面，我们表明，任何遗憾的政策都引起了最不公平的结果：此类政策将在可能的情况下传递最“处于弱势”的群体。更具建设性的方式，我们得出了最佳公平且同时享受“公平价格”的政策。我们通过对华法林剂量的上下文匪徒进行案例研究来说明我们的算法框架的相对优点，我们关注多个种族和年龄段的探索成本。

我们介绍了一种普遍的策略，可实现有效的多目标勘探。它依赖于adagoal，一种基于简单约束优化问题的新的目标选择方案，其自适应地针对目标状态，这既不是太困难也不是根据代理目前的知识达到的。我们展示了Adagoal如何用于解决学习$ \ epsilon $ -optimal的目标条件的政策，以便在$ L $ S_0 $ S_0 $奖励中获得的每一个目标状态，以便在$ S_0 $中获取。免费马尔可夫决策过程。在标准的表格外壳中，我们的算法需要$ \ tilde {o}（l ^ 3 s a \ epsilon ^ { - 2}）$探索步骤，这几乎很少最佳。我们还容易在线性混合Markov决策过程中实例化Adagoal，其产生具有线性函数近似的第一目标导向的PAC保证。除了强大的理论保证之外，迈克纳队以现有方法的高级别算法结构为锚定，为目标条件的深度加固学习。