The reward hypothesis posits that, "all of what we mean by goals and purposes can be well thought of as maximization of the expected value of the cumulative sum of a received scalar signal (reward)." We aim to fully settle this hypothesis. This will not conclude with a simple affirmation or refutation, but rather specify completely the implicit requirements on goals and purposes under which the hypothesis holds.

von Neumann-Morgenstern（VNM）实用程序定理表明，在某些合理性的公理下，决策将减少以最大程度地提高某些效用函数的期望。我们将这些公理扩展到日益结构化的顺序决策设置，并确定相应的实用程序函数的结构。特别是，我们表明，无内存的偏好会导致以每次过渡奖励和未来回报的乘法因素的形式产生实用性。该结果激发了马尔可夫决策过程（MDP）的概括，并在代理的申报表上使用此结构，我们称之为Affine-Reward-Reward MDP。需要对偏好的更强限制来恢复MDP中常用的标量奖励总和。尚未更强的约束简化了目标寻求代理的效用功能，以我们调用潜在功能的状态的某些函数的差异形式。我们的必要条件揭示了奖励假设，即通过在VNM理性公理中添加公理，并激发了涉及顺序决策的AI研究的新方向，从而使理性代理在增强学习中的设计构成了奖励假设。

奖励是加强学习代理的动力。本文致力于了解奖励的表现，作为捕获我们希望代理人执行的任务的一种方式。我们在这项研究中涉及三个新的抽象概念“任务”，可能是可取的：（1）一组可接受的行为，（2）部分排序，或者（3）通过轨迹的部分排序。我们的主要结果证明，虽然奖励可以表达许多这些任务，但每个任务类型的实例都没有Markov奖励函数可以捕获。然后，我们提供一组多项式时间算法，其构造Markov奖励函数，允许代理优化这三种类型中的每种类型的任务，并正确确定何时不存在这种奖励功能。我们得出结论，具有证实和说明我们的理论发现的实证研究。

主动推断是建模生物学和人造药物的行为的概率框架，该框架源于最小化自由能的原理。近年来，该框架已成功地应用于各种情况下，其目标是最大程度地提高奖励，提供可比性，有时甚至是卓越的性能与替代方法。在本文中，我们通过演示如何以及何时进行主动推理代理执行最佳奖励的动作来阐明奖励最大化和主动推断之间的联系。确切地说，我们展示了主动推理为Bellman方程提供最佳解决方案的条件 - 这种公式是基于模型的增强学习和控制的几种方法。在部分观察到的马尔可夫决策过程中，标准的主动推理方案可以为计划视野1的最佳动作产生最佳动作，但不能超越。相比之下，最近开发的递归活跃推理方案（复杂的推理）可以在任何有限的颞范围内产生最佳作用。我们通过讨论主动推理和强化学习之间更广泛的关系来补充分析。

强化学习（RL）旨在在给定环境中从奖励功能中训练代理商，但逆增强学习（IRL）试图从观察专家的行为中恢复奖励功能。众所周知，总的来说，各种奖励功能会导致相同的最佳政策，因此，IRL定义不明。但是，（Cao等，2021）表明，如果我们观察到两个或多个具有不同折现因子或在不同环境中起作用的专家，则可以在某些条件下确定奖励功能，直至常数。这项工作首先根据等级条件显示了表格MDP的多位专家的等效可识别性声明，该声明易于验证，也被证明是必要的。然后，我们将结果扩展到各种不同的方案，即，在奖励函数可以表示为给定特征的线性组合，使其更容易解释，或者当我们可以访问近似过渡矩阵时，我们会表征奖励可识别性。即使奖励无法识别，我们也提供了特征的条件，当给定环境中的多个专家的数据允许在新环境中概括和训练最佳代理。在各种数值实验中，我们对奖励可识别性和概括性的理论结果得到了验证。

Reinforcement-learning agents seek to maximize a reward signal through environmental interactions. As humans, our contribution to the learning process is through designing the reward function. Like programmers, we have a behavior in mind and have to translate it into a formal specification, namely rewards. In this work, we consider the reward-design problem in tasks formulated as reaching desirable states and avoiding undesirable states. To start, we propose a strict partial ordering of the policy space. We prefer policies that reach the good states faster and with higher probability while avoiding the bad states longer. Next, we propose an environment-independent tiered reward structure and show it is guaranteed to induce policies that are Pareto-optimal according to our preference relation. Finally, we empirically evaluate tiered reward functions on several environments and show they induce desired behavior and lead to fast learning.

在强化学习（RL）中，目标是获得最佳政策，最佳标准在根本上至关重要。两个主要的最优标准是平均奖励和打折的奖励。虽然后者更受欢迎，但在没有固有折扣概念的情况下，在环境中申请是有问题的。这促使我们重新审视a）动态编程中最佳标准的进步，b）人工折现因子的理由和复杂性，c）直接最大化平均奖励标准的好处，这是无折扣的。我们的贡献包括对平均奖励和打折奖励之间的关系以及对RL中的利弊的讨论之间的关系。我们强调的是，平均奖励RL方法具有将无折扣优化标准（Veinott，1969）应用于RL的成分和机制。

我们提供了奖励黑客的第一个正式定义，即优化不完美的代理奖励功能的现象，$ \ Mathcal {\ tilde {r}} $，根据真实的奖励功能，$ \ MATHCAL {R} $导致性能差。 。我们说，如果增加预期的代理回报率永远无法减少预期的真实回报，则代理是不可接受的。直觉上，可以通过从奖励功能（使其“较窄”）中留出一些术语或忽略大致等效的结果之间的细粒度区分来创建一个不可接受的代理，但是我们表明情况通常不是这样。一个关键的见解是，奖励的线性性（在州行动访问计数中）使得无法实现的状况非常强烈。特别是，对于所有随机策略的集合，只有在其中一个是恒定的，只有两个奖励函数才能是不可接受的。因此，我们将注意力转移到确定性的政策和有限的随机政策集中，在这些策略中，始终存在非平凡的不可动摇的对，并为简化的存在建立必要和充分的条件，这是一个重要的不被限制的特殊情况。我们的结果揭示了使用奖励函数指定狭窄任务和对齐人类价值的AI系统之间的紧张关系。

逆钢筋学习尝试在马尔可夫决策问题中重建奖励功能，使用代理操作的观察。正如Russell [1998]在Russell [1998]的那样，问题均为不良，即使在存在有关最佳行为的完美信息的情况下，奖励功能也无法识别。我们为熵正则化的问题提供了解决这种不可识别性的分辨率。对于给定的环境，我们完全表征了导致给定政策的奖励函数，并证明，在两个不同的折扣因子下或在足够的不同环境下给出了相同奖励的行动的示范，可以恢复不可观察的奖励。我们还向有限视野进行时间均匀奖励的一般性和充分条件，以及行动无关的奖励，概括Kim等人的最新结果。[2021]和Fu等人。[2018]。

在强化学习中，就其诱导的最佳政策而言，不同的奖励功能可以等效。一个特别众所周知的重要例子是潜在的塑造，可以将一类函数添加到任何奖励功能中，而无需更改任意过渡动态下设置的最佳策略。潜在的塑形在概念上类似于数学和物理学中的潜在，保守的矢量场和规范变换，但是以前尚未正式探索这种联系。我们在图表上开发了一种形式主义，用于抽象马尔可夫决策过程的图表，并显示如何将潜在塑造正式解释为本框架中的梯度。这使我们能够加强Ng等人的结果。 （1999）描述了潜在塑造是始终保留最佳政策的唯一添加奖励转换的条件。作为我们形式主义的附加应用，我们定义了从每个潜在塑造等效类中挑选单个唯一奖励功能的规则。

大部分强化学习理论都建立在计算上难以实施的甲板上。专门用于在部分可观察到的马尔可夫决策过程（POMDP）中学习近乎最佳的政策，现有算法要么需要对模型动态（例如确定性过渡）做出强有力的假设，要么假设访问甲骨文作为解决艰难的计划或估算问题的访问子例程。在这项工作中，我们在合理的假设下开发了第一个用于POMDP的无Oracle学习算法。具体而言，我们给出了一种用于在“可观察” pomdps中学习的准化性时间端到端算法，其中可观察性是一个假设，即对国家而言，分离良好的分布诱导了分离良好的分布分布而不是观察。我们的技术规定了在不确定性下使用乐观原则来促进探索的更传统的方法，而是在构建策略涵盖的情况下提供了一种新颖的barycentric跨度应用。

近年来，研究人员在设计了用于优化线性时间逻辑（LTL）目标和LTL的目标中的增强学习算法方面取得了重大进展。尽管有这些进步，但解决了这个问题的基本限制，以至于以前的研究暗示，但对我们的知识而言，尚未深入检查。在本文中，我们通过一般的LTL目标理解了学习的硬度。我们在马尔可夫决策过程（PAC-MDP）框架（PAC-MDP）框架中可能大致正确学习的问题正式化，这是一种测量加固学习中的样本复杂性的标准框架。在这一形式化中，我们证明，只有在LTL层次结构中最有限的类别中，才有于仅当公式中的最有限的类别，因此才能获得PAC-MDP的最佳政策。实际上，我们的结果意味着加强学习算法无法在与非有限范围可解除的LTL目标的无限环境的相互作用之后获得其学习政策的性能的PAC-MDP保证。

This paper studies systematic exploration for reinforcement learning with rich observations and function approximation. We introduce a new model called contextual decision processes, that unifies and generalizes most prior settings. Our first contribution is a complexity measure, the Bellman rank , that we show enables tractable learning of near-optimal behavior in these processes and is naturally small for many well-studied reinforcement learning settings. Our second contribution is a new reinforcement learning algorithm that engages in systematic exploration to learn contextual decision processes with low Bellman rank. Our algorithm provably learns near-optimal behavior with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The approach uses Bellman error minimization with optimistic exploration and provides new insights into efficient exploration for reinforcement learning with function approximation.

我们在Isabelle定理箴言中展示了有限马尔可夫决定流程的正式化。我们专注于动态编程和使用加固学习代理所需的基础。特别是，我们从第一个原则（在标量和向量形式中）导出Bellman方程，导出产生任何策略P的预期值的向量计算，并继续证明存在一个普遍的最佳政策的存在折扣因子不到一个。最后，我们证明了价值迭代和策略迭代算法在有限的时间内工作，分别产生ePsilon - 最佳和完全最佳的政策。

我们研究了设计AI代理商的问题，该代理可以学习有效地与潜在的次优伴侣有效合作，同时无法访问联合奖励功能。这个问题被建模为合作焦论双代理马尔可夫决策过程。我们假设仅在游戏的Stackelberg制定中的两个代理中的第一个控制，其中第二代理正在作用，以便在鉴于第一代理的政策给出预期的效用。第一个代理人应该如何尽快学习联合奖励功能，因此联合政策尽可能接近最佳？在本文中，我们分析了如何在这一交互式的两个代理方案中获得对奖励函数的知识。我们展示当学习代理的策略对转换函数有显着影响时，可以有效地学习奖励功能。

We study fair multi-objective reinforcement learning in which an agent must learn a policy that simultaneously achieves high reward on multiple dimensions of a vector-valued reward. Motivated by the fair resource allocation literature, we model this as an expected welfare maximization problem, for some non-linear fair welfare function of the vector of long-term cumulative rewards. One canonical example of such a function is the Nash Social Welfare, or geometric mean, the log transform of which is also known as the Proportional Fairness objective. We show that even approximately optimal optimization of the expected Nash Social Welfare is computationally intractable even in the tabular case. Nevertheless, we provide a novel adaptation of Q-learning that combines non-linear scalarized learning updates and non-stationary action selection to learn effective policies for optimizing nonlinear welfare functions. We show that our algorithm is provably convergent, and we demonstrate experimentally that our approach outperforms techniques based on linear scalarization, mixtures of optimal linear scalarizations, or stationary action selection for the Nash Social Welfare Objective.

我们研究奖励设计策略，用于激励加强学习代理，从一系列可接受的政策中采用政策。奖励设计师的目标是经济高效地修改底层奖励功能，同时确保在新奖励功能下的任何大约最佳的确定性政策是可允许的，并且在原始奖励功能下执行良好。这个问题可以被视为最佳奖励中毒攻击问题的双重问题：而不是强制代理商采用特定的政策，而奖励设计师则激励一个代理人以避免采取某些州不可受理的行动。也许令人惊讶的是，与最佳奖励中毒攻击的问题相比，我们首先表明可允许的政策教学的奖励设计问题是在计算上具有挑战性的，并且难以找到近似最佳的奖励修改。然后，我们通过制定最佳解决方案的代理问题，其最佳解决方案近似于我们的环境中奖励设计问题的最佳解决方案，但更适用于优化技术和分析。对于此替代问题，我们呈现了在最佳解决方案的值上提供限制的表征结果。最后，我们设计了一个本地搜索算法来解决代理问题，并使用基于模拟的实验展示其实用程序。

马尔可夫决策过程通常用于不确定性下的顺序决策。然而，对于许多方面，从受约束或安全规范到任务和奖励结构中的各种时间（非Markovian）依赖性，需要扩展。为此，近年来，兴趣已经发展成为强化学习和时间逻辑的组合，即灵活的行为学习方法的组合，具有稳健的验证和保证。在本文中，我们描述了最近引入的常规决策过程的实验调查，该过程支持非马洛维亚奖励功能以及过渡职能。特别是，我们为常规决策过程，与在线，增量学习有关的算法扩展，对无模型和基于模型的解决方案算法的实证评估，以及以常规但非马尔维亚，网格世界的应用程序的算法扩展。

如果通常激励有能力的AI代理来寻求为我们指定的目标服务的权力，那么除了巨大的利益外，这些系统还将带来巨大的风险。在完全可观察到的环境中，大多数奖励功能都具有最佳的政策，该政策通过保持期权开放并保持活力来寻求权力。但是，现实世界既不是完全可观察到的，也不是代理人绝对最佳的。我们考虑了一系列的AI决策模型，从最佳，随机到通过学习和与环境互动所告知的选择。我们发现许多决策功能都是可以重新定位的，并且可重新定位的性足以引起寻求权力的趋势。我们的功能标准简单而广泛。我们表明，一系列定性决策程序激励代理寻求权力。我们通过在蒙特祖玛的报仇中推理了学到的政策激励措施来证明结果的灵活性。这些结果表明安全风险：最终，高度可重新定位的培训程序可能会训练寻求对人类权力的现实世界代理商。

已经引入了生成流量网络（GFlowNETS）作为在主动学习背景下采样多样化候选的方法，具有培训目标，其使它们与给定奖励功能成比例地进行比例。在本文中，我们显示了许多额外的GFLOWN的理论特性。它们可用于估计联合概率分布和一些变量未指定的相应边际分布，并且特别感兴趣地，可以代表像集合和图形的复合对象的分布。 Gflownets摊销了通常通过计算昂贵的MCMC方法在单个但训练有素的生成通行证中进行的工作。它们还可用于估计分区功能和自由能量，给定子集（子图）的超标（超图）的条件概率，以及给定集合（图）的所有超标仪（超图）的边际分布。我们引入了熵和相互信息估计的变体，从帕累托前沿采样，与奖励最大化策略的连接，以及随机环境的扩展，连续动作和模块化能量功能。