从我们生命的最早几年开始，人类使用语言来表达我们的信念和欲望。因此，能够与人造代理讨论我们的偏好将实现价值一致性的核心目标。然而，今天，我们缺乏解释这种灵活和抽象语言使用的计算模型。为了应对这一挑战，我们考虑在线性强盗环境中考虑社会学习，并询问人类如何传达与行为的偏好（即奖励功能）。我们研究两种不同类型的语言：指令，提供有关所需政策的信息和描述，这些信息提供了有关奖励功能的信息。为了解释人类如何使用这些形式的语言，我们建议他们推理出已知和未知的未来状态：对当前的说明优化，同时描述对未来进行了推广。我们通过扩展奖励设计来考虑对国家的分配来形式化此选择。然后，我们定义了一种务实的听众，该代理人通过推理说话者如何表达自己来侵犯说话者的奖励功能。我们通过行为实验来验证我们的模型，表明（1）我们的说话者模型预测了自发的人类行为，并且（2）我们的务实的听众能够恢复其奖励功能。最后，我们表明，在传统的强化学习环境中，务实的社会学习可以与个人学习相结合并加速。我们的发现表明，从更广泛的语言中的社会学习，特别是，扩大了该领域的目前对指示的关注，以包括从描述中学习 - 是一种有前途的价值一致性和强化学习的有前途的方法。

语言不仅用于通知。我们经常寻求通过争论赞成特定观点来说服。说服提出了许多对信仰更新的古典账户的挑战，因为信息不能以面值采取。在包含新信息时，应如何占发言者的“隐藏议程”？在这里，我们延长了最近的递归社会推理概率模型，以便有说服力的目标，并表明我们的模型为什么为什么弱良好的争论可能反馈，这是一种称为弱证据效应的现象。批判性地，我们的模型预测了信仰更新和演讲者期望之间的关系：当时扬声器在有说服力的目标下行动时，弱的证据应该只有反馈，这意味着没有更强的证据。我们介绍了一个简单的实验范式，称为棍棒竞赛，以衡量弱证据效应取决于发言者期望的程度，并表明务实的侦听器模型占经验数据比替代模型更好。我们的研究结果表明了社会推理的理性模型的潜在途径，以进一步照亮决策现象。

语言是协调问题的强大解决方案：他们提供了稳定的，有关我们所说的单词如何对应于我们头脑中的信仰和意图的共同期望。然而，在变量和非静止社会环境中的语言使用需要语言表征来灵活：旧词在飞行中获取新的临时或合作伙伴特定含义。在本文中，我们介绍了柴（通过推理的连续分层适应），一个分层贝叶斯的协调理论和会议组织，旨在在这两个基本观察之间调和长期张力。我们认为，沟通的中央计算问题不仅仅是传输，如在经典配方中，而是在多个时间尺度上持续学习和适应。合作伙伴特定的共同点迅速出现在数型互动中的社会推论中，而社群范围内的社会公约是稳定的前锋，这些前锋已经抽象出与多个合作伙伴的互动。我们展示了新的实证数据，展示了我们的模型为多个现象提供了对先前账户挑战的计算基础：（1）与同一合作伙伴的重复互动的更有效的参考表达的融合（2）将合作伙伴特定的共同基础转移到陌生人，并（3）交际范围的影响最终会形成。

当从人类行为中推断出奖励功能（无论是演示，比较，物理校正或电子停靠点）时，它已证明对人类进行建模作为做出嘈杂的理性选择，并具有“合理性系数”，以捕获多少噪声或熵我们希望看到人类的行为。无论人类反馈的类型或质量如何，许多现有作品都选择修复此系数。但是，在某些情况下，进行演示可能要比回答比较查询要困难得多。在这种情况下，我们应该期望在示范中看到比比较中更多的噪音或次级临时性，并且应该相应地解释反馈。在这项工作中，我们提倡，将每种反馈类型的实际数据中的理性系数扎根，而不是假设默认值，对奖励学习具有重大的积极影响。我们在模拟反馈以及用户研究的实验中测试了这一点。我们发现，从单一反馈类型中学习时，高估人类理性可能会对奖励准确性和遗憾产生可怕的影响。此外，我们发现合理性层面会影响每种反馈类型的信息性：令人惊讶的是，示威并不总是最有用的信息 - 当人类的行为非常卑鄙时，即使在合理性水平相同的情况下，比较实际上就变得更加有用。 。此外，当机器人确定要要求的反馈类型时，它可以通过准确建模每种类型的理性水平来获得很大的优势。最终，我们的结果强调了关注假定理性级别的重要性，不仅是在从单个反馈类型中学习时，尤其是当代理商从多种反馈类型中学习时，尤其是在学习时。

Curiosity for machine agents has been a focus of lively research activity. The study of human and animal curiosity, particularly specific curiosity, has unearthed several properties that would offer important benefits for machine learners, but that have not yet been well-explored in machine intelligence. In this work, we conduct a comprehensive, multidisciplinary survey of the field of animal and machine curiosity. As a principal contribution of this work, we use this survey as a foundation to introduce and define what we consider to be five of the most important properties of specific curiosity: 1) directedness towards inostensible referents, 2) cessation when satisfied, 3) voluntary exposure, 4) transience, and 5) coherent long-term learning. As a second main contribution of this work, we show how these properties may be implemented together in a proof-of-concept reinforcement learning agent: we demonstrate how the properties manifest in the behaviour of this agent in a simple non-episodic grid-world environment that includes curiosity-inducing locations and induced targets of curiosity. As we would hope, our example of a computational specific curiosity agent exhibits short-term directed behaviour while updating long-term preferences to adaptively seek out curiosity-inducing situations. This work, therefore, presents a landmark synthesis and translation of specific curiosity to the domain of machine learning and reinforcement learning and provides a novel view into how specific curiosity operates and in the future might be integrated into the behaviour of goal-seeking, decision-making computational agents in complex environments.

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

对于许多强化学习（RL）应用程序，指定奖励是困难的。本文考虑了一个RL设置，其中代理仅通过查询可以询问可以的专家来获取有关奖励的信息，例如，评估单个状态或通过轨迹提供二进制偏好。从如此昂贵的反馈中，我们的目标是学习奖励的模型，允许标准RL算法实现高预期的回报，尽可能少的专家查询。为此，我们提出了信息定向奖励学习（IDRL），它使用奖励的贝叶斯模型，然后选择要最大化信息增益的查询，这些查询是有关合理的最佳策略之间的返回差异的差异。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它通过将焦点转移降低奖励近似误差来实现类似或更好的性能，从而降低奖励近似误差，以改善奖励模型引起的策略。我们支持我们的调查结果，在多个环境中进行广泛的评估，并具有不同的查询类型。

部署后，AI代理会遇到超出其自动解决问题能力的问题。利用人类援助可以帮助代理人克服其固有的局限性，并坚决应对陌生的情况。我们提出了一个通用的交互式框架，该框架使代理商能够从对任务和环境有知识的助手那里请求和解释丰富的上下文有用的信息。我们在模拟的人类辅助导航问题上证明了框架的实用性。在我们的方法中学到的援助要求政策的帮助下，导航代理与完全自主行为相比，在以前看不见的环境中发生的任务上的成功率提高了7倍。我们表明，代理商可以根据上下文来利用不同类型的信息，并分析学习援助要求政策的好处和挑战，当助手可以递归地将任务分解为子任务。

我们考虑创建助手的问题，这些助手可以帮助代理人（通常是人类）解决新颖的顺序决策问题，假设代理人无法将奖励功能明确指定给助手。我们没有像目前的方法那样旨在自动化并代替代理人，而是赋予助手一个咨询角色，并将代理商作为主要决策者。困难是，我们必须考虑由代理商的限制或限制引起的潜在偏见，这可能导致其看似非理性地拒绝建议。为此，我们介绍了一种新颖的援助形式化，以模拟这些偏见，从而使助手推断和适应它们。然后，我们引入了一种计划助手建议的新方法，该方法可以扩展到大型决策问题。最后，我们通过实验表明我们的方法适应了这些代理偏见，并且比基于自动化的替代方案给代理带来了更高的累积奖励。

尽管大量的工作已经审查了条件句子的含义，但对其务实使用和解释的正式模型的关注要少得多。在这里，我们采用一种概率方法来实用务实的推理，以灵活地整合有关富有结构化世界国家的梯度信念。我们基于关于说话者的话语生产方案的假设，对听众对他们先前关于世界因果结构的信念以及随之而来的前身的共同概率进行了建模。我们表明，当提供自然上下文假设时，我们的模型统一地解释了文献中的许多推论，包括认识论推断，条件完美以及对条件和条件的依赖性。我们认为，这种方法还有助于解释杜文（Douven，2012）引入的三个难题有关有条件的更新：取决于话语背景，听众对先决条件的信念可能会增加，减少或保持不变。

人类可以利用身体互动来教机器人武器。这种物理互动取决于任务，用户以及机器人到目前为止所学的内容。最先进的方法专注于从单一模态学习，或者假设机器人具有有关人类预期任务的先前信息，从而结合了多个互动类型。相比之下，在本文中，我们介绍了一种算法形式主义，该算法从演示，更正和偏好中学习。我们的方法对人类想要教机器人的任务没有任何假设。取而代之的是，我们通过将人类的输入与附近的替代方案进行比较，从头开始学习奖励模型。我们首先得出损失函数，该功能训练奖励模型的合奏，以匹配人类的示范，更正和偏好。反馈的类型和顺序取决于人类老师：我们使机器人能够被动地或积极地收集此反馈。然后，我们应用受约束的优化将我们学习的奖励转换为所需的机器人轨迹。通过模拟和用户研究，我们证明，与现有基线相比，我们提出的方法更准确地从人体互动中学习了操纵任务，尤其是当机器人面临新的或意外的目标时。我们的用户研究视频可在以下网址获得：https：//youtu.be/fsujstyveku

通过观察自己的行为来了解决策者的优先事项对于在医疗保健等决策过程中的透明度和问责制至关重要。尽管传统的政策学习方法几乎总是假定行为的平稳性，但在实践中几乎不正确：随着临床专业人员随着时间的流逝，医学实践不断发展。例如，随着医学界对器官移植的理解多年来的发展，一个相关的问题是：实际的器官分配政策如何发展？为了给出答案，我们希望采用一种政策学习方法，该方法提供了可解释的决策代表，尤其是捕获代理商对世界的非统计知识，并以离线方式运作。首先，我们将决策者的不断发展的行为对上下文的强盗进行了建模，并正式化了背景匪徒（ICB）的问题。其次，我们提出了两种混凝土算法作为解决方案，学习代理行为的学习参数和非参数表示。最后，使用真实和模拟数据进行肝移植，我们说明了我们方法的适用性和解释性，以及基准测试并验证其准确性。

为什么普通语言模糊不清？我们认为，在合作扬声器没有完全了解世界的情况下，使用模糊表达可以在真实性（Gricean质量）和信息性之间提供最佳权衡（Gricean数量）。专注于诸如“周围”的近似的表达，这表明他们允许扬声器传达间接概率信息，这种信息可以使听众更准确地表示发言者可用的信息的信息。更精确的表达将是（之间的间隔“）。也就是说，模糊的句子可以比他们精确的对应物更有信息。我们对“周围”解释的概率处理，并提供了解释和使用“围绕” - 理性语音法（RSA）框架的典范。在我们的账户中，扬声器分配事项的形状不是由RSA框架标准用于模糊谓词的词汇不确定性模型的方式预测。我们利用我们的方法绘制关于模糊表达的语义灵活性的进一步教训及其对更精确的含义的不可缩短。

最近围绕语言处理模型的复杂性的最新炒作使人们对机器获得了类似人类自然语言的指挥的乐观情绪。人工智能中自然语言理解的领域声称在这一领域取得了长足的进步，但是，在这方面和其他学科中使用“理解”的概念性清晰，使我们很难辨别我们实际上有多近的距离。目前的方法和剩余挑战的全面，跨学科的概述尚待进行。除了语言知识之外，这还需要考虑我们特定于物种的能力，以对，记忆，标签和传达我们（足够相似的）体现和位置经验。此外，测量实际约束需要严格分析当前模型的技术能力，以及对理论可能性和局限性的更深入的哲学反思。在本文中，我将所有这些观点（哲学，认知语言和技术）团结在一起，以揭开达到真实（人类般的）语言理解所涉及的挑战。通过解开当前方法固有的理论假设，我希望说明我们距离实现这一目标的实际程度，如果确实是目标。

在接下来的几十年中，人工通用情报（AGI）可能会超过人类在各种重要任务下的能力。该报告为为什么如果没有实质性采取行动来阻止它，AGI可能会利用他们的智能来追求目标，而这些目标是从人类的角度出发，可能会带来潜在的灾难性后果。该报告旨在涵盖激励对对齐问题的关注的关键论点，以尽可能简洁，具体和技术上的方式进行对齐问题。我认为，现实的培训过程可能会导致AGIS中未对准的目标，尤其是因为通过强化学习训练的神经网络将学会计划实现一系列目标；通过欺骗性追求未对准的目标获得更多奖励；并以破坏服从的方式概括。就像Cotra（2022）的较早报告中一样，我在参考说明性AGI培训过程中解释了我的主张，然后概述了解决问题的不同方面的可能的研究方向。

有效的人类组合需要能够传达团队目标的能力和您需要代理商进行操作的约束。提供指定团队共享意图或操作标准的能力，可以使AI代理执行其主要功能，同时仍然能够满足当前团队的特定愿望。尽管已经开展了重要的工作来指导代理通过语言或演示执行任务，但先前的工作缺乏专注于可以在团队指定的参数中运行的建筑物。更糟糕的是，缺乏有关使人类通过非结构化的自然主义语言提供其规范的研究。在本文中，我们建议将目标和约束用作调节和评估自治药物的脚手架。我们通过介绍一个新颖的数据集和相关的数据收集协议来为这一领域做出贡献，该协议将语言描述映射到与人参与者为棋盘游戏风险开发的特定策略相对应的目标和约束。利用最先进的语言模型和增强程序，我们开发了一个机器学习框架，该框架可用于从非结构化策略描述中识别目标和约束。为了验证我们的方法，我们进行了一项人为主体研究，以建立我们的数据集的人类基础。我们的结果表明，与执行同一机器翻译任务的人类评估者相比，我们的机器学习体系结构能够更好地将非结构化语言描述解释为策略规范（F（1,272.53）= 17.025，p <0.001）。

We are currently unable to specify human goals and societal values in a way that reliably directs AI behavior. Law-making and legal interpretation form a computational engine that converts opaque human values into legible directives. "Law Informs Code" is the research agenda capturing complex computational legal processes, and embedding them in AI. Similar to how parties to a legal contract cannot foresee every potential contingency of their future relationship, and legislators cannot predict all the circumstances under which their proposed bills will be applied, we cannot ex ante specify rules that provably direct good AI behavior. Legal theory and practice have developed arrays of tools to address these specification problems. For instance, legal standards allow humans to develop shared understandings and adapt them to novel situations. In contrast to more prosaic uses of the law (e.g., as a deterrent of bad behavior through the threat of sanction), leveraged as an expression of how humans communicate their goals, and what society values, Law Informs Code. We describe how data generated by legal processes (methods of law-making, statutory interpretation, contract drafting, applications of legal standards, legal reasoning, etc.) can facilitate the robust specification of inherently vague human goals. This increases human-AI alignment and the local usefulness of AI. Toward society-AI alignment, we present a framework for understanding law as the applied philosophy of multi-agent alignment. Although law is partly a reflection of historically contingent political power - and thus not a perfect aggregation of citizen preferences - if properly parsed, its distillation offers the most legitimate computational comprehension of societal values available. If law eventually informs powerful AI, engaging in the deliberative political process to improve law takes on even more meaning.

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

可以将相当多的现实问题提出为决策问题，其中必须反复从一组替代方案中做出适当的选择。多次专家判断，无论是人为的还是人为的，都可以帮助做出正确的决定，尤其是在探索替代解决方案的昂贵时。由于专家意见可能会偏离，因此可以通过汇总独立判断来解决找到正确的替代方案的问题作为集体决策问题（CDM）。当前的最新方法集中于有效地找到最佳专家，因此如果所有专家均不合格或过于偏见，则表现不佳，从而可能破坏决策过程。在本文中，我们提出了一种基于上下文多臂匪徒问题（CMAB）的新算法方法，以识别和抵消这种偏见的专业知识。我们探索同质，异质和两极分化的专家小组，并表明这种方法能够有效利用集体专业知识，优于最先进的方法，尤其是当提供的专业知识质量降低时。我们的新型CMAB启发方法实现了更高的最终表现，并且在收敛的同时比以前的自适应算法更快。

This paper surveys the eld of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the eld and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but di ers considerably in the details and in the use of the word \reinforcement." The paper discusses central issues of reinforcement learning, including trading o exploration and exploitation, establishing the foundations of the eld via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.