本文研究了一种使用背景计划的新方法，用于基于模型的增强学习：混合（近似）动态编程更新和无模型更新，类似于DYNA体系结构。通过学习模型的背景计划通常比无模型替代方案（例如Double DQN）差，尽管前者使用了更多的内存和计算。基本问题是，学到的模型可能是不准确的，并且经常会产生无效的状态，尤其是在迭代许多步骤时。在本文中，我们通过将背景规划限制为一组（抽象）子目标并仅学习本地，子观念模型来避免这种限制。这种目标空间计划（GSP）方法更有效地是在计算上，自然地纳入了时间抽象，以进行更快的长胜压计划，并避免完全学习过渡动态。我们表明，在各种情况下，我们的GSP算法比双DQN基线要快得多。

政策梯度定理（Sutton等，2000）规定了目标政策下的累积折扣国家分配以近似梯度。实际上，基于该定理的大多数算法都打破了这一假设，引入了分布转移，该分配转移可能导致逆转溶液的收敛性。在本文中，我们提出了一种新的方法，可以从开始状态重建政策梯度，而无需采取特定的采样策略。可以根据梯度评论家来简化此形式的策略梯度计算，由于梯度的新钟声方程式，可以递归估算。通过使用来自差异数据流的梯度评论家的时间差异更新，我们开发了第一个以无模型方式避开分布变化问题的估计器。我们证明，在某些可实现的条件下，无论采样策略如何，我们的估计器都是公正的。我们从经验上表明，我们的技术在存在非政策样品的情况下实现了卓越的偏见变化权衡和性能。

Softmax政策的政策梯度（PG）估计与子最佳饱和初始化无效，当密度集中在次良动作时发生。从策略初始化或策略已经收敛后发生的环境的突然变化可能会出现次优策略饱和度，并且SoftMax PG估计器需要大量更新以恢复有效的策略。这种严重问题导致高样本低效率和对新情况的适应性差。为缓解此问题，我们提出了一种新的政策梯度估计，用于软MAX策略，该估计在批评中利用批评中的偏差和奖励信号中存在的噪声来逃避策略参数空间的饱和区域。我们对匪徒和古典MDP基准测试任务进行了分析和实验，表明我们的估算变得更加坚固，以便对政策饱和度更加强大。

使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现，随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系，阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示，即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构，并发现（a）在各种不同的架构和优化器中出现的对齐，并且从深度（b）对准产生的更多对准对于更接近输出的层和（c）现有的性能深度CNN表现出高级别的对准。

由于策略梯度定理导致的策略设置存在各种理论上 - 声音策略梯度算法，其为梯度提供了简化的形式。然而，由于存在多重目标和缺乏明确的脱助政策政策梯度定理，截止策略设置不太明确。在这项工作中，我们将这些目标统一到一个违规目标，并为此统一目标提供了政策梯度定理。推导涉及强调的权重和利息职能。我们显示多种策略来近似梯度，以识别权重（ACE）称为Actor评论家的算法。我们证明了以前（半梯度）脱离政策演员 - 评论家 - 特别是offpac和DPG - 收敛到错误的解决方案，而Ace找到最佳解决方案。我们还强调为什么这些半梯度方法仍然可以在实践中表现良好，表明ace中的方差策略。我们经验研究了两个经典控制环境的若干ACE变体和基于图像的环境，旨在说明每个梯度近似的权衡。我们发现，通过直接逼近强调权重，ACE在所有测试的所有设置中执行或优于offpac。

脱机强化学习 - 从一批数据中学习策略 - 是难以努力的：如果没有制造强烈的假设，它很容易构建实体算法失败的校长。在这项工作中，我们考虑了某些现实世界问题的财产，其中离线强化学习应该有效：行动仅对一部分产生有限的行动。我们正规化并介绍此动作影响规律（AIR）财产。我们进一步提出了一种算法，该算法假定和利用AIR属性，并在MDP满足空气时绑定输出策略的子优相。最后，我们展示了我们的算法在定期保留的两个模拟环境中跨越不同的数据收集策略占据了现有的离线强度学习算法。

优先经验重播（ER）已被经验证明可以提高许多领域的样本效率，并引起了极大的关注。但是，几乎没有理论上的理解，为什么这种优先的抽样有助于其局限性。在这项工作中，我们深入研究了优先的ER。在有监督的学习环境中，我们显示了基于错误的优先采样方法，用于平方误差和均匀采样，用于立方功率损失。然后，我们提供理论上的见解，说明为什么在早期学习过程中均匀抽样时它会提高收敛速度。基于洞察力，我们进一步指出了优先ER方法的两个局限性：1）过时的优先级和2）样品空间的覆盖范围不足。为了减轻局限性，我们提出了基于模型的随机梯度Langevin动力学采样方法。我们表明，我们的方法确实提供了分布的状态，该状态接近通过Brute-Force方法估计的理想优先采样分布，该分布没有两个局限性。我们对离散和连续控制问题进行实验，以显示我们的方法的功效，并检查我们方法在自主驾驶应用中的实际含义。

Large-scale models combining text and images have made incredible progress in recent years. However, they can still fail at tasks requiring compositional knowledge, such as correctly picking out a red cube from a picture of multiple shapes. We examine the ability of CLIP (Radford et al., 2021), to caption images requiring compositional knowledge. We implement five compositional language models to probe the kinds of structure that CLIP may be using, and develop a novel training algorithm, Compositional Skipgram for Images (CoSI), to train these models. We look at performance in attribute-based tasks, requiring the identification of a particular combination of attribute and object (such as "red cube"), and in relational settings, where the spatial relation between two shapes (such as "cube behind sphere") must be identified. We find that in some conditions, CLIP is able to learn attribute-object labellings, and to generalize to unseen attribute-object combinations. However, we also see evidence that CLIP is not able to bind features together reliably. Moreover, CLIP is not able to reliably learn relations between objects, whereas some compositional models are able to learn these perfectly. Of the five models we developed, none were able to generalize to unseen relations.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

本文根据推荐系统社区中当前的关注来研究用户属性：多样性，覆盖范围，校准和数据最小化。在利用侧面信息的传统上下文感知的推荐系统的实验中，我们表明用户属性并不总是改善建议。然后，我们证明用户属性可能会对多样性和覆盖率产生负面影响。最后，我们调查了从培训数据中``生存''到推荐人产生的建议列表中的有关用户的信息量。该信息是一个薄弱的信号，将来可能会被利用进行校准或作为隐私泄漏进一步研究。