我们引入了一个新颖的对比表示学习目标和临床时间序列的培训方案。具体而言，我们投射高维EHR。数据到具有低维的封闭单位球，编码几何先验，以使原点代表理想化的完美健康状态，而欧几里得规范与患者的死亡率风险有关。此外，以化粪池患者为例，我们展示了如何学会将两个向量之间的角度与不同器官系统失败相关联，从而学习一种紧凑的表示，这表明了死亡率风险和特定器官衰竭。我们展示了如何将学习的嵌入方式用于在线患者监测，可以补充临床医生并提高下游机器学习任务的性能。这项工作是由于欲望的部分动机，也需要引入一种系统的方式来定义重症监护医学中的强化学习中级奖励。因此，与仅使用终端奖励相比，我们还展示了这种设计如何从学到的嵌入中产生不同的策略和价值分布。

直接从观察数据中直接从观察数据中学习最佳患者的最佳治疗策略，人们对利用RL和随机控制方法有很大的兴趣。但是，控制目标和标准RL目标的最佳奖励选择存在明显的歧义。在这项工作中，我们提出了针对重症患者的临床动机控制目标，该价值功能具有简单的医学解释。此外，我们提出理论结果并将我们的方法调整为实用的深度RL算法，该算法可以与任何基于值的深度RL方法一起使用。我们在大型败血症队列上进行实验，并表明我们的方法与临床知识一致。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

机器学习已成功构建许多顺序决策，作为监督预测，或通过加强学习的最佳决策政策识别。在数据约束的离线设置中，两种方法可能会失败，因为它们假设完全最佳行为或依赖于探索可能不存在的替代方案。我们介绍了一种固有的不同方法，该方法识别出状态空间的可能的“死角”。我们专注于重症监护病房中患者的状况，其中``“医疗死亡端”表明患者将过期，无论所有潜在的未来治疗序列如何。我们假设“治疗安全”为避免与其导致死亡事件的机会成比例的概率成比例的治疗，呈现正式证明，以及作为RL问题的帧发现。然后，我们将三个独立的深度神经模型进行自动化状态建设，死端发现和确认。我们的经验结果发现，死亡末端存在于脓毒症患者的真正临床数据中，并进一步揭示了安全处理与施用的差距。

由于患病患者经常患贫血或凝血病，因此血液产物的输血是重症监护病房（ICU）的经常干预。但是，医生做出的不当输血决定通常与并发症的风险增加和医院成本更高有关。在这项工作中，我们旨在开发一种决策支持工具，该工具使用可用的患者信息来对三种常见的血液产品（红细胞，血小板和新鲜的冷冻血浆）进行输血决策。为此，我们采用了单批批处理增强学习（RL）算法，即离散的批处理约束Q学习，以确定观察到的患者轨迹的最佳动作（输血）。同时，我们考虑了不同的国家表示方法和奖励设计机制，以评估其对政策学习的影响。实验是在两个现实世界中的重症监护数据集上进行的：MIMIC-III和UCSF。结果表明，关于输血的政策建议通过准确性和对模拟III数据集的加权重要性评估进行了与真实医院政策的可比匹配。此外，数据筛选UCSF数据集的转移学习（TL）和RL的组合可以在准确性方面可提供高达$ 17.02％的提高，而跳跃和渐近性绩效提高了18.94％和21.63％加权重要性采样在三个输血任务上平均。最后，对输血决策的模拟表明，转移的RL政策可以将患者估计的28天死亡率降低2.74％，而UCSF数据集的敏锐度率降低了1.18％。

我们研究了强化学习（RL）中的策略扩展值函数近似器（PEVFA），其扩展了传统的价值函数近似器（VFA），不仅将输入的输入（和动作）而且是一个显式策略表示。这样的扩展使PEVFA能够同时保留多个策略的值，并带来吸引人的特性，即\ \ emph {策略之间的值泛化}。我们正式分析了广义政策迭代（GPI）下的价值概括。从理论和经验镜头来看，PEVFA提供的广义值估计值可能对连续策略的真实值较低的初始近似误差，这预计将在GPI期间提高连续值近似。基于上述线索，我们介绍了一种新的GPI形式，PEVFA，利用了政策改进路径的价值泛化。此外，我们向RL策略提出了一个表示学习框架，提供了从策略网络参数或状态操作对中学习有效策略嵌入的几种方法。在我们的实验中，我们评估了PEVFA和政策代表学习在几个Openai健身房连续控制任务中提供的价值概括的效果。对于算法实现的代表性实例，在GPI的GPI范式下重新实现的近端策略优化（PPO）在大多数环境中对其VANILLA对应物的绩效改进约为40 \％。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

离线政策优化可能会对许多现实世界的决策问题产生重大影响，因为在线学习在许多应用中可能是不可行的。重要性采样及其变体是离线策略评估中一种常用的估计器类型，此类估计器通常不需要关于价值函数或决策过程模型功能类的属性和代表性能力的假设。在本文中，我们确定了一种重要的过度拟合现象，以优化重要性加权收益，在这种情况下，学到的政策可以基本上避免在最初的状态空间的一部分中做出一致的决策。我们提出了一种算法，以避免通过新的每个国家 - 邻居标准化约束过度拟合，并提供对拟议算法的理论理由。我们还显示了以前尝试这种方法的局限性。我们在以医疗风格的模拟器为中测试算法，该模拟器是从真实医院收集的记录数据集和连续的控制任务。这些实验表明，与最先进的批处理学习算法相比，所提出的方法的过度拟合和更好的测试性能。

深度加强学习概括（RL）的研究旨在产生RL算法，其政策概括为在部署时间进行新的未经调整情况，避免对其培训环境的过度接受。如果我们要在现实世界的情景中部署强化学习算法，那么解决这一点至关重要，那么环境将多样化，动态和不可预测。该调查是这个新生领域的概述。我们为讨论不同的概括问题提供统一的形式主义和术语，在以前的作品上建立不同的概括问题。我们继续对现有的基准进行分类，以及用于解决泛化问题的当前方法。最后，我们提供了对现场当前状态的关键讨论，包括未来工作的建议。在其他结论之外，我们认为，采取纯粹的程序内容生成方法，基准设计不利于泛化的进展，我们建议快速在线适应和将RL特定问题解决作为未来泛化方法的一些领域，我们推荐在UniTexplorated问题设置中构建基准测试，例如离线RL泛化和奖励函数变化。

源于机器学习和优化的临床决策支持工具可以为医疗保健提供者提供显着的价值，包括通过更好地管理重症监护单位。特别是，重要的是，患者排放任务在降低患者的住宿时间（以及相关住院费用）和放弃决策后的入院甚至死亡的风险之间存在对细微的折衷。这项工作介绍了一个端到端的一般框架，用于捕获这种权衡，以推荐患者电子健康记录的最佳放电计时决策。数据驱动方法用于导出捕获患者的生理条件的解析，离散状态空间表示。基于该模型和给定的成本函数，在数值上制定并解决了无限的地平线折扣明马尔科夫决策过程，以计算最佳的排放政策，其价值使用违规评估策略进行评估。进行广泛的数值实验以使用现实生活重症监护单元患者数据来验证所提出的框架。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。

Model-based reinforcement learning (RL) methods are appealing in the offline setting because they allow an agent to reason about the consequences of actions without interacting with the environment. Prior methods learn a 1-step dynamics model, which predicts the next state given the current state and action. These models do not immediately tell the agent which actions to take, but must be integrated into a larger RL framework. Can we model the environment dynamics in a different way, such that the learned model does directly indicate the value of each action? In this paper, we propose Contrastive Value Learning (CVL), which learns an implicit, multi-step model of the environment dynamics. This model can be learned without access to reward functions, but nonetheless can be used to directly estimate the value of each action, without requiring any TD learning. Because this model represents the multi-step transitions implicitly, it avoids having to predict high-dimensional observations and thus scales to high-dimensional tasks. Our experiments demonstrate that CVL outperforms prior offline RL methods on complex continuous control benchmarks.

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

严重冠状病毒疾病19（Covid-19）的患者通常需要补充氧作为必要的治疗方法。我们开发了一种基于深度加强学习（RL）的机器学习算法，用于持续管理缺氧率为重症监护下的关键病患者，这可以识别最佳的个性化氧气流速，具有强大的潜力，以降低相对于死亡率目前的临床实践。基本上，我们为Covid-19患者的氧气流动轨迹建模，并作为马尔可夫决策过程。基于个体患者特征和健康状况，基于加强学习的氧气控制政策，实时推荐氧气流速降低死亡率。我们通过使用从纽约大学Langone Health的Covid-19的叙述队员使用纽约大学Langone Healthation Mearchatory Maculation Mearchatory Chare，从2020年4月20日至1月2021年使用电子健康记录，通过交叉验证评估了拟议方法的表现。算法低于护理标准的2.57％（95％CI：2.08-3.06）减少（P <0.001）在我们的算法下的护理标准下的7.94％，平均推荐的氧气流量为1.28 L /分钟（95％CI：1.14-1.42）低于实际递送给患者的速率。因此，RL算法可能导致更好的重症监护治疗，可以降低死亡率，同时节省氧气稀缺资源。它可以减少氧气短缺问题，在Covid-19大流行期间改善公共卫生。

强化学习（RL）代理商广泛用于解决复杂的连续决策任务，但仍然表现出概括到培训期间未见的情景。在先前的在线方法证明，使用超出奖励功能的其他信号可以导致RL代理商中的更好的泛化能力，即使用自我监督学习（SSL），他们在离线RL设置中奋斗，即从静态数据集中学习。我们表明，由于观察之间的相似性差异差，可以在离线设置中阻碍用于RL的普遍的在线算法的性能。我们提出了一种称为广义相似性功能（GSF）的新的理论上动机框架，它使用对比学习来训练基于其预期未来行为的相似性的离线RL代理，以便使用\ EMPH {广义值来量化此相似性。职能}。我们表明GSF足以恢复现有的SSL目标，同时还可以在复杂的离线RL基准，离线Procgen上提高零拍泛化性能。

深入学习的强化学习（RL）的结合导致了一系列令人印象深刻的壮举，许多相信（深）RL提供了一般能力的代理。然而，RL代理商的成功往往对培训过程中的设计选择非常敏感，这可能需要繁琐和易于易于的手动调整。这使得利用RL对新问题充满挑战，同时也限制了其全部潜力。在许多其他机器学习领域，AutomL已经示出了可以自动化这样的设计选择，并且在应用于RL时也会产生有希望的初始结果。然而，自动化强化学习（AutorL）不仅涉及Automl的标准应用，而且还包括RL独特的额外挑战，其自然地产生了不同的方法。因此，Autorl已成为RL中的一个重要研究领域，提供来自RNA设计的各种应用中的承诺，以便玩游戏等游戏。鉴于RL中考虑的方法和环境的多样性，在不同的子领域进行了大部分研究，从Meta学习到进化。在这项调查中，我们寻求统一自动的领域，我们提供常见的分类法，详细讨论每个区域并对研究人员来说是一个兴趣的开放问题。

降低降低方法是无监督的方法，它学习了低维空间，在这些方法中，初始空间的某些特性（通常是“邻居”的概念）被保留。这种方法通常需要在大的K-NN图或复杂的优化求解器上传播。另一方面，通常用于从头开始学习表示形式，依靠简单，更可扩展的框架来学习的自我监督学习方法。在本文中，我们提出了TLDR，这是通用输入空间的一种降低方法，该方法正在移植Zbontar等人的最新自我监督学习框架。 （2021）降低维度的特定任务，超越任意表示。我们建议使用最近的邻居从训练组中构建对，并减少冗余损失，以学习在此类对之间产生表示形式的编码器。 TLDR是一种简单，易于训练和广泛适用性的方法。它由一个离线最近的邻居计算步骤组成，该步骤可以高度近似，并且是一个直接的学习过程。为了提高可伸缩性，我们专注于提高线性维度的降低，并在图像和文档检索任务上显示一致的收益，例如在Roxford上获得PCA的 +4％地图，用于GEM-AP，改善了ImageNet上的Dino的性能或以10倍的压缩保留。