本文研究了一种使用背景计划的新方法，用于基于模型的增强学习：混合（近似）动态编程更新和无模型更新，类似于DYNA体系结构。通过学习模型的背景计划通常比无模型替代方案（例如Double DQN）差，尽管前者使用了更多的内存和计算。基本问题是，学到的模型可能是不准确的，并且经常会产生无效的状态，尤其是在迭代许多步骤时。在本文中，我们通过将背景规划限制为一组（抽象）子目标并仅学习本地，子观念模型来避免这种限制。这种目标空间计划（GSP）方法更有效地是在计算上，自然地纳入了时间抽象，以进行更快的长胜压计划，并避免完全学习过渡动态。我们表明，在各种情况下，我们的GSP算法比双DQN基线要快得多。
translated by 谷歌翻译
政策梯度定理（Sutton等，2000）规定了目标政策下的累积折扣国家分配以近似梯度。实际上，基于该定理的大多数算法都打破了这一假设，引入了分布转移，该分配转移可能导致逆转溶液的收敛性。在本文中，我们提出了一种新的方法，可以从开始状态重建政策梯度，而无需采取特定的采样策略。可以根据梯度评论家来简化此形式的策略梯度计算，由于梯度的新钟声方程式，可以递归估算。通过使用来自差异数据流的梯度评论家的时间差异更新，我们开发了第一个以无模型方式避开分布变化问题的估计器。我们证明，在某些可实现的条件下，无论采样策略如何，我们的估计器都是公正的。我们从经验上表明，我们的技术在存在非政策样品的情况下实现了卓越的偏见变化权衡和性能。
translated by 谷歌翻译
Softmax政策的政策梯度（PG）估计与子最佳饱和初始化无效，当密度集中在次良动作时发生。从策略初始化或策略已经收敛后发生的环境的突然变化可能会出现次优策略饱和度，并且SoftMax PG估计器需要大量更新以恢复有效的策略。这种严重问题导致高样本低效率和对新情况的适应性差。为缓解此问题，我们提出了一种新的政策梯度估计，用于软MAX策略，该估计在批评中利用批评中的偏差和奖励信号中存在的噪声来逃避策略参数空间的饱和区域。我们对匪徒和古典MDP基准测试任务进行了分析和实验，表明我们的估算变得更加坚固，以便对政策饱和度更加强大。
translated by 谷歌翻译
使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现，随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系，阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示，即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构，并发现（a）在各种不同的架构和优化器中出现的对齐，并且从深度（b）对准产生的更多对准对于更接近输出的层和（c）现有的性能深度CNN表现出高级别的对准。
translated by 谷歌翻译
由于策略梯度定理导致的策略设置存在各种理论上 - 声音策略梯度算法，其为梯度提供了简化的形式。然而，由于存在多重目标和缺乏明确的脱助政策政策梯度定理，截止策略设置不太明确。在这项工作中，我们将这些目标统一到一个违规目标，并为此统一目标提供了政策梯度定理。推导涉及强调的权重和利息职能。我们显示多种策略来近似梯度，以识别权重（ACE）称为Actor评论家的算法。我们证明了以前（半梯度）脱离政策演员 - 评论家 - 特别是offpac和DPG - 收敛到错误的解决方案，而Ace找到最佳解决方案。我们还强调为什么这些半梯度方法仍然可以在实践中表现良好，表明ace中的方差策略。我们经验研究了两个经典控制环境的若干ACE变体和基于图像的环境，旨在说明每个梯度近似的权衡。我们发现，通过直接逼近强调权重，ACE在所有测试的所有设置中执行或优于offpac。
translated by 谷歌翻译
脱机强化学习 - 从一批数据中学习策略 - 是难以努力的：如果没有制造强烈的假设，它很容易构建实体算法失败的校长。在这项工作中，我们考虑了某些现实世界问题的财产，其中离线强化学习应该有效：行动仅对一部分产生有限的行动。我们正规化并介绍此动作影响规律（AIR）财产。我们进一步提出了一种算法，该算法假定和利用AIR属性，并在MDP满足空气时绑定输出策略的子优相。最后，我们展示了我们的算法在定期保留的两个模拟环境中跨越不同的数据收集策略占据了现有的离线强度学习算法。
translated by 谷歌翻译
优先经验重播（ER）已被经验证明可以提高许多领域的样本效率，并引起了极大的关注。但是，几乎没有理论上的理解，为什么这种优先的抽样有助于其局限性。在这项工作中，我们深入研究了优先的ER。在有监督的学习环境中，我们显示了基于错误的优先采样方法，用于平方误差和均匀采样，用于立方功率损失。然后，我们提供理论上的见解，说明为什么在早期学习过程中均匀抽样时它会提高收敛速度。基于洞察力，我们进一步指出了优先ER方法的两个局限性：1）过时的优先级和2）样品空间的覆盖范围不足。为了减轻局限性，我们提出了基于模型的随机梯度Langevin动力学采样方法。我们表明，我们的方法确实提供了分布的状态，该状态接近通过Brute-Force方法估计的理想优先采样分布，该分布没有两个局限性。我们对离散和连续控制问题进行实验，以显示我们的方法的功效，并检查我们方法在自主驾驶应用中的实际含义。
translated by 谷歌翻译
在过去十年中，发光二极管（LED）几乎在每个应用中都取代了常见的灯泡，从智能手机中的手电筒到汽车前灯。照亮夜间街道需要LED发出光谱，被人眼被人眼被视为纯白色。与这种白光谱相关的电力不仅分布在贡献波长上，而且在视觉角度上分布。对于许多应用，可用的光线需要在向前的方向上退出LED，即在小角度到垂直。在这项工作中，我们证明了白色LED顶部的专门设计的多层薄膜增加了向前发射的纯白光的功率。因此，推导的多目标优化问题是通过实质物理引导的目标函数重新重新制定，该函数代表了我们工程问题的层次结构。采用贝叶斯优化的变体基于射线跟踪模拟来最大化这种非确定性目标函数。最终，对合适的多层薄膜的光学性质的研究允许识别白光方向性的增加的机制：角度和波长选择性过滤导致多层薄膜与光线的乒乓球发挥作用。
translated by 谷歌翻译
尽管机器学习的其他领域越来越多地自动化，但设计高性能的推荐系统仍然需要高水平的人力努力。此外，最近的工作表明，现代推荐系统算法并不总是比调整良好的基线改进。一个自然的后续问题是：“我们如何为新数据集和性能指标选择正确的算法？”在这项工作中，我们首先要通过比较85个数据集和315个指标的18算法和100组超参数的大规模研究。我们发现，最好的算法和超参数高度依赖于数据集和性能指标，但是，每种算法的性能与数据集的各种元元功能之间也存在很强的相关性。在这些发现的激励下，我们创建了Reczilla，这是一种推荐系统的元学习方法，该方法使用模型来预测新的，看不见的数据集的最佳算法和超参数。通过使用比先前的工作更多的元培训数据，Reczilla可以大大降低面对新推荐系统应用时人类参与水平。我们不仅发布了我们的代码和预处理的Reczilla模型，而且还发布了所有原始的实验结果，因此从业者可以为其所需的性能指标训练Reczilla模型：https：//github.com/naszilla/reczilla。
translated by 谷歌翻译
通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。
translated by 谷歌翻译