我们在连续时间内研究一般的熵正规的多变量LQG平均场比赛（MFGS），以k $ Distint的代理商。我们将动作的概念扩展到行动分发（探索性行为），并明确地导出了限制MFG中各个代理的最佳动作分布。我们证明，最佳的动作分布集产生了$ \ epsilon $ -Nash均衡，为有限群体熵定期的MFG。此外，我们将由此产生的解决方案与古典LQG MFG的结果进行比较，并建立其存在的等价。
translated by 谷歌翻译
In this paper, we introduce a regularized mean-field game and study learning of this game under an infinite-horizon discounted reward function. Regularization is introduced by adding a strongly concave regularization function to the one-stage reward function in the classical mean-field game model. We establish a value iteration based learning algorithm to this regularized mean-field game using fitted Q-learning. The regularization term in general makes reinforcement learning algorithm more robust to the system components. Moreover, it enables us to establish error analysis of the learning algorithm without imposing restrictive convexity assumptions on the system components, which are needed in the absence of a regularization term.
translated by 谷歌翻译
已广泛采用熵正规化来提高加固学习中算法的效率，稳定性和收敛性。本文分析了定量和定性地对平均田间游戏（MFG）的熵正则化的影响与学习在有限时间范围内。我们的研究提供了一种理论上的理由，熵正规化产生时间依赖的政策，而且，此外，有助于稳定和加速对游戏均衡的收敛性。此外，本研究导致MFG勘探勘探策略梯度算法。在该算法下，代理能够学习最佳探索调度，稳定快速地收敛到游戏均衡。
translated by 谷歌翻译
具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。
translated by 谷歌翻译
We consider learning approximate Nash equilibria for discrete-time mean-field games with nonlinear stochastic state dynamics subject to both average and discounted costs. To this end, we introduce a mean-field equilibrium (MFE) operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in the infinite population limit). We first prove that this operator is a contraction, and propose a learning algorithm to compute an approximate mean-field equilibrium by approximating the MFE operator with a random one. Moreover, using the contraction property of the MFE operator, we establish the error analysis of the proposed learning algorithm. We then show that the learned mean-field equilibrium constitutes an approximate Nash equilibrium for finite-agent games.
translated by 谷歌翻译
致密的大图限制和平均野外游戏的最新进展已开始实现具有大量代理的广泛动态顺序游戏的可扩展分析。到目前为止，结果已经主要限于Graphon平均现场系统，其具有连续延时扩散或跳跃动态，通常没有控制，并且很少专注于计算方法。我们提出了一种新的离散时间制定，用于Graphon均值野外游戏，作为具有薄弱相互作用的非线性密集图Markov游戏的极限。在理论方面，我们在足够大的系统中给出了Graphon均值场解决方案的广泛且严格的存在和近似性质。在实践方面，我们通过引入代理等价类或将Graphon均值字段系统重新格式化为经典平均字段系统来提供Graphon均值的一般学习方案。通过反复找到正则化的最佳控制解决方案及其生成的平均字段，我们成功地获得了与许多代理商的其他不可行的大密集图游戏中的合理的近似纳入均衡。经验上，我们能够证明一些例子，即有限代理行为越来越接近我们计算的均衡的平均场行为，因为图形或系统尺寸增长，验证了我们的理论。更一般地说，我们成功地与序贯蒙特卡罗方法结合使用政策梯度强化学习。
translated by 谷歌翻译
在非凸优化的背景下，研究Langevin扩散的温度控制问题。这种问题的经典最优控制是Bang-Bang类型，这对错误过于敏感。补救措施是允许扩散探索其他温度值，从而平滑爆炸控制。我们通过一种随机轻松的控制配方来实现这一点，该配方包括温度控制的随机性并规范其熵。我们得出了一个国家相关的截断的指数分布，其可用于在HJB偏微分方程的解决方案方面采样LangeVin算法中的温度。我们对一维基线示例进行数值实验，其中HJB方程可以很容易地解决，以比较算法与三个其他可用算法的性能，以搜索全局最优。
translated by 谷歌翻译
平均场控制和平均场游戏中的核心问题之一是解决相应的McKean-Vlasov前向后随机微分方程（MV-FBSDES）。大多数现有方法是针对特殊情况量身定制的，在这种情况下，平均场相互作用仅取决于期望或其他时刻，因此当平均场相互作用具有完全分布依赖性时，无法解决问题。在本文中，我们提出了一种新颖的深度学习方法，用于计算具有均值场相互作用的一般形式的MV-FBSDE。具体而言，我们基于虚拟游戏，我们将问题重新验证为重复求解具有明确系数功能的标准FBSDE。这些系数功能用于近似具有完全分布依赖性的MV-FBSDE的模型系数，并通过使用从上次迭代的FBSDE解决方案模拟的培训数据来解决另一个监督学习问题。我们使用深层神经网络来求解标准的BSDE和近似系数功能，以求解高维MV-FBSDE。在对学习功能的适当假设下，我们证明了所提出的方法的收敛性通过使用先前在[HAN，HU和LONG，ARXIV：2104.12036]中开发的一类积分概率指标来免受维数（COD）的诅咒。证明的定理在高维度中显示了该方法的优势。我们介绍了高维MV-FBSDE问题中的数值性能，其中包括众所周知的Cucker-Smale模型的平均场景示例，其成本取决于正向过程的完整分布。
translated by 谷歌翻译
由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。
translated by 谷歌翻译
我们在王等人开发的正规化探索制剂下，研究政策梯度（PG），以便在连续时间和空间中进行加强学习。 （2020）。我们代表值函数的梯度相对于给定的参数化随机策略，作为可以使用样本和当前值函数进行评估的辅助运行奖励函数的预期集成。这有效地将PG转化为策略评估（PE）问题，使我们能够应用贾和周最近开发的Martingale方法来解决我们的PG问题。基于此分析，我们为RL提出了两种类型的演员 - 批评算法，在那里我们同时和交替地学习和更新值函数和策略。第一类型直接基于上述表示，涉及未来的轨迹，因此是离线的。专为在线学习的第二种类型使用了政策梯度的一阶条件，并将其转化为Martingale正交状态。然后在更新策略时使用随机近似并入这些条件。最后，我们通过模拟在两个具体示例中展示了算法。
translated by 谷歌翻译
钢筋学习（RL）最近在许多人工智能应用中取得了巨大成功。 RL的许多最前沿应用涉及多个代理，例如，下棋和去游戏，自主驾驶和机器人。不幸的是，古典RL构建的框架不适合多代理学习，因为它假设代理的环境是静止的，并且没有考虑到其他代理的适应性。在本文中，我们介绍了动态环境中的多代理学习的随机游戏模型。我们专注于随机游戏的简单和独立学习动态的发展：每个代理商都是近视，并为其他代理商的战略选择最佳响应类型的行动，而不与对手进行任何协调。为随机游戏开发收敛最佳响应类型独立学习动态有限的进展。我们展示了我们最近提出的简单和独立的学习动态，可保证零汇率随机游戏的融合，以及对此设置中的动态多代理学习的其他同时算法的审查。一路上，我们还重新审视了博弈论和RL文学的一些古典结果，以适应我们独立的学习动态的概念贡献，以及我们分析的数学诺克特。我们希望这篇审查文件成为在博弈论中研究独立和自然学习动态的重新训练的推动力，对于具有动态环境的更具挑战性的环境。
translated by 谷歌翻译
当今许多大型系统的设计，从交通路由环境到智能电网，都依赖游戏理论平衡概念。但是，随着$ n $玩家游戏的大小通常会随着$ n $而成倍增长，标准游戏理论分析实际上是不可行的。最近的方法通过考虑平均场游戏，匿名$ n $玩家游戏的近似值，在这种限制中，玩家的数量是无限的，而人口的状态分布，而不是每个单独的球员的状态，是兴趣。然而，迄今为止研究最多的平均场平衡的平均场nash平衡的实际可计算性通常取决于有益的非一般结构特性，例如单调性或收缩性能，这是已知的算法收敛所必需的。在这项工作中，我们通过开发均值相关和与粗相关的平衡的概念来研究平均场比赛的替代途径。我们证明，可以使用三种经典算法在\ emph {ash All Games}中有效地学习它们，而无需对游戏结构进行任何其他假设。此外，我们在文献中已经建立了对应关系，从而获得了平均场 - $ n $玩家过渡的最佳范围，并经验证明了这些算法在简单游戏中的收敛性。
translated by 谷歌翻译
我们建议\ emph {Choquet正则化器}来衡量和管理强化学习的探索水平（RL），并重新重新制定Wang等人的连续时间熵调节的RL问题。（2020年，JMLR，21（198）），其中我们用Choquet正常器代替用于正则化的差分熵。我们通过使汉密尔顿（Jacobi-Bellman方程）得出了问题的jacobi-bellman方程，并在线性 - 季度（LQ）情况下明确求解了汉密尔顿（LQ）（LQ）情况，这是通过静态上一种平均值 - 差异约束的Choquet正常制剂。在LQ设置下，我们为几个特定的Choquet正规化器提供了明确的最佳分布，相反，我们确定了产生许多广泛使用的探索性采样器的Choquet正则化器，例如$ \ epsilon $ - 果岭，指数，统一，统一和高斯。
translated by 谷歌翻译
我们研究了无限 - 马，连续状态和行动空间的政策梯度的全球融合以及熵登记的马尔可夫决策过程（MDPS）。我们考虑了在平均场状态下具有（单隐层）神经网络近似（一层）神经网络近似的策略。添加了相关的平均场概率度量中的其他熵正则化，并在2-Wasserstein度量中研究了相应的梯度流。我们表明，目标函数正在沿梯度流量增加。此外，我们证明，如果按平均场测量的正则化足够，则梯度流将成倍收敛到唯一的固定溶液，这是正则化MDP物镜的独特最大化器。最后，我们研究了相对于正则参数和初始条件，沿梯度流的值函数的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析，并扩展了Mei等人的开拓性工作。 2020和Agarwal等。 2020年，量化表格环境中熵调控MDP的策略梯度的全局收敛速率。
translated by 谷歌翻译
我们研究有限的时间范围连续时间线性季节增强学习问题，在情节环境中，控制器的状态和控制系数都不清楚。我们首先提出了基于连续时间观察和控件的最小二乘算法，并建立对数的对数遗憾，以$ o（（\ ln m）（\ ln \ ln m））$，$ m $是数字学习情节。该分析由两个部分组成：扰动分析，这些分析利用了相关的riccati微分方程的规律性和鲁棒性；和参数估计误差，依赖于连续的最小二乘估计器的亚指数属性。我们进一步提出了一种基于离散时间观察和分段恒定控制的实际实现最小二乘算法，该算法根据算法中使用的时间步骤明确地取决于额外的术语，从而实现相似的对数后悔。
translated by 谷歌翻译
我们考虑在平均场比赛中在线加强学习。与现有作品相反，我们通过开发一种使用通用代理的单个样本路径来估算均值场和最佳策略的算法来减轻对均值甲骨文的需求。我们称此沙盒学习为其，因为它可以用作在多代理非合作环境中运行的任何代理商的温暖启动。我们采用了两种时间尺度的方法，在该方法中，平均场的在线固定点递归在较慢的时间表上运行，并与通用代理更快的时间范围内的控制策略更新同时进行。在足够的勘探条件下，我们提供有限的样本收敛保证，从平均场和控制策略融合到平均场平衡方面。沙盒学习算法的样本复杂性为$ \ Mathcal {o}（\ epsilon^{ - 4}）$。最后，我们从经验上证明了沙盒学习算法在交通拥堵游戏中的有效性。
translated by 谷歌翻译
我们开发了一个概率框架，用于分析基于模型的加强学习在整个概念环境中。然后，我们将其应用于使用线性动力学但未知的系数和凸起的有限时间地平线随机控制问题，但可能是不规则的，客观的函数。使用概率表示，我们研究相关成本函数的规律性，并建立精确估计，用于应用估计和真实模型参数的最佳反馈控制之间的性能差距。我们确定这种性能差距是二次，提高近期工作的线性性能差距的条件[X.郭，A. Hu和Y. Zhang，Arxiv预印，arxiv：2104.09311，（2021）]，它与随机线性二次问题获得的结果相匹配。接下来，我们提出了一种基于阶段的学习算法，我们展示了如何优化探索剥削权衡，并在高概率和期望中实现索布林遗憾。当对二次性能间隙保持所需的假设时，该算法在一般情况下实现了订单$ \ mathcal {o}（\ sqrt {n \ ln n）$高概率后悔，以及订单$ \ mathcal {o} （（\ ln n）^ 2）$预期遗憾，在自我探索案例中，超过$ n $剧集，匹配文献中的最佳结果。分析需要新的浓度不等式，用于相关的连续时间观察，我们得出。
translated by 谷歌翻译
连续的时间加强学习提供了一种吸引人的形式主义，用于描述控制问题，其中时间的流逝并不自然地分为离散的增量。在这里，我们考虑了预测在连续时间随机环境中相互作用的代理商获得的回报分布的问题。准确的回报预测已被证明可用于确定对风险敏感的控制，学习状态表示，多基因协调等的最佳策略。我们首先要建立汉密尔顿 - 雅各布人（HJB）方程的分布模拟，以扩散和更广泛的feller-dynkin过程。然后，我们将此方程式专注于返回分布近似于$ n $均匀加权粒子的设置，这是分销算法中常见的设计选择。我们的派生突出显示了由于统计扩散率而引起的其他术语，这是由于在连续时间设置中正确处理分布而产生的。基于此，我们提出了一种可访问算法，用于基于JKO方案近似求解分布HJB，该方案可以在在线控制算法中实现。我们证明了这种算法在合成控制问题中的有效性。
translated by 谷歌翻译
尽管在过去几年中，多机构增强学习（MARL）的领域取得了长足的进步，但解决了大量代理的系统仍然是一个艰巨的挑战。 Graphon均值现场游戏（GMFGS）可实现对MARL问题的可扩展分析，而MARL问题原本是棘手的。通过图形的数学结构，这种方法仅限于密集的图形，这些图形不足以描述许多现实世界网络，例如幂律图。我们的论文介绍了GMFGS的新型公式，称为LPGMFGS，该公式利用了$ l^p $ Graphons的图理论概念，并提供了一种机器学习工具，以有效，准确地近似于稀疏网络问题的解决方案。这尤其包括在各个应用领域经验观察到的电力法网络，并且不能由标准图形捕获。我们得出理论上的存在和融合保证，并提供了经验示例，以证明我们与许多代理的系统学习方法的准确性。此外，我们严格地将在线镜下降（OMD）学习算法扩展到我们的设置，以加速学习速度，允许通过过渡内核中的平均领域进行代理相互作用，并凭经验显示其功能。通常，我们在许多研究领域中为大量棘手的问题提供了可扩展的，数学上有充分的机器学习方法。
translated by 谷歌翻译
我们提出了一种建模大规模多机构动力学系统的方法，该系统不仅可以使用平均场游戏理论和超图像的概念在成对的代理之间进行相互作用，而且这些概念是大型超透明仪的限制。据我们所知，我们的工作是HyperGraphs平均野外游戏的第一部作品。加上扩展到多层设置，我们获得了非线性，弱相互作用的动力学剂的大型系统的限制描述。从理论方面来说，我们证明了由此产生的超图平均野外游戏的良好基础，显示出存在和近似NASH属性。在应用方面，我们扩展了数值和学习算法以计算超图平均场平衡。为了从经验上验证我们的方法，我们考虑了一个流行病控制问题和社会谣言传播模型，我们为代理人提供了将谣言传播到不知情的代理人的内在动机。
translated by 谷歌翻译