我们描述了一种针对零售电子商务（电子商务）的需求而开发的新型决策问题。在使用物流和零售业商业合作者的同时，我们发现，从供应链中最适合的产品（称为成本为服务或CTS）的产品提供的产品成本是一个关键挑战。电子商务供应链的大规模，高性计，大大地理传播，使这一设置成为精心设计的数据驱动决策算法。在这项初步工作中，我们专注于在每次仓库中从任何仓库到多个客户提供多个产品的特定子问题。我们比较几个基线的相对性能和计算效率，包括启发式和混合整数线性规划。我们表明，基于加强学习的算法与这些政策具有竞争力，具有现实世界中有效扩大的潜力。

车辆路由问题是文献中众所周知的NP-HARD组合优化问题。传统的解决方案方法涉及精心设计的启发式方法或耗时的元启发术。强化学习的最新工作一直是一种有希望的替代方法，但发现在解决方案质量方面很难与传统方法竞争。本文提出了一种混合方法，结合了加强学习，政策推出和可满足性的求解器，以实现计算时间和解决方案质量之间的可调整权衡。在流行的公共数据集中的结果表明，该算法能够比现有基于学习的方法更接近最佳水平，而计算时间较短。该方法需要最少的设计工作，并且能够在没有额外培训的情况下解决看不见的任意规模问题。此外，该方法可以推广到其他组合优化问题。

钢筋学习最近在许多组合优化问题中显示了学习质量解决方案的承诺。特别地，基于注意的编码器 - 解码器模型在各种路由问题上显示出高效率，包括旅行推销员问题（TSP）。不幸的是，它们对具有无人机（TSP-D）的TSP表现不佳，需要在协调中路由车辆的异构队列 - 卡车和无人机。在TSP-D中，这两个车辆正在串联移动，并且可能需要在用于其他车辆的节点上等待加入。不那么关注的基于关注的解码器无法在车辆之间进行这种协调。我们提出了一种注意力编码器-LSTM解码器混合模型，其中解码器的隐藏状态可以代表所做的动作序列。我们经验证明，这种混合模型可提高基于纯粹的关注的模型，用于解决方案质量和计算效率。我们对MIN-MAX电容车辆路由问题（MMCVRP）的实验还确认混合模型更适合于多车辆的协调路由而不是基于注意的模型。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

我们研究了在国内捐助服务服务中引起的车辆路由问题的随机变体。我们考虑的问题结合了以下属性。就客户是随机的，但不仅限于预定义的集合，因此请求服务的客户是可变的，因为它们可能出现在给定的服务领域的任何地方。此外，需求量是随机的，并且在拜访客户时会观察到。目的是在满足车辆能力和时间限制的同时最大化预期的服务需求。我们将此问题称为VRP，具有高度可变的客户基础和随机需求（VRP-VCSD）。对于这个问题，我们首先提出了马尔可夫决策过程（MDP）的配方，该制定代表了一位决策者建立所有车辆路线的经典集中决策观点。虽然结果配方却很棘手，但它为我们提供了开发新的MDP公式的地面，我们称其为部分分散。在此公式中，动作空间被车辆分解。但是，由于我们执行相同的车辆特定政策，同时优化集体奖励，因此权力下放是不完整的。我们提出了几种策略，以减少与部分分散的配方相关的国家和行动空间的维度。这些产生了一个更容易解决的问题，我们通过加强学习来解决。特别是，我们开发了一种称为DECQN的Q学习算法，具有最先进的加速技术。我们进行了彻底的计算分析。结果表明，DECN的表现大大优于三个基准策略。此外，我们表明我们的方法可以与针对VRP-VCSD的特定情况开发的专业方法竞争，在该情况下，客户位置和预期需求是事先知道的。

本文利用了强化学习和深度学习的最新发展来解决供应链库存管理（SCIM）问题，这是一个复杂的顺序决策问题，包括确定在给定时间范围内生产和运送到不同仓库的最佳产品数量。给出了随机两回波供应链环境的数学公式，该公式可以管理任意数量的仓库和产品类型。此外，开发了一个与深钢筋学习（DRL）算法接口的开源库，并公开可用于解决遇险问题。通过在合成生成的数据上进行了丰富的数值实验，比较了最新的DRL算法实现的性能。实验计划的设计和执行，包括供应链的不同结构，拓扑，需求，能力和成本。结果表明，PPO算法非常适合环境的不同特征。 VPG算法几乎总是会收敛到局部最大值，即使它通常达到可接受的性能水平。最后，A3C是最快的算法，但是就像VPG一样，与PPO相比，它从未取得最好的性能。总之，数值实验表明，DRL的性能始终如一，比标准的重新订购策略（例如静态（S，Q） - policy）更好。因此，它可以被认为是解决随机两回波问题的现实世界实例的实用和有效选择。

我们解决了多梯队供应链中生产规划和分布的问题。我们考虑不确定的需求和铅，这使得问题随机和非线性。提出了马尔可夫决策过程配方和非线性编程模型。作为一个顺序决策问题，深度加强学习（RL）是一种可能的解决方案方法。近年来，这种类型的技术从人工智能和优化社区获得了很多关注。考虑到不同领域的深入RL接近获得的良好结果，对在运营研究领域的问题中造成越来越兴趣的兴趣。我们使用了深入的RL技术，即近端政策优化（PPO2），解决了考虑不确定，定期和季节性需求和常数或随机交货时间的问题。实验在不同的场景中进行，以更好地评估算法的适用性。基于线性化模型的代理用作基线。实验结果表明，PPO2是这种类型的问题的竞争力和适当的工具。 PPO2代理在所有情景中的基线都优于基线，随机交货时间（7.3-11.2％），无论需求是否是季节性的。在具有恒定交货时间的情况下，当不确定的需求是非季节性的时，PPO2代理更好（2.2-4.7％）。结果表明，这种情况的不确定性越大，这种方法的可行性就越大。

乘客和货物交付的可行性服务服务的无处不在的增长在运输系统领域内带来了各种挑战和机遇。因此，正在开发智能运输系统以最大限度地提高运营盈利能力，用户的便利性和环境可持续性。与riveShiening的最后一次交付的增长呼吁进行高效且凝聚力的系统，运输乘客和货物。现有方法使用静态路由方法来解决考虑到请求的需求和在路线规划期间车辆之间的货物转移。在本文中，我们为合并的商品和乘客运输提供了一种动态和需求意识的舰队管理框架，该乘客运输能够通过允许司机谈判到相互合适的价格中的决策过程中的乘客和司机。乘客接受/拒绝，（2）货物与车辆的匹配，以及货物的多跳转移，（3）基于该插入成本，在沿着它们的途径来动态地为每个车辆提供最佳路线，从而确定匹配的插入成本（4）使用深度加强学习（RL），（5）允许在每个车辆的分布推断，同时共同优化舰队目标，向预期的高乘客和商品需求调度怠速车辆。我们所提出的模型可在每个车辆内独立部署，因为这最大限度地减少了与分布式系统的增长相关的计算成本，并将其民主化决策对每个人进行决策。与各种车辆类型，商品和乘客效用的仿真表明，与不考虑联合负载运输或动态多跳路线规划的其他方法相比，我们的方法的有效性。

物流运营商最近提出了一项技术，可以帮助降低城市货运分销中的交通拥堵和运营成本，最近提出了移动包裹储物柜（MPLS）。鉴于他们能够在整个部署领域搬迁，因此他们具有提高客户可访问性和便利性的潜力。在这项研究中，我们制定了移动包裹储物柜问题（MPLP），这是位置路由问题（LRP）的特殊情况，该案例确定了整天MPL的最佳中途停留位置以及计划相应的交付路线。开发了基于混合Q学习网络的方法（HQM），以解决所得大问题实例的计算复杂性，同时逃脱了本地Optima。此外，HQM与全球和局部搜索机制集成在一起，以解决经典强化学习（RL）方法所面临的探索和剥削困境。我们检查了HQM在不同问题大小（最多200个节点）下的性能，并根据遗传算法（GA）进行了基准测试。我们的结果表明，HQM获得的平均奖励比GA高1.96倍，这表明HQM具有更好的优化能力。最后，我们确定有助于车队规模要求，旅行距离和服务延迟的关键因素。我们的发现概述了MPL的效率主要取决于时间窗口的长度和MPL中断的部署。

This work provides a Deep Reinforcement Learning approach to solving a periodic review inventory control system with stochastic vendor lead times, lost sales, correlated demand, and price matching. While this dynamic program has historically been considered intractable, our results show that several policy learning approaches are competitive with or outperform classical methods. In order to train these algorithms, we develop novel techniques to convert historical data into a simulator. On the theoretical side, we present learnability results on a subclass of inventory control problems, where we provide a provable reduction of the reinforcement learning problem to that of supervised learning. On the algorithmic side, we present a model-based reinforcement learning procedure (Direct Backprop) to solve the periodic review inventory control problem by constructing a differentiable simulator. Under a variety of metrics Direct Backprop outperforms model-free RL and newsvendor baselines, in both simulations and real-world deployments.

我们将解决多车程路由问题解释为马尔可夫的团队游戏，其成本部分可观察到。为了为一组给定的客户提供服务，游戏代理（车辆）的共同目标是确定最佳的总成本的团队最佳代理路线。因此，每个代理商仅观察自己的成本。我们的多机构增强学习方法，即所谓的多机神经重写者，建立在单格神经重写者的基础上，以通过迭代重写解决方案解决该问题。并行代理操作执行和部分可观察性需要游戏的新重写规则。我们建议在系统中引入一个所谓的池，该池是未访问的节点的收集点。它使代理商能够同时采取行动并以无冲突的方式交换节点。我们仅在学习过程中仅分享对代理的成本的有限披露。在推断期间，每个代理人都完全基于其自身的成本来表现出来。小问题大小的首先经验结果表明，我们达到的性能接近所采用的Or-Tools基准，该基准在完美的成本信息设置中运行。

对同日发货（SDD）的需求在过去几年中迅速增加，并在Covid-19大流行期间特别蓬勃发展。快速增长并非没有挑战。 2016年，由于较低的成员资格和距离仓库的距离远远，某些少数民族社区被排除在接受亚马逊的SDD服务之外，提高了对公平的担忧。在本文中，我们研究了向客户提供公平的SDD服务的问题。服务区域被分成不同的区域。在一天中，客户请求SDD服务以及请求和交付位置的时机未提前知道。调度员动态分配车辆，以便在交付截止日期前将交付给予接受客户。除整体服务率（实用程序）外，我们还最大限度地提高了所有地区的最小区域服务率（公平性）。我们将问题模拟为多目标马尔可夫决策过程，并开发深度Q学习解决方案方法。我们介绍了从税率到实际服务的新颖改造，从而创造了一个稳定和有效的学习过程。计算结果证明了我们对在不同客户地理位置中的空间和时间内的不公平性的方法的有效性。我们还表明，这种有效性有效地与不同的仓库位置有效，提供业务，其中有机会从任何位置实现更好的公平性。此外，我们考虑忽略公平性在服务中的影响，结果表明，当客户对服务水平的期望很高时，我们的政策最终越优越。

电动汽车快速采用（EVS）要求广泛安装EV充电站。为了最大限度地提高充电站的盈利能力，提供充电和电网服务的智能控制器实际上很需要。然而，由于不确定的到达时间和EVS的充电需求，确定最佳充电时间表具有挑战性。在本文中，我们提出了一种新的集中分配和分散执行（CADE）强化学习（RL）框架，以最大限度地提高收费站的利润。在集中分配过程中，EVS被分配给等待或充电点。在分散的执行过程中，每个充电器都在学习来自共享重放内存的动作值函数的同时使其自己的充电/放电决定。该CADE框架显着提高了RL算法的可扩展性和采样效率。数值结果表明，所提出的CADE框架既有计算高效且可扩展，显着优于基线模型预测控制（MPC）。我们还提供了对学习的动作值的深入分析，以解释加强学习代理的内部工作。

In this paper, we consider the inventory management (IM) problem where we need to make replenishment decisions for a large number of stock keeping units (SKUs) to balance their supply and demand. In our setting, the constraint on the shared resources (such as the inventory capacity) couples the otherwise independent control for each SKU. We formulate the problem with this structure as Shared-Resource Stochastic Game (SRSG)and propose an efficient algorithm called Context-aware Decentralized PPO (CD-PPO). Through extensive experiments, we demonstrate that CD-PPO can accelerate the learning procedure compared with standard MARL algorithms.

This project leverages advances in multi-agent reinforcement learning (MARL) to improve the efficiency and flexibility of order-picking systems for commercial warehouses. We envision a warehouse of the future in which dozens of mobile robots and human pickers work together to collect and deliver items within the warehouse. The fundamental problem we tackle, called the order-picking problem, is how these worker agents must coordinate their movement and actions in the warehouse to maximise performance (e.g. order throughput) under given resource constraints. Established industry methods using heuristic approaches require large engineering efforts to optimise for innately variable warehouse configurations. In contrast, the MARL framework can be flexibly applied to any warehouse configuration (e.g. size, layout, number/types of workers, item replenishment frequency) and the agents learn via a process of trial-and-error how to optimally cooperate with one another. This paper details the current status of the R&D effort initiated by Dematic and the University of Edinburgh towards a general-purpose and scalable MARL solution for the order-picking problem in realistic warehouses.

学习解决组合优化问题，例如车辆路径问题，提供古典运营研究求解器和启发式的巨大计算优势。最近开发的深度加强学习方法迭代或顺序地构建一组个别旅游的最初给定的解决方案。然而，大多数现有的基于学习的方法都无法为固定数量的车辆工作，从而将客户的复杂分配问题绕过APRIORI给定数量的可用车辆。另一方面，这使得它们不太适合真实应用程序，因为许多物流服务提供商依赖于提供的解决方案提供了特定的界限船队规模，并且无法适应车辆数量的短期更改。相比之下，我们提出了一个强大的监督深度学习框架，在尊重APRiori固定数量的可用车辆的同时构建完整的旅游计划。与高效的后处理方案结合，我们的监督方法不仅要快得多，更容易训练，而且还实现了包含车辆成本的实际方面的竞争结果。在彻底的控制实验中，我们将我们的方法与我们展示稳定性能的多种最先进的方法进行比较，同时利用较少的车辆并在相关工作的实验协议中存在一些亮点。

We consider the sequential decision-making problem of making proactive request assignment and rejection decisions for a profit-maximizing operator of an autonomous mobility on demand system. We formalize this problem as a Markov decision process and propose a novel combination of multi-agent Soft Actor-Critic and weighted bipartite matching to obtain an anticipative control policy. Thereby, we factorize the operator's otherwise intractable action space, but still obtain a globally coordinated decision. Experiments based on real-world taxi data show that our method outperforms state of the art benchmarks with respect to performance, stability, and computational tractability.

在带有电动车队的乘车系统中，充电是一个复杂的决策过程。大多数电动汽车（EV）出租车服务要求驾驶员做出利己主义决定，从而导致分散的临时充电策略。车辆之间通常缺乏或不共享移动性系统的当前状态，因此无法做出最佳的决定。大多数现有方法都不将时间，位置和持续时间结合到全面的控制算法中，也不适合实时操作。因此，我们提出了一种实时预测性充电方法，用于使用一个名为“闲置时间开发（ITX）”的单个操作员进行乘车服务，该方法预测了车辆闲置并利用这些时期来收获能量的时期。它依靠图形卷积网络和线性分配算法来设计最佳的车辆和充电站配对，以最大程度地提高利用的空闲时间。我们通过对纽约市现实世界数据集的广泛模拟研究评估了我们的方法。结果表明，就货币奖励功能而言，ITX的表现优于所有基线方法至少提高5％（相当于6,000个车辆操作的$ 70,000），该奖励奖励功能的建模旨在复制现实世界中乘车系统的盈利能力。此外，与基线方法相比，ITX可以将延迟至少减少4.68％，并且通常通过促进顾客在整个车队中更好地传播乘客的舒适度。我们的结果还表明，ITX使车辆能够在白天收获能量，稳定电池水平，并增加需求意外激增的弹性。最后，与表现最佳的基线策略相比，峰值负载减少了17.39％，这使网格操作员受益，并为更可持续的电网使用铺平了道路。

广泛研究和使用旅行推销员问题等图形问题，如旅行推销员问题，或发现最小的施泰纳树在数据工程和计算机科学中使用。通常，在现实世界应用中，图表的特征往往会随着时间的推移而变化，因此，找到问题的解决方案变得具有挑战性。许多图表问题的动态版本是运输，电信和社交网络中普遍世界问题的关键。近年来，利用深度学习技术来寻找NP-Hard图组合问题的启发式解决方案，因为这些学习的启发式可以有效地找到近最佳解决方案。但是，大多数现有的学习启发式方法都关注静态图问题。动态性质使NP-Hard图表问题更具挑战性，并且现有方法无法找到合理的解决方案。在本文中，我们提出了一种名为Cabl时间关注的新型建筑，并利用加固学习（GTA-RL）来学习基于图形的动态组合优化问题的启发式解决方案。 GTA-RL架构包括能够嵌入组合问题实例的时间特征的编码器和能够动态地关注嵌入功能的解码器，以找到给定组合问题实例的解决方案。然后，我们将架构扩展到学习HeuRistics的组合优化问题的实时版本，其中问题的所有输入特征是未知的，而是实时学习。我们针对几种最先进的基于学习的算法和最佳求解器的实验结果表明，我们的方法在动态和效率方面，在有效性和最佳求解器方面优于基于最先进的学习方法。实时图组合优化。

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.