预订控制问题是收入管理领域中发生的顺序决策问题。更确切地说，货运预订控制重点是决定接受或拒绝预订的问题：鉴于有限的能力，接受预订请求或拒绝其保留能力，以预订可能更高收入的未来预订。该问题可以作为有限的摩尼斯随机动态程序提出，其中接受一组请求会在预订期结束时获得利润，取决于履行公认的预订的成本。对于许多货运申请，可以通过解决操作决策问题来获得满足请求的成本，该问题通常需要解决混合组织线性计划的解决方案。在部署强化学习算法时，通常会常规地解决此类操作问题，这可能太耗时了。大多数预订控制策略是通过解决特定问题的数学编程松弛来获得的，这些松弛通常是不宽松的，无法推广到新问题，并且在某些情况下提供了相当粗糙的近似值。在这项工作中，我们提出了一种两阶段的方法：我们首先训练一个监督的学习模型来预测操作问题的目标，然后我们将模型部署在加固学习算法中以计算控制政策。这种方法是一般的：每当可以预测Horizo​​n操作问题的目标函数时，都可以使用它，并且特别适合那些此类问题在计算上很难的情况。此外，它允许人们利用加强学习的最新进展，因为常规解决操作问题被单个预测所取代。我们的方法对文献中的两个预订控制问题进行了评估，即分销物流和航空公司货物管理。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

我们研究了在国内捐助服务服务中引起的车辆路由问题的随机变体。我们考虑的问题结合了以下属性。就客户是随机的，但不仅限于预定义的集合，因此请求服务的客户是可变的，因为它们可能出现在给定的服务领域的任何地方。此外，需求量是随机的，并且在拜访客户时会观察到。目的是在满足车辆能力和时间限制的同时最大化预期的服务需求。我们将此问题称为VRP，具有高度可变的客户基础和随机需求（VRP-VCSD）。对于这个问题，我们首先提出了马尔可夫决策过程（MDP）的配方，该制定代表了一位决策者建立所有车辆路线的经典集中决策观点。虽然结果配方却很棘手，但它为我们提供了开发新的MDP公式的地面，我们称其为部分分散。在此公式中，动作空间被车辆分解。但是，由于我们执行相同的车辆特定政策，同时优化集体奖励，因此权力下放是不完整的。我们提出了几种策略，以减少与部分分散的配方相关的国家和行动空间的维度。这些产生了一个更容易解决的问题，我们通过加强学习来解决。特别是，我们开发了一种称为DECQN的Q学习算法，具有最先进的加速技术。我们进行了彻底的计算分析。结果表明，DECN的表现大大优于三个基准策略。此外，我们表明我们的方法可以与针对VRP-VCSD的特定情况开发的专业方法竞争，在该情况下，客户位置和预期需求是事先知道的。

我们为处理顺序决策和外在不确定性的应用程序开发了增强学习（RL）框架，例如资源分配和库存管理。在这些应用中，不确定性仅由于未来需求等外源变量所致。一种流行的方法是使用历史数据预测外源变量，然后对预测进行计划。但是，这种间接方法需要对外源过程进行高保真模型，以确保良好的下游决策，当外源性过程复杂时，这可能是不切实际的。在这项工作中，我们提出了一种基于事后观察学习的替代方法，该方法避开了对外源过程进行建模的建模。我们的主要见解是，与Sim2real RL不同，我们可以在历史数据中重新审视过去的决定，并在这些应用程序中对其他动作产生反事实后果。我们的框架将事后最佳的行动用作政策培训信号，并在决策绩效方面具有强大的理论保证。我们使用框架开发了一种算法，以分配计算资源，以用于现实世界中的Microsoft Azure工作负载。结果表明，我们的方法比域特异性的启发式方法和SIM2REAL RL基准学习更好的政策。

我们在运营研究和机器学习（ML）的Nexus中提出了一种方法，该方法利用了从ML提供的通用近似器，以加速混合智能线性两阶段随机程序的解决方案。我们旨在解决第二阶段高度要求的问题。我们的核心思想是通过用快速而准确的监督ML预测替换确切的第二阶段解决方案，从而在在线解决方案时间中大量减少，同时，在第一阶段解决方案准确性中略有降低。当随着时间的推移反复解决类似问题时，在与车队管理，路由和集装箱院子管理有关的运输计划中反复解决类似问题时，对ML的前期投资将是合理的。我们的数值结果集中在与整数和连续L形切口中的问题类别解决的问题类别。我们的广泛的经验分析基于从随机服务器位置（SSLP）和随机多主背包（SMKP）问题的标准化家族基础。所提出的方法可以在不到9％的时间内解决SSLP的最难实例，而在SMKP的情况下，同一图为20％。在大多数情况下，平均最佳差距少于0.1％。

在这项研究中，我们提出了一个深入的学习优化框架，以解决动态的混合企业计划。具体而言，我们开发了双向长期内存（LSTM）框架，可以及时向前和向后处理信息，以学习最佳解决方案，以解决顺序决策问题。我们展示了我们在预测单项电容批号问题（CLSP）的最佳决策方面的方法，其中二进制变量表示是否在一个时期内产生。由于问题的动态性质，可以将CLSP视为序列标记任务，在该任务中，复发性神经网络可以捕获问题的时间动力学。计算结果表明，我们的LSTM优化（LSTM-OPT）框架大大减少了基准CLSP问题的解决方案时间，而没有太大的可行性和最佳性。例如，对于240,000多个测试实例，在85 \％级别的预测平均将CPLEX溶液的时间减少了9倍，最佳差距小于0.05 \％\％和0.4 \％\％\％\％\％的不可行性。此外，使用较短的计划范围训练的模型可以成功预测具有更长计划范围的实例的最佳解决方案。对于最困难的数据集，LSTM在25 \％级别的LSTM预测将70 CPU小时的溶液时间降低至小于2 CPU分钟，最佳差距为0.8 \％，而没有任何不可行。 LSTM-OPT框架在解决方案质量和精确方法方面，诸如Logistic回归和随机森林之类的经典ML算法（例如（$ \ ell $，s）和基于动态编程的不平等，解决方案时间的改进。我们的机器学习方法可能有益于解决类似于CLSP的顺序决策问题，CLSP需要重复，经常和快速地解决。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

在本文中，我们研究了电子商务运营商面临的顺序决策问题，与何时从中央仓库发送车辆以服务于客户请求，并在哪个命令下提供服务，假设是在到达仓库的包裹是随机且动态的。目的是最大化在服务时间内可以交付的包裹数。我们提出了两种解决此问题的强化学习方法，一种基于策略函数近似（PFA），第二种基于值函数近似（VFA）。两种方法都与前景策略相结合，其中未来发布日期以蒙特卡洛的方式进行采样，并使用量身定制的批处理方法来近似未来状态的价值。我们的PFA和VFA很好地利用了基于分支机构的精确方法来提高决策质量。我们还建立了足够的条件，可以将最佳策略的部分表征并将其集成到PFA/VFA中。在基于720个基准实例的实证研究中，我们使用具有完美信息的上限进行了竞争分析，我们表明PFA和VFA的表现极大地超过了两种替代近视方法。总体而言，PFA提供最佳解决方案，而VFA（从两阶段随机优化模型中受益）在解决方案质量和计算时间之间取得了更好的权衡。

最近的文学建立了神经网络可以代表供应链和物流中一系列随机动态模型的良好政策。我们提出了一种结合方差减少技术的新算法，以克服通常在文献中使用的算法的限制，以学习此类神经网络策略。对于古典丢失的销售库存模型，该算法了解到使用无模型算法学习的神经网络策略，同时始于最优于数量级的最佳启发式基准。该算法是一个有趣的候选者，适用于供应链和物流中的其他随机动态问题，因为其开发中的思想是通用的。

在机器人，游戏和许多其他地区，加固学习导致各种区域导致相当大的突破。但是在复杂的真实决策中申请RL仍然有限。运营管理中的许多问题（例如，库存和收入管理）的特点是大动作空间和随机系统动态。这些特征使得解决问题的问题很难解决依赖于每步行动问题解决枚举技术的现有RL方法。要解决这些问题，我们开发可编程演员强化学习（PARL），一种策略迭代方法，该方法使用整数编程和示例平均近似的技术。在分析上，我们表明，对于给定的批评者，每个迭代的学习政策会聚到最佳政策，因为不确定性的底层样本转到无穷大。实际上，我们表明，即使来自潜在的不确定性的样本很少，潜在的不确定分布的正确选择的不确定分布可以在最佳的演员政策附近产生。然后，我们将算法应用于具有复杂的供应链结构的现实库存管理问题，并显示Parl优于这些设置中的最先进的RL和库存优化方法。我们发现Parl优于常用的基础股票启发式44.7％，并且在不同供应链环境中平均最高可达的RL方法高达12.1％。

受约束的部分可观察到的马尔可夫决策过程（CPOMDP）已用于模拟各种现实现象。但是，众所周知，它们很难解决最优性，并且只有几种近似方法来获得高质量的解决方案。在这项研究中，我们将基于网格的近似值与线性编程（LP）模型结合使用来生成CPOMDP的近似策略。我们考虑了五个CPOMDP问题实例，并对其有限和无限的地平线配方进行了详细的数值研究。我们首先通过使用精确溶液方法进行比较分析来建立近似无约束的POMDP策略的质量。然后，我们显示了基于LP的CPOMDP解决方案方法的性能，用于不同的问题实例的不同预算水平（即成本限制）。最后，我们通过应用确定性政策约束来展示基于LP的方法的灵活性，并研究这些约束对收集的奖励和CPU运行时间的影响。我们的分析表明，LP模型可以有效地为有限和无限的地平线问题生成近似策略，同时提供了将各种其他约束结合到基础模型中的灵活性。

随机双动态编程（SDDP）是一种用于解决多级随机优化的最新方法，广泛用于建模现实世界流程优化任务。不幸的是，SDDP具有最糟糕的复杂性，其在决策变量的数量中呈指数级级别，这严重限制了仅限于低维度问题的适用性。为了克服这一限制，我们通过引入培训神经模型来扩展SDDP，该培训神经模型将在内部低维空间内将问题实例映射到内在的低维空间内的分型线性值函数，该尺寸低维空间是专门用于与基础SDDP求解器进行交互的架构成型，因此可以在新实例上加速优化性能。通过解决连续问题，提出的神经随机双动态编程（$ \ nu $ -sddp）不断自我提高。实证调查表明，$ \ nu $ -sddp可以显着降低解决问题的问题，而不会在一系列合成和实际过程优化问题上牺牲竞争对手的解决方案质量。

In the last years, there has been a great interest in machine-learning-based heuristics for solving NP-hard combinatorial optimization problems. The developed methods have shown potential on many optimization problems. In this paper, we present a learned heuristic for the reoptimization of a problem after a minor change in its data. We focus on the case of the capacited vehicle routing problem with static clients (i.e., same client locations) and changed demands. Given the edges of an original solution, the goal is to predict and fix the ones that have a high chance of remaining in an optimal solution after a change of client demands. This partial prediction of the solution reduces the complexity of the problem and speeds up its resolution, while yielding a good quality solution. The proposed approach resulted in solutions with an optimality gap ranging from 0\% to 1.7\% on different benchmark instances within a reasonable computing time.

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

我们考虑一个一般的在线随机优化问题，在有限时间段的视野中具有多个预算限制。在每个时间段内，都会揭示奖励功能和多个成本功能，并且决策者需要从凸面和紧凑型措施中指定行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消费。在每个时期，奖励和成本函数都是从未知分布中得出的，该分布在整个时间内都是非平稳的。决策者的目的是最大化受预算限制的累积奖励。该配方捕获了广泛的应用程序，包括在线线性编程和网络收入管理等。在本文中，我们考虑了两个设置：（i）一个数据驱动的设置，其中真实分布未知，但可以提供先前的估计（可能不准确）； （ii）一个不信息的环境，其中真实分布是完全未知的。我们提出了一项基于统一的浪费距离措施，以量化设置（i）中先验估计值的不准确性和设置（ii）中系统的非平稳性。我们表明，拟议的措施导致在两种情况下都能获得统一后悔的必要条件。对于设置（i），我们提出了一种新的算法，该算法采用了原始的偶视角，并将基础分布的先前信息集成到双重空间中的在线梯度下降过程。该算法也自然扩展到非信息设置（II）。在这两种设置下，我们显示相应的算法实现了最佳秩序的遗憾。在数值实验中，我们演示了如何将所提出的算法与重新溶解技术自然整合，以进一步提高经验性能。

大规模乘车系统通常将各个请求级别的实时路由与宏观模型预测控制（MPC）优化相结合，用于动态定价和车辆重定位。MPC依赖于需求预测，并优化在更长的时间范围内以补偿路由优化的近视性质。然而，较长的地平线增加了计算复杂性，并迫使MPC以粗糙的空间 - 时间粒度运行，降低其决定的质量。本文通过学习MPC优化来解决这些计算挑战。然后，由此产生的机器学习模型用作优化代理并预测其最佳解决方案。这使得可以在较高的空间 - 时间保真处使用MPC，因为可以解决优化并脱机。实验结果表明，该拟议的方法提高了纽约市数据集具有挑战性的服务质量。

我们解决了多梯队供应链中生产规划和分布的问题。我们考虑不确定的需求和铅，这使得问题随机和非线性。提出了马尔可夫决策过程配方和非线性编程模型。作为一个顺序决策问题，深度加强学习（RL）是一种可能的解决方案方法。近年来，这种类型的技术从人工智能和优化社区获得了很多关注。考虑到不同领域的深入RL接近获得的良好结果，对在运营研究领域的问题中造成越来越兴趣的兴趣。我们使用了深入的RL技术，即近端政策优化（PPO2），解决了考虑不确定，定期和季节性需求和常数或随机交货时间的问题。实验在不同的场景中进行，以更好地评估算法的适用性。基于线性化模型的代理用作基线。实验结果表明，PPO2是这种类型的问题的竞争力和适当的工具。 PPO2代理在所有情景中的基线都优于基线，随机交货时间（7.3-11.2％），无论需求是否是季节性的。在具有恒定交货时间的情况下，当不确定的需求是非季节性的时，PPO2代理更好（2.2-4.7％）。结果表明，这种情况的不确定性越大，这种方法的可行性就越大。

对同日发货（SDD）的需求在过去几年中迅速增加，并在Covid-19大流行期间特别蓬勃发展。快速增长并非没有挑战。 2016年，由于较低的成员资格和距离仓库的距离远远，某些少数民族社区被排除在接受亚马逊的SDD服务之外，提高了对公平的担忧。在本文中，我们研究了向客户提供公平的SDD服务的问题。服务区域被分成不同的区域。在一天中，客户请求SDD服务以及请求和交付位置的时机未提前知道。调度员动态分配车辆，以便在交付截止日期前将交付给予接受客户。除整体服务率（实用程序）外，我们还最大限度地提高了所有地区的最小区域服务率（公平性）。我们将问题模拟为多目标马尔可夫决策过程，并开发深度Q学习解决方案方法。我们介绍了从税率到实际服务的新颖改造，从而创造了一个稳定和有效的学习过程。计算结果证明了我们对在不同客户地理位置中的空间和时间内的不公平性的方法的有效性。我们还表明，这种有效性有效地与不同的仓库位置有效，提供业务，其中有机会从任何位置实现更好的公平性。此外，我们考虑忽略公平性在服务中的影响，结果表明，当客户对服务水平的期望很高时，我们的政策最终越优越。