随机双动态编程（SDDP）是一种用于解决多级随机优化的最新方法，广泛用于建模现实世界流程优化任务。不幸的是，SDDP具有最糟糕的复杂性，其在决策变量的数量中呈指数级级别，这严重限制了仅限于低维度问题的适用性。为了克服这一限制，我们通过引入培训神经模型来扩展SDDP，该培训神经模型将在内部低维空间内将问题实例映射到内在的低维空间内的分型线性值函数，该尺寸低维空间是专门用于与基础SDDP求解器进行交互的架构成型，因此可以在新实例上加速优化性能。通过解决连续问题，提出的神经随机双动态编程（$ \ nu $ -sddp）不断自我提高。实证调查表明，$ \ nu $ -sddp可以显着降低解决问题的问题，而不会在一系列合成和实际过程优化问题上牺牲竞争对手的解决方案质量。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

预订控制问题是收入管理领域中发生的顺序决策问题。更确切地说，货运预订控制重点是决定接受或拒绝预订的问题：鉴于有限的能力，接受预订请求或拒绝其保留能力，以预订可能更高收入的未来预订。该问题可以作为有限的摩尼斯随机动态程序提出，其中接受一组请求会在预订期结束时获得利润，取决于履行公认的预订的成本。对于许多货运申请，可以通过解决操作决策问题来获得满足请求的成本，该问题通常需要解决混合组织线性计划的解决方案。在部署强化学习算法时，通常会常规地解决此类操作问题，这可能太耗时了。大多数预订控制策略是通过解决特定问题的数学编程松弛来获得的，这些松弛通常是不宽松的，无法推广到新问题，并且在某些情况下提供了相当粗糙的近似值。在这项工作中，我们提出了一种两阶段的方法：我们首先训练一个监督的学习模型来预测操作问题的目标，然后我们将模型部署在加固学习算法中以计算控制政策。这种方法是一般的：每当可以预测Horizo​​n操作问题的目标函数时，都可以使用它，并且特别适合那些此类问题在计算上很难的情况。此外，它允许人们利用加强学习的最新进展，因为常规解决操作问题被单个预测所取代。我们的方法对文献中的两个预订控制问题进行了评估，即分销物流和航空公司货物管理。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

我们解决了多梯队供应链中生产规划和分布的问题。我们考虑不确定的需求和铅，这使得问题随机和非线性。提出了马尔可夫决策过程配方和非线性编程模型。作为一个顺序决策问题，深度加强学习（RL）是一种可能的解决方案方法。近年来，这种类型的技术从人工智能和优化社区获得了很多关注。考虑到不同领域的深入RL接近获得的良好结果，对在运营研究领域的问题中造成越来越兴趣的兴趣。我们使用了深入的RL技术，即近端政策优化（PPO2），解决了考虑不确定，定期和季节性需求和常数或随机交货时间的问题。实验在不同的场景中进行，以更好地评估算法的适用性。基于线性化模型的代理用作基线。实验结果表明，PPO2是这种类型的问题的竞争力和适当的工具。 PPO2代理在所有情景中的基线都优于基线，随机交货时间（7.3-11.2％），无论需求是否是季节性的。在具有恒定交货时间的情况下，当不确定的需求是非季节性的时，PPO2代理更好（2.2-4.7％）。结果表明，这种情况的不确定性越大，这种方法的可行性就越大。

我们考虑一个一般的在线随机优化问题，在有限时间段的视野中具有多个预算限制。在每个时间段内，都会揭示奖励功能和多个成本功能，并且决策者需要从凸面和紧凑型措施中指定行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消费。在每个时期，奖励和成本函数都是从未知分布中得出的，该分布在整个时间内都是非平稳的。决策者的目的是最大化受预算限制的累积奖励。该配方捕获了广泛的应用程序，包括在线线性编程和网络收入管理等。在本文中，我们考虑了两个设置：（i）一个数据驱动的设置，其中真实分布未知，但可以提供先前的估计（可能不准确）； （ii）一个不信息的环境，其中真实分布是完全未知的。我们提出了一项基于统一的浪费距离措施，以量化设置（i）中先验估计值的不准确性和设置（ii）中系统的非平稳性。我们表明，拟议的措施导致在两种情况下都能获得统一后悔的必要条件。对于设置（i），我们提出了一种新的算法，该算法采用了原始的偶视角，并将基础分布的先前信息集成到双重空间中的在线梯度下降过程。该算法也自然扩展到非信息设置（II）。在这两种设置下，我们显示相应的算法实现了最佳秩序的遗憾。在数值实验中，我们演示了如何将所提出的算法与重新溶解技术自然整合，以进一步提高经验性能。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

强化学习（RL）通过与环境相互作用的试验过程解决顺序决策问题。尽管RL在玩复杂的视频游戏方面取得了巨大的成功，但在现实世界中，犯错误总是不希望的。为了提高样本效率并从而降低错误，据信基于模型的增强学习（MBRL）是一个有前途的方向，它建立了环境模型，在该模型中可以进行反复试验，而无需实际成本。在这项调查中，我们对MBRL进行了审查，重点是Deep RL的最新进展。对于非壮观环境，学到的环境模型与真实环境之间始终存在概括性错误。因此，非常重要的是分析环境模型中的政策培训与实际环境中的差异，这反过来又指导了更好的模型学习，模型使用和政策培训的算法设计。此外，我们还讨论了其他形式的RL，包括离线RL，目标条件RL，多代理RL和Meta-RL的最新进展。此外，我们讨论了MBRL在现实世界任务中的适用性和优势。最后，我们通过讨论MBRL未来发展的前景来结束这项调查。我们认为，MBRL在被忽略的现实应用程序中具有巨大的潜力和优势，我们希望这项调查能够吸引更多关于MBRL的研究。

我们为处理顺序决策和外在不确定性的应用程序开发了增强学习（RL）框架，例如资源分配和库存管理。在这些应用中，不确定性仅由于未来需求等外源变量所致。一种流行的方法是使用历史数据预测外源变量，然后对预测进行计划。但是，这种间接方法需要对外源过程进行高保真模型，以确保良好的下游决策，当外源性过程复杂时，这可能是不切实际的。在这项工作中，我们提出了一种基于事后观察学习的替代方法，该方法避开了对外源过程进行建模的建模。我们的主要见解是，与Sim2real RL不同，我们可以在历史数据中重新审视过去的决定，并在这些应用程序中对其他动作产生反事实后果。我们的框架将事后最佳的行动用作政策培训信号，并在决策绩效方面具有强大的理论保证。我们使用框架开发了一种算法，以分配计算资源，以用于现实世界中的Microsoft Azure工作负载。结果表明，我们的方法比域特异性的启发式方法和SIM2REAL RL基准学习更好的政策。

最近的文学建立了神经网络可以代表供应链和物流中一系列随机动态模型的良好政策。我们提出了一种结合方差减少技术的新算法，以克服通常在文献中使用的算法的限制，以学习此类神经网络策略。对于古典丢失的销售库存模型，该算法了解到使用无模型算法学习的神经网络策略，同时始于最优于数量级的最佳启发式基准。该算法是一个有趣的候选者，适用于供应链和物流中的其他随机动态问题，因为其开发中的思想是通用的。

脱机强化学习 - 从一批数据中学习策略 - 是难以努力的：如果没有制造强烈的假设，它很容易构建实体算法失败的校长。在这项工作中，我们考虑了某些现实世界问题的财产，其中离线强化学习应该有效：行动仅对一部分产生有限的行动。我们正规化并介绍此动作影响规律（AIR）财产。我们进一步提出了一种算法，该算法假定和利用AIR属性，并在MDP满足空气时绑定输出策略的子优相。最后，我们展示了我们的算法在定期保留的两个模拟环境中跨越不同的数据收集策略占据了现有的离线强度学习算法。

Decision-making problems are commonly formulated as optimization problems, which are then solved to make optimal decisions. In this work, we consider the inverse problem where we use prior decision data to uncover the underlying decision-making process in the form of a mathematical optimization model. This statistical learning problem is referred to as data-driven inverse optimization. We focus on problems where the underlying decision-making process is modeled as a convex optimization problem whose parameters are unknown. We formulate the inverse optimization problem as a bilevel program and propose an efficient block coordinate descent-based algorithm to solve large problem instances. Numerical experiments on synthetic datasets demonstrate the computational advantage of our method compared to standard commercial solvers. Moreover, the real-world utility of the proposed approach is highlighted through two realistic case studies in which we consider estimating risk preferences and learning local constraint parameters of agents in a multiplayer Nash bargaining game.

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

本文在线学习和优化框架内提出并开发了一种用于电力市场中风能交易的新算法。特别是，我们将梯度下降算法的组成部分自适应变体与功能驱动的新闻册模型的最新进展相结合。这导致了一种在线产品的方法，能够利用数据丰富的环境，同时适应能源发电和发电市场的非平稳特征，并且具有最小的计算负担。根据几个数值实验，对我们的方法的性能进行了分析，既显示了对非平稳性不确定参数的更好适应性和显着的经济增长。

在预测 - 优化框架中，目的是训练预测模型，从环境特征映射到优化问题的参数，这使得当优化被求解时最大化判定质量。最近的决定学习的工作表明，与依赖于用于评估预测质量的中间损耗功能相比，嵌入训练管道中的优化问题可以提高判定质量，并帮助更好地提高未经任务的任务。我们研究了通过增强学习解决的顺序决策问题（制定为MDP）的上下文中的预测 - 优化框架。特别是，我们是给予的环境特征和来自训练MDP的一组轨迹，我们用于训练推广的预测模型，无需轨迹。在将决策的学习应用于MDPS上，出现了两个重要的计算挑战：（i）大状态和行动空间使现有技术可行，以区分通过MDP问题，并且（ii）是由神经的参数化的高维策略空间网络，通过昂贵的政策进行区分。我们通过采样可释放的无偏见的衍生物来解决第一挑战，以通过最优条件近似和分辨，并通过使用基于高维样本的衍生物的低秩近似来分辨。我们在缺少参数的三个不同MDP问题上实现了基于Bellman的基于政策梯度的决定学习，并表明，决定的学习在概括任务中表现更好。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

实际应用程序中的车辆路由问题（VRP）通常会带有各种限制，因此为精确的解决方案方法或启发式搜索方法带来了其他计算挑战。从样本数据中学习启发式移动模式的最新想法已变得越来越有希望减少解决方案发展成本。但是，使用基于学习的方法来解决更多类型的受限VRP仍然是一个挑战。困难在于在寻找最佳解决方案时控制约束违规。为了克服这一挑战，我们提出了一种基于加强学习的方法，通过纳入Lagrangian放松技术并使用受限的策略优化来解决软件限制的VRP。我们将该方法应用于三种常见类型的VRP，旅行推销员问题与时间窗口（TSPTW），电容性VRP（CVRP）和带有时间窗口（CVRPTW）的电容VRP，以显示所提出方法的普遍性。在与现有的基于RL的方法和开源启发式求解器进行比较之后，我们展示了其在旅行距离，违规距离和推理速度方面良好平衡的解决方案方面的竞争性能。

We consider infinite horizon Markov decision processes (MDPs) with fast-slow structure, meaning that certain parts of the state space move "fast" (and in a sense, are more influential) while other parts transition more "slowly." Such structure is common in real-world problems where sequential decisions need to be made at high frequencies, yet information that varies at a slower timescale also influences the optimal policy. Examples include: (1) service allocation for a multi-class queue with (slowly varying) stochastic costs, (2) a restless multi-armed bandit with an environmental state, and (3) energy demand response, where both day-ahead and real-time prices play a role in the firm's revenue. Models that fully capture these problems often result in MDPs with large state spaces and large effective time horizons (due to frequent decisions), rendering them computationally intractable. We propose an approximate dynamic programming algorithmic framework based on the idea of "freezing" the slow states, solving a set of simpler finite-horizon MDPs (the lower-level MDPs), and applying value iteration (VI) to an auxiliary MDP that transitions on a slower timescale (the upper-level MDP). We also extend the technique to a function approximation setting, where a feature-based linear architecture is used. On the theoretical side, we analyze the regret incurred by each variant of our frozen-state approach. Finally, we give empirical evidence that the frozen-state approach generates effective policies using just a fraction of the computational cost, while illustrating that simply omitting slow states from the decision modeling is often not a viable heuristic.