我们为投资组合构建提供了一个端到端分配稳健的系统，该系统将资产返回预测模型与分配强大的投资组合优化模型集成在一起。我们还展示了如何直接从数据中学习易耐受性参数和鲁棒性程度。端到端系统在培训期间可以在预测层和决策层之间传达该信息的优势，从而使参数可以接受最终任务的培训，而不仅仅是用于预测性能。但是，现有的端到端系统无法量化和纠正模型风险对决策层的影响。我们提出的分配在良好的端到端投资组合选择系统明确说明了模型风险的影响。决策层通过解决最小值问题来选择投资组合，其中假定资产返回的分布属于围绕名义分布的歧义集。使用凸双重性，我们以一种允许对端到端系统进行有效训练的形式重新阐述了最小问题。

我们提出了一个数据驱动的投资组合选择模型，该模型使用分布稳健优化的框架来整合侧面信息，条件估计和鲁棒性。投资组合经理在观察到的侧面信息上进行条件解决了一个分配问题，该问题可最大程度地减少最坏情况下的风险回收权衡权衡，但要受到最佳运输歧义集中协变量返回概率分布的所有可能扰动。尽管目标函数在概率措施中的非线性性质非线性，但我们表明，具有侧面信息问题的分布稳健的投资组合分配可以作为有限维优化问题进行重新纠正。如果基于均值变化或均值的风险标准做出投资组合的决策，则可以进一步简化所得的重新制定为二阶或半明确锥体程序。美国股票市场的实证研究证明了我们对其他基准的综合框架的优势。

Uncertainty is prevalent in engineering design, statistical learning, and decision making broadly. Due to inherent risk-averseness and ambiguity about assumptions, it is common to address uncertainty by formulating and solving conservative optimization models expressed using measure of risk and related concepts. We survey the rapid development of risk measures over the last quarter century. From its beginning in financial engineering, we recount their spread to nearly all areas of engineering and applied mathematics. Solidly rooted in convex analysis, risk measures furnish a general framework for handling uncertainty with significant computational and theoretical advantages. We describe the key facts, list several concrete algorithms, and provide an extensive list of references for further reading. The survey recalls connections with utility theory and distributionally robust optimization, points to emerging applications areas such as fair machine learning, and defines measures of reliability.

在确定性优化中，通常假定问题的所有参数都是固定和已知的。但是，实际上，某些参数可能是未知的先验参数，但可以从历史数据中估算。典型的预测 - 优化方法将预测和优化分为两个阶段。最近，端到端的预测到优化已成为有吸引力的替代方法。在这项工作中，我们介绍了PYEPO软件包，这是一个基于Pytorch的端到端预测，然后在Python中进行了优化的库。据我们所知，PYEPO（发音为“带有静音” n“”的“菠萝”）是线性和整数编程的第一个通用工具，具有预测的目标函数系数。它提供了两种基本算法：第一种基于Elmachtoub＆Grigas（2021）的开创性工作的凸替代损失函数，第二个基于Vlastelica等人的可区分黑盒求解器方法。 （2019）。 PYEPO提供了一个简单的接口，用于定义新的优化问题，最先进的预测 - 优化训练算法，自定义神经网络体系结构的使用以及端到端方法与端到端方法与与端到端方法的比较两阶段的方法。 PYEPO使我们能够进行一系列全面的实验，以比较沿轴上的多种端到端和两阶段方法，例如预测准确性，决策质量和运行时间，例如最短路径，多个背包和旅行等问题销售人员问题。我们讨论了这些实验中的一些经验见解，这些见解可以指导未来的研究。 PYEPO及其文档可在https://github.com/khalil-research/pyepo上找到。

许多实际优化问题涉及不确定的参数，这些参数具有概率分布，可以使用上下文特征信息来估算。与首先估计不确定参数的分布然后基于估计优化目标的标准方法相反，我们提出了一个\ textIt {集成条件估计 - 优化}（ICEO）框架，该框架估计了随机参数的潜在条件分布同时考虑优化问题的结构。我们将随机参数的条件分布与上下文特征之间的关系直接建模，然后以与下游优化问题对齐的目标估算概率模型。我们表明，我们的ICEO方法在适度的规律性条件下渐近一致，并以概括范围的形式提供有限的性能保证。在计算上，使用ICEO方法执行估计是一种非凸面且通常是非差异的优化问题。我们提出了一种通用方法，用于近似从估计的条件分布到通过可区分函数的最佳决策的潜在非差异映射，这极大地改善了应用于非凸问题的基于梯度的算法的性能。我们还提供了半代理案例中的多项式优化解决方案方法。还进行了数值实验，以显示我们在不同情况下的方法的经验成功，包括数据样本和模型不匹配。

本文在线学习和优化框架内提出并开发了一种用于电力市场中风能交易的新算法。特别是，我们将梯度下降算法的组成部分自适应变体与功能驱动的新闻册模型的最新进展相结合。这导致了一种在线产品的方法，能够利用数据丰富的环境，同时适应能源发电和发电市场的非平稳特征，并且具有最小的计算负担。根据几个数值实验，对我们的方法的性能进行了分析，既显示了对非平稳性不确定参数的更好适应性和显着的经济增长。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

神经网络架构的最新进展允许凸优化问题的无缝集成作为端到端可训练神经网络中的可差异层。然而，将中型和大规模二次程序集成到深度神经网络架构中是具有挑战性的，因为通过内部点方法究竟求解了二次程序，在变量的数量中具有最差的立方复杂性。在本文中，我们介绍了一种基于乘法器（ADMM）的交替方向方法的替代网络层体系结构，其能够缩放到中等大量变量的问题。通过修改的固定点迭代的残差映射的隐式分化来执行向后区分。模拟结果证明了ADMM层的计算优势，用于中等缩放问题的速度大约比OptNet二次编程层更快的峰值。此外，与基于展开的展差或kKt最优性条件的隐含分化的标准方法相比，我们的新型反向传递例程是高效的，从内存和计算角度来看。我们与综合预测和优化范例中的组合优化的实例结束。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

致力于金融时序预测的机器学习算法在过去几年中获得了很多兴趣。一个难度在于在几种算法之间选择，因为它们的估计精度可能是不稳定的。在本文中，我们建议应用基于在线聚合的预测模型，组合了多种机器学习技术来构建动态地适应市场条件的投资组合。我们将该聚合技术应用于建设对其财务特征的长期股票的建设，我们展示了在性能和稳定性方面的聚集占单算法。

这项工作解决了逆线优化，其中目标是推断线性程序的未知成本向量。具体地，我们考虑数据驱动的设置，其中可用数据是对应于线性程序的不同实例的最佳解决方案的嘈杂的观察。我们介绍了一个问题的新配方，与其他现有方法相比，允许恢复较少的限制性和一般更适当的可允许成本估算。可以表明，该逆优化问题产生有限数量的解决方案，并且我们开发了一个精确的两相算法来确定所有此类解决方案。此外，我们提出了一种有效的分解算法来解决问题的大实例。该算法自然地扩展到在线学习环境，可以用于提供成本估计的快速更新，因为新数据随着时间的推移可用。对于在线设置，我们进一步开发了一种有效的自适应采样策略，指导下一个样本的选择。所提出的方法的功效在涉及两种应用，客户偏好学习和生产计划的成本估算的计算实验中进行了证明。结果表明计算和采样努力的显着减少。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

尽管学习已成为现代信息处理的核心组成部分，但现在有足够的证据表明它可以导致偏见，不安全和有偏见的系统。因此，对学习要求施加要求至关重要，尤其是在达到社会，工业和医疗领域的关键应用程序时。但是，大多数现代统计问题的非跨性别性只有通过限制引入而加剧。尽管通常可以使用经验风险最小化来学习良好的无约束解决方案，即使获得满足统计约束的模型也可能具有挑战性。更重要的是，一个好。在本文中，我们通过在经验双重领域中学习来克服这个问题，在经验的双重领域中，统计学上的统计学习问题变得不受限制和确定性。我们通过界定经验二元性差距来分析这种方法的概括特性 - 即，我们的近似，可拖动解决方案与原始（非凸）统计问题的解决方案之间的差异 - 并提供实用的约束学习算法。这些结果建立了与经典学习理论的约束，从而可以明确地在学习中使用约束。我们说明了这种理论和算法受到速率受限的学习应用，这是在公平和对抗性鲁棒性中产生的。

预测+优化是一个常见的真实范式，在那里我们必须在解决优化问题之前预测问题参数。然而，培训预测模型的标准通常与下游优化问题的目标不一致。最近，已经提出了集中的预测方法，例如Spo +和直接优化，以填补这种差距。但是，它们不能直接处理许多真实目标所需的$最大$算子的软限制。本文提出了一种用于现实世界线性和半定义负二次编程问题的新型分析微弱的代理目标框架，具有软线和非负面的硬度约束。该框架给出了约束乘法器上的理论界限，并导出了关于预测参数的闭合形式解决方案，从而导出问题中的任何变量的梯度。我们在使用软限制扩展的三个应用程序中评估我们的方法：合成线性规划，产品组合优化和资源供应，表明我们的方法优于传统的双阶段方法和其他集中决定的方法。

以决策为中心的学习（DFL）是为下游优化任务量身定制预测模型的范式，该任务使用其预测以更好地执行该特定任务。与DFL相关的主要技术挑战是，它需要能够通过优化问题进行区分，这由于不连续的解决方案和其他挑战很难。过去的工作主要通过手工制作特定于任务的替代物来解决这个问题，这些替代品可以在区分时提供信息丰富的梯度。但是，需要为每个新任务进行手工替代的需要限制了DFL的可用性。此外，通常无法保证产生的替代物的凸度，因此，训练使用它们的预测模型会导致局部优势较低。在本文中，我们完全消除了代孕，而是学习捕获特定于任务信息的损失功能。据我们所知，我们的方法是第一种完全替代以决策为中心学习的优化组成部分，自动学习的损失。我们的方法（a）仅需要访问可以解决优化问题并因此可以推广的黑盒甲骨文，并且（b）可以通过构造传播，因此可以轻松地优化。我们对文献中三个资源分配问题进行评估，发现我们的方法在没有考虑到所有三个领域的任务结构，甚至是文献中手工制作的代理人的情况下都优于学习的方法。

Markowitz mean-variance portfolios with sample mean and covariance as input parameters feature numerous issues in practice. They perform poorly out of sample due to estimation error, they experience extreme weights together with high sensitivity to change in input parameters. The heavy-tail characteristics of financial time series are in fact the cause for these erratic fluctuations of weights that consequently create substantial transaction costs. In robustifying the weights we present a toolbox for stabilizing costs and weights for global minimum Markowitz portfolios. Utilizing a projected gradient descent (PGD) technique, we avoid the estimation and inversion of the covariance operator as a whole and concentrate on robust estimation of the gradient descent increment. Using modern tools of robust statistics we construct a computationally efficient estimator with almost Gaussian properties based on median-of-means uniformly over weights. This robustified Markowitz approach is confirmed by empirical studies on equity markets. We demonstrate that robustified portfolios reach the lowest turnover compared to shrinkage-based and constrained portfolios while preserving or slightly improving out-of-sample performance.

Decision-making problems are commonly formulated as optimization problems, which are then solved to make optimal decisions. In this work, we consider the inverse problem where we use prior decision data to uncover the underlying decision-making process in the form of a mathematical optimization model. This statistical learning problem is referred to as data-driven inverse optimization. We focus on problems where the underlying decision-making process is modeled as a convex optimization problem whose parameters are unknown. We formulate the inverse optimization problem as a bilevel program and propose an efficient block coordinate descent-based algorithm to solve large problem instances. Numerical experiments on synthetic datasets demonstrate the computational advantage of our method compared to standard commercial solvers. Moreover, the real-world utility of the proposed approach is highlighted through two realistic case studies in which we consider estimating risk preferences and learning local constraint parameters of agents in a multiplayer Nash bargaining game.

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

我们开发了一个框架，用于在线环境中使用有效的覆盖范围保证构建不确定性集，其中基础数据分布可以急剧（甚至对手）随着时间的推移而发生巨大变化。我们提出的技术非常灵活，因为它可以与任何在线学习算法集成，需要最低限度的实施工作和计算成本。我们方法比现有替代方案的关键优势（也基于共形推断）是我们不需要将数据分为培训和保持校准集。这使我们能够以完全在线的方式拟合预测模型，并利用最新的观察结果来构建校准的不确定性集。因此，与现有技术相反，（i）我们构建的集合可以迅速适应分布的新变化； （ii）我们的过程不需要在每个时间步骤进行改装。使用合成和现实世界的基准数据集，我们证明了理论的有效性以及提案对现有技术的提高绩效。为了证明所提出的方法的更大灵活性，我们展示了如何为多出输出回归问题构造有效的间隔，而以前的顺序校准方法由于不切实际的计算和内存需求而无法处理。

有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。