预测+优化是一个最近提出的框架，将机器学习和约束优化结合在一起，解决包含在求解时间未知参数的优化问题。目标是预测未知参数，并使用估计值来解决优化问题的估计最佳解决方案。但是，所有先前的作品都集中在未知参数仅出现在优化目标而不是约束中的情况下，其简单原因是，如果不确定的约束，则估计的最佳解决方案在真实参数下甚至可能是可行的。 。本文的贡献是两个方面。首先，我们为预测+优化设置提出了一个新颖且实际相关的框架，但是在目标和约束中都有未知参数。我们介绍了校正函数的概念，并在损失函数中的额外惩罚项进行了建模实际情况，在该方案中可以将估计的最佳解决方案修改为可行的解决方案，并在揭示了真实参数后，但以额外的成本进行了修改。其次，我们为我们的框架提出了相应的算法方法，该方法处理所有包装和涵盖线性程序。我们的方法灵感来自先前的曼迪和枪支工作，尽管对我们的不同环境进行了关键的修改和重新启示。实验证明了我们方法比经典方法的卓越经验表现。

SemideFinite编程（SDP）是一个统一的框架，可以概括线性编程和四二次二次编程，同时在理论和实践中也产生有效的求解器。但是，当覆盖SDP的约束以在线方式到达时，存在近似最佳解决方案的已知结果。在本文中，我们研究了在线涵盖线性和半决赛程序，其中通过可能错误的预测指标的建议增强了算法。我们表明，如果预测变量是准确的，我们可以有效地绕过这些不可能的结果，并在最佳解决方案（即一致性）上实现恒定因素近似值。另一方面，如果预测变量不准确，在某些技术条件下，我们取得的结果既匹配经典的最佳上限和紧密的下限，则达到恒定因素，即稳健性。更广泛地，我们引入了一个框架，该框架既扩展了（1）由Bamas，Maggiori和Svensson（Neurips 2020）研究的机器学习预测变量增加的在线套装问题，以及（2）在线覆盖SDP问题，由SDP问题发起。 Elad，Kale和Naor（ICALP 2016）。具体而言，我们获得了一般的在线学习算法，用于涵盖具有分数建议和约束的线性程序，并启动学习启发算法以涵盖SDP问题的研究。我们的技术基于Buchbinder和NAOR的原始二次框架（操作研究的数学，34，2009），并且可以进一步调整以处理变量位于有限区域的约束，即框约束。

在确定性优化中，通常假定问题的所有参数都是固定和已知的。但是，实际上，某些参数可能是未知的先验参数，但可以从历史数据中估算。典型的预测 - 优化方法将预测和优化分为两个阶段。最近，端到端的预测到优化已成为有吸引力的替代方法。在这项工作中，我们介绍了PYEPO软件包，这是一个基于Pytorch的端到端预测，然后在Python中进行了优化的库。据我们所知，PYEPO（发音为“带有静音” n“”的“菠萝”）是线性和整数编程的第一个通用工具，具有预测的目标函数系数。它提供了两种基本算法：第一种基于Elmachtoub＆Grigas（2021）的开创性工作的凸替代损失函数，第二个基于Vlastelica等人的可区分黑盒求解器方法。 （2019）。 PYEPO提供了一个简单的接口，用于定义新的优化问题，最先进的预测 - 优化训练算法，自定义神经网络体系结构的使用以及端到端方法与端到端方法与与端到端方法的比较两阶段的方法。 PYEPO使我们能够进行一系列全面的实验，以比较沿轴上的多种端到端和两阶段方法，例如预测准确性，决策质量和运行时间，例如最短路径，多个背包和旅行等问题销售人员问题。我们讨论了这些实验中的一些经验见解，这些见解可以指导未来的研究。 PYEPO及其文档可在https://github.com/khalil-research/pyepo上找到。

在过去几年预测和优化的方法（Elmachtoub和Grigas 2021; Wilder，Dilkina和Tambe 2019）受到了不断的关注。这些问题具有预测机器学习（ML）模型的预测的设置，馈送到下游优化问题以进行决策。预测和优化方法建议培训ML模型，通常通过直接优化优化求解器所制作的决策质量。但是，预测和优化方法的一个主要瓶颈正在为每个时代的每个训练实例解决优化问题。为了解决这一挑战，Mulamba等。 （2021）通过缓存可行的解决方案提出噪声对比估计。在这项工作中，我们显示噪声对比估计可以被认为是学习对解决方案缓存进行排名的情况。我们还开发成对和列表排名损失函数，可以以封闭式形式区分，而无需解决优化问题。通过关于这些替代损失职能的培训，我们经验证明我们能够最大限度地减少预测的遗憾。

机器学习（ML）管道中的组合优化（CO）层是解决数据驱动决策任务的强大工具，但它们面临两个主要挑战。首先，CO问题的解通常是其客观参数的分段常数函数。鉴于通常使用随机梯度下降对ML管道进行训练，因此缺乏斜率信息是非常有害的。其次，标准ML损失在组合设置中不能很好地工作。越来越多的研究通过各种方法解决了这些挑战。不幸的是，缺乏维护良好的实现会减慢采用CO层的速度。在本文的基础上，我们对CO层介绍了一种概率的观点，该观点自然而然地是近似分化和结构化损失的构建。我们从文献中恢复了许多特殊情况的方法，我们也得出了新方法。基于这个统一的观点，我们提出了inferpopt.jl，一个开源的朱莉娅软件包，1）允许将任何具有线性物镜的Co Oracle转换为可区分的层，以及2）定义足够的损失以训练包含此类层的管道。我们的图书馆使用任意优化算法，并且与朱莉娅的ML生态系统完全兼容。我们使用视频游戏地图上的探索问题来证明其能力。

本文研究在线算法增强了多个机器学习预测。尽管近年来已经广泛研究了随着单个预测的增强在线算法，但多个预测设置的文献很少。在本文中，我们提供了一个通用算法框架，用于在线涵盖多个预测的问题，该框架获得了在线解决方案，该解决方案具有与最佳预测指标的性能相对的竞争力。我们的算法将预测的使用纳入了在线算法的经典分析中。我们应用算法框架来解决经典问题，例如在线封面，（加权）缓存和在线设施位置，以在多个预测设置中。我们的算法也可以鲁棒化，即，可以根据最佳的预测和最佳在线算法的性能（无预测）同时使算法具有竞争力。

给定数据点之间的一组差异测量值，确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小，因为在此类问题中有大量的度量约束。在本文中，我们提供了一种活跃的集合算法，即项目和忘记，该算法使用Bregman的预测，以解决许多（可能是指数）不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析，并证明我们的算法会收敛到全局最佳解决方案，并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明，使用我们的方法，我们可以解决三种类型的度量约束问题的大型问题实例：一般体重相关聚类，度量近距离和度量学习；在每种情况下，就CPU时间和问题尺寸而言，超越了艺术方法的表现。

许多实际优化问题涉及不确定的参数，这些参数具有概率分布，可以使用上下文特征信息来估算。与首先估计不确定参数的分布然后基于估计优化目标的标准方法相反，我们提出了一个\ textIt {集成条件估计 - 优化}（ICEO）框架，该框架估计了随机参数的潜在条件分布同时考虑优化问题的结构。我们将随机参数的条件分布与上下文特征之间的关系直接建模，然后以与下游优化问题对齐的目标估算概率模型。我们表明，我们的ICEO方法在适度的规律性条件下渐近一致，并以概括范围的形式提供有限的性能保证。在计算上，使用ICEO方法执行估计是一种非凸面且通常是非差异的优化问题。我们提出了一种通用方法，用于近似从估计的条件分布到通过可区分函数的最佳决策的潜在非差异映射，这极大地改善了应用于非凸问题的基于梯度的算法的性能。我们还提供了半代理案例中的多项式优化解决方案方法。还进行了数值实验，以显示我们在不同情况下的方法的经验成功，包括数据样本和模型不匹配。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

我们通过反馈信息研究了离线和在线上下文优化的问题，而不是观察损失，我们会在事后观察到最佳的动作，而是对目标功能充分了解的甲骨文。我们的目标是最大程度地减少遗憾，这被定义为我们的损失与全知的甲骨所产生的损失之间的区别。在离线设置中，决策者可以从过去段中获得信息，并且需要做出一个决策，而在在线环境中，决策者在每个时期内都会动态地基于一组新的可行动作和上下文功能，以动态进行决策。 。对于离线设置，我们表征了最佳的最小策略，确定可以实现的性能，这是数据引起的信息的基础几何形状的函数。在在线环境中，我们利用这种几何表征来优化累积遗憾。我们开发了一种算法，该算法在时间范围内产生了对数的第一个遗憾。

这项工作解决了逆线优化，其中目标是推断线性程序的未知成本向量。具体地，我们考虑数据驱动的设置，其中可用数据是对应于线性程序的不同实例的最佳解决方案的嘈杂的观察。我们介绍了一个问题的新配方，与其他现有方法相比，允许恢复较少的限制性和一般更适当的可允许成本估算。可以表明，该逆优化问题产生有限数量的解决方案，并且我们开发了一个精确的两相算法来确定所有此类解决方案。此外，我们提出了一种有效的分解算法来解决问题的大实例。该算法自然地扩展到在线学习环境，可以用于提供成本估计的快速更新，因为新数据随着时间的推移可用。对于在线设置，我们进一步开发了一种有效的自适应采样策略，指导下一个样本的选择。所提出的方法的功效在涉及两种应用，客户偏好学习和生产计划的成本估算的计算实验中进行了证明。结果表明计算和采样努力的显着减少。

预测+优化是一个常见的真实范式，在那里我们必须在解决优化问题之前预测问题参数。然而，培训预测模型的标准通常与下游优化问题的目标不一致。最近，已经提出了集中的预测方法，例如Spo +和直接优化，以填补这种差距。但是，它们不能直接处理许多真实目标所需的$最大$算子的软限制。本文提出了一种用于现实世界线性和半定义负二次编程问题的新型分析微弱的代理目标框架，具有软线和非负面的硬度约束。该框架给出了约束乘法器上的理论界限，并导出了关于预测参数的闭合形式解决方案，从而导出问题中的任何变量的梯度。我们在使用软限制扩展的三个应用程序中评估我们的方法：合成线性规划，产品组合优化和资源供应，表明我们的方法优于传统的双阶段方法和其他集中决定的方法。

本文在线学习和优化框架内提出并开发了一种用于电力市场中风能交易的新算法。特别是，我们将梯度下降算法的组成部分自适应变体与功能驱动的新闻册模型的最新进展相结合。这导致了一种在线产品的方法，能够利用数据丰富的环境，同时适应能源发电和发电市场的非平稳特征，并且具有最小的计算负担。根据几个数值实验，对我们的方法的性能进行了分析，既显示了对非平稳性不确定参数的更好适应性和显着的经济增长。

In this short technical note we propose a baseline for decision-aware learning for contextual linear optimization, which solves stochastic linear optimization when cost coefficients can be predicted based on context information. We propose a decision-aware version of predict-then-optimize. We reweigh the prediction error by the decision regret incurred by an (unweighted) pilot estimator of costs to obtain a decision-aware predictor, then optimize with cost predictions from the decision-aware predictor. This method can be motivated as a finite-difference, iterate-independent approximation of the gradients of previously proposed end-to-end learning algorithms; it is also consistent with previously suggested intuition for end-to-end learning. This baseline is computationally easy to implement with readily available reweighted prediction oracles and linear optimization, and can be implemented with convex optimization so long as the prediction error minimization is convex. Empirically, we demonstrate that this approach can lead to improvements over a "predict-then-optimize" framework for settings with misspecified models, and is competitive with other end-to-end approaches. Therefore, due to its simplicity and ease of use, we suggest it as a simple baseline for end-to-end and decision-aware learning.

最近有一个努力使机器学习模型更加可解释，以便可以信任他们的性能。尽管成功，但这些方法主要集中在深度学习方法上，而机器学习中的基本优化方法（例如线性程序（LP））已被排除在外。即使可以将LPS视为白框或Clearbox模型，就输入和输出之间的关系而言，它们也不容易理解。由于线性程序仅为优化问题提供最佳解决方案，因此进一步的解释通常会有所帮助。在这项工作中，我们将解释神经网络的归因方法扩展到线性程序。这些方法通过提供模型输入的相关性分数来解释模型，以显示每个输入对输出的影响。除了使用经典的基于梯度的归因方法，我们还提出了一种将基于扰动的归因方法适应LPS的方法。我们对几种不同的线性和整数问题的评估表明，归因方法可以为线性程序生成有用的解释。但是，我们还证明了直接使用神经归因方法可能会带来一些缺点，因为这些方法在神经网络上的属性不一定会转移到线性程序中。如果线性程序具有多个最佳解决方案，则方法也可能会挣扎，因为求解器只是返回一个可能的解决方案。希望我们的结果可以用作朝这个方向进行进一步研究的好起点。

本文介绍了OptNet，该网络架构集成了优化问题（这里，专门以二次程序的形式），作为较大端到端可训练的深网络中的单个层。这些层在隐藏状态之间编码约束和复杂依赖性，传统的卷积和完全连接的层通常无法捕获。我们探索这种架构的基础：我们展示了如何使用敏感性分析，彼得优化和隐式差分的技术如何通过这些层和相对于层参数精确地区分;我们为这些层开发了一种高效的解算器，用于利用基于GPU的基于GPU的批处理在原始 - 双内部点法中解决，并且在求解的顶部几乎没有额外的成本提供了反向衰减梯度;我们突出了这些方法在几个问题中的应用。在一个值得注意的示例中，该方法学习仅在输入和输出游戏中播放Mini-sudoku（4x4），没有关于游戏规则的a-priori信息;这突出了OptNet比其他神经架构更好地学习硬限制的能力。

制定现实世界优化问题通常从历史数据中的预测开始（例如，旨在推荐快速路线在旅行时间预测上依赖的优化器）。通常，学习用于生成优化问题的预测模型并解决该问题的在两个单独的阶段中执行。最近的工作表明，通过通过优化任务区分，如何通过差异来学习这些预测模型。这些方法通常会产生经验改进，通常归因于端到端，比两级解决方案中使用的标准损耗功能更好地制作更好的误差权衡。我们优化这种解释，更精确地表征端到端可以提高性能。当预测目标是随机时，两级解决方案必须先验到模型的目标分布的统计数据 - 我们考虑对预测目标的预期 - 而端到端解决方案可以自适应地使这一选择。我们表明，两阶段和端到端方法之间的性能差距与随机优化中相关概念的价格密切相关，并显示了一些现有的POC结果对预测的优化问题的影响。然后，我们考虑一种新颖且特别实际的设置，其中组合多种预测目标以获得每个目标函数的系数。我们给出了明确的结构，其中（1）两级表现不足低于端到端; （2）两级是最佳的。我们使用模拟来通过实验量化性能差距，并从文献中确定各种现实世界应用，其客观函数依赖于多种预测目标，表明端到端学习可以产生重大改进。

我们考虑一个一般的在线随机优化问题，在有限时间段的视野中具有多个预算限制。在每个时间段内，都会揭示奖励功能和多个成本功能，并且决策者需要从凸面和紧凑型措施中指定行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消费。在每个时期，奖励和成本函数都是从未知分布中得出的，该分布在整个时间内都是非平稳的。决策者的目的是最大化受预算限制的累积奖励。该配方捕获了广泛的应用程序，包括在线线性编程和网络收入管理等。在本文中，我们考虑了两个设置：（i）一个数据驱动的设置，其中真实分布未知，但可以提供先前的估计（可能不准确）； （ii）一个不信息的环境，其中真实分布是完全未知的。我们提出了一项基于统一的浪费距离措施，以量化设置（i）中先验估计值的不准确性和设置（ii）中系统的非平稳性。我们表明，拟议的措施导致在两种情况下都能获得统一后悔的必要条件。对于设置（i），我们提出了一种新的算法，该算法采用了原始的偶视角，并将基础分布的先前信息集成到双重空间中的在线梯度下降过程。该算法也自然扩展到非信息设置（II）。在这两种设置下，我们显示相应的算法实现了最佳秩序的遗憾。在数值实验中，我们演示了如何将所提出的算法与重新溶解技术自然整合，以进一步提高经验性能。

人工神经网络（ANN）训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降（SGD）算法及其变体在某些情况下是有效的，但它们可以陷入杂散的局部最小值，并且对初始化和普通公共表敏感。最近的工作表明，随着Relu激活的ANN的培训可以重新重整为凸面计划，使希望能够全局优化可解释的ANN。然而，天真地解决凸训练制剂具有指数复杂性，甚至近似启发式需要立方时间。在这项工作中，我们描述了这种近似的质量，并开发了两个有效的算法，这些算法通过全球收敛保证培训。第一算法基于乘法器（ADMM）的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛，并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时，每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂，并收敛到大约全球最佳的分类器。当考虑对抗性培训时，ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练，开发凸起的凸起制剂，培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN，但可以扩展到更复杂的体系结构。

除了最大化总收入外，许多行业的决策者还希望保证跨不同资源的公平消费，并避免饱和某些资源。在这些实际需求的推动下，本文研究了基于价格的网络收入管理问题，需求学习和公平性关注不同资源的消费。我们介绍了正式的收入，即以公平的正规化为目标，作为我们的目标，将公平性纳入收入最大化目标。我们提出了一种原始的偶型在线政策，并使用受到信心限制（UCB）的需求学习方法最大化正规化收入。我们采用了几种创新技术，以使我们的算法成为连续价格集和广泛的公平规则化的统一和计算高效的框架。我们的算法实现了$ \ tilde o（n^{5/2} \ sqrt {t}）$的最坏遗憾，其中$ n $表示产品数，$ t $表示时间段。一些NRM示例中的数值实验证明了我们算法在平衡收入和公平性方面的有效性。