We study the problem of learning the objective functions or constraints of a multiobjective decision making model, based on a set of sequentially arrived decisions. In particular, these decisions might not be exact and possibly carry measurement noise or are generated with the bounded rationality of decision makers. In this paper, we propose a general online learning framework to deal with this learning problem using inverse multiobjective optimization. More precisely, we develop two online learning algorithms with implicit update rules which can handle noisy data. Numerical results show that both algorithms can learn the parameters with great accuracy and are robust to noise.

这项工作解决了逆线优化，其中目标是推断线性程序的未知成本向量。具体地，我们考虑数据驱动的设置，其中可用数据是对应于线性程序的不同实例的最佳解决方案的嘈杂的观察。我们介绍了一个问题的新配方，与其他现有方法相比，允许恢复较少的限制性和一般更适当的可允许成本估算。可以表明，该逆优化问题产生有限数量的解决方案，并且我们开发了一个精确的两相算法来确定所有此类解决方案。此外，我们提出了一种有效的分解算法来解决问题的大实例。该算法自然地扩展到在线学习环境，可以用于提供成本估计的快速更新，因为新数据随着时间的推移可用。对于在线设置，我们进一步开发了一种有效的自适应采样策略，指导下一个样本的选择。所提出的方法的功效在涉及两种应用，客户偏好学习和生产计划的成本估算的计算实验中进行了证明。结果表明计算和采样努力的显着减少。

许多实际优化问题涉及不确定的参数，这些参数具有概率分布，可以使用上下文特征信息来估算。与首先估计不确定参数的分布然后基于估计优化目标的标准方法相反，我们提出了一个\ textIt {集成条件估计 - 优化}（ICEO）框架，该框架估计了随机参数的潜在条件分布同时考虑优化问题的结构。我们将随机参数的条件分布与上下文特征之间的关系直接建模，然后以与下游优化问题对齐的目标估算概率模型。我们表明，我们的ICEO方法在适度的规律性条件下渐近一致，并以概括范围的形式提供有限的性能保证。在计算上，使用ICEO方法执行估计是一种非凸面且通常是非差异的优化问题。我们提出了一种通用方法，用于近似从估计的条件分布到通过可区分函数的最佳决策的潜在非差异映射，这极大地改善了应用于非凸问题的基于梯度的算法的性能。我们还提供了半代理案例中的多项式优化解决方案方法。还进行了数值实验，以显示我们在不同情况下的方法的经验成功，包括数据样本和模型不匹配。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

我们在非静止环境中调查在线凸优化，然后选择\ emph {动态后悔}作为性能测量，定义为在线算法产生的累积损失与任何可行比较器序列之间的差异。让$ t $是$ p_t $ be的路径长度，基本上反映了环境的非平稳性，最先进的动态遗憾是$ \ mathcal {o}（\ sqrt {t（ 1 + p_t）}）$。虽然这一界限被证明是凸函数最佳的最低限度，但在本文中，我们证明可以进一步提高一些简单的问题实例的保证，特别是当在线功能平滑时。具体而言，我们提出了新的在线算法，可以利用平滑度并替换动态遗憾的$ t $替换依据\ {问题依赖性}数量：损耗函数梯度的变化，比较器序列的累积损失，以及比较器序列的累积损失最低术语的最低限度。这些数量是大多数$ \ mathcal {o}（t）$，良性环境中可能更小。因此，我们的结果适应了问题的内在难度，因为边界比现有结果更严格，以便在最坏的情况下保证相同的速率。值得注意的是，我们的算法只需要\ emph {一个}渐变，这与开发的方法共享相同的渐变查询复杂性，以优化静态遗憾。作为进一步的应用，我们将来自全信息设置的结果扩展到具有两点反馈的强盗凸优化，从而达到此类强盗任务的第一个相关的动态遗憾。

Decision-making problems are commonly formulated as optimization problems, which are then solved to make optimal decisions. In this work, we consider the inverse problem where we use prior decision data to uncover the underlying decision-making process in the form of a mathematical optimization model. This statistical learning problem is referred to as data-driven inverse optimization. We focus on problems where the underlying decision-making process is modeled as a convex optimization problem whose parameters are unknown. We formulate the inverse optimization problem as a bilevel program and propose an efficient block coordinate descent-based algorithm to solve large problem instances. Numerical experiments on synthetic datasets demonstrate the computational advantage of our method compared to standard commercial solvers. Moreover, the real-world utility of the proposed approach is highlighted through two realistic case studies in which we consider estimating risk preferences and learning local constraint parameters of agents in a multiplayer Nash bargaining game.

我们开发了一种使用无遗憾的游戏动态解决凸面优化问题的算法框架。通过转换最小化凸起函数以顺序方式解决Min-Max游戏的辅助问题的问题，我们可以考虑一系列必须在另一个之后选择其行动的两名员工的一系列策略。这些策略的常见选择是所谓的无悔的学习算法，我们描述了许多此类并证明了遗憾。然后，我们表明许多凸面优化的经典一阶方法 - 包括平均迭代梯度下降，弗兰克 - 沃尔夫算法，重球算法和Nesterov的加速方法 - 可以被解释为我们框架的特殊情况由于每个玩家都做出正确选择无悔的策略。证明该框架中的收敛速率变得非常简单，因为它们遵循适当已知的遗憾范围。我们的框架还引发了一些凸优化的特殊情况的许多新的一阶方法。

我们研究了在线上下文决策问题，并具有资源约束。在每个时间段，决策者首先根据给定上下文向量预测奖励向量和资源消耗矩阵，然后解决下游优化问题以做出决策。决策者的最终目标是最大程度地利用资源消耗的奖励和效用总结，同时满足资源限制。我们提出了一种算法，该算法将基于“智能预测 - 优化（SPO）”方法的预测步骤与基于镜像下降的双重更新步骤。我们证明了遗憾的界限，并证明了我们方法的总体收敛率取决于$ \ Mathcal {o}（t^{ - 1/2}）$在线镜面下降的收敛性以及使用的替代损失功能的风险范围学习预测模型。我们的算法和后悔界限适用于资源约束的一般凸的可行区域，包括硬和软资源约束案例，它们适用于广泛的预测模型，与线性上下文模型或有限策略空间的传统设置相比。我们还进行数值实验，以与传统的仅限预测方法相比，在多维背包和最长的路径实例上，与传统的仅预测方法相比，我们提出的SPO型方法的强度。

预测到优化的框架在许多实际设置中都是基础：预测优化问题的未知参数，然后使用参数的预测值解决该问题。与参数的预测误差相反，在这种环境中的自然损失函数是考虑预测参数引起的决策成本。最近在Elmachtoub和Grigas（2022）中引入了此损失函数，并被称为智能预测 - 优化（SPO）损失。在这项工作中，我们试图提供有关在SPO损失的背景下，预测模型在训练数据中概括的预测模型的性能如何。由于SPO损失是非凸面和非lipschitz，因此不适用推导概括范围的标准结果。我们首先根据natarajan维度得出界限，在多面体可行区域中，在极端点数中最大程度地比对数扩展，但是，在一般凸的可行区域中，对决策维度具有线性依赖性。通过利用SPO损耗函数的结构和可行区域的关键特性，我们将其表示为强度属性，我们可以显着提高对决策和特征维度的依赖。我们的方法和分析依赖于围绕有问题的预测的利润，这些预测不会产生独特的最佳解决方案，然后在修改后的利润率SPO损失函数的背景下提供了概括界限，而SPO损失函数是Lipschitz的连续。最后，我们表征了强度特性，并表明可以有效地计算出具有显式极端表示的强凸体和多面体的修饰的SPO损耗。

随机多变最小化 - 最小化（SMM）是大多数变化最小化的经典原则的在线延伸，这包括采样I.I.D。来自固定数据分布的数据点，并最小化递归定义的主函数的主要替代。在本文中，我们引入了随机块大大化 - 最小化，其中替代品现在只能块多凸，在半径递减内的时间优化单个块。在SMM中的代理人放松标准的强大凸起要求，我们的框架在内提供了更广泛的适用性，包括在线CANDECOMP / PARAFAC（CP）字典学习，并且尤其是当问题尺寸大时产生更大的计算效率。我们对所提出的算法提供广泛的收敛性分析，我们在可能的数据流下派生，放松标准i.i.d。对数据样本的假设。我们表明，所提出的算法几乎肯定会收敛于速率$ O（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$的约束下的非凸起物镜的静止点集合。实证丢失函数和$ O（（\ log n）^ {1+ \ eps} / n ^ {1/4}）$的预期丢失函数，其中$ n $表示处理的数据样本数。在一些额外的假设下，后一趋同率可以提高到$ o（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$。我们的结果为一般马尔维亚数据设置提供了各种在线矩阵和张量分解算法的第一融合率界限。

自适应梯度算法（例如Adagrad及其变体）在培训深神经网络方面已广受欢迎。尽管许多适合自适应方法的工作都集中在静态的遗憾上，作为实现良好遗憾保证的性能指标，但对这些方法的动态遗憾分析尚不清楚。与静态的遗憾相反，动态遗憾被认为是绩效测量的更强大的概念，因为它明确阐明了环境的非平稳性。在本文中，我们通过动态遗憾的概念在一个强大的凸面设置中浏览了Adagrad（称为M-Adagrad）的一种变体，该遗憾衡量了在线学习者的性能，而不是参考（最佳）解决方案，这可能会改变时间。我们证明了根据最小化序列的路径长度的束缚，该序列基本上反映了环境的非平稳性。此外，我们通过利用每个回合中学习者的多个访问权限来增强动态遗憾。经验结果表明，M-Adagrad在实践中也很好。

本文介绍了一个基于双基的算法框架，用于求解具有累积的凸奖励，硬资源限制和不可分割的正常化程序的正规在线资源分配问题。在适应性更新资源约束的策略下，所提出的框架仅要求对经验二重性问题的近似解决方案，直到某种准确性，但在本地强烈凸出的假设下给出了最佳的对数遗憾。令人惊讶的是，对双重目标函数的微妙分析使我们能够消除遗憾的臭名昭著的日志因素。灵活的框架呈现出著名的和计算快速算法，例如双梯度下降和随机梯度下降。如果在双重优化过程中没有适应性更新，则建立了最糟糕的平方根遗憾下限，这强调了自适应双重变量更新的关键作用。全面的数值实验和实际数据应用证明了提出的算法框架的优点。

我们研究一种在线线性编程（OLP）问题，该问题通过随机输入最大化目标函数。当随机输入遵循一些I.I.D分布时，对分析此类OLP的各种算法的性能进行了充分的研究。要问的两个核心问题是：（i）算法如果随机输入不是I.I.D而是静止的，并且（ii）如果我们知道随机输入是潮流的，那么我们如何修改我们的算法，因此，该算法可以达到相同的效率。固定。我们通过分析再生类型的输入类型来回答第一个问题，并表明两种流行算法的遗憾与其I.I.D对应物相同的顺序界定。我们讨论了线性增长的输入的背景下的第二个问题，并提出了两种趋势自适应算法。我们提供数值仿真，以说明在再生和时尚输入下算法的性能。

资源限制的在线分配问题是收入管理和在线广告中的核心问题。在这些问题中，请求在有限的地平线期间顺序到达，对于每个请求，决策者需要选择消耗一定数量资源并生成奖励的动作。目标是最大限度地提高累计奖励，这是对资源总消费的限制。在本文中，我们考虑一种数据驱动的设置，其中使用决策者未知的输入模型生成每个请求的奖励和资源消耗。我们设计了一般的算法算法，可以在各种输入模型中实现良好的性能，而不知道它们面临的类型类型。特别是，我们的算法在独立和相同的分布式输入以及各种非静止随机输入模型下是渐近的最佳选择，并且当输入是对抗性时，它们达到渐近最佳的固定竞争比率。我们的算法在Lagrangian双色空间中运行：它们为使用在线镜像血管更新的每个资源维护双倍乘数。通过相应地选择参考功能，我们恢复双梯度下降和双乘法权重更新算法。与现有的在线分配问题的现有方法相比，所产生的算法简单，快速，不需要在收入函数，消费函数和动作空间中凸起。我们将应用程序讨论到网络收入管理，在线竞标，重复拍卖，预算限制，与高熵的在线比例匹配，以及具有有限库存的个性化分类优化。

我们通过反馈信息研究了离线和在线上下文优化的问题，而不是观察损失，我们会在事后观察到最佳的动作，而是对目标功能充分了解的甲骨文。我们的目标是最大程度地减少遗憾，这被定义为我们的损失与全知的甲骨所产生的损失之间的区别。在离线设置中，决策者可以从过去段中获得信息，并且需要做出一个决策，而在在线环境中，决策者在每个时期内都会动态地基于一组新的可行动作和上下文功能，以动态进行决策。 。对于离线设置，我们表征了最佳的最小策略，确定可以实现的性能，这是数据引起的信息的基础几何形状的函数。在在线环境中，我们利用这种几何表征来优化累积遗憾。我们开发了一种算法，该算法在时间范围内产生了对数的第一个遗憾。

为了通过分布式在线学习中的本地光计算处理复杂的约束，最近的一项研究提出了一种称为分布式在线条件梯度（D-OCG）的无投影算法（D-OCG），并获得了$ O（T^{3/4}）$遗憾的是凸出损失，其中$ t $是总回合的数量。但是，它需要$ t $通信回合，并且不能利用强大的损失凸度。在本文中，我们提出了一个改进的D-OCG的变体，即D-BOCG，可以达到相同的$ O（t^{3/4}）$遗憾，只有$ o（\ sqrt {t}）$凸损失的通信回合，以及$ o（t^{2/3}（\ log t）^{1/3}）$的更好遗憾，少于$ o（t^{1/3}（\ log log） t）^{2/3}）$通信回合，以实现强烈凸出的损失。关键思想是采用延迟的更新机制，以降低通信复杂性，并重新定义D-OCG中的替代损失功能以利用强凸度。此外，我们提供了下限，以证明D-BOCG所需的$ O（\ sqrt {t}）$通信回合是最佳的（以$ t $为单位）实现$ O（T^{3/4} ）$遗憾带有凸损失，以及$ o（t^{1/3}（\ log t）^{2/3}）$ d-bocg所需的通信回合近距离）实现$ o（t^{2/3}（\ log t）^{1/3}）$遗憾的是，强烈凸出的损失归属于多凝集因子。最后，为了处理更具挑战性的强盗设置，其中只有损失值可用，我们将经典的单点梯度估计器纳入D-BOCG，并获得类似的理论保证。

差异化（DP）随机凸优化（SCO）在可信赖的机器学习算法设计中无处不在。本文研究了DP-SCO问题，该问题是从分布中采样并顺序到达的流媒体数据。我们还考虑了连续发布模型，其中与私人信息相关的参数已在每个新数据（通常称为在线算法）上更新和发布。尽管已经开发了许多算法，以实现不同$ \ ell_p $ norm几何的最佳多余风险，但是没有一个现有的算法可以适应流和持续发布设置。为了解决诸如在线凸优化和隐私保护的挑战，我们提出了一种在线弗兰克 - 沃尔夫算法的私人变体，并带有递归梯度，以减少差异，以更新和揭示每个数据上的参数。结合自适应差异隐私分析，我们的在线算法在线性时间中实现了最佳的超额风险，当$ 1 <p \ leq 2 $和最先进的超额风险达到了非私人较低的风险时，当$ 2 <p \ p \ $ 2 <p \ leq \ infty $。我们的算法也可以扩展到$ p = 1 $的情况，以实现几乎与维度无关的多余风险。虽然先前的递归梯度降低结果仅在独立和分布的样本设置中才具有理论保证，但我们在非平稳环境中建立了这样的保证。为了展示我们方法的优点，我们设计了第一个DP算法，用于具有对数遗憾的高维广义线性土匪。使用多种DP-SCO和DP-Bandit算法的比较实验表现出所提出的算法的功效和实用性。

通过在线实验和违规学习中的实践需求激励，我们研究了安全最佳设计的问题，在那里我们开发了一个有效探索的数据记录策略，同时通过基线生产政策实现竞争奖励。我们首先展示，也许令人惊讶的是，尽管安全，但尽管安全，但尽管是安全的，但仍有统一探索的常见做法是最大化信息增益的次优。然后，我们提出了一个安全的最佳日志记录策略，因为没有有关操作的预期奖励的侧面信息。我们通过考虑侧面信息来改进这种设计，并且还通过线性奖励模型扩展到大量动作的方法。我们分析了我们的数据记录策略如何影响禁止策略学习中的错误。最后，我们通过进行广泛的实验，经验验证了我们设计的好处。

We present a new family of subgradient methods that dynamically incorporate knowledge of the geometry of the data observed in earlier iterations to perform more informative gradient-based learning. Metaphorically, the adaptation allows us to find needles in haystacks in the form of very predictive but rarely seen features. Our paradigm stems from recent advances in stochastic optimization and online learning which employ proximal functions to control the gradient steps of the algorithm. We describe and analyze an apparatus for adaptively modifying the proximal function, which significantly simplifies setting a learning rate and results in regret guarantees that are provably as good as the best proximal function that can be chosen in hindsight. We give several efficient algorithms for empirical risk minimization problems with common and important regularization functions and domain constraints. We experimentally study our theoretical analysis and show that adaptive subgradient methods outperform state-of-the-art, yet non-adaptive, subgradient algorithms.

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。