本文介绍了一个基于双基的算法框架，用于求解具有累积的凸奖励，硬资源限制和不可分割的正常化程序的正规在线资源分配问题。在适应性更新资源约束的策略下，所提出的框架仅要求对经验二重性问题的近似解决方案，直到某种准确性，但在本地强烈凸出的假设下给出了最佳的对数遗憾。令人惊讶的是，对双重目标函数的微妙分析使我们能够消除遗憾的臭名昭著的日志因素。灵活的框架呈现出著名的和计算快速算法，例如双梯度下降和随机梯度下降。如果在双重优化过程中没有适应性更新，则建立了最糟糕的平方根遗憾下限，这强调了自适应双重变量更新的关键作用。全面的数值实验和实际数据应用证明了提出的算法框架的优点。

资源限制的在线分配问题是收入管理和在线广告中的核心问题。在这些问题中，请求在有限的地平线期间顺序到达，对于每个请求，决策者需要选择消耗一定数量资源并生成奖励的动作。目标是最大限度地提高累计奖励，这是对资源总消费的限制。在本文中，我们考虑一种数据驱动的设置，其中使用决策者未知的输入模型生成每个请求的奖励和资源消耗。我们设计了一般的算法算法，可以在各种输入模型中实现良好的性能，而不知道它们面临的类型类型。特别是，我们的算法在独立和相同的分布式输入以及各种非静止随机输入模型下是渐近的最佳选择，并且当输入是对抗性时，它们达到渐近最佳的固定竞争比率。我们的算法在Lagrangian双色空间中运行：它们为使用在线镜像血管更新的每个资源维护双倍乘数。通过相应地选择参考功能，我们恢复双梯度下降和双乘法权重更新算法。与现有的在线分配问题的现有方法相比，所产生的算法简单，快速，不需要在收入函数，消费函数和动作空间中凸起。我们将应用程序讨论到网络收入管理，在线竞标，重复拍卖，预算限制，与高熵的在线比例匹配，以及具有有限库存的个性化分类优化。

在线分配资源限制问题具有丰富的运营研究历史记录。在本文中，我们介绍了\ emph {正常的在线分配问题}，该变体包括用于总资源消耗的非线性规范器。在此问题中，请求多次到达，对于每个请求，决策者需要采取生成奖励和消耗资源的操作。目的是同时最大化可分离可分离的奖励和受资源限制的不可分级规范器的值。我们的主要动机是允许决策者履行可分离目标，例如与辅助，不可分配的目标的经济效率，例如分配的公平或公平。我们设计了一种简单，快速，并且具有随机I.I.D的良好性能的算法。〜和对抗的投入。特别是，我们的算法在随机I.I.D下渐近最佳。输入模型并达到固定的竞争比率，当输入是对越野的时，取决于常规管道。此外，算法和分析不需要贡献函数和消耗函数的凸起或凹面，这允许更多的模型灵活性。数值实验证实了算法在互联网广告应用中的算法和正则化的有效性。

我们考虑一个一般的在线随机优化问题，在有限时间段的视野中具有多个预算限制。在每个时间段内，都会揭示奖励功能和多个成本功能，并且决策者需要从凸面和紧凑型措施中指定行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消费。在每个时期，奖励和成本函数都是从未知分布中得出的，该分布在整个时间内都是非平稳的。决策者的目的是最大化受预算限制的累积奖励。该配方捕获了广泛的应用程序，包括在线线性编程和网络收入管理等。在本文中，我们考虑了两个设置：（i）一个数据驱动的设置，其中真实分布未知，但可以提供先前的估计（可能不准确）； （ii）一个不信息的环境，其中真实分布是完全未知的。我们提出了一项基于统一的浪费距离措施，以量化设置（i）中先验估计值的不准确性和设置（ii）中系统的非平稳性。我们表明，拟议的措施导致在两种情况下都能获得统一后悔的必要条件。对于设置（i），我们提出了一种新的算法，该算法采用了原始的偶视角，并将基础分布的先前信息集成到双重空间中的在线梯度下降过程。该算法也自然扩展到非信息设置（II）。在这两种设置下，我们显示相应的算法实现了最佳秩序的遗憾。在数值实验中，我们演示了如何将所提出的算法与重新溶解技术自然整合，以进一步提高经验性能。

我们研究一种在线线性编程（OLP）问题，该问题通过随机输入最大化目标函数。当随机输入遵循一些I.I.D分布时，对分析此类OLP的各种算法的性能进行了充分的研究。要问的两个核心问题是：（i）算法如果随机输入不是I.I.D而是静止的，并且（ii）如果我们知道随机输入是潮流的，那么我们如何修改我们的算法，因此，该算法可以达到相同的效率。固定。我们通过分析再生类型的输入类型来回答第一个问题，并表明两种流行算法的遗憾与其I.I.D对应物相同的顺序界定。我们讨论了线性增长的输入的背景下的第二个问题，并提出了两种趋势自适应算法。我们提供数值仿真，以说明在再生和时尚输入下算法的性能。

We study the classical Network Revenue Management (NRM) problem with accept/reject decisions and $T$ IID arrivals. We consider a distributional form where each arrival must fall under a finite number of possible categories, each with a deterministic resource consumption vector, but a random value distributed continuously over an interval. We develop an online algorithm that achieves $O(\log^2 T)$ regret under this model, with no further assumptions. We develop another online algorithm that achieves an improved $O(\log T)$ regret, with only a second-order growth assumption. To our knowledge, these are the first results achieving logarithmic-level regret in a continuous-distribution NRM model without further "non-degeneracy" assumptions. Our results are achieved via new techniques including: a new method of bounding myopic regret, a "semi-fluid" relaxation of the offline allocation, and an improved bound on the "dual convergence".

我们研究随机的在线资源分配：决策者需要分配有限的资源来为随机生成的顺序派遣请求，以最大程度地提高奖励。通过练习，我们考虑了一个数据驱动的设置，在该设置中，请求独立于决策者未知的分布。过去已经对在线资源分配及其特殊情况进行了广泛的研究，但是这些先前的结果至关重要和普遍地依赖于一个实际上不可能的假设：请求总数（地平线）是决策者事先知道的。在许多应用程序（例如收入管理和在线广告）中，由于需求或用户流量强度的波动，请求的数量可能差异很大。在这项工作中，我们开发了在线算法，这些算法对地平线不确定性是可靠的。与已知的马环境形成鲜明对比的是，我们表明没有算法可以达到与视野不确定性无关的恒定渐近竞争比率。然后，我们引入了一种新型算法，该算法将双镜下降与精心选择的目标消耗序列结合在一起，并证明其达到了有限的竞争比率。从地平线不确定性增长时，我们的竞争比达到了最佳生长速率，我们的算法几乎是最佳的。

在Fisher市场中，代理商（用户）花费（人造）货币预算来购买最大化其公用事业的商品，而中央规划师则将其设定为容量约束的商品，以便市场清算。但是，定价方案在Fisher市场实现平衡结果方面的功效通常取决于用户的预算和公用事业的完全了解，并且要求交易在同时存在所有用户的静态市场中发生。结果，我们研究了Fisher市场的在线变体，其中有私人公用事业和预算参数的预算受限用户，绘制了I.I.D.从分配$ \ Mathcal {d} $，顺序输入市场。在这种情况下，我们开发了一种仅根据用户消费的观察结果来调整价格的算法用户数量和良好的能力量表为$ O（n）$。在这里，我们的遗憾措施是在线算法和离线甲骨文之间的艾森伯格 - 盖尔计划目标的最佳差距，并提供有关用户预算和公用事业的完整信息。为了确定我们方法的功效，我们证明了任何统一（静态）定价算法，包括设定预期平衡价格并完全了解分销$ \ MATHCAL {D} $的算法，既无法实现遗憾和限制的违反比$ \ omega（\ sqrt {n}）$。虽然我们揭示的偏好算法不需要对分布$ \ MATHCAL {d} $不了解，但我们表明，如果$ \ Mathcal {d} $是已知的，则是预期的平衡定价Achieves $ O（\ log（\ log（n））的自适应变体）$遗憾和离散分发的恒定容量违反。最后，我们提出了数值实验，以证明相对于几个基准测试的揭示偏好算法的性能。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

除了最大化总收入外，许多行业的决策者还希望保证跨不同资源的公平消费，并避免饱和某些资源。在这些实际需求的推动下，本文研究了基于价格的网络收入管理问题，需求学习和公平性关注不同资源的消费。我们介绍了正式的收入，即以公平的正规化为目标，作为我们的目标，将公平性纳入收入最大化目标。我们提出了一种原始的偶型在线政策，并使用受到信心限制（UCB）的需求学习方法最大化正规化收入。我们采用了几种创新技术，以使我们的算法成为连续价格集和广泛的公平规则化的统一和计算高效的框架。我们的算法实现了$ \ tilde o（n^{5/2} \ sqrt {t}）$的最坏遗憾，其中$ n $表示产品数，$ t $表示时间段。一些NRM示例中的数值实验证明了我们算法在平衡收入和公平性方面的有效性。

在线广告最近已发展成为一个竞争激烈且复杂的数十亿美元行业，广告商在大型和高频上竞标广告插槽。这导致对有效的“自动招标”算法的需求日益增长，这些算法确定了传入查询的投标，以最大程度地提高广告商的目标，但受其指定的约束。这项工作探讨了在日益流行的约束下，为单个价值最大化广告商提供有效的在线算法：返回式增长（ROS）。相对于最佳算法，我们对遗憾进行了量化效率，该算法知道所有查询所有查询都是先验的。我们贡献了一种简单的在线算法，该算法在期望中实现了近乎最佳的遗憾，同时始终尊重指定的ROS约束，当查询的输入顺序为i.i.d.来自某些分布的样本。我们还将结果与Balseiro，Lu和Mirrokni [BLM20]的先前工作相结合，以实现近乎最佳的遗憾，同时尊重ROS和固定的预算限制。我们的算法遵循原始的二重式框架，并使用在线镜像下降（OMD）进行双重更新。但是，我们需要使用非典型的OMD设置，因此需要使用OMD的经典低rebret保证，该保证是用于在线学习中的对抗性环境的，不再存在。尽管如此，在我们的情况下，在更普遍的情况下，在算法设计中应用低纤维动力学的情况下，OMD遇到的梯度可能远非对抗性，但受我们的算法选择的影响。我们利用这一关键见解来显示我们的OMD设置在我们的算法领域中造成了低落的遗憾。

我们在$ gi/gi/1 $队列中研究动态定价和容量大小问题，服务提供商的目标是获得最佳服务费$ p $ $ p $和服务能力$ \ mu $，以最大程度地提高累积预期利润（服务收入减去人员配备成本和延迟罚款）。由于排队动力学的复杂性质，这种问题没有分析解决方案，因此以前的研究经常诉诸于交通重型分析，在这种分析中，到达率和服务率都发送到无穷大。在这项工作中，我们提出了一个旨在解决此问题的在线学习框架，该框架不需要系统的规模增加。我们的框架在队列（GOLIQ）中被称为基于梯度的在线学习。 Goliq将时间范围组织为连续的操作周期，并开出了有效的程序，以使用先前的周期中收集的数据在每个周期中获得改进的定价和人员配备策略。此处的数据包括客户到达的数量，等待时间和服务器的繁忙时间。这种方法的创造力在于其在线性质，这使服务提供商可以通过与环境进行互动来更好。 GOLIQ的有效性得到了（i）理论结果的证实，包括算法收敛和遗憾分析（对数遗憾的束缚），以及（ii）通过模拟实验进行工程确认，以了解各种代表性$ GI/GI/GI/1 $ $ $ $ $。

由于在数据稀缺的设置中，交叉验证的性能不佳，我们提出了一个新颖的估计器，以估计数据驱动的优化策略的样本外部性能。我们的方法利用优化问题的灵敏度分析来估计梯度关于数据中噪声量的最佳客观值，并利用估计的梯度将策略的样本中的表现为依据。与交叉验证技术不同，我们的方法避免了为测试集牺牲数据，在训练和因此非常适合数据稀缺的设置时使用所有数据。我们证明了我们估计量的偏见和方差范围，这些问题与不确定的线性目标优化问题，但已知的，可能是非凸的，可行的区域。对于更专业的优化问题，从某种意义上说，可行区域“弱耦合”，我们证明结果更强。具体而言，我们在估算器的错误上提供明确的高概率界限，该估计器在策略类别上均匀地保持，并取决于问题的维度和策略类的复杂性。我们的边界表明，在轻度条件下，随着优化问题的尺寸的增长，我们的估计器的误差也会消失，即使可用数据的量仍然很小且恒定。说不同的是，我们证明我们的估计量在小型数据中的大规模政权中表现良好。最后，我们通过数值将我们提出的方法与最先进的方法进行比较，通过使用真实数据调度紧急医疗响应服务的案例研究。我们的方法提供了更准确的样本外部性能估计，并学习了表现更好的政策。

当在未知约束集中任意变化的分布中生成数据时，我们会考虑使用专家建议的预测。这种半反向的设置包括（在极端）经典的I.I.D.设置时，当未知约束集限制为单身人士时，当约束集是所有分布的集合时，不受约束的对抗设置。对冲状态中，对冲算法（长期以来已知是最佳的最佳速率（速率））最近被证明是对I.I.D.的最佳最小值。数据。在这项工作中，我们建议放松I.I.D.通过在约束集的所有自然顺序上寻求适应性来假设。我们在各个级别的Minimax遗憾中提供匹配的上限和下限，表明确定性学习率的对冲在极端之外是次优的，并证明人们可以在各个级别的各个层面上都能适应Minimax的遗憾。我们使用以下规范化领导者（FTRL）框架实现了这种最佳适应性，并采用了一种新型的自适应正则化方案，该方案隐含地缩放为当前预测分布的熵的平方根，而不是初始预测分布的熵。最后，我们提供了新的技术工具来研究FTRL沿半逆转频谱的统计性能。

作为安全加强学习的重要框架，在最近的文献中已经广泛研究了受约束的马尔可夫决策过程（CMDP）。然而，尽管在各种式学习设置下取得了丰富的结果，但就算法设计和信息理论样本复杂性下限而言，仍然缺乏对离线CMDP问题的基本理解。在本文中，我们专注于仅在脱机数据可用的情况下解决CMDP问题。通过采用单极浓缩系数$ c^*$的概念，我们建立了一个$ \ omega \ left（\ frac {\ min \ left \ left \ weft \ {| \ mathcal {s} || \ mathcal {a} a} |，， | \ Mathcal {s} |+i \ right \} c^*} {（1- \ gamma）^3 \ epsilon^2} \ right）$ sample Complacy度在离线cmdp问题上，其中$ i $架对于约束数量。通过引入一种简单但新颖的偏差控制机制，我们提出了一种称为DPDL的近乎最佳的原始二重学习算法。该算法证明，除了$ \ tilde {\ Mathcal {o}}}}（（（1- \ gamma）^{ - 1}）$外，该算法可确保零约束违规及其样本复杂性匹配上下界。还包括有关如何处理未知常数$ c^*$以及离线数据集中潜在的异步结构的全面讨论。

我们在非静止环境中调查在线凸优化，然后选择\ emph {动态后悔}作为性能测量，定义为在线算法产生的累积损失与任何可行比较器序列之间的差异。让$ t $是$ p_t $ be的路径长度，基本上反映了环境的非平稳性，最先进的动态遗憾是$ \ mathcal {o}（\ sqrt {t（ 1 + p_t）}）$。虽然这一界限被证明是凸函数最佳的最低限度，但在本文中，我们证明可以进一步提高一些简单的问题实例的保证，特别是当在线功能平滑时。具体而言，我们提出了新的在线算法，可以利用平滑度并替换动态遗憾的$ t $替换依据\ {问题依赖性}数量：损耗函数梯度的变化，比较器序列的累积损失，以及比较器序列的累积损失最低术语的最低限度。这些数量是大多数$ \ mathcal {o}（t）$，良性环境中可能更小。因此，我们的结果适应了问题的内在难度，因为边界比现有结果更严格，以便在最坏的情况下保证相同的速率。值得注意的是，我们的算法只需要\ emph {一个}渐变，这与开发的方法共享相同的渐变查询复杂性，以优化静态遗憾。作为进一步的应用，我们将来自全信息设置的结果扩展到具有两点反馈的强盗凸优化，从而达到此类强盗任务的第一个相关的动态遗憾。

我们开发了一种使用无遗憾的游戏动态解决凸面优化问题的算法框架。通过转换最小化凸起函数以顺序方式解决Min-Max游戏的辅助问题的问题，我们可以考虑一系列必须在另一个之后选择其行动的两名员工的一系列策略。这些策略的常见选择是所谓的无悔的学习算法，我们描述了许多此类并证明了遗憾。然后，我们表明许多凸面优化的经典一阶方法 - 包括平均迭代梯度下降，弗兰克 - 沃尔夫算法，重球算法和Nesterov的加速方法 - 可以被解释为我们框架的特殊情况由于每个玩家都做出正确选择无悔的策略。证明该框架中的收敛速率变得非常简单，因为它们遵循适当已知的遗憾范围。我们的框架还引发了一些凸优化的特殊情况的许多新的一阶方法。

在社会背景下的算法决策，例如零售定价，贷款管理，在线平台上的建议等，通常涉及为了学习而进行决策的实验，这导致受这些决策影响的人们的不公平感知。因此，有必要在此类决策过程中嵌入适当的公平概念。本文的目的是通过一种新颖的元观念来强调公平的时间概念与在线决策之间的丰富界面，以确保在决策时确保公平。考虑到静态决策的一些任意比较公平概念（例如，学生最多应支付一般成人价格的90％），如果满足上述公平概念，则相应的在线决策算法在决策时满足公平性对于任何与过去的决定相比，收到决定的任何实体。我们表明，这一基本要求引入了在线决策中的新方法论挑战。我们说明了在随机凸优化的背景下，在比较公平的约束下，在随机凸优化的背景下解决这些挑战所必需的新方法，该方法取决于实体所收到的决策，这取决于过去每个人都收到的决策。该论文展示了由于时间公平的关注而引起的在线决策中的新研究机会。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

强化学习被广泛用于在与环境互动时需要执行顺序决策的应用中。当决策要求包括满足一些安全限制时，问题就变得更加具有挑战性。该问题在数学上是作为约束的马尔可夫决策过程（CMDP）提出的。在文献中，可以通过无模型的方式解决各种算法来解决CMDP问题，以实现$ \ epsilon $ - 最佳的累积奖励，并使用$ \ epsilon $可行的政策。 $ \ epsilon $可行的政策意味着它遭受了违规的限制。这里的一个重要问题是，我们是否可以实现$ \ epsilon $ - 最佳的累积奖励，并违反零约束。为此，我们主张使用随机原始偶对偶方法来解决CMDP问题，并提出保守的随机原始二重算法（CSPDA），该算法（CSPDA）显示出$ \ tilde {\ tilde {\ Mathcal {o}} \ left（1 /\ epsilon^2 \ right）$样本复杂性，以实现$ \ epsilon $ - 最佳累积奖励，违反零约束。在先前的工作中，$ \ epsilon $ - 最佳策略的最佳可用样本复杂性是零约束的策略是$ \ tilde {\ Mathcal {o}}} \ left（1/\ epsilon^5 \ right）$。因此，与最新技术相比，拟议的算法提供了重大改进。