除了最大化总收入外，许多行业的决策者还希望保证跨不同资源的公平消费，并避免饱和某些资源。在这些实际需求的推动下，本文研究了基于价格的网络收入管理问题，需求学习和公平性关注不同资源的消费。我们介绍了正式的收入，即以公平的正规化为目标，作为我们的目标，将公平性纳入收入最大化目标。我们提出了一种原始的偶型在线政策，并使用受到信心限制（UCB）的需求学习方法最大化正规化收入。我们采用了几种创新技术，以使我们的算法成为连续价格集和广泛的公平规则化的统一和计算高效的框架。我们的算法实现了$ \ tilde o（n^{5/2} \ sqrt {t}）$的最坏遗憾，其中$ n $表示产品数，$ t $表示时间段。一些NRM示例中的数值实验证明了我们算法在平衡收入和公平性方面的有效性。

价格歧视，这是指为不同客户群体的不同价格进行规定的策略，已广泛用于在线零售。虽然它有助于提高在线零售商的收入，但它可能会对公平产生严重关切，甚至违反了监管和法律。本文研究了公平限制下动态歧视性定价的问题。特别是，我们考虑一个有限的销售长度$ T $的单一产品，为一组客户提供两组客户。每组客户都有其未知的需求功能，需要学习。对于每个销售期间，卖方确定每组的价格并观察其购买行为。虽然现有文学主要侧重于最大化收入，但在动态定价文学中确保不同客户的公平尚未完全探索。在这项工作中，我们采用了（Cohen等人）的公平概念。对于价格公平性，我们在遗憾方面提出了最佳的动态定价政策，从而强制执行严格的价格公平制约。与标准$ \ sqrt {t} $ - 在线学习中的遗憾遗憾，我们表明我们案例中的最佳遗憾是$ \ tilde {\ theta}（t ^ {4/5}）$。我们进一步将算法扩展到更普遍的公平概念，包括作为一个特例的需求公平。为了处理这一普通类，我们提出了一个柔和的公平约束，并开发了实现$ \ tilde {o}（t ^ {4/5}）$后悔的动态定价政策。

在线分配资源限制问题具有丰富的运营研究历史记录。在本文中，我们介绍了\ emph {正常的在线分配问题}，该变体包括用于总资源消耗的非线性规范器。在此问题中，请求多次到达，对于每个请求，决策者需要采取生成奖励和消耗资源的操作。目的是同时最大化可分离可分离的奖励和受资源限制的不可分级规范器的值。我们的主要动机是允许决策者履行可分离目标，例如与辅助，不可分配的目标的经济效率，例如分配的公平或公平。我们设计了一种简单，快速，并且具有随机I.I.D的良好性能的算法。〜和对抗的投入。特别是，我们的算法在随机I.I.D下渐近最佳。输入模型并达到固定的竞争比率，当输入是对越野的时，取决于常规管道。此外，算法和分析不需要贡献函数和消耗函数的凸起或凹面，这允许更多的模型灵活性。数值实验证实了算法在互联网广告应用中的算法和正则化的有效性。

资源限制的在线分配问题是收入管理和在线广告中的核心问题。在这些问题中，请求在有限的地平线期间顺序到达，对于每个请求，决策者需要选择消耗一定数量资源并生成奖励的动作。目标是最大限度地提高累计奖励，这是对资源总消费的限制。在本文中，我们考虑一种数据驱动的设置，其中使用决策者未知的输入模型生成每个请求的奖励和资源消耗。我们设计了一般的算法算法，可以在各种输入模型中实现良好的性能，而不知道它们面临的类型类型。特别是，我们的算法在独立和相同的分布式输入以及各种非静止随机输入模型下是渐近的最佳选择，并且当输入是对抗性时，它们达到渐近最佳的固定竞争比率。我们的算法在Lagrangian双色空间中运行：它们为使用在线镜像血管更新的每个资源维护双倍乘数。通过相应地选择参考功能，我们恢复双梯度下降和双乘法权重更新算法。与现有的在线分配问题的现有方法相比，所产生的算法简单，快速，不需要在收入函数，消费函数和动作空间中凸起。我们将应用程序讨论到网络收入管理，在线竞标，重复拍卖，预算限制，与高熵的在线比例匹配，以及具有有限库存的个性化分类优化。

我们考虑一个一般的在线随机优化问题，在有限时间段的视野中具有多个预算限制。在每个时间段内，都会揭示奖励功能和多个成本功能，并且决策者需要从凸面和紧凑型措施中指定行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消费。在每个时期，奖励和成本函数都是从未知分布中得出的，该分布在整个时间内都是非平稳的。决策者的目的是最大化受预算限制的累积奖励。该配方捕获了广泛的应用程序，包括在线线性编程和网络收入管理等。在本文中，我们考虑了两个设置：（i）一个数据驱动的设置，其中真实分布未知，但可以提供先前的估计（可能不准确）； （ii）一个不信息的环境，其中真实分布是完全未知的。我们提出了一项基于统一的浪费距离措施，以量化设置（i）中先验估计值的不准确性和设置（ii）中系统的非平稳性。我们表明，拟议的措施导致在两种情况下都能获得统一后悔的必要条件。对于设置（i），我们提出了一种新的算法，该算法采用了原始的偶视角，并将基础分布的先前信息集成到双重空间中的在线梯度下降过程。该算法也自然扩展到非信息设置（II）。在这两种设置下，我们显示相应的算法实现了最佳秩序的遗憾。在数值实验中，我们演示了如何将所提出的算法与重新溶解技术自然整合，以进一步提高经验性能。

本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前，卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例，其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小，位置和分散的联合效果。具体而言，离线数据的大小，位置和色散由历史样本数量为$ n $，平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left（\ sqrt {t} \ wedge \ frac {t} {（n \ wedge t）\ delta ^ 2 + n \ sigma ^ 2} \右）$，基于“面对不确定性”原则的“乐观主义”的学习算法，其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换，我们称之为阶段转型。此外，我们的结果表明，离线数据的位置和分散也对最佳遗憾具有内在效果，我们通过逆平面法量化了这种效果。

本文介绍了一个基于双基的算法框架，用于求解具有累积的凸奖励，硬资源限制和不可分割的正常化程序的正规在线资源分配问题。在适应性更新资源约束的策略下，所提出的框架仅要求对经验二重性问题的近似解决方案，直到某种准确性，但在本地强烈凸出的假设下给出了最佳的对数遗憾。令人惊讶的是，对双重目标函数的微妙分析使我们能够消除遗憾的臭名昭著的日志因素。灵活的框架呈现出著名的和计算快速算法，例如双梯度下降和随机梯度下降。如果在双重优化过程中没有适应性更新，则建立了最糟糕的平方根遗憾下限，这强调了自适应双重变量更新的关键作用。全面的数值实验和实际数据应用证明了提出的算法框架的优点。

我们在广义线性需求模型下考虑与协变量的动态定价问题：卖方可以在$ T $时间段的地平线上动态调整产品的价格，并在每次$ T $时，产品的需求是通过未知的广义线性模型共同由价格和可观察的协变量矢量$ x_t \ in \ mathbb {r} ^ d $。现有文献中的大多数假设协变量矢量$ X_T $的独立和相同分布（i.i.d.）;少数论文放松这种假设牺牲模型一般性或产生了次优遗憾的界限。在本文中，我们显示简单的定价算法有$ O（D \ SQRT {T} \ log t）$后悔上限而不假设协变量上的任何统计结构$ x_t $（甚至可以任意选择）。遗憾的上限与对数因子的下限（即使是i.i.d.假设）匹配。我们的论文如此表明（i）i.i.d.获得低遗憾的假设是不需要的，（ii）遗憾的遗憾可以独立于$ x_t $'s的协方差矩阵的（逆）最小特征值，以往的界限。此外，我们讨论了一个更好的遗憾，可以实现更好的遗憾以及如何应用汤普森采样算法来提供价格的有效计算。

我们研究随机的在线资源分配：决策者需要分配有限的资源来为随机生成的顺序派遣请求，以最大程度地提高奖励。通过练习，我们考虑了一个数据驱动的设置，在该设置中，请求独立于决策者未知的分布。过去已经对在线资源分配及其特殊情况进行了广泛的研究，但是这些先前的结果至关重要和普遍地依赖于一个实际上不可能的假设：请求总数（地平线）是决策者事先知道的。在许多应用程序（例如收入管理和在线广告）中，由于需求或用户流量强度的波动，请求的数量可能差异很大。在这项工作中，我们开发了在线算法，这些算法对地平线不确定性是可靠的。与已知的马环境形成鲜明对比的是，我们表明没有算法可以达到与视野不确定性无关的恒定渐近竞争比率。然后，我们引入了一种新型算法，该算法将双镜下降与精心选择的目标消耗序列结合在一起，并证明其达到了有限的竞争比率。从地平线不确定性增长时，我们的竞争比达到了最佳生长速率，我们的算法几乎是最佳的。

我们考虑具有未知实用程序参数的多项式logit模型（MNL）下的动态分类优化问题。本文研究的主要问题是$ \ varepsilon $ - 污染模型下的模型错误指定，该模型是强大统计和机器学习中的基本模型。特别是，在整个长度$ t $的销售范围内，我们假设客户根据$（1- \ varepsilon）$ - 时间段的$（1- \ varepsilon）的基础多项式logit选择模型进行购买，并进行任意购买取而代之的是在剩余的$ \ varepsilon $ - 分数中的决策。在此模型中，我们通过主动淘汰策略制定了新的强大在线分类优化政策。我们对遗憾建立上限和下界，并表明当分类能力恒定时，我们的政策是$ t $的最佳对数因素。分类能力具有恒定的上限。我们进一步制定了一种完全自适应策略，该政策不需要任何先验知识，即污染参数$ \ varepsilon $。如果存在最佳和亚最佳产品之间存在的亚临时差距，我们还建立了依赖差距的对数遗憾上限和已知的 - $ \ VAREPSILON $和UNKNOWER-$ \ \ VAREPSILON $案例。我们的仿真研究表明，我们的政策表现优于基于上置信度范围（UCB）和汤普森采样的现有政策。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

在Fisher市场中，代理商（用户）花费（人造）货币预算来购买最大化其公用事业的商品，而中央规划师则将其设定为容量约束的商品，以便市场清算。但是，定价方案在Fisher市场实现平衡结果方面的功效通常取决于用户的预算和公用事业的完全了解，并且要求交易在同时存在所有用户的静态市场中发生。结果，我们研究了Fisher市场的在线变体，其中有私人公用事业和预算参数的预算受限用户，绘制了I.I.D.从分配$ \ Mathcal {d} $，顺序输入市场。在这种情况下，我们开发了一种仅根据用户消费的观察结果来调整价格的算法用户数量和良好的能力量表为$ O（n）$。在这里，我们的遗憾措施是在线算法和离线甲骨文之间的艾森伯格 - 盖尔计划目标的最佳差距，并提供有关用户预算和公用事业的完整信息。为了确定我们方法的功效，我们证明了任何统一（静态）定价算法，包括设定预期平衡价格并完全了解分销$ \ MATHCAL {D} $的算法，既无法实现遗憾和限制的违反比$ \ omega（\ sqrt {n}）$。虽然我们揭示的偏好算法不需要对分布$ \ MATHCAL {d} $不了解，但我们表明，如果$ \ Mathcal {d} $是已知的，则是预期的平衡定价Achieves $ O（\ log（\ log（n））的自适应变体）$遗憾和离散分发的恒定容量违反。最后，我们提出了数值实验，以证明相对于几个基准测试的揭示偏好算法的性能。

我们研究在线学习问题，决策者必须采取一系列决策，但要受到$ M $长期约束。决策者的目标是最大程度地提高其总奖励，同时达到小累积约束，在$ t $回合中违规。我们介绍了此一般类问题的第一个最佳世界类型算法，在根据未知随机模型选择奖励和约束的情况下，无需保证，在它们的情况下，在他们的情况下选择了奖励和约束。在每个回合中由对手选择。我们的算法是关于满足长期约束的最佳固定策略的第一个在对抗环境中提供保证的算法。特别是，它保证了$ \ rho/（1+ \ rho）$的最佳奖励和额定性遗憾，其中$ \ rho $是与严格可行的解决方案有关的可行性参数。我们的框架采用传统的遗憾最小化器作为黑盒组件。因此，通过使用适当的遗憾最小化器进行实例化，它可以处理全反馈以及强盗反馈设置。此外，它允许决策者通过非凸奖励和约束无缝处理场景。我们展示了如何在重复拍卖的预算管理机制的背景下应用我们的框架，以保证不包装的长期约束（例如，ROI约束）。

我们研究了在线上下文决策问题，并具有资源约束。在每个时间段，决策者首先根据给定上下文向量预测奖励向量和资源消耗矩阵，然后解决下游优化问题以做出决策。决策者的最终目标是最大程度地利用资源消耗的奖励和效用总结，同时满足资源限制。我们提出了一种算法，该算法将基于“智能预测 - 优化（SPO）”方法的预测步骤与基于镜像下降的双重更新步骤。我们证明了遗憾的界限，并证明了我们方法的总体收敛率取决于$ \ Mathcal {o}（t^{ - 1/2}）$在线镜面下降的收敛性以及使用的替代损失功能的风险范围学习预测模型。我们的算法和后悔界限适用于资源约束的一般凸的可行区域，包括硬和软资源约束案例，它们适用于广泛的预测模型，与线性上下文模型或有限策略空间的传统设置相比。我们还进行数值实验，以与传统的仅限预测方法相比，在多维背包和最长的路径实例上，与传统的仅预测方法相比，我们提出的SPO型方法的强度。

本文考虑了具有一般非线性约束的随机线性匪徒。目标是通过每轮$ \ Tau \ Leq T $的一组限制来最大化预期的累计奖励。我们提出了一种悲观的乐观乐观算法，其在两个方面有效。首先，算法产生$ \ tilde {\ cal o} \ left（\ left（\ frac {k ^ {0.75}} {\ delta}} {\ delta} + d \ over）\ sqrt {\ tau} \右）$（伪）在圆形$ \ tau \ leq t，$ k $的遗憾，$ k $是约束的数量，$ d $是奖励功能空间的尺寸，$ \ delta $ in是slater的常数;在任何圆形$ \ tau> \ tau'中的零限制违规，$ \ tau' $独立于地平线$ t. $ the $秒，算法是计算效率的。我们的算法基于优化中的原始方法，包括两个组件。原始分量类似于无约束的随机线性匪徒（我们的算法使用线性上置信界限算法（Linucb））。双组分的计算复杂性取决于约束的数量，而是与上下文空间，动作空间和特征空间的大小无关。因此，我们的算法的整体计算复杂性类似于线性UCB的线性UCB，用于无约束随机线性匪徒。

以下序列出售了许多产品：首先显示焦点产品，如果购买客户，则显示一种或多种辅助产品以供购买。一个突出的例子是出售航空票，首先显示航班，并在选择时出售了许多辅助机构，例如机舱或袋装选项，座位选择，保险等。该公司必须决定销售格式 - 是按串联捆绑或作为捆绑销售的形式出售 - 以及如何分别或捆绑产品为焦点和辅助产品定价。由于仅在购买焦点产品后才考虑辅助性，因此公司选择的销售策略会在产品之间创建信息和学习依赖性：例如，仅提供一套捆绑包将排除学习客户对焦点的估值和辅助产品。在本文中，我们在以下情况下研究了这种焦点和辅助项目组合的学习策略：（a）纯捆绑向所有客户捆绑，（b）个性化机制，在其中，根据客户的某些观察到的功能，这两种产品都会呈现并以捆绑包或顺序定价，（c）最初（适用于所有客户），并在地平线期间永久切换（如果更有利可图）。我们为所有三种情况设计定价和决策算法，遗憾的是由$ o（d \ sqrt {t} \ log t）$限制，以及第三种情况的最佳切换时间。

我们通过反馈信息研究了离线和在线上下文优化的问题，而不是观察损失，我们会在事后观察到最佳的动作，而是对目标功能充分了解的甲骨文。我们的目标是最大程度地减少遗憾，这被定义为我们的损失与全知的甲骨所产生的损失之间的区别。在离线设置中，决策者可以从过去段中获得信息，并且需要做出一个决策，而在在线环境中，决策者在每个时期内都会动态地基于一组新的可行动作和上下文功能，以动态进行决策。 。对于离线设置，我们表征了最佳的最小策略，确定可以实现的性能，这是数据引起的信息的基础几何形状的函数。在在线环境中，我们利用这种几何表征来优化累积遗憾。我们开发了一种算法，该算法在时间范围内产生了对数的第一个遗憾。

我们考虑带有背包的土匪（从此以后，BWK），这是一种在供应/预算限制下的多臂土匪的通用模型。特别是，强盗算法需要解决一个众所周知的背包问题：找到最佳的物品包装到有限尺寸的背包中。 BWK问题是众多激励示例的普遍概括，范围从动态定价到重复拍卖，再到动态AD分配，再到网络路由和调度。尽管BWK的先前工作集中在随机版本上，但我们开创了可以在对手身上选择结果的另一个极端。与随机版本和“经典”对抗土匪相比，这是一个更加困难的问题，因为遗憾的最小化不再可行。相反，目的是最大程度地减少竞争比率：基准奖励与算法奖励的比率。我们设计了一种具有竞争比O（log t）的算法，相对于动作的最佳固定分布，其中T是时间范围；我们还证明了一个匹配的下限。关键的概念贡献是对问题的随机版本的新观点。我们为随机版本提出了一种新的算法，该算法是基于重复游戏中遗憾最小化的框架，并且与先前的工作相比，它具有更简单的分析。然后，我们为对抗版本分析此算法，并将其用作求解后者的子例程。

通过在线实验和违规学习中的实践需求激励，我们研究了安全最佳设计的问题，在那里我们开发了一个有效探索的数据记录策略，同时通过基线生产政策实现竞争奖励。我们首先展示，也许令人惊讶的是，尽管安全，但尽管安全，但尽管是安全的，但仍有统一探索的常见做法是最大化信息增益的次优。然后，我们提出了一个安全的最佳日志记录策略，因为没有有关操作的预期奖励的侧面信息。我们通过考虑侧面信息来改进这种设计，并且还通过线性奖励模型扩展到大量动作的方法。我们分析了我们的数据记录策略如何影响禁止策略学习中的错误。最后，我们通过进行广泛的实验，经验验证了我们设计的好处。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.