我们研究了在$ n $均质代理之间分配$ t $依次到达项目的问题，即每个代理必须收到所有项目的预先指定的分数，目的是最大化代理商的总估值，分配给他们的项目的总估值。假定代理在每轮中对该项目的估值为I.I.D。但是它们的分布是中央计划者未知的先验。因此，中央规划师需要从观察到的价值中隐含地学习这些分布，以便选择良好的分配策略。但是，这里的另一个挑战是，代理商是战略性的，并激励他们误导其估值，以便获得更好的分配。这使我们的工作与在线拍卖设计设置不同，这些设置通常假设已知的估值分布和/或涉及付款，也可以从不考虑战略代理的在线学习环境中进行付款。为此，我们的主要贡献是一种基于在线学习的分配机制，大约是贝叶斯激励兼容的，当所有代理人都是真实的时，与最佳离线分配政策相比，在所有代理商的效用中保证了sublinear的遗憾。

在Fisher市场中，代理商（用户）花费（人造）货币预算来购买最大化其公用事业的商品，而中央规划师则将其设定为容量约束的商品，以便市场清算。但是，定价方案在Fisher市场实现平衡结果方面的功效通常取决于用户的预算和公用事业的完全了解，并且要求交易在同时存在所有用户的静态市场中发生。结果，我们研究了Fisher市场的在线变体，其中有私人公用事业和预算参数的预算受限用户，绘制了I.I.D.从分配$ \ Mathcal {d} $，顺序输入市场。在这种情况下，我们开发了一种仅根据用户消费的观察结果来调整价格的算法用户数量和良好的能力量表为$ O（n）$。在这里，我们的遗憾措施是在线算法和离线甲骨文之间的艾森伯格 - 盖尔计划目标的最佳差距，并提供有关用户预算和公用事业的完整信息。为了确定我们方法的功效，我们证明了任何统一（静态）定价算法，包括设定预期平衡价格并完全了解分销$ \ MATHCAL {D} $的算法，既无法实现遗憾和限制的违反比$ \ omega（\ sqrt {n}）$。虽然我们揭示的偏好算法不需要对分布$ \ MATHCAL {d} $不了解，但我们表明，如果$ \ Mathcal {d} $是已知的，则是预期的平衡定价Achieves $ O（\ log（\ log（n））的自适应变体）$遗憾和离散分发的恒定容量违反。最后，我们提出了数值实验，以证明相对于几个基准测试的揭示偏好算法的性能。

我们研究在线学习问题，决策者必须采取一系列决策，但要受到$ M $长期约束。决策者的目标是最大程度地提高其总奖励，同时达到小累积约束，在$ t $回合中违规。我们介绍了此一般类问题的第一个最佳世界类型算法，在根据未知随机模型选择奖励和约束的情况下，无需保证，在它们的情况下，在他们的情况下选择了奖励和约束。在每个回合中由对手选择。我们的算法是关于满足长期约束的最佳固定策略的第一个在对抗环境中提供保证的算法。特别是，它保证了$ \ rho/（1+ \ rho）$的最佳奖励和额定性遗憾，其中$ \ rho $是与严格可行的解决方案有关的可行性参数。我们的框架采用传统的遗憾最小化器作为黑盒组件。因此，通过使用适当的遗憾最小化器进行实例化，它可以处理全反馈以及强盗反馈设置。此外，它允许决策者通过非凸奖励和约束无缝处理场景。我们展示了如何在重复拍卖的预算管理机制的背景下应用我们的框架，以保证不包装的长期约束（例如，ROI约束）。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

我们研究Stackelberg游戏，其中一位校长反复与长寿，非洋流代理商进行互动，而不知道代理商的回报功能。尽管当代理商是近视，非侧心代理会带来额外的并发症时，在Stackelberg游戏中的学习是充分理解的。尤其是，非洋流代理可以从战略上选择当前劣等的行动，以误导校长的学习算法并在未来获得更好的结果。我们提供了一个通用框架，该框架可在存在近视剂的情况下降低非洋白酶的学习来优化强大的匪徒。通过设计和分析微型反应性匪徒算法，我们的还原从校长学习算法的统计效率中进行了差异，以与其在诱导接近最佳的响应中的有效性。我们将此框架应用于Stackelberg Security Games（SSG），需求曲线，战略分类和一般有限的Stackelberg游戏的价格。在每种情况下，我们都表征了近最佳响应中存在的错误的类型和影响，并为此类拼写错误开发了一种鲁棒性的学习算法。在此过程中，我们通过最先进的$ O（n^3）$从SSGS中提高了SSG中的学习复杂性，从通过发现此类游戏的基本结构属性。该结果除了对非洋流药物学习之外，还具有独立的兴趣。

一流拍卖基本上基于Vickrey拍卖的基于程序化广告的传统竞标方法。就学习而言，首次拍卖更具挑战性，因为最佳招标策略不仅取决于物品的价值，还需要一些其他出价的知识。他们已经升级了续集学习的几种作品，其中许多人考虑以对抗方式选择买方或对手最大出价的型号。即使在最简单的设置中，这也会导致算法，其后悔在$ \ sqrt {t} $方面与时间纵横为$ t $。专注于买方对静止随机环境扮演的情况，我们展示了如何实现显着较低的遗憾：当对手的最大竞标分布是已知的，我们提供了一种遗留算法，其后悔可以低至$ \ log ^ 2（t ）$;在必须顺序地学习分发的情况下，对于任何$ \ epsilon> 0 $来说，该算法的概括可以达到$ t ^ {1/3 + \ epsilon} $。为了获得这些结果，我们介绍了两种可能对自己兴趣感兴趣的新颖思想。首先，通过在发布的价格设置中获得的结果进行输，我们提供了一个条件，其中一流的挡板效用在其最佳状态下局部二次。其次，我们利用观察到，在小子间隔上，可以更准确地控制经验分布函数的变化的浓度，而不是使用经典的DVORETZKY-Kiefer-Wolfowitz不等式来控制。数值模拟确认，我们的算法比各种出价分布中提出的替代方案更快地收敛，包括在实际的程序化广告平台上收集的出价。

在线学习通常需要探索以最大程度地提高长期奖励，但这是以短期“遗憾”为代价的。我们研究如何在多个小组之间分担这种探索成本。例如，在临床试验环境中，分配了亚最佳治疗的患者有效地产生了勘探成本。当患者根据种族或年龄与自然群体相关联时，自然要问任何单一群体所承担的探索成本是否“公平”。如此有动力，我们介绍了“分组”的强盗模型。我们利用公理讨价还价的理论，尤其是纳什议价解决方案，以形式化可能构成跨群体勘探成本的公平分裂的方式。一方面，我们表明，任何遗憾的政策都引起了最不公平的结果：此类政策将在可能的情况下传递最“处于弱势”的群体。更具建设性的方式，我们得出了最佳公平且同时享受“公平价格”的政策。我们通过对华法林剂量的上下文匪徒进行案例研究来说明我们的算法框架的相对优点，我们关注多个种族和年龄段的探索成本。

在古典语境匪徒问题中，在每轮$ t $，学习者观察一些上下文$ c $，选择一些动作$ i $执行，并收到一些奖励$ r_ {i，t}（c）$。我们考虑此问题的变体除了接收奖励$ r_ {i，t}（c）$之外，学习者还要学习其他一些上下文$的$ r_ {i，t}（c'）$的值C'$ in设置$ \ mathcal {o} _i（c）$;即，通过在不同的上下文下执行该行动来实现的奖励\ mathcal {o} _i（c）$。这种变体出现在若干战略设置中，例如学习如何在非真实的重复拍卖中出价，最热衷于随着许多平台转换为运行的第一价格拍卖。我们将此问题称为交叉学习的上下文匪徒问题。古典上下围匪徒问题的最佳算法达到$ \ tilde {o}（\ sqrt {ckt}）$遗憾针对所有固定策略，其中$ c $是上下文的数量，$ k $的行动数量和$ $次数。我们设计并分析了交叉学习的上下文匪徒问题的新算法，并表明他们的遗憾更好地依赖上下文的数量。在选择动作时学习所有上下文的奖励的完整交叉学习下，即设置$ \ mathcal {o} _i（c）$包含所有上下文，我们显示我们的算法实现后悔$ \ tilde {o}（ \ sqrt {kt}）$，删除$ c $的依赖。对于任何其他情况，即在部分交叉学习下，$ | \ mathcal {o} _i（c）| <c $ for $（i，c）$，遗憾界限取决于如何设置$ \ mathcal o_i（c）$影响上下文之间的交叉学习的程度。我们从Ad Exchange运行一流拍卖的广告交换中模拟了我们的真实拍卖数据的算法，并表明了它们优于传统的上下文强盗算法。

我们考虑带有背包的土匪（从此以后，BWK），这是一种在供应/预算限制下的多臂土匪的通用模型。特别是，强盗算法需要解决一个众所周知的背包问题：找到最佳的物品包装到有限尺寸的背包中。 BWK问题是众多激励示例的普遍概括，范围从动态定价到重复拍卖，再到动态AD分配，再到网络路由和调度。尽管BWK的先前工作集中在随机版本上，但我们开创了可以在对手身上选择结果的另一个极端。与随机版本和“经典”对抗土匪相比，这是一个更加困难的问题，因为遗憾的最小化不再可行。相反，目的是最大程度地减少竞争比率：基准奖励与算法奖励的比率。我们设计了一种具有竞争比O（log t）的算法，相对于动作的最佳固定分布，其中T是时间范围；我们还证明了一个匹配的下限。关键的概念贡献是对问题的随机版本的新观点。我们为随机版本提出了一种新的算法，该算法是基于重复游戏中遗憾最小化的框架，并且与先前的工作相比，它具有更简单的分析。然后，我们为对抗版本分析此算法，并将其用作求解后者的子例程。

资源限制的在线分配问题是收入管理和在线广告中的核心问题。在这些问题中，请求在有限的地平线期间顺序到达，对于每个请求，决策者需要选择消耗一定数量资源并生成奖励的动作。目标是最大限度地提高累计奖励，这是对资源总消费的限制。在本文中，我们考虑一种数据驱动的设置，其中使用决策者未知的输入模型生成每个请求的奖励和资源消耗。我们设计了一般的算法算法，可以在各种输入模型中实现良好的性能，而不知道它们面临的类型类型。特别是，我们的算法在独立和相同的分布式输入以及各种非静止随机输入模型下是渐近的最佳选择，并且当输入是对抗性时，它们达到渐近最佳的固定竞争比率。我们的算法在Lagrangian双色空间中运行：它们为使用在线镜像血管更新的每个资源维护双倍乘数。通过相应地选择参考功能，我们恢复双梯度下降和双乘法权重更新算法。与现有的在线分配问题的现有方法相比，所产生的算法简单，快速，不需要在收入函数，消费函数和动作空间中凸起。我们将应用程序讨论到网络收入管理，在线竞标，重复拍卖，预算限制，与高熵的在线比例匹配，以及具有有限库存的个性化分类优化。

当他们更喜欢$ \ texit {exploit} $时，您如何激励自我兴趣的代理到$ \ texit {探索} $？我们考虑复杂的探索问题，其中每个代理面临相同（但未知）MDP。与传统的加固学习配方相比，代理商控制了政策的选择，而算法只能发出建议。然而，该算法控制信息流，并且可以通过信息不对称激励代理探索。我们设计一种算法，探讨MDP中的所有可达状态。我们达到了类似于先前研究的静态，无国籍探索问题中激励探索的保证担保。据我们所知，这是第一个考虑在有状态，强化学习环境中设计的工作。

在线广告最近已发展成为一个竞争激烈且复杂的数十亿美元行业，广告商在大型和高频上竞标广告插槽。这导致对有效的“自动招标”算法的需求日益增长，这些算法确定了传入查询的投标，以最大程度地提高广告商的目标，但受其指定的约束。这项工作探讨了在日益流行的约束下，为单个价值最大化广告商提供有效的在线算法：返回式增长（ROS）。相对于最佳算法，我们对遗憾进行了量化效率，该算法知道所有查询所有查询都是先验的。我们贡献了一种简单的在线算法，该算法在期望中实现了近乎最佳的遗憾，同时始终尊重指定的ROS约束，当查询的输入顺序为i.i.d.来自某些分布的样本。我们还将结果与Balseiro，Lu和Mirrokni [BLM20]的先前工作相结合，以实现近乎最佳的遗憾，同时尊重ROS和固定的预算限制。我们的算法遵循原始的二重式框架，并使用在线镜像下降（OMD）进行双重更新。但是，我们需要使用非典型的OMD设置，因此需要使用OMD的经典低rebret保证，该保证是用于在线学习中的对抗性环境的，不再存在。尽管如此，在我们的情况下，在更普遍的情况下，在算法设计中应用低纤维动力学的情况下，OMD遇到的梯度可能远非对抗性，但受我们的算法选择的影响。我们利用这一关键见解来显示我们的OMD设置在我们的算法领域中造成了低落的遗憾。

我们通过审查反馈重复进行一定的第一价格拍卖来研究在线学习，在每次拍卖结束时，出价者只观察获胜的出价，学会了适应性地出价，以最大程度地提高她的累积回报。为了实现这一目标，投标人面临着一个具有挑战性的困境：如果她赢得了竞标 - 获得正收益的唯一方法 - 然后她无法观察其他竞标者的最高竞标，我们认为我们认为这是从中汲取的。一个未知的分布。尽管这一困境让人联想到上下文强盗中的探索探索折衷权，但现有的UCB或汤普森采样算法无法直接解决。在本文中，通过利用第一价格拍卖的结构属性，我们开发了第一个实现$ o（\ sqrt {t} \ log^{2.5} t）$ hearry bund的第一个学习算法（\ sqrt {t} \ log^{2.5} t），这是最小值的最低$ $ \ log $因素，当投标人的私人价值随机生成时。我们这样做是通过在一系列问题上提供算法，称为部分有序的上下文匪徒，该算法将图形反馈跨动作，跨环境跨上下文进行结合，以及在上下文中的部分顺序。我们通过表现出一个奇怪的分离来确定该框架的优势和劣势，即在随机环境下几乎可以独立于动作/背景规模的遗憾，但是在对抗性环境下是不可能的。尽管这一通用框架有限制，但我们进一步利用了第一价格拍卖的结构，并开发了一种学习算法，该算法在存在对手生成的私有价值的情况下，在存在的情况下可以有效地运行样本（并有效地计算）。我们建立了一个$ o（\ sqrt {t} \ log^3 t）$遗憾，以此为此算法，因此提供了对第一价格拍卖的最佳学习保证的完整表征。

以下序列出售了许多产品：首先显示焦点产品，如果购买客户，则显示一种或多种辅助产品以供购买。一个突出的例子是出售航空票，首先显示航班，并在选择时出售了许多辅助机构，例如机舱或袋装选项，座位选择，保险等。该公司必须决定销售格式 - 是按串联捆绑或作为捆绑销售的形式出售 - 以及如何分别或捆绑产品为焦点和辅助产品定价。由于仅在购买焦点产品后才考虑辅助性，因此公司选择的销售策略会在产品之间创建信息和学习依赖性：例如，仅提供一套捆绑包将排除学习客户对焦点的估值和辅助产品。在本文中，我们在以下情况下研究了这种焦点和辅助项目组合的学习策略：（a）纯捆绑向所有客户捆绑，（b）个性化机制，在其中，根据客户的某些观察到的功能，这两种产品都会呈现并以捆绑包或顺序定价，（c）最初（适用于所有客户），并在地平线期间永久切换（如果更有利可图）。我们为所有三种情况设计定价和决策算法，遗憾的是由$ o（d \ sqrt {t} \ log t）$限制，以及第三种情况的最佳切换时间。

我们使用访问离线最小二乘回归甲骨文的访问权限，在最低可及性假设下为随机上下文MDP提供了遗憾的最小化算法。我们分析了三个不同的设置：在该动力学的位置，动力学是未知的，但独立于上下文和最具挑战性的设置，而动力学是未知和上下文依赖性的。对于后者，我们的算法获得$ \ tilde {o} \ left（\ max \ {h，{1}/{p_ {min}}} \} \} t \ log（\ max \ {| \ mathcal {f} |，| \ mathcal {p} | \}/\ delta）} \ right）$ hearse bunder bund bund bund bund bund bund bund bunging bund bunger，probinality $ 1- \ delta $，其中$ \ mathcal { P} $和$ \ Mathcal {f} $是用于分别近似动态和奖励的有限且可实现的函数类，$ p_ {min} $是最小可及性参数，$ s $是一组状态，$ a $ a $一组动作，$ h $ the Horizo​​n和$ t $情节数。据我们所知，我们的方法是使用一般函数近似的上下文MDP的第一种乐观方法（即，在没有其他有关功能类别的知识的情况下，例如线性等）。此外，我们还提供$ \ omega的下限即使在已知的动态情况下，也会产生预期的遗憾。

双重拍卖可以使货物在多个买卖双方之间进行分散化转移，从而支持许多在线市场的运作。买卖双方通过竞标在这些市场上竞争，但经常不知道自己的估值A-Priori。随着分配和定价通过出价进行，​​参与者的盈利能力，因此这些市场的可持续性取决于通过重复互动的各自学习估值的至关重要。我们启动对购买者和卖家方强盗反馈的双重拍卖市场的研究。我们以基于信心的基于信心的招标来展示，“平均定价”参与者之间有有效的价格发现。特别是，交换商品的买卖双方在$ t $ rounds中遗憾的是$ o（\ sqrt {t}）$。不从交易所中受益的买家和卖家又只经历$ o（\ log {t}/ \ delta）$后悔的$ t $ rounds，其中$ \ delta $是最低价格差距。我们通过证明良好的固定价格（一个比双重拍卖更简单的学习问题）来增强我们的上限 - $ \ omega（\ sqrt {t}）$遗憾在某些市场中是无法实现的。

在本文中，我们调查了如何在重复的上下文首次价格拍卖中出价的问题。我们考虑一个投标人（学习者）在第一个价格拍卖中反复出价：每次$ t $，学习者都会观察上下文$ x_t \ in \ mathbb {r} ^ d $，并根据历史信息决定出价$ x_t $。我们假设所有其他人的最大出价的结构化线性模型$ m_t = \ alpha_0 \ cdot x_t + z_t $，其中$ \ alpha_0 \ in \ mathbb {r} ^ d $对学习者未知，$ z_t $随机地从噪声分布$ \ mathcal {f} $上采样，使用log-tym-tangave密度函数$ f $。我们考虑\ emph {二进制反馈}（学习者只能观察她是否赢）和\ emph {完全信息反馈}（学习者可以在每次$ t $的末尾观察$ m_t $）。对于二进制反馈，当噪声分布$ \ mathcal {f} $时，我们提出了一种竞标算法，通过使用最大似然估计（MLE）方法来实现至多$ \ widetilde {o}（\ sqrt {\ log（ d）t}）$后悔。此外，我们将该算法概括为具有二进制反馈的设置，并且噪声分布未知，但属于参数化分布。对于具有\ EMPH {Unknown}噪声分布的完整信息反馈，我们提供了一种算法，它在大多数$ \ widetilde {o}（\ sqrt {dt}）$上实现后悔。我们的方法将估计器组合了对数凹入密度函数，然后将MLE方法同时学习噪声分布$ \ mathcal {f} $和线性重量$ \ alpha_0 $。我们还提供了一个下限的结果，使得广泛课堂上的任何竞标政策必须至少为\ omega（\ sqrt {t}）$而遗憾，即使学习者收到完整信息反馈和$ \ mathcal {f} $已知。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们考虑随机多武装强盗（MAB）问题，延迟影响了行动。在我们的环境中，过去采取的行动在随后的未来影响了ARM奖励。在现实世界中，行动的这种延迟影响是普遍的。例如，为某个社会群体中的人员偿还贷款的能力可能历史上历史上批准贷款申请的频率频率。如果银行将贷款申请拒绝拒绝弱势群体，则可以创建反馈循环，进一步损害该群体中获取贷款的机会。在本文中，我们制定了在多武装匪徒的背景下的行动延迟和长期影响。由于在学习期间，我们将强盗设置概括为对这种“偏置”的依赖性进行编码。目标是随着时间的推移最大化收集的公用事业，同时考虑到历史行动延迟影响所产生的动态。我们提出了一种算法，实现了$ \ tilde {\ mathcal {o}}的遗憾，并显示$ \ omega（kt ^ {2/3}）$的匹配遗憾下限，其中$ k $是武器数量，$ t $是学习地平线。我们的结果通过添加技术来补充强盗文献，以处理具有长期影响的行动，并对设计公平算法有影响。

本文介绍了一个基于双基的算法框架，用于求解具有累积的凸奖励，硬资源限制和不可分割的正常化程序的正规在线资源分配问题。在适应性更新资源约束的策略下，所提出的框架仅要求对经验二重性问题的近似解决方案，直到某种准确性，但在本地强烈凸出的假设下给出了最佳的对数遗憾。令人惊讶的是，对双重目标函数的微妙分析使我们能够消除遗憾的臭名昭著的日志因素。灵活的框架呈现出著名的和计算快速算法，例如双梯度下降和随机梯度下降。如果在双重优化过程中没有适应性更新，则建立了最糟糕的平方根遗憾下限，这强调了自适应双重变量更新的关键作用。全面的数值实验和实际数据应用证明了提出的算法框架的优点。