在本文中，我们调查了如何在重复的上下文首次价格拍卖中出价的问题。我们考虑一个投标人（学习者）在第一个价格拍卖中反复出价：每次$ t $，学习者都会观察上下文$ x_t \ in \ mathbb {r} ^ d $，并根据历史信息决定出价$ x_t $。我们假设所有其他人的最大出价的结构化线性模型$ m_t = \ alpha_0 \ cdot x_t + z_t $，其中$ \ alpha_0 \ in \ mathbb {r} ^ d $对学习者未知，$ z_t $随机地从噪声分布$ \ mathcal {f} $上采样，使用log-tym-tangave密度函数$ f $。我们考虑\ emph {二进制反馈}（学习者只能观察她是否赢）和\ emph {完全信息反馈}（学习者可以在每次$ t $的末尾观察$ m_t $）。对于二进制反馈，当噪声分布$ \ mathcal {f} $时，我们提出了一种竞标算法，通过使用最大似然估计（MLE）方法来实现至多$ \ widetilde {o}（\ sqrt {\ log（ d）t}）$后悔。此外，我们将该算法概括为具有二进制反馈的设置，并且噪声分布未知，但属于参数化分布。对于具有\ EMPH {Unknown}噪声分布的完整信息反馈，我们提供了一种算法，它在大多数$ \ widetilde {o}（\ sqrt {dt}）$上实现后悔。我们的方法将估计器组合了对数凹入密度函数，然后将MLE方法同时学习噪声分布$ \ mathcal {f} $和线性重量$ \ alpha_0 $。我们还提供了一个下限的结果，使得广泛课堂上的任何竞标政策必须至少为\ omega（\ sqrt {t}）$而遗憾，即使学习者收到完整信息反馈和$ \ mathcal {f} $已知。

我们在广义线性需求模型下考虑与协变量的动态定价问题：卖方可以在$ T $时间段的地平线上动态调整产品的价格，并在每次$ T $时，产品的需求是通过未知的广义线性模型共同由价格和可观察的协变量矢量$ x_t \ in \ mathbb {r} ^ d $。现有文献中的大多数假设协变量矢量$ X_T $的独立和相同分布（i.i.d.）;少数论文放松这种假设牺牲模型一般性或产生了次优遗憾的界限。在本文中，我们显示简单的定价算法有$ O（D \ SQRT {T} \ log t）$后悔上限而不假设协变量上的任何统计结构$ x_t $（甚至可以任意选择）。遗憾的上限与对数因子的下限（即使是i.i.d.假设）匹配。我们的论文如此表明（i）i.i.d.获得低遗憾的假设是不需要的，（ii）遗憾的遗憾可以独立于$ x_t $'s的协方差矩阵的（逆）最小特征值，以往的界限。此外，我们讨论了一个更好的遗憾，可以实现更好的遗憾以及如何应用汤普森采样算法来提供价格的有效计算。

一流拍卖基本上基于Vickrey拍卖的基于程序化广告的传统竞标方法。就学习而言，首次拍卖更具挑战性，因为最佳招标策略不仅取决于物品的价值，还需要一些其他出价的知识。他们已经升级了续集学习的几种作品，其中许多人考虑以对抗方式选择买方或对手最大出价的型号。即使在最简单的设置中，这也会导致算法，其后悔在$ \ sqrt {t} $方面与时间纵横为$ t $。专注于买方对静止随机环境扮演的情况，我们展示了如何实现显着较低的遗憾：当对手的最大竞标分布是已知的，我们提供了一种遗留算法，其后悔可以低至$ \ log ^ 2（t ）$;在必须顺序地学习分发的情况下，对于任何$ \ epsilon> 0 $来说，该算法的概括可以达到$ t ^ {1/3 + \ epsilon} $。为了获得这些结果，我们介绍了两种可能对自己兴趣感兴趣的新颖思想。首先，通过在发布的价格设置中获得的结果进行输，我们提供了一个条件，其中一流的挡板效用在其最佳状态下局部二次。其次，我们利用观察到，在小子间隔上，可以更准确地控制经验分布函数的变化的浓度，而不是使用经典的DVORETZKY-Kiefer-Wolfowitz不等式来控制。数值模拟确认，我们的算法比各种出价分布中提出的替代方案更快地收敛，包括在实际的程序化广告平台上收集的出价。

我们研究了一种强化学习理论（RL），其中学习者在情节结束时仅收到一次二进制反馈。尽管这是理论上的极端测试案例，但它也可以说是实际应用程序的代表性，而不是在RL实践中，学习者在每个时间步骤中都会收到反馈。的确，在许多实际应用的应用程序中，例如自动驾驶汽车和机器人技术，更容易评估学习者的完整轨迹要么是“好”还是“坏”，但是更难在每个方面提供奖励信号步。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算上有效的算法，从而实现了sublinear遗憾。

以下序列出售了许多产品：首先显示焦点产品，如果购买客户，则显示一种或多种辅助产品以供购买。一个突出的例子是出售航空票，首先显示航班，并在选择时出售了许多辅助机构，例如机舱或袋装选项，座位选择，保险等。该公司必须决定销售格式 - 是按串联捆绑或作为捆绑销售的形式出售 - 以及如何分别或捆绑产品为焦点和辅助产品定价。由于仅在购买焦点产品后才考虑辅助性，因此公司选择的销售策略会在产品之间创建信息和学习依赖性：例如，仅提供一套捆绑包将排除学习客户对焦点的估值和辅助产品。在本文中，我们在以下情况下研究了这种焦点和辅助项目组合的学习策略：（a）纯捆绑向所有客户捆绑，（b）个性化机制，在其中，根据客户的某些观察到的功能，这两种产品都会呈现并以捆绑包或顺序定价，（c）最初（适用于所有客户），并在地平线期间永久切换（如果更有利可图）。我们为所有三种情况设计定价和决策算法，遗憾的是由$ o（d \ sqrt {t} \ log t）$限制，以及第三种情况的最佳切换时间。

我们建议使用$ \ tilde {o}（\ sqrt {\ kappa^{ - 1} \ phi t} \ phi t}）$ hears $ t $ the $ \ phi $ phi $是$ \ phi $是最olutimut，$ \ phi $是$ \ phi $，我们提出了一种用于广义线性奖励的新颖的上下文强盗算法。上下文协方差和$ \ kappa $的特征值是奖励差异的下限。在几种实际情况下，$ \ phi = o（d）$，我们的结果是带有$ \ sqrt {d} $的广义线性模型（GLM）土匪的第一个遗憾，而无需依赖Auer [2002]的方法。我们使用一个称为双重运动估计器的新型估计器（Doubly-bobust（DR）估计器的子类，但误差较紧，我们就实现了这种结合。 Auer [2002]的方法通过丢弃观察到的奖励来实现独立性，而我们的算法则在使用我们的DDR估计器的所有情况下实现了独立性。我们还提供了一个$ o（\ kappa^{ - 1} \ phi \ log（nt）\ log t）$遗憾在概率的边缘条件下以$ n $武器约束。 Bastani和Bayati [2020]和Bastani等人给出了遗憾的界限。 [2021]在环境中，所有臂都是共同的，但系数是特定的。当所有臂的上下文都不同，但系数很常见时，我们的第一个遗憾是在线性模型或GLM的边缘条件下绑定的。我们使用合成数据和真实示例进行实证研究，证明了我们的算法的有效性。

We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.

我们通过审查反馈重复进行一定的第一价格拍卖来研究在线学习，在每次拍卖结束时，出价者只观察获胜的出价，学会了适应性地出价，以最大程度地提高她的累积回报。为了实现这一目标，投标人面临着一个具有挑战性的困境：如果她赢得了竞标 - 获得正收益的唯一方法 - 然后她无法观察其他竞标者的最高竞标，我们认为我们认为这是从中汲取的。一个未知的分布。尽管这一困境让人联想到上下文强盗中的探索探索折衷权，但现有的UCB或汤普森采样算法无法直接解决。在本文中，通过利用第一价格拍卖的结构属性，我们开发了第一个实现$ o（\ sqrt {t} \ log^{2.5} t）$ hearry bund的第一个学习算法（\ sqrt {t} \ log^{2.5} t），这是最小值的最低$ $ \ log $因素，当投标人的私人价值随机生成时。我们这样做是通过在一系列问题上提供算法，称为部分有序的上下文匪徒，该算法将图形反馈跨动作，跨环境跨上下文进行结合，以及在上下文中的部分顺序。我们通过表现出一个奇怪的分离来确定该框架的优势和劣势，即在随机环境下几乎可以独立于动作/背景规模的遗憾，但是在对抗性环境下是不可能的。尽管这一通用框架有限制，但我们进一步利用了第一价格拍卖的结构，并开发了一种学习算法，该算法在存在对手生成的私有价值的情况下，在存在的情况下可以有效地运行样本（并有效地计算）。我们建立了一个$ o（\ sqrt {t} \ log^3 t）$遗憾，以此为此算法，因此提供了对第一价格拍卖的最佳学习保证的完整表征。

我们考虑在随机凸成本和状态和成本函数的全部反馈下控制未知线性动力学系统的问题。我们提出了一种计算高效的算法，该算法与最佳的稳定线性控制器相比，该算法达到了最佳的$ \ sqrt {t} $遗憾。与以前的工作相反，我们的算法基于面对不确定性范式的乐观情绪。这导致了大大改善的计算复杂性和更简单的分析。

本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前，卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例，其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小，位置和分散的联合效果。具体而言，离线数据的大小，位置和色散由历史样本数量为$ n $，平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left（\ sqrt {t} \ wedge \ frac {t} {（n \ wedge t）\ delta ^ 2 + n \ sigma ^ 2} \右）$，基于“面对不确定性”原则的“乐观主义”的学习算法，其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换，我们称之为阶段转型。此外，我们的结果表明，离线数据的位置和分散也对最佳遗憾具有内在效果，我们通过逆平面法量化了这种效果。

最近有很多不可能的结果表明，在与对抗对手的马尔可夫游戏中最小化的遗憾在统计学上和计算上是棘手的。然而，这些结果都没有排除在所有各方采用相同学习程序的假设下，遗憾最小化的可能性。在这项工作中，我们介绍了第一种（据我们所知）在通用马尔可夫游戏中学习的算法，该算法在所有代理商执行时提供了sublinear后悔保证。我们获得的边界是为了置换遗憾，因此，在此过程中，意味着融合了相关的平衡。我们的算法是分散的，计算上有效的，并且不需要代理之间的任何通信。我们的主要观察结果是，在马尔可夫游戏中通过策略优化的在线学习基本上减少了一种加权遗憾的最小化形式，而未知权重由代理商的策略顺序的路径长度确定。因此，控制路径长度会导致加权的遗憾目标，以提供足够的适应性算法提供统一的后悔保证。

有关项目的部分信息的拍卖广泛用于现实世界应用中，但是基本机制的理论支持有限。在这项工作中，我们研究了这些类型的机制的机器学习公式，从买家的角度提出了算法，这些算法是没有重新格雷的。具体来说，希望最大化其公用事业的买家与一系列$ t $圆的平台反复互动。在每个回合中，都从未知分布中汲取新项目，并且该平台以不完整的“掩盖”信息发布了价格。然后，买家决定是否购买该商品。我们将这个问题正式化为在线学习任务，其目标是对近视甲骨文的遗憾，该甲骨文对物品的分布和卖方的掩盖功能具有完美的了解。当买家知道项目的分布和蒙版是一个simhash函数映射$ \ mathbb {r}^d $ to $ \ {0,1 \}^{\ ell} $时，我们的算法很遗憾$ \ tilde o（（（td \ ell）^{1/2}）$。在完全不可知的设置中，当掩码是任意函数映射到一组$ n $并且价格随机映射时，我们的算法很遗憾$ \ tilde o（（TN）^{1/2}）$。

在本文中，我们考虑了MNL-Bandit问题的上下文变体。更具体地说，我们考虑了一个动态设置优化问题，决策者为消费者提供了一系列产品（各种产品），并在每回合中观察他们的响应。消费者购买产品以最大化其实用性。我们假设一组属性描述了产品，并且产品的平均效用在这些属性的值中是线性的。我们使用广泛使用的多项式logit（MNL）模型对消费者选择行为进行建模，并考虑动态学习模型参数的决策者问题，同时优化累计收入，超过销售范围$ t $。尽管最近这个问题引起了人们的关注，但许多现有方法通常涉及解决棘手的非凸优化问题。他们的理论绩效保证取决于问题依赖性参数，该参数可能非常大。特别是，此问题的现有算法对$ o（\ sqrt {\ kappa d t}）$界后后悔，其中$ \ kappa $是问题依赖性常数，可以对属性的数量具有指数依赖性。在本文中，我们提出了一种乐观的算法，并表明遗憾是由$ o（\ sqrt {dt} + \ kappa）$界定的，从而大大提高了现有方法的性能。此外，我们提出了对优化步骤的放松，该步骤允许进行可牵引的决策，同时保留有利的遗憾保证。

资源限制的在线分配问题是收入管理和在线广告中的核心问题。在这些问题中，请求在有限的地平线期间顺序到达，对于每个请求，决策者需要选择消耗一定数量资源并生成奖励的动作。目标是最大限度地提高累计奖励，这是对资源总消费的限制。在本文中，我们考虑一种数据驱动的设置，其中使用决策者未知的输入模型生成每个请求的奖励和资源消耗。我们设计了一般的算法算法，可以在各种输入模型中实现良好的性能，而不知道它们面临的类型类型。特别是，我们的算法在独立和相同的分布式输入以及各种非静止随机输入模型下是渐近的最佳选择，并且当输入是对抗性时，它们达到渐近最佳的固定竞争比率。我们的算法在Lagrangian双色空间中运行：它们为使用在线镜像血管更新的每个资源维护双倍乘数。通过相应地选择参考功能，我们恢复双梯度下降和双乘法权重更新算法。与现有的在线分配问题的现有方法相比，所产生的算法简单，快速，不需要在收入函数，消费函数和动作空间中凸起。我们将应用程序讨论到网络收入管理，在线竞标，重复拍卖，预算限制，与高熵的在线比例匹配，以及具有有限库存的个性化分类优化。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

我们研究了用线性函数近似的加固学习中的违规评估（OPE）问题，旨在根据行为策略收集的脱机数据来估计目标策略的价值函数。我们建议纳入价值函数的方差信息以提高ope的样本效率。更具体地说，对于时间不均匀的epiSodic线性马尔可夫决策过程（MDP），我们提出了一种算法VA-OPE，它使用价值函数的估计方差重新重量拟合Q迭代中的Bellman残差。我们表明我们的算法达到了比最着名的结果绑定的更紧密的误差。我们还提供了行为政策与目标政策之间的分布转移的细粒度。广泛的数值实验证实了我们的理论。

我们考虑对对抗性马尔可夫决策过程（AMDP）的遗憾最小化，其中损失功能随着时间的流逝而变化和对抗性，学习者仅观察访问的国家行动对的损失（即强盗反馈）。尽管使用在线培训（OMD）方法对此问题进行了大量研究，但对以下扰动领导者（FTPL）方法的了解很少，这些方法通常在计算上更有效，并且更易于实施仅仅需要解决离线计划问题。以此为激励，我们仔细研究了从标准的情节有限摩托设置开始学习AMDP的FTPL。我们在分析中发现了一些独特而有趣的困难，并提出解决方法，最终表明FTPL在这种情况下也能够达到近乎最佳的遗憾界限。更重要的是，我们然后找到两个重要的应用：首先，FTPL的分析很容易被延迟的匪徒反馈和订单最佳的遗憾，而OMD方法则表现出额外的困难（Jin等，2022）。其次，使用FTPL，我们还开发了第一个用于学习在无限 - 摩恩环境中通过匪徒反馈和随机过渡的无限 - 马设置中通信AMDP的NO-Regret算法。我们的算法是有效的，假设访问离线规划Oracle，即使为了易于全信息设置，唯一的现有算法（Chandrasekaran和Tewari，2021年）在计算上效率低下。

在线广告最近已发展成为一个竞争激烈且复杂的数十亿美元行业，广告商在大型和高频上竞标广告插槽。这导致对有效的“自动招标”算法的需求日益增长，这些算法确定了传入查询的投标，以最大程度地提高广告商的目标，但受其指定的约束。这项工作探讨了在日益流行的约束下，为单个价值最大化广告商提供有效的在线算法：返回式增长（ROS）。相对于最佳算法，我们对遗憾进行了量化效率，该算法知道所有查询所有查询都是先验的。我们贡献了一种简单的在线算法，该算法在期望中实现了近乎最佳的遗憾，同时始终尊重指定的ROS约束，当查询的输入顺序为i.i.d.来自某些分布的样本。我们还将结果与Balseiro，Lu和Mirrokni [BLM20]的先前工作相结合，以实现近乎最佳的遗憾，同时尊重ROS和固定的预算限制。我们的算法遵循原始的二重式框架，并使用在线镜像下降（OMD）进行双重更新。但是，我们需要使用非典型的OMD设置，因此需要使用OMD的经典低rebret保证，该保证是用于在线学习中的对抗性环境的，不再存在。尽管如此，在我们的情况下，在更普遍的情况下，在算法设计中应用低纤维动力学的情况下，OMD遇到的梯度可能远非对抗性，但受我们的算法选择的影响。我们利用这一关键见解来显示我们的OMD设置在我们的算法领域中造成了低落的遗憾。

我们在随机匪徒上使用时（协变量）信息时，我们研究了固定信道的最佳武器识别问题。虽然我们可以在每轮中使用上下文信息，但我们对在语境分布上的边缘化平均奖励感兴趣。我们的目标是在给定值的错误率下识别最少数量的采样。我们显示出问题的特定实例的示例复杂性下限。然后，我们提出了一个“跟踪和停止”策略的上下文知识版本，其中ARM的比例绘制追踪一组最佳分配，并证明预期的ARM绘制数与渐近的下限匹配。我们证明，与Garivier＆Kaufmann（2016）的结果相比，可以使用上下文信息来提高最佳边缘化平均奖励的效率。我们通过实验证实了上下文信息有助于更快的最佳武器识别。

这项工作研究了凸和Lipschitz功能的在线零级优化。我们基于两个函数评估和$ \ ell_1 $ -sphere的随机化提出了一个新颖的梯度估计器。考虑到可行的集合和Lipschitz假设的不同几何形状，我们分析了在线双重平均算法的算法，代替了通常的梯度。我们考虑对零级甲骨文噪声的两种假设：取消噪声和对抗性噪声。我们提供任何时间和完全数据驱动的算法，它适应问题的所有参数。在文献中先前研究过的噪声的情况下，我们的保证可以比Duchi等人获得的最新界限可比性或更好。 （2015）和Shamir（2017）非自适应算法。我们的分析是基于在$ \ ell_1 $ -sphere上带有显式常数的均匀度量的新加权的Poincar \'e类型不等式，这可能具有独立的利益。