通过图形反馈的在线学习问题已经在文献中进行了广泛的研究，因为它的一般性和对各种学习任务进行建模的潜力。现有作品主要研究对抗和随机反馈。如果对反馈机制的先验知识是不可用的或错误的，那么这种专门设计的算法可能会遭受巨大的损失。为了避免此问题，\ citet {ererez2021towards}尝试针对两个环境进行优化。但是，他们认为反馈图是无方向性的，每个顶点都有一个自循环，这会损害框架的通用性，并且在应用程序中可能无法满足。有了一般的反馈图，在拉动该手臂时可能无法观察到手臂，这使得探索更加昂贵，并且在两种环境中最佳性能的算法更具挑战性。在这项工作中，我们通过新的权衡机制克服了这一困难，并精心设计的探索和剥削比例。我们证明了所提出的算法同时实现$ \ mathrm {poly} \ log t $在随机设置中的遗憾，而在$ versarial设置中，$ \ tilde {o} $ \ tilde {o}的最小值遗憾t $是地平线，$ \ tilde {o} $隐藏参数独立于$ t $以及对数项。据我们所知，这是通用反馈图的第一个最佳世界结果。

我们通过反馈图来重新审视随机在线学习的问题，目的是设计最佳的算法，直至常数，无论是渐近还是有限的时间。我们表明，令人惊讶的是，在这种情况下，最佳有限时间遗憾的概念并不是一个唯一的定义属性，总的来说，它与渐近率是与渐近率分离的。我们讨论了替代选择，并提出了有限时间最优性的概念，我们认为是\ emph {有意义的}。对于这个概念，我们给出了一种算法，在有限的时间和渐近上都承认了准最佳的遗憾。

汤普森抽样（TS）吸引了对强盗区域的兴趣。它在20世纪30年代介绍，但近年来尚未经过理论上证明。其在组合多武装强盗（CMAB）设置中的所有分析都需要精确的Oracle来提供任何输入的最佳解决方案。然而，这种Oracle通常是不可行的，因为许多组合优化问题是NP - 硬，并且只有近似oracles可用。一个例子（王和陈，2018）已经表明TS的失败来学习近似Oracle。但是，此Oracle罕见，仅用于特定问题实例。它仍然是一个开放的问题，无论TS的收敛分析是否可以扩展到CMAB中的精确oracle。在本文中，我们在贪婪的Oracle下研究了这个问题，这是一个常见的（近似）Oracle，具有理论上的保证来解决许多（离线）组合优化问题。我们提供了一个问题依赖性遗憾的遗憾下限为$ \ omega（\ log t / delta ^ 2）$，以量化Ts的硬度来解决贪婪的甲骨文的CMAB问题，其中$ T $是时间范围和$ Delta $是一些奖励差距。我们还提供几乎匹配的遗憾上限。这些是TS解决CMAB与常见近似甲骨文的第一个理论结果，并打破TS无法使用近似神谕的误解。

我们为线性上下文匪徒提出了一种新颖的算法（\ sqrt {dt \ log t}）$遗憾，其中$ d $是上下文的尺寸，$ t $是时间范围。我们提出的算法配备了一种新型估计量，其中探索通过显式随机化嵌入。根据随机化的不同，我们提出的估计器从所有武器的上下文或选定的上下文中都取得了贡献。我们为我们的估计器建立了一个自称的绑定，这使累积遗憾的新颖分解为依赖添加剂的术语而不是乘法术语。在我们的问题设置下，我们还证明了$ \ omega（\ sqrt {dt}）$的新颖下限。因此，我们提出的算法的遗憾与对数因素的下限相匹配。数值实验支持理论保证，并表明我们所提出的方法的表现优于现有的线性匪徒算法。

富达匪徒问题是$ k $的武器问题的变体，其中每个臂的奖励通过提供额外收益的富达奖励来增强，这取决于播放器如何对该臂进行“忠诚”在过去。我们提出了两种忠诚的模型。在忠诚点模型中，额外奖励的数量取决于手臂之前播放的次数。在订阅模型中，额外的奖励取决于手臂的连续绘制的当前数量。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最佳，因此对抗性环境中遗憾的概念需要仔细调整。我们介绍了三个可能的遗憾和调查，这可以是偏执的偏执。我们详细介绍了增加，减少和优惠券的特殊情况（玩家在手臂的每辆M $播放后获得额外的奖励）保真奖励。对于不一定享受载体遗憾的模型，我们提供了最糟糕的下限。对于那些展示Sublinear遗憾的模型，我们提供算法并绑定他们的遗憾。

我们研究了一个顺序决策问题，其中学习者面临$ k $武装的随机匪徒任务的顺序。对手可能会设计任务，但是对手受到限制，以在$ m $ and的较小（但未知）子集中选择每个任务的最佳组。任务边界可能是已知的（强盗元学习设置）或未知（非平稳的强盗设置）。我们设计了一种基于Burnit subsodular最大化的减少的算法，并表明，在大量任务和少数最佳武器的制度中，它在两种情况下的遗憾都比$ \ tilde {o}的简单基线要小。 \ sqrt {knt}）$可以通过使用为非平稳匪徒问题设计的标准算法获得。对于固定任务长度$ \ tau $的强盗元学习问题，我们证明该算法的遗憾被限制为$ \ tilde {o}（nm \ sqrt {m \ tau}+n^{2/3} m \ tau）$。在每个任务中最佳武器的可识别性的其他假设下，我们显示了一个带有改进的$ \ tilde {o}（n \ sqrt {m \ tau}+n^{1/2} {1/2} \ sqrt的强盗元学习算法{m k \ tau}）$遗憾。

在[Mannor和Shamir，Neurips 2011]中提出的图表反馈的强盗问题由指向图$ G =（v，e）$，其中$ v $是强盗臂的集合，并且一旦触发臂一旦触发，所有入射武器都被观察到。基本问题是图形的结构如何影响Min-Max后悔。我们提出了分数分别捕捉上限和下限的美元弱统治号码$ \ delta ^ * $和$ k $ -packing独立号码的概念。我们表明，两种概念通过将它们与弱主导集合的线性程序和其双分数顶点包装组对齐，通过对齐它们通过对齐它们是固有的连接。基于这一联系，我们利用了强大的二元定理来证明一般遗憾的上限$ o \ left（\ left（\ delta ^ * \ log | v | \右）^ {\ frac {1} {3}} t ^ {\ frac {2} {3}} \右）$和一个下限$ \ oomega \ left（\ left（\ delta ^ * / \ alpha \ over）^ {\ frac {1} {3}} t ^ {\ frac {2} {3}}右）$ where $ \ alpha $是双线性程序的完整性差距。因此，我们的界限紧紧达到一个$ \左（\ log | v | \ over）^ {\ frac {1} {3}} $ thace，其中顶点包装问题包括树和图表有限度。此外，我们表明，对于几个特殊的图形，我们可以摆脱$ \左（\ log | v | \右）^ {\ frac {1} {3}} $ factor并建立最佳遗憾。

我们在存在对抗性腐败的情况下研究线性上下文的强盗问题，在场，每回合的奖励都被对手损坏，腐败级别（即，地平线上的腐败总数）为$ c \ geq 0 $。在这种情况下，最著名的算法受到限制，因为它们要么在计算效率低下，要么需要对腐败做出强烈的假设，或者他们的遗憾至少比没有腐败的遗憾差的$ C $倍。在本文中，为了克服这些局限性，我们提出了一种基于不确定性的乐观原则的新算法。我们算法的核心是加权山脊回归，每个选择动作的重量都取决于其置信度，直到一定的阈值。 We show that for both known $C$ and unknown $C$ cases, our algorithm with proper choice of hyperparameter achieves a regret that nearly matches the lower bounds.因此，我们的算法几乎是两种情况的对数因素的最佳选择。值得注意的是，我们的算法同时对腐败和未腐败的案件（$ c = 0 $）实现了近乎最理想的遗憾。

We study Pareto optimality in multi-objective multi-armed bandit by providing a formulation of adversarial multi-objective multi-armed bandit and properly defining its Pareto regrets that can be generalized to stochastic settings as well. The regrets do not rely on any scalarization functions and reflect Pareto optimality compared to scalarized regrets. We also present new algorithms assuming both with and without prior information of the multi-objective multi-armed bandit setting. The algorithms are shown optimal in adversarial settings and nearly optimal in stochastic settings simultaneously by our established upper bounds and lower bounds on Pareto regrets. Moreover, the lower bound analyses show that the new regrets are consistent with the existing Pareto regret for stochastic settings and extend an adversarial attack mechanism from bandit to the multi-objective one.

我们考虑了一个随机的多武器强盗问题，其中奖励会受到对抗性腐败的影响。我们提出了一种新颖的攻击策略，该策略可以操纵UCB原理，以拉动一些非最佳目标臂$ t -o（t）$ times，累积成本将其缩放为$ \ sqrt {\ log t} $，其中$ t $是回合的数量。我们还证明了累积攻击成本的第一个下限。我们的下限将我们的上限匹配到$ \ log \ log t $因子，这表明我们的攻击非常最佳。

信息指导的采样（IDS）最近证明了其作为数据效率增强学习算法的潜力。但是，目前尚不清楚当可用上下文信息时，要优化的信息比的正确形式是什么。我们通过两个上下文强盗问题研究IDS设计：具有图形反馈和稀疏线性上下文匪徒的上下文强盗。我们证明了上下文ID比条件ID的优势，并强调考虑上下文分布的重要性。主要信息是，智能代理人应该在有条件的ID可能是近视的情况下对未来看不见的环境有益的行动进行更多的投资。我们进一步提出了基于Actor-Critic的上下文ID的计算效率版本，并在神经网络上下文的强盗上进行经验评估。

我们考虑腐烂奖励的无限多臂匪徒问题，其中手臂的平均奖励是根据任意趋势在每次拉动的手臂上减小的，最大腐烂速率$ \ varrho = o（1）$。我们表明，这个学习问题具有$ \ omega（\ max \ {\ varrho^{1/3} t，\ sqrt {t} \}）$ worst-case遗憾的遗憾下降下降，其中$ t $是$ t $。我们表明，匹配的上限$ \ tilde {o}（\ max \ {\ varrho^{1/3} t，\ sqrt {t} \}）$，最多可以通过多元素来实现当算法知道最大腐烂速率$ \ varrho $时，一种使用UCB索引的算法，该算法使用UCB索引和一个阈值来决定是否继续拉动手臂或从进一步考虑中移除手臂。我们还表明，$ \ tilde {o}（\ max \ {\ varrho^{1/3} t，t^{3/4} \}）$遗憾的上限可以通过不知道的算法来实现$ \ varrho $的值通过使用自适应UCB索引以及自适应阈值值。

我们研究对线性随机匪徒的对抗攻击：通过操纵奖励，对手旨在控制匪徒的行为。也许令人惊讶的是，我们首先表明某些攻击目标永远无法实现。这与无上下文的随机匪徒形成了鲜明的对比，并且本质上是由于线性随机陆上的臂之间的相关性。在这一发现的激励下，本文研究了$ k $武装的线性匪徒环境的攻击性。我们首先根据武器上下文向量的几何形状提供了攻击性的完全必要性和充分性表征。然后，我们提出了针对Linucb和鲁棒相消除的两阶段攻击方法。该方法首先断言给定环境是否可攻击；而且，如果是的话，它会付出巨大的奖励，以强迫算法仅使用sublinear成本来拉动目标臂线性时间。数值实验进一步验证了拟议攻击方法的有效性和成本效益。

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

我们通过审查反馈重复进行一定的第一价格拍卖来研究在线学习，在每次拍卖结束时，出价者只观察获胜的出价，学会了适应性地出价，以最大程度地提高她的累积回报。为了实现这一目标，投标人面临着一个具有挑战性的困境：如果她赢得了竞标 - 获得正收益的唯一方法 - 然后她无法观察其他竞标者的最高竞标，我们认为我们认为这是从中汲取的。一个未知的分布。尽管这一困境让人联想到上下文强盗中的探索探索折衷权，但现有的UCB或汤普森采样算法无法直接解决。在本文中，通过利用第一价格拍卖的结构属性，我们开发了第一个实现$ o（\ sqrt {t} \ log^{2.5} t）$ hearry bund的第一个学习算法（\ sqrt {t} \ log^{2.5} t），这是最小值的最低$ $ \ log $因素，当投标人的私人价值随机生成时。我们这样做是通过在一系列问题上提供算法，称为部分有序的上下文匪徒，该算法将图形反馈跨动作，跨环境跨上下文进行结合，以及在上下文中的部分顺序。我们通过表现出一个奇怪的分离来确定该框架的优势和劣势，即在随机环境下几乎可以独立于动作/背景规模的遗憾，但是在对抗性环境下是不可能的。尽管这一通用框架有限制，但我们进一步利用了第一价格拍卖的结构，并开发了一种学习算法，该算法在存在对手生成的私有价值的情况下，在存在的情况下可以有效地运行样本（并有效地计算）。我们建立了一个$ o（\ sqrt {t} \ log^3 t）$遗憾，以此为此算法，因此提供了对第一价格拍卖的最佳学习保证的完整表征。

我们考虑了一种有可能无限的武器的随机强盗问题。我们为最佳武器和$ \ delta $的比例写入$ p ^ * $，以获得最佳和次优臂之间的最小含义 - 均值差距。我们在累积遗憾设置中表征了最佳学习率，以及在问题参数$ t $（预算），$ p ^ * $和$ \ delta $的最佳臂识别环境中。为了最大限度地减少累积遗憾，我们提供了订单$ \ OMEGA（\ log（t）/（p ^ * \ delta））$的下限和UCB样式算法，其匹配上限为一个因子$ \ log（1 / \ delta）$。我们的算法需要$ p ^ * $来校准其参数，我们证明了这种知识是必要的，因为在这个设置中调整到$ p ^ * $以来，因此是不可能的。为了获得最佳武器识别，我们还提供了订单$ \ Omega（\ exp（-ct \ delta ^ 2 p ^））的较低限制，以上输出次优臂的概率，其中$ c> 0 $是一个绝对常数。我们还提供了一个消除算法，其上限匹配下限到指数中的订单$ \ log（t）$倍数，并且不需要$ p ^ * $或$ \ delta $ as参数。我们的结果直接适用于竞争$ j $ -th最佳手臂的三个相关问题，识别$ \ epsilon $良好的手臂，并找到一个平均值大于已知订单的大分的手臂。

在本文中，我们通过提取最小半径路径研究网络中的瓶颈标识。许多现实世界网络具有随机重量，用于预先提供全面知识。因此，我们将此任务塑造为组合半发布会问题，我们应用了汤普森采样的组合版本，并在相应的贝叶斯遗憾地建立了上限。由于该问题的计算诡计，我们设计了一种替代问题，其近似于原始目标。最后，我们通过对现实世界指导和无向网络的近似配方进行了实验评估了汤普森抽样的性能。

在本文中，我们研究了汤普森采样（TS）方法的应用到随机组合多臂匪徒（CMAB）框架中。当所有基本臂的结果分布都是独立的，并获得$ o（m \ log k _ {\ max} \ log t / \ delta_时，我们首先分析一般CMAB模型的标准TS算法。 {\ min}）$，其中$ m $是基本武器的数量，$ k _ {\ max} $是最大的超级臂的大小，$ t $是时间范围，而$ \ delta _ {\ min} $是最佳解决方案的预期奖励与任何非最佳解决方案之间的最小差距。这种遗憾的上限比$ o（m（\ log k _ {\ max}）^2 \ log t / \ delta _ {\ min}）$更好。此外，我们的新颖分析技术可以帮助收紧其他基于UCB的政策（例如ESC）的遗憾界限，因为我们改善了计算累积遗憾的方法。然后，我们考虑Matroid Bandit设置（CMAB模型的特殊类别），在这里我们可以删除跨武器的独立性假设，并实现与下限匹配的遗憾上限。除了遗憾的上限外，我们还指出，一个人不能直接替换确切的离线甲骨文（将离线问题实例的参数作为输入，并在此实例下输出确切的最佳操作），用TS算法中的近似oracle替换了ts算法的近似值。甚至经典的mAb问题。最后，我们使用一些实验来显示TS遗憾与其他现有算法之间的比较，实验结果表明TS优于现有基准。

在古典语境匪徒问题中，在每轮$ t $，学习者观察一些上下文$ c $，选择一些动作$ i $执行，并收到一些奖励$ r_ {i，t}（c）$。我们考虑此问题的变体除了接收奖励$ r_ {i，t}（c）$之外，学习者还要学习其他一些上下文$的$ r_ {i，t}（c'）$的值C'$ in设置$ \ mathcal {o} _i（c）$;即，通过在不同的上下文下执行该行动来实现的奖励\ mathcal {o} _i（c）$。这种变体出现在若干战略设置中，例如学习如何在非真实的重复拍卖中出价，最热衷于随着许多平台转换为运行的第一价格拍卖。我们将此问题称为交叉学习的上下文匪徒问题。古典上下围匪徒问题的最佳算法达到$ \ tilde {o}（\ sqrt {ckt}）$遗憾针对所有固定策略，其中$ c $是上下文的数量，$ k $的行动数量和$ $次数。我们设计并分析了交叉学习的上下文匪徒问题的新算法，并表明他们的遗憾更好地依赖上下文的数量。在选择动作时学习所有上下文的奖励的完整交叉学习下，即设置$ \ mathcal {o} _i（c）$包含所有上下文，我们显示我们的算法实现后悔$ \ tilde {o}（ \ sqrt {kt}）$，删除$ c $的依赖。对于任何其他情况，即在部分交叉学习下，$ | \ mathcal {o} _i（c）| <c $ for $（i，c）$，遗憾界限取决于如何设置$ \ mathcal o_i（c）$影响上下文之间的交叉学习的程度。我们从Ad Exchange运行一流拍卖的广告交换中模拟了我们的真实拍卖数据的算法，并表明了它们优于传统的上下文强盗算法。

We study bandit model selection in stochastic environments. Our approach relies on a meta-algorithm that selects between candidate base algorithms. We develop a meta-algorithm-base algorithm abstraction that can work with general classes of base algorithms and different type of adversarial meta-algorithms. Our methods rely on a novel and generic smoothing transformation for bandit algorithms that permits us to obtain optimal $O(\sqrt{T})$ model selection guarantees for stochastic contextual bandit problems as long as the optimal base algorithm satisfies a high probability regret guarantee. We show through a lower bound that even when one of the base algorithms has $O(\log T)$ regret, in general it is impossible to get better than $\Omega(\sqrt{T})$ regret in model selection, even asymptotically. Using our techniques, we address model selection in a variety of problems such as misspecified linear contextual bandits, linear bandit with unknown dimension and reinforcement learning with unknown feature maps. Our algorithm requires the knowledge of the optimal base regret to adjust the meta-algorithm learning rate. We show that without such prior knowledge any meta-algorithm can suffer a regret larger than the optimal base regret.