我们研究在上下文多臂强盗（MAB）中识别用户簇。上下文mAB是许多真实应用程序的有效工具，例如内容建议和在线广告。实际上，用户依赖性在用户的操作以及奖励中起着至关重要的作用。聚类相似的用户可以提高奖励估计的质量，从而导致更有效的内容建议和有针对性的广告。与传统的聚类设置不同，我们基于未知的匪徒参数聚类用户，该参数将逐步估算。特别是，我们在上下文mAB中定义了群集检测的问题，并提出了一种带有局部聚类过程的Bandit算法，LocB，LocB。而且，我们就聚类的正确性和效率及其遗憾束缚的理论分析提供了有关LICB的理论分析。最后，我们从各个方面评估了提出的算法，这些算法的表现优于最先进的基准。

已经研究了几十年的上下文多武装匪，并适应了各种应用，如在线广告和个性化推荐。为了解决匪徒的开发探索权衡，有三种主要技术：epsilon - 贪婪，汤普森采样（TS）和上置信度（UCB）。在最近的文献中，线性上下窗匪徒采用了脊回归来估计奖励功能，并将其与TS或UCB策略结合起来的探索。但是，这行作品明确假设奖励基于ARM向量的线性函数，在现实世界数据集中可能不是真的。为了克服这一挑战，已经提出了一系列神经基的强盗算法，其中分配了神经网络以学习基础奖励功能，并且TS或UCB适于探索。在本文中，我们提出了一种具有新的探索策略的神经基匪徒方法。除了利用神经网络（开发网络）外学习奖励功能之外，与目前估计的奖励相比，EE-Net采用另一个神经网络（勘探网络）来自适应地学习潜在的增益。然后，构建决策者以将输出与剥削和探索网络组合起来。我们证明了EE-Net实现了$ \ mathcal {o}（\ sqrt {t \ log t}）$后悔，它比现有最先进的神经强盗算法更紧密（$ \ mathcal {o}（\基于UCB和TS的SQRT {T} \ log t）$。通过对四世界数据集的广泛实验，我们表明EE-Net优于现有的线性和神经匪徒的方法。

土匪算法已成为交互式建议的参考解决方案。但是，由于这种算法直接与用户进行改进的建议，因此对其实际使用提出了严重的隐私问题。在这项工作中，我们通过基于树的机制提出了一种差异性的线性上下文匪徒算法，以将拉普拉斯或高斯噪声添加到模型参数中。我们的关键见解是，随着模型在在线更新过程中收敛时，其参数的全局灵敏度随着时间的推移而缩小（因此命名为动态全局灵敏度）。与现有解决方案相比，我们动态的全球敏感性分析使我们能够减少噪声以获得$（\ epsilon，\ delta）$ - 差异隐私，并具有$ \ tilde o（\ log {t} \ sqrt中的噪声注入引起的额外遗憾） {t}/\ epsilon）$。我们通过动态全局灵敏度和我们提出的算法的相应上后悔界限提供了严格的理论分析。合成和现实世界数据集的实验结果证实了该算法对现有解决方案的优势。

上下文多臂强盗（MAB）是推荐系统中重要的顺序决策问题。一系列称为土匪（俱乐部）聚集的作品，利用了对用户的协作效果，并显着提高了建议质量。由于应用程序量表的日益增加和对隐私的关注，因此需求不断增加，以使用户数据分散并将匪徒学习推向本地服务器端。但是，现有的俱乐部算法是在中央服务器上可用的集中设置下设计的。我们专注于研究Bandit（FCLUB）问题的联合在线聚类，该问题旨在最大程度地减少遗憾，同时满足隐私和沟通的考虑。我们为群集检测设计了一种新的基于阶段的方案，并为解决此问题的合作强盗学习提供了一种新型的异步通信协议。为了保护用户的隐私，以前的差异隐私（DP）定义不是很合适，我们提出了一个在用户群集级别上起作用的新DP概念。我们提供了严格的证据，以证明我们的算法同时实现（聚类）DP，sublrinear沟通复杂性和sublrinear遗憾。最后，实验评估表明，与基准算法相比，我们的表现出色。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

上下文匪徒旨在根据其上下文信息在一组最佳奖励的武器中识别最佳奖励。由于武器通常表现出群体行为和群体之间存在相互影响的事实，我们引入了一个新模型，ARM组图（AGG），节点代表武器组和加权边缘组成组之间的相关性。为了利用丰富的信息，我们提出了一种强盗算法，即ag-ucb，在该算法中，神经网络旨在估计奖励，我们建议利用图形神经网络（GNN）来学习具有相关性的ARM组的表示。为了解决匪徒中的剥削 - 探索困境，我们得出了建立在神经网络（剥削）探索的新的上置信度结合（UCB）。此外，我们证明了Agg-UCB可以实现与过度参数化的神经网络结合的近乎最佳的遗憾，并提供GNN的收敛分析，并具有完全连接的层，这可能具有独立的利益。最后，我们对多个公共数据集的最新基准进行了广泛的实验，显示了拟议算法的有效性。

推荐系统在市场中使用时发挥了双重作用：它们可以帮助用户从大型游泳池中选择最需要的物品，并有助于将有限数量的物品分配给最想要它们的用户。尽管在许多现实世界中的推荐设置中，能力限制的流行率普遍存在，但缺乏将它们纳入这些系统设计的原则性方式。在此激励的情况下，我们提出了一个交互式框架，系统提供商可以通过机会主义探索分配来提高向用户的建议质量，从而最大程度地利用用户奖励并使用适当的定价机制尊重容量约束。我们将问题建模为低排名组合的多臂匪徒问题的实例，并在手臂上进行了选择约束。我们采用一种集成方法，使用协作过滤，组合匪徒和最佳资源分配中的技术，以提供一种算法，可证明可以实现次线性遗憾，即$ \ tilde {\ mathcal {\ sqrt {o}}（\ sqrt {\ sqrt {n+m（n+m）{n+m（n+m） ）rt}）$ in $ t $ rounds，用于$ n $用户，$ m $项目和排名$ r $ ney奖励矩阵的问题。关于合成和现实世界数据的实证研究也证明了我们方法的有效性和性能。

我们研究了\ textit {在线}低率矩阵完成的问题，并使用$ \ mathsf {m} $用户，$ \ mathsf {n} $项目和$ \ mathsf {t} $ rounds。在每回合中，我们建议每个用户一项。对于每个建议，我们都会从低级别的用户项目奖励矩阵中获得（嘈杂的）奖励。目的是设计一种以下遗憾的在线方法（以$ \ mathsf {t} $）。虽然该问题可以映射到标准的多臂强盗问题，其中每个项目都是\ textit {独立}手臂，但由于没有利用武器和用户之间的相关性，因此遗憾会导致遗憾。相比之下，由于低级别的歧管的非凸度，利用奖励矩阵的低排列结构是具有挑战性的。我们使用探索-Commit（etc）方法克服了这一挑战，该方法确保了$ O（\ Mathsf {polylog}（\ Mathsf {m}+\ \ \ \ \ Mathsf {n}）\ Mathsf {t}^{2/2/ 3}）$。 That is, roughly only $\mathsf{polylog} (\mathsf{M}+\mathsf{N})$ item recommendations are required per user to get non-trivial solution.我们进一步改善了排名$ 1 $设置的结果。在这里，我们提出了一种新颖的算法八进制（使用迭代用户群集的在线协作过滤），以确保$ O（\ Mathsf {polylog}（\ Mathsf {M}+\ Mathsf {N}）几乎最佳的遗憾。 ^{1/2}）$。我们的算法使用了一种新颖的技术，可以共同和迭代地消除项目，这使我们能够在$ \ Mathsf {t} $中获得几乎最小的最佳速率。

随着对话建议的最新进展，推荐系统能够通过对话互动积极而动态地引起用户偏好。为此，系统会定期查询用户对属性的偏好并收集其反馈。但是，大多数现有的对话推荐系统仅使用户能够提供对属性的绝对反馈。实际上，绝对反馈通常受到限制，因为用户在表达偏好时倾向于提供偏见的反馈。取而代之的是，由于用户偏好是固有的相对，因此用户通常更倾向于表达比较偏好。为了使用户能够在对话互动期间提供比较偏好，我们提出了一种基于比较的对话推荐系统。相对反馈虽然更实用，但并不容易合并，因为其反馈量表总是与用户的绝对偏好不匹配。通过有效地收集和了解交互式方式的相对反馈，我们进一步提出了一种新的Bandit算法，我们称之为RelativeConucb。与对话式推荐系统中的现有Bandit算法相比，合成和现实数据集的实验验证了我们提出的方法的优势。

我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。

We study distributed contextual linear bandits with stochastic contexts, where $N$ agents act cooperatively to solve a linear bandit-optimization problem with $d$-dimensional features over the course of $T$ rounds. For this problem, we derive the first ever information-theoretic lower bound $\Omega(dN)$ on the communication cost of any algorithm that performs optimally in a regret minimization setup. We then propose a distributed batch elimination version of the LinUCB algorithm, DisBE-LUCB, where the agents share information among each other through a central server. We prove that the communication cost of DisBE-LUCB matches our lower bound up to logarithmic factors. In particular, for scenarios with known context distribution, the communication cost of DisBE-LUCB is only $\tilde{\mathcal{O}}(dN)$ and its regret is ${\tilde{\mathcal{O}}}(\sqrt{dNT})$, which is of the same order as that incurred by an optimal single-agent algorithm for $NT$ rounds. We also provide similar bounds for practical settings where the context distribution can only be estimated. Therefore, our proposed algorithm is nearly minimax optimal in terms of \emph{both regret and communication cost}. Finally, we propose DecBE-LUCB, a fully decentralized version of DisBE-LUCB, which operates without a central server, where agents share information with their \emph{immediate neighbors} through a carefully designed consensus procedure.

我们针对随机的多臂强盗及其具有线性预期奖励的上下文变体提出了基于多级汤普森采样方案的算法，在群集聚类的情况下。我们在理论上和经验上都表明，与使用标准汤普森采样相比，利用给定的集群结构如何显着改善遗憾和计算成本。在随机多军匪徒的情况下，我们对预期的累积后悔给出了上限，表明它如何取决于聚类的质量。最后，我们执行了经验评估，表明我们的算法与先前提出的具有聚集臂的匪徒相比表现良好。

推荐系统正面临审查，因为它们对我们可以获得的机会的影响越来越大。目前对公平的审计仅限于敏感群体水平的粗粒度评估。我们建议审核嫉妒 - 狂喜，一个与个别偏好对齐的更精细的标准：每个用户都应该更喜欢他们的建议给其他用户的建议。由于审计要求估计用户超出现有建议的用户的偏好，因此我们将审计作为多武装匪徒的新纯粹探索问题。我们提出了一种采样的效率算法，具有理论上的保证，它不会恶化用户体验。我们还研究了现实世界推荐数据集实现的权衡。

广泛观察到，在实际推荐系统中，诸如“点击框架”等“点击框架”的战略行为。通过这种行为的激励，我们在奖励的战略操纵下研究组合多武装匪徒（CMAB）的问题，其中每个臂可以为自己的兴趣修改发出的奖励信号。这种对抗性行为的表征是对先前研究的环境放松，例如对抗性攻击和对抗性腐败。我们提出了一种战略变体的组合UCB算法，其遗憾是最多的$ O（m \ log t + m b_ {max}）$的战略操作，其中$ t $是时间范围，$ m $武器数量和$ b_ {max} $是手臂的最大预算。我们为武器预算提供了下限，以引起强盗算法的某些遗憾。在线工人选择对众包系统的大量实验，在线影响合成和实际数据集的最大化和在线建议，以鲁棒性和遗憾的界限提供了我们的理论发现，在各种操纵预算制度中。

我们研究上下文多军匪徒设置中的排名问题。学习代理在每个时间步骤中选择一个有序的项目列表，并观察每个位置的随机结果。在在线推荐系统中，显示最有吸引力的项目的有序列表将不是最佳选择，因为位置和项目依赖性都会带来复杂的奖励功能。一个非常天真的例子是，当所有最有吸引力的物品都来自同一类别时，缺乏多样性。我们为此问题在“排序列表”和“设计UCB”和Thompson采样类型算法中对位置和项目依赖性建模。我们证明，遗憾超过$ t $ rounds和$ l $ positions是$ \ tilde {o}（l \ sqrt {d t}）$，它的订单与以前在$ t $和$ t $方面的作品相同仅用$ L $线性增加。我们的工作将现有的研究推广到多个方向，包括位置折扣是特定情况的位置依赖性，并提出了更一般的背景匪徒模型。

在许多真实世界应用程序的组合匪徒如内容缓存，必须在满足最小服务要求的同时最大化奖励。此外，基本ARM可用性随着时间的推移而变化，并且采取的行动需要适应奖励最大化的情况。我们提出了一个名为Contexal Combinatial Volatile Birtits的新的强盗模型，具有组阈值来解决这些挑战。我们的模型通过考虑超级臂作为基础臂组的子集来归档组合匪徒。我们寻求最大化超级手臂奖励，同时满足构成超级臂的所有基座组的阈值。为此，我们定义了一个新的遗憾遗嘱，使超级臂奖励最大化与团体奖励满意度合并。为了便于学习，我们假设基臂的平均结果是由上下文索引的高斯过程的样本，并且预期的奖励是Lipschitz在预期的基础臂结果中连续。我们提出了一种算法，称为阈值组合高斯工艺的上置信度界限（TCGP-UCB），最大化累积奖励和满足组奖励阈值之间的余额，并证明它会导致$ \ tilde {o}（k \ sqrt {t \ overline { \ gamma} _ {t}}）$后悔具有高概率，其中$ \ overline {\ gamma} _ {t} $是与第一个$ t $轮中出现的基本arm上下文相关联的最大信息增益$ k $是所有在所有轮匝上任何可行行动的超级臂基数。我们在实验中展示了我们的算法累积了与最先进的组合强盗算法相当的奖励，同时采摘群体满足其阈值的动作。

本文提出了一种新的培训建议系统的方法，称为基于偏差的学习。建议者和理性用户有不同的知识。推荐人通过观察用户在收到建议时采取的行动来学习用户知识。最终学习如果推荐人总是建议选择：在推荐人完成学习之前，用户开始盲目地遵循建议，他们的选择并不能反映他们的知识。如果推荐人预测多种替代方案将产生类似的回报，那么学习率和社会福利会大大提高。

当动作集具有良好的曲率时，我们在任何线性匪徒算法产生的设计矩阵的特征矩阵上介绍了一个非呈现的下限。具体而言，我们表明，每当算法的预期累积后悔为$ o（\ sqrt {n}）$时，预期设计矩阵的最低特征值将随着$ \ omega（\ sqrt {n}）$的增长而生长为$ n $是学习范围，动作空间在最佳臂周围具有恒定的Hessian。这表明，这种作用空间在离散（即分离良好的）动作空间中迫使多项式下限而不是对数下限，如\ cite {lattimore2017end}所示。此外，虽然先前的结果仅在渐近方案（如$ n \ to \ infty $）中保留，但我们对这些``本地富裕的''动作空间的结果随时都在。此外，在温和的技术假设下，我们以高概率获得了对最小本本特征值的相似下限。我们将结果应用于两个实用的方案 - \ emph {model selection}和\ emph {clustering}在线性匪徒中。对于模型选择，我们表明了一个基于时期的线性匪徒算法适应了真实模型的复杂性，以时代数量的速率指数，借助我们的新频谱结合。对于聚类，我们考虑了一个多代理框架，我们通过利用光谱结果，该框架来证明该框架，该框架，该框架，该框架通过光谱结果，该频谱结果，该框架的结果，该频谱结果，该框架的结果，该频谱结果该框架，该框架的结果不需要强制探索 - 代理商可以运行线性匪徒算法并立即估算其基本参数，从而产生低遗憾。

我们研究了$ k $武装的决斗匪徒问题，这是传统的多武器匪徒问题的一种变体，其中以成对比较的形式获得了反馈。以前的学习算法专注于$ \ textit {完全自适应} $设置，在每次比较后，算法可以进行更新。 “批处理”决斗匪徒问题是由Web搜索排名和推荐系统等大规模应用程序激励的，在这种应用程序中执行顺序更新可能是不可行的。在这项工作中，我们要问：$ \ textit {是否只使用几个自适应回合有解决方案，该回合与$ k $ armed的决斗匪徒的最佳顺序算法的渐近后悔界限？} $？ \ textit {在condorcet条件下} $，这是$ k $武装的决斗匪徒问题的标准设置。我们获得$ O（k^2 \ log^2（k）） + O（k \ log（t））$的渐近遗憾地平线。我们的遗憾界限几乎与在Condorcet条件下完全顺序环境中已知的最佳后悔界限相匹配。最后，在各种现实世界数据集的计算实验中，我们观察到使用$ o（\ log（t））$ rounds的算法与完全顺序的算法（使用$ t $ rounds）的性能几乎相同。

In this paper, we address the stochastic contextual linear bandit problem, where a decision maker is provided a context (a random set of actions drawn from a distribution). The expected reward of each action is specified by the inner product of the action and an unknown parameter. The goal is to design an algorithm that learns to play as close as possible to the unknown optimal policy after a number of action plays. This problem is considered more challenging than the linear bandit problem, which can be viewed as a contextual bandit problem with a \emph{fixed} context. Surprisingly, in this paper, we show that the stochastic contextual problem can be solved as if it is a linear bandit problem. In particular, we establish a novel reduction framework that converts every stochastic contextual linear bandit instance to a linear bandit instance, when the context distribution is known. When the context distribution is unknown, we establish an algorithm that reduces the stochastic contextual instance to a sequence of linear bandit instances with small misspecifications and achieves nearly the same worst-case regret bound as the algorithm that solves the misspecified linear bandit instances. As a consequence, our results imply a $O(d\sqrt{T\log T})$ high-probability regret bound for contextual linear bandits, making progress in resolving an open problem in (Li et al., 2019), (Li et al., 2021). Our reduction framework opens up a new way to approach stochastic contextual linear bandit problems, and enables improved regret bounds in a number of instances including the batch setting, contextual bandits with misspecifications, contextual bandits with sparse unknown parameters, and contextual bandits with adversarial corruption.