考虑在线学习算法同时做出决策并从反馈中学习。此类算法被广泛部署在产品和数字内容的推荐系统中。本文展示了在线学习算法偏见的偏低替代方案，以及它如何塑造建议系统的需求。首先，我们考虑$ k $武装的土匪。我们证明，$ \ varepsilon $ - 果岭选择一个无风险的手臂，而不是一个具有均等预期奖励的风险臂，概率是任意接近一个的概率。这是对不良奖励估计的武器采样的结果。通过实验，我们表明其他在线学习算法也表现出风险规避。在推荐系统环境中，我们表明，该算法对用户的嘈杂奖励减少的内容受到算法的青睐。结合使战略内容创建者朝着相似的预期质量的内容驱动战略性创建者的平衡力，对内容的优势不一定更好，挥发性较小，被夸大了。

大多数在线平台都在努力从与用户的互动中学习，许多人从事探索：为了获取新信息而做出潜在的次优选择。我们研究探索与竞争之间的相互作用：这样的平台如何平衡学习探索和用户的竞争。在这里，用户扮演三个不同的角色：他们是产生收入的客户，他们是学习的数据来源，并且是自私的代理商，可以在竞争平台中进行选择。我们考虑了一种风格化的双重垄断模型，其中两家公司面临着相同的多军强盗问题。用户一一到达，并在两家公司之间进行选择，因此，只有在选择它的情况下，每个公司都在其强盗问题上取得进展。通过理论结果和数值模拟的混合，我们研究了竞争是否会激发更好的Bandit算法的采用，以及它是否导致用户增加福利。我们发现，Stark竞争会导致公司致力于导致低福利的“贪婪”强盗算法。但是，通过向公司提供一些“免费”用户来激励更好的探索策略并增加福利来削弱竞争。我们调查了削弱竞争的两个渠道：放松用户的理性并为一家公司带来首次推广优势。我们的发现与“竞争与创新”关系密切相关，并阐明了数字经济中的第一步优势。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

设计为与时间变化的偏好保持一致的内容的推荐系统需要正确地计算建议对人类行为和心理状况的反馈影响。我们认为，建模建议对人们偏好的影响必须基于心理合理的模型。我们为开发接地动态偏好模型提供了一种方法。我们通过模型来证明这种方法，这些模型从心理学文献中捕获了三种经典效果：裸露，操作条件和享乐调整。我们进行基于仿真的研究，以表明心理模型表现出可以为系统设计提供信息的不同行为。我们的研究对建议系统中的动态用户建模有两个直接影响。首先，我们概述的方法广泛适用于心理基础动态偏好模型。它使我们能够根据他们对心理基础及其难以置信的预测的有限讨论来批评最近的贡献。其次，我们讨论动态偏好模型对建议系统评估和设计的含义。在一个示例中，我们表明参与度和多样性指标可能无法捕获理想的建议系统性能。

我们将一般的多军匪徒问题视为一个相关（和简单的上下文和不安）元素，是一个放松的控制问题。通过引入熵正则化，我们获得了对值函数的平滑渐近近似。这产生了最佳决策过程的新型半指数近似。该半指数可以被解释为明确平衡探索 - 探索 - 探索权衡取舍，就像乐观的（UCB）原则中，学习溢价明确描述了环境中可用的信息的不对称性和奖励功能中的非线性。所得的渐近随机对照（ARC）算法的性能与其他相关的多臂匪徒的方法相比有利。

推荐系统在市场中使用时发挥了双重作用：它们可以帮助用户从大型游泳池中选择最需要的物品，并有助于将有限数量的物品分配给最想要它们的用户。尽管在许多现实世界中的推荐设置中，能力限制的流行率普遍存在，但缺乏将它们纳入这些系统设计的原则性方式。在此激励的情况下，我们提出了一个交互式框架，系统提供商可以通过机会主义探索分配来提高向用户的建议质量，从而最大程度地利用用户奖励并使用适当的定价机制尊重容量约束。我们将问题建模为低排名组合的多臂匪徒问题的实例，并在手臂上进行了选择约束。我们采用一种集成方法，使用协作过滤，组合匪徒和最佳资源分配中的技术，以提供一种算法，可证明可以实现次线性遗憾，即$ \ tilde {\ mathcal {\ sqrt {o}}（\ sqrt {\ sqrt {n+m（n+m）{n+m（n+m） ）rt}）$ in $ t $ rounds，用于$ n $用户，$ m $项目和排名$ r $ ney奖励矩阵的问题。关于合成和现实世界数据的实证研究也证明了我们方法的有效性和性能。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

我们通过审查反馈重复进行一定的第一价格拍卖来研究在线学习，在每次拍卖结束时，出价者只观察获胜的出价，学会了适应性地出价，以最大程度地提高她的累积回报。为了实现这一目标，投标人面临着一个具有挑战性的困境：如果她赢得了竞标 - 获得正收益的唯一方法 - 然后她无法观察其他竞标者的最高竞标，我们认为我们认为这是从中汲取的。一个未知的分布。尽管这一困境让人联想到上下文强盗中的探索探索折衷权，但现有的UCB或汤普森采样算法无法直接解决。在本文中，通过利用第一价格拍卖的结构属性，我们开发了第一个实现$ o（\ sqrt {t} \ log^{2.5} t）$ hearry bund的第一个学习算法（\ sqrt {t} \ log^{2.5} t），这是最小值的最低$ $ \ log $因素，当投标人的私人价值随机生成时。我们这样做是通过在一系列问题上提供算法，称为部分有序的上下文匪徒，该算法将图形反馈跨动作，跨环境跨上下文进行结合，以及在上下文中的部分顺序。我们通过表现出一个奇怪的分离来确定该框架的优势和劣势，即在随机环境下几乎可以独立于动作/背景规模的遗憾，但是在对抗性环境下是不可能的。尽管这一通用框架有限制，但我们进一步利用了第一价格拍卖的结构，并开发了一种学习算法，该算法在存在对手生成的私有价值的情况下，在存在的情况下可以有效地运行样本（并有效地计算）。我们建立了一个$ o（\ sqrt {t} \ log^3 t）$遗憾，以此为此算法，因此提供了对第一价格拍卖的最佳学习保证的完整表征。

众所周知，传统平台之间的竞争可以通过将平台的操作与用户偏好保持一致，从而改善用户实用性。但是，在数据驱动的市场中表现出多大的一致性？为了从理论的角度研究这个问题，我们介绍了一个双重垄断市场，平台动作是强盗算法，两个平台竞争用户参与。该市场的一个显着特征是，建议的质量取决于强盗算法和用户交互提供的数据量。算法性能与用户的动作之间的这种相互依赖性使市场平衡的结构及其在用户公用事业方面的质量复杂化。我们的主要发现是，该市场的竞争并不能完全使市场成果与用户公用事业完全融合。有趣的是，市场成果不仅在平台拥有单独的数据存储库时，而且在平台具有共享数据存储库时表现不对。尽管如此，数据共享假设会影响什么机制驱动未对准的机制，并影响未对准的特定形式（例如，最佳案例和最差的市场成果的质量）。从更广泛的角度来看，我们的工作说明了数字市场中的竞争对用户实用性产生了微妙的后果，值得进一步调查。

Authors are encouraged to submit new papers to INFORMS journals by means of a style file template, which includes the journal title. However, use of a template does not certify that the paper has been accepted for publication in the named journal. INFORMS journal templates are for the exclusive purpose of submitting to an INFORMS journal and should not be used to distribute the papers in print or online or to submit the papers to another publication.

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。

我们考虑一个完全分散的多人多手随机多武装匪盗匪徒，其中玩家不能互相通信，并且只能观察自己的行为和奖励。环境可能与不同的播放器不同，$ \ texit {i.e.} $，给定臂的奖励分布在球员之间是异构的。在碰撞的情况下（当多个玩家播放相同的手臂时），我们允许碰撞玩家接收非零奖励。播放武器的时间 - 地平线$ t $是\ emph {否}对玩家已知。在此设置中，允许玩家的数量大于武器的数量，我们展示了一项达到订单优化预期令人遗憾的政策$ O（\ log ^ {1 + delta} t）$有些$ 0 <\ delta <1 $超过时间的时间$ t $。IEEE关于信息理论的交易中接受了本文。

在拍卖领域，了解重复拍卖中学习动态的收敛属性是一个及时，重要的问题，例如在线广告市场中有许多应用程序。这项工作着重于重复的首次价格拍卖，该物品具有固定值的竞标者学会使用基于平均值的算法出价 - 大量的在线学习算法，其中包括流行的无regret算法，例如多重权重更新，并遵循扰动的领导者。我们完全表征了基于均值算法的学习动力学，从收敛到拍卖的NASH平衡方面，具有两种感觉：（1）时间平均水平：竞标者在bidiper the NASH平衡方面的回合分数，在极限中均在极限中。 ; （2）最后一题：竞标者的混合策略概况接近限制的NASH平衡。具体而言，结果取决于最高值的投标人的数量： - 如果数量至少为三个，则竞标动力学几乎可以肯定地收敛到拍卖的NASH平衡，无论是在时间平时还是在最后近期的情况下。 - 如果数字为两个，则竞标动力学几乎可以肯定会在时间平时收敛到NASH平衡，但不一定在最后近期。 - 如果数字是一个，则竞标动力学可能不会在时间平均值或最后近期的时间内收敛到NASH平衡。我们的发现为学习算法的融合动力学研究开辟了新的可能性。

我们考虑随机多武装强盗（MAB）问题，延迟影响了行动。在我们的环境中，过去采取的行动在随后的未来影响了ARM奖励。在现实世界中，行动的这种延迟影响是普遍的。例如，为某个社会群体中的人员偿还贷款的能力可能历史上历史上批准贷款申请的频率频率。如果银行将贷款申请拒绝拒绝弱势群体，则可以创建反馈循环，进一步损害该群体中获取贷款的机会。在本文中，我们制定了在多武装匪徒的背景下的行动延迟和长期影响。由于在学习期间，我们将强盗设置概括为对这种“偏置”的依赖性进行编码。目标是随着时间的推移最大化收集的公用事业，同时考虑到历史行动延迟影响所产生的动态。我们提出了一种算法，实现了$ \ tilde {\ mathcal {o}}的遗憾，并显示$ \ omega（kt ^ {2/3}）$的匹配遗憾下限，其中$ k $是武器数量，$ t $是学习地平线。我们的结果通过添加技术来补充强盗文献，以处理具有长期影响的行动，并对设计公平算法有影响。

当代理偏好未知的先验时，我们研究了在共享资源的稀缺时决策的问题问题，并且必须从数据中学到。将双面匹配市场作为一个跑步的例子，我们专注于分散的环境，代理商不会与中央权威分享他们的学习偏好。我们的方法基于再生内核希尔伯特空间中的偏好的表示，以及偏好的学习算法，其由于市场代理商之间的竞争而占不确定性的偏好。在规律性条件下，我们表明我们的偏好估算器以极少的最佳速率收敛。考虑到这一结果，我们推出了最佳策略，最大化代理商的预期收益，我们通过考虑机会成本来校准不确定的状态。我们还获得了激励兼容性属性，并表明学习策略的结果具有稳定性。最后，我们证明了一个公平性质，称赞根据学到的策略存在没有合理的嫉妒。

当他们更喜欢$ \ texit {exploit} $时，您如何激励自我兴趣的代理到$ \ texit {探索} $？我们考虑复杂的探索问题，其中每个代理面临相同（但未知）MDP。与传统的加固学习配方相比，代理商控制了政策的选择，而算法只能发出建议。然而，该算法控制信息流，并且可以通过信息不对称激励代理探索。我们设计一种算法，探讨MDP中的所有可达状态。我们达到了类似于先前研究的静态，无国籍探索问题中激励探索的保证担保。据我们所知，这是第一个考虑在有状态，强化学习环境中设计的工作。

本文提出了一种新的培训建议系统的方法，称为基于偏差的学习。建议者和理性用户有不同的知识。推荐人通过观察用户在收到建议时采取的行动来学习用户知识。最终学习如果推荐人总是建议选择：在推荐人完成学习之前，用户开始盲目地遵循建议，他们的选择并不能反映他们的知识。如果推荐人预测多种替代方案将产生类似的回报，那么学习率和社会福利会大大提高。

我们为依次随机实验提出了一种新的扩散 - 反应分析，包括在解决多臂匪徒问题中出现的扩散分析。在使用$ n $时间步骤的实验中，我们让动作规模之间的平均奖励差距到$ 1/\ sqrt {n} $，以将学习任务的难度保留为$ n $的增长。在这个方案中，我们表明，一类顺序随机的马尔可夫实验的行为收敛到扩散极限，作为对随机微分方程的解决方案。因此，扩散极限使我们能够得出顺序实验的随机动力学的精致实例特异性表征。我们使用扩散极限来获得一些关于顺序实验的遗憾和信念演变的新见解，包括汤普森采样。一方面，我们表明，当奖励差距相对较大时，所有随机概率的顺序实验都具有lipchitz连续的依赖性。另一方面，我们发现，汤普森（Thompson）的样本具有渐近性的先验差异，达到了近乎特定实例的遗憾缩放，包括较大的奖励差距。但是，尽管使用非信息先验对汤普森采样产生了良好的遗憾，但我们表明，随着时间的流逝，诱发的后验信仰非常不稳定。

Large-scale online recommendation systems must facilitate the allocation of a limited number of items among competing users while learning their preferences from user feedback. As a principled way of incorporating market constraints and user incentives in the design, we consider our objectives to be two-fold: maximal social welfare with minimal instability. To maximize social welfare, our proposed framework enhances the quality of recommendations by exploring allocations that optimistically maximize the rewards. To minimize instability, a measure of users' incentives to deviate from recommended allocations, the algorithm prices the items based on a scheme derived from the Walrasian equilibria. Though it is known that these equilibria yield stable prices for markets with known user preferences, our approach accounts for the inherent uncertainty in the preferences and further ensures that the users accept their recommendations under offered prices. To the best of our knowledge, our approach is the first to integrate techniques from combinatorial bandits, optimal resource allocation, and collaborative filtering to obtain an algorithm that achieves sub-linear social welfare regret as well as sub-linear instability. Empirical studies on synthetic and real-world data also demonstrate the efficacy of our strategy compared to approaches that do not fully incorporate all these aspects.