本文研究了在因果图形模型中设计最佳干预措施序列的问题，以最大程度地减少对事后最佳干预的累积后悔。自然，这是一个因果匪徒问题。重点是线性结构方程模型（SEM）和软干预措施的因果匪徒。假定该图的结构是已知的，并且具有$ n $节点。每个节点都假定使用两种线性机制，一种软干预和一种观察性，产生了$ 2^n $可能的干预措施。现有的因果匪徒算法假设，至少完全指定了奖励节点父母的介入分布。但是，有$ 2^n $这样的分布（一个与每个干预措施相对应），即使在中等尺寸的图中也变得越来越高。本文分配了知道这些分布的假设。提出了两种算法，用于常见者（基于UCB）和贝叶斯（基于汤普森采样）的设置。这些算法的关键思想是避免直接估计$ 2^n $奖励分布，而是估算完全指定SEMS（$ n $线性）的参数，并使用它们来计算奖励。在这两种算法中，在噪声和参数空间的有界假设下，累积遗憾的是$ \ tilde {\ cal o}（（（2d）^l l \ sqrt {t}）$，其中$ d $是图的最高度和$ l $是其最长因果路径的长度。

因果匪徒问题将因果推断与多军匪徒集成在一起。因果匪徒的纯粹探索是以下在线学习任务：给定一个因果关系分布未知的因果图，在每一轮中，我们可以选择干预一个变量或不进行干预，并观察所有随机变量的随机结果，并与所有随机变量进行观察使用尽可能少的回合的目标，我们可以输出一种干预措施，该干预措施在奖励变量$ y $上具有至少$ 1- \ delta $，其中$ \ delta $是一个最佳（或几乎是最好的）预期结果给定信心水平。我们在三种类型的因果模型，包括平行图，具有少量后门父母的常规图和二进制通用线性模型的三种类型的因果模型上提供了第一个完全依赖GAP的完全自适应纯探索算法。我们的算法改善了先前的因果匪徒算法，这些算法并非自适应奖励差距，也没有先前的自适应纯探索算法，它们不利用因果匪徒的特殊特征。

We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.

在组合因果土匪（CCB）中，学习代理在每轮中最多选择$ k $变量进行干预，从观察到的变量中收集反馈，目的是最大程度地减少对目标变量$ y $的预期遗憾。与所有有关因果匪徒的研究不同，CCB需要处理指数较大的动作空间。我们在因果模型的简洁参数表示的二元广义线性模型（BGLM）的背景下进行研究。我们根据最大似然估计方法提出了Markovian BGLMS（即没有隐藏变量）的算法BGLM-OFU，并证明它可以实现$ O（\ sqrt {t} \ log t）$遗憾，其中$ t $是$ t $时间范围。对于具有隐藏变量的线性模型的特殊情况，我们应用因果推理技术，例如DO-Calculus将原始模型转换为马尔可夫模型，然后证明我们的BGLM OFFU U算法和另一种基于线性回归的算法都用隐藏变量求解此类线性模型。我们的新颖性包括（a）考虑组合干预行动空间，（b）考虑一般因果模型，包括具有隐藏变量的因果模型，（c）整合和适应来自多种研究的技术，例如广义线性匪徒和在线影响最大化，以及（d）不依赖不现实的假设，例如在某些先前研究中使用的所有干预措施中了解父母的共同分配。

我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。

我们研究上下文多军匪徒设置中的排名问题。学习代理在每个时间步骤中选择一个有序的项目列表，并观察每个位置的随机结果。在在线推荐系统中，显示最有吸引力的项目的有序列表将不是最佳选择，因为位置和项目依赖性都会带来复杂的奖励功能。一个非常天真的例子是，当所有最有吸引力的物品都来自同一类别时，缺乏多样性。我们为此问题在“排序列表”和“设计UCB”和Thompson采样类型算法中对位置和项目依赖性建模。我们证明，遗憾超过$ t $ rounds和$ l $ positions是$ \ tilde {o}（l \ sqrt {d t}）$，它的订单与以前在$ t $和$ t $方面的作品相同仅用$ L $线性增加。我们的工作将现有的研究推广到多个方向，包括位置折扣是特定情况的位置依赖性，并提出了更一般的背景匪徒模型。

决策者经常面对“许多匪徒”问题，其中必须同时学习相关但异构的情境匪徒实例。例如，大型零售商可能希望在许多商店中动态地学习产品需求，以解决定价或库存问题，这使得可以共同学习为服务类似客户的商店;或者，医院网络可能希望在许多提供商中动态学习患者风险以分配个性化干预措施，这使得可以为服务类似患者群体的医院共同学习。我们研究每个匪徒实例中未知参数可以分解为全局参数加上稀疏实例特定术语的设置。然后，我们提出了一种新颖的两级估计器，通过使用强大的统计数据组合（在类似的实例中学到）和套索回归（将结果进行替代），以样本有效的方式利用这种结构。我们在强盗算法中嵌入了这个估计器，并证明它在上下文维度下，它可以改善渐近遗憾界限。这种改进是数据较差的实例的指数。我们进一步展示了我们的结果如何依赖于强盗实例的基础网络结构。

在因果强盗问题中，动作集包括关于因果图的变量的干预。最近几位研究人员研究了这种强盗问题并指出了他们的实际应用。然而，所有现有的作品都依赖于限制性和不切实际的假设，即学习者将全面了解因果图结构前期。在本文中，我们在不知道因果图的情况下开发新的因果强盗算法。我们的算法适用于因果树，因果林和一般的因果图。我们的算法的遗憾保证大大提高了温和条件下标准多臂强盗（MAB）算法的遗传。最后，我们证明了我们的温和条件是必要的：如果没有它们，不能比标准MAB算法更好。

本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前，卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例，其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小，位置和分散的联合效果。具体而言，离线数据的大小，位置和色散由历史样本数量为$ n $，平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left（\ sqrt {t} \ wedge \ frac {t} {（n \ wedge t）\ delta ^ 2 + n \ sigma ^ 2} \右）$，基于“面对不确定性”原则的“乐观主义”的学习算法，其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换，我们称之为阶段转型。此外，我们的结果表明，离线数据的位置和分散也对最佳遗憾具有内在效果，我们通过逆平面法量化了这种效果。

当动作集具有良好的曲率时，我们在任何线性匪徒算法产生的设计矩阵的特征矩阵上介绍了一个非呈现的下限。具体而言，我们表明，每当算法的预期累积后悔为$ o（\ sqrt {n}）$时，预期设计矩阵的最低特征值将随着$ \ omega（\ sqrt {n}）$的增长而生长为$ n $是学习范围，动作空间在最佳臂周围具有恒定的Hessian。这表明，这种作用空间在离散（即分离良好的）动作空间中迫使多项式下限而不是对数下限，如\ cite {lattimore2017end}所示。此外，虽然先前的结果仅在渐近方案（如$ n \ to \ infty $）中保留，但我们对这些``本地富裕的''动作空间的结果随时都在。此外，在温和的技术假设下，我们以高概率获得了对最小本本特征值的相似下限。我们将结果应用于两个实用的方案 - \ emph {model selection}和\ emph {clustering}在线性匪徒中。对于模型选择，我们表明了一个基于时期的线性匪徒算法适应了真实模型的复杂性，以时代数量的速率指数，借助我们的新频谱结合。对于聚类，我们考虑了一个多代理框架，我们通过利用光谱结果，该框架来证明该框架，该框架，该框架，该框架通过光谱结果，该频谱结果，该框架的结果，该频谱结果，该框架的结果，该频谱结果该框架，该框架的结果不需要强制探索 - 代理商可以运行线性匪徒算法并立即估算其基本参数，从而产生低遗憾。

在本文中，我们在稀疏的随机上下文线性土匪中重新审视了遗憾的最小化问题，其中特征向量可能具有很大的尺寸$ d $，但是奖励功能取决于一些，例如$ s_0 \ ll d $，其中这些功能的这些功能只要。我们提出了阈值拉索匪徒，该算法（i）估算了定义奖励功能及其稀疏支持的向量，即显着特征元素，使用带有阈值的Lasso框架，以及（ii）根据此处选择手臂估计预测其支持。该算法不需要对稀疏索引$ s_0 $的先验知识，并且可以在某些对称假设下不含参数。对于这种简单的算法，我们将非偶然的遗憾上限建立为$ \ mathcal {o}（\ log d + d + \ sqrt {t}）$一般，为$ \ mathcal {o} log t）$在所谓的边缘条件下（手臂奖励分离的概率条件）。以前的算法的遗憾将其缩放为$ \ Mathcal {o}（\ log D + \ \ sqrt {t \ log（d t）}）$和$ \ mathcal {o}（\ log log t \ log t \ log t \ log t \ log d）$设置分别。通过数值实验，我们确认我们的算法优于现有方法。

我们研究马尔可夫决策过程（MDP），其中状态对应于随机生成奖励的因果图。在这个设置中，学习者的目标是通过在每个州的变量上介绍，识别导致高奖励的原子干预措施。概括最近的因果强盗框架，目前的工作开发（简单）后悔最小化对两级因果MDP的保证，每个状态下并行因果图。我们提出了一种算法，实现了一个依赖于困境的实例。我们算法的一个关键特征是它利用凸优化来解决探索问题。我们识别我们遗憾保证基本紧张的课程，实验验证我们的理论结果。

汤普森采样（TS）是在不确定性下进行决策的有效方法，其中从精心规定的分布中采样了动作，该分布根据观察到的数据进行更新。在这项工作中，我们研究了使用TS的可稳定线性季度调节剂（LQR）自适应控制的问题，其中系统动力学是未知的。先前的作品已经确定，$ \ tilde o（\ sqrt {t}）$频繁的遗憾对于LQR的自适应控制是最佳的。但是，现有方法要么仅在限制性设置中起作用，需要先验已知的稳定控制器，要么使用计算上棘手的方法。我们提出了一种有效的TS算法，用于对LQR的自适应控制，TS基于TS的自适应控制，TSAC，该算法达到了$ \ tilde o（\ sqrt {t}）$遗憾，即使对于多维系统和Lazaric（2018）。 TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效探索环境来实现基础系统的快速稳定。我们的结果取决于开发新颖的下限TS提供乐观样本的概率。通过仔细规定早期的探索策略和政策更新规则，我们表明TS在适应性控制多维可稳定性LQR方面实现了最佳的遗憾。我们从经验上证明了TSAC在几个自适应控制任务中的性能和效率。

动态治疗方案（DTRS）是个性化的，适应性的，多阶段的治疗计划，可将治疗决策适应个人的初始特征，并在随后的每个阶段中的中级结果和特征，在前阶段受到决策的影响。例子包括对糖尿病，癌症和抑郁症等慢性病的个性化一线和二线治疗，这些治疗适应患者对一线治疗，疾病进展和个人特征的反应。尽管现有文献主要集中于估算离线数据（例如从依次随机试验）中的最佳DTR，但我们研究了以在线方式开发最佳DTR的问题，在线与每个人的互动都会影响我们的累积奖励和我们的数据收集，以供我们的数据收集。未来的学习。我们将其称为DTR匪徒问题。我们提出了一种新颖的算法，通过仔细平衡探索和剥削，可以保证当过渡和奖励模型是线性时，可以实现最佳的遗憾。我们证明了我们的算法及其在合成实验和使用现实世界中对重大抑郁症的适应性治疗的案例研究中的好处。

Authors are encouraged to submit new papers to INFORMS journals by means of a style file template, which includes the journal title. However, use of a template does not certify that the paper has been accepted for publication in the named journal. INFORMS journal templates are for the exclusive purpose of submitting to an INFORMS journal and should not be used to distribute the papers in print or online or to submit the papers to another publication.

我们研究了批量线性上下文匪徒的最佳批量遗憾权衡。对于任何批次数$ M $，操作次数$ k $，时间范围$ t $和维度$ d $，我们提供了一种算法，并证明了其遗憾的保证，这是由于技术原因，具有两阶段表达作为时间的时间$ t $ grose。我们还证明了一个令人奇迹的定理，令人惊讶地显示了在问题参数的“问题参数”中的两相遗憾（最高〜对数因子）的最优性，因此建立了确切的批量后悔权衡。与最近的工作\ citep {ruan2020linear}相比，这表明$ m = o（\ log \ log t）$批次实现无需批处理限制的渐近最佳遗憾的渐近最佳遗憾，我们的算法更简单，更易于实际实现。此外，我们的算法实现了所有$ t \ geq d $的最佳遗憾，而\ citep {ruan2020linear}要求$ t $大于$ d $的不切实际的大多项式。沿着我们的分析，我们还证明了一种新的矩阵集中不平等，依赖于他们的动态上限，这是我们的知识，这是其文学中的第一个和独立兴趣。

我们通过审查反馈重复进行一定的第一价格拍卖来研究在线学习，在每次拍卖结束时，出价者只观察获胜的出价，学会了适应性地出价，以最大程度地提高她的累积回报。为了实现这一目标，投标人面临着一个具有挑战性的困境：如果她赢得了竞标 - 获得正收益的唯一方法 - 然后她无法观察其他竞标者的最高竞标，我们认为我们认为这是从中汲取的。一个未知的分布。尽管这一困境让人联想到上下文强盗中的探索探索折衷权，但现有的UCB或汤普森采样算法无法直接解决。在本文中，通过利用第一价格拍卖的结构属性，我们开发了第一个实现$ o（\ sqrt {t} \ log^{2.5} t）$ hearry bund的第一个学习算法（\ sqrt {t} \ log^{2.5} t），这是最小值的最低$ $ \ log $因素，当投标人的私人价值随机生成时。我们这样做是通过在一系列问题上提供算法，称为部分有序的上下文匪徒，该算法将图形反馈跨动作，跨环境跨上下文进行结合，以及在上下文中的部分顺序。我们通过表现出一个奇怪的分离来确定该框架的优势和劣势，即在随机环境下几乎可以独立于动作/背景规模的遗憾，但是在对抗性环境下是不可能的。尽管这一通用框架有限制，但我们进一步利用了第一价格拍卖的结构，并开发了一种学习算法，该算法在存在对手生成的私有价值的情况下，在存在的情况下可以有效地运行样本（并有效地计算）。我们建立了一个$ o（\ sqrt {t} \ log^3 t）$遗憾，以此为此算法，因此提供了对第一价格拍卖的最佳学习保证的完整表征。

在本文中，我们研究了组合半伴侣（CMAB），并专注于减少遗憾的批量$ k $的依赖性，其中$ k $是可以拉动或触发的武器总数每个回合。首先，对于用概率触发的臂（CMAB-T）设置CMAB，我们发现了一个新颖的（定向）触发概率和方差调制（TPVM）条件，可以替代各种应用程序的先前使用的平滑度条件，例如级联bandsistits bandits bandits。 ，在线网络探索和在线影响最大化。在这种新条件下，我们提出了一种具有方差感知置信区间的BCUCB-T算法，并进行遗憾分析，将$ O（k）$ actival降低到$ o（\ log k）$或$ o（\ log^2 k） ）$在遗憾中，大大改善了上述申请的后悔界限。其次，为了设置具有独立武器的非触发CMAB，我们提出了一种SESCB算法，该算法利用TPVM条件的非触发版本，并完全消除了对$ k $的依赖，以备受遗憾。作为有价值的副产品，本文使用的遗憾分析可以将几个现有结果提高到$ O（\ log K）$的一倍。最后，实验评估表明，与不同应用中的基准算法相比，我们的表现出色。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

因果匪是经典匪徒问题的变体，在该问题中，代理必须在顺序决策过程中识别最佳动作，其中动作的奖励分布显示由因果模型控制的非平凡依赖性结构。到目前为止，文献中针对此问题提出的方法取决于完整因果图的精确知识。我们制定了不再依赖先前因果知识的新因果匪徒。相反，他们利用基于分离集的估计量，我们可以使用简单的条件独立性测试或因果发现方法找到。我们证明，给定一个真正的分离集，用于离散的I.I.D.数据，该估计量是公正的，并且具有差异，该方差受样本平均值的上限。我们分别基于Thompson采样和UCB开发算法，分别用于离散和高斯模型，并显示了模拟数据以及来自现实世界中蛋白质信号数据的强盗图上的性能提高。