本文与社交网络上的在线有针对性广告有关。我们解决的主要技术任务是估计用户对的激活概率，这可以量化一个用户对购买决策的影响的影响。这是一项具有挑战性的任务，因为一个营销事件通常涉及多种产品的多种营销活动/策略。在本文中，我们提出了我们认为是第一个基于张量的在线广告上的基于张量的上下文强盗框架。该拟议的框架旨在以多模式张量的形式适应任何数量的特征向量，从而使以统一的方式捕获与用户偏好，产品和广告系列策略可能存在的异质性。为了处理张量模式的相互依赖性，我们引入了具有平均场近似值的在线变分算法。我们从经验上确认，提出的Tensorucb算法在影响基准比基准的影响最大化任务方面取得了重大改进，这归因于其捕获用户产品异质性的能力。
translated by 谷歌翻译
我们研究了社交网络中的在线影响最大化（OIM）问题，其中在多个回合中，学习者反复选择种子节点以产生级联，观察级联反馈，并逐渐学习产生最大级联的最佳种子。我们专注于本文的两个主要挑战。首先，我们使用节点级反馈而不是边缘级反馈。边缘级别反馈显示通过级联中通过信息的所有边，其中节点级反馈仅显示使用时间戳的激活节点。节点级反馈可以说是更逼真的，因为在实践中，观察到谁受到影响，而且很难观察来自哪个关系（边缘）的影响。其次，我们使用标准离线Oracle而不是脱机对 - Oracle。为了计算下一轮的良好种子集，离线对 - Oracle同时找到最佳种子集和置信区内的最佳参数，并且由于OIM问题的组合核心，这种Oracle难以计算。因此，我们专注于如何使用标准离线影响最大化Oracle，它找到了将边缘参数作为输入的最佳种子集。在本文中，我们解决了这两个最受欢迎的扩散模型，独立级联（IC）和线性阈值（LT）模型的这些挑战。对于IC模型，过去的研究只实现了边缘级反馈，而我们介绍了第一个$ \ widetilde {o}（\ sqrt {t}）$ - 遗憾的节点级反馈算法。此外，算法仅调用标准离线oracles。对于LT模型，最近的一项研究仅提供了一个符合第一个挑战的OIM解决方案，但仍需要一对甲骨文。在本文中，我们应用类似于IC模型的类似技术，以用标准的Oracle替换一对Oracle，同时维持$ \ widetilde {o}（\ sqrt {t}）$ - 后悔。
translated by 谷歌翻译
在线影响最大化旨在通过选择一些种子节点，最大程度地利用未知网络模型的社交网络中内容的影响。最近的研究遵循非自适应设置，在扩散过程开始之前选择种子节点，并且在扩散停止时更新网络参数。我们考虑了与内容相关的在线影响最大化问题的自适应版本，其中种子节点是根据实时反馈依次激活的。在本文中，我们将问题提出为无限马在线性扩散过程中的折扣MDP，并提出了基于模型的增强学习解决方案。我们的算法维护网络模型估算，并适应种子用户，探索社交网络，同时乐观地改善最佳策略。我们建立了$ \ widetilde o（\ sqrt {t}）$遗憾的算法。合成网络的经验评估证明了我们的算法效率。
translated by 谷歌翻译
在组合因果土匪（CCB）中，学习代理在每轮中最多选择$ k $变量进行干预，从观察到的变量中收集反馈，目的是最大程度地减少对目标变量$ y $的预期遗憾。与所有有关因果匪徒的研究不同，CCB需要处理指数较大的动作空间。我们在因果模型的简洁参数表示的二元广义线性模型（BGLM）的背景下进行研究。我们根据最大似然估计方法提出了Markovian BGLMS（即没有隐藏变量）的算法BGLM-OFU，并证明它可以实现$ O（\ sqrt {t} \ log t）$遗憾，其中$ t $是$ t $时间范围。对于具有隐藏变量的线性模型的特殊情况，我们应用因果推理技术，例如DO-Calculus将原始模型转换为马尔可夫模型，然后证明我们的BGLM OFFU U算法和另一种基于线性回归的算法都用隐藏变量求解此类线性模型。我们的新颖性包括（a）考虑组合干预行动空间，（b）考虑一般因果模型，包括具有隐藏变量的因果模型，（c）整合和适应来自多种研究的技术，例如广义线性匪徒和在线影响最大化，以及（d）不依赖不现实的假设，例如在某些先前研究中使用的所有干预措施中了解父母的共同分配。
translated by 谷歌翻译
我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。
translated by 谷歌翻译
我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。
translated by 谷歌翻译
在本文中，我们考虑了MNL-Bandit问题的上下文变体。更具体地说，我们考虑了一个动态设置优化问题，决策者为消费者提供了一系列产品（各种产品），并在每回合中观察他们的响应。消费者购买产品以最大化其实用性。我们假设一组属性描述了产品，并且产品的平均效用在这些属性的值中是线性的。我们使用广泛使用的多项式logit（MNL）模型对消费者选择行为进行建模，并考虑动态学习模型参数的决策者问题，同时优化累计收入，超过销售范围$ t $。尽管最近这个问题引起了人们的关注，但许多现有方法通常涉及解决棘手的非凸优化问题。他们的理论绩效保证取决于问题依赖性参数，该参数可能非常大。特别是，此问题的现有算法对$ o（\ sqrt {\ kappa d t}）$界后后悔，其中$ \ kappa $是问题依赖性常数，可以对属性的数量具有指数依赖性。在本文中，我们提出了一种乐观的算法，并表明遗憾是由$ o（\ sqrt {dt} + \ kappa）$界定的，从而大大提高了现有方法的性能。此外，我们提出了对优化步骤的放松，该步骤允许进行可牵引的决策，同时保留有利的遗憾保证。
translated by 谷歌翻译
We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.
translated by 谷歌翻译
在许多真实世界应用程序的组合匪徒如内容缓存，必须在满足最小服务要求的同时最大化奖励。此外，基本ARM可用性随着时间的推移而变化，并且采取的行动需要适应奖励最大化的情况。我们提出了一个名为Contexal Combinatial Volatile Birtits的新的强盗模型，具有组阈值来解决这些挑战。我们的模型通过考虑超级臂作为基础臂组的子集来归档组合匪徒。我们寻求最大化超级手臂奖励，同时满足构成超级臂的所有基座组的阈值。为此，我们定义了一个新的遗憾遗嘱，使超级臂奖励最大化与团体奖励满意度合并。为了便于学习，我们假设基臂的平均结果是由上下文索引的高斯过程的样本，并且预期的奖励是Lipschitz在预期的基础臂结果中连续。我们提出了一种算法，称为阈值组合高斯工艺的上置信度界限（TCGP-UCB），最大化累积奖励和满足组奖励阈值之间的余额，并证明它会导致$ \ tilde {o}（k \ sqrt {t \ overline { \ gamma} _ {t}}）$后悔具有高概率，其中$ \ overline {\ gamma} _ {t} $是与第一个$ t $轮中出现的基本arm上下文相关联的最大信息增益$ k $是所有在所有轮匝上任何可行行动的超级臂基数。我们在实验中展示了我们的算法累积了与最先进的组合强盗算法相当的奖励，同时采摘群体满足其阈值的动作。
translated by 谷歌翻译
我们考虑一个多武装的强盗设置，在每一轮的开始时，学习者接收嘈杂的独立，并且可能偏见，\ emph {评估}每个臂的真正奖励，它选择$ k $武器的目标累积尽可能多的奖励超过$ $ rounds。在假设每轮在每个臂的真正奖励从固定分发中汲取的，我们得出了不同的算法方法和理论保证，具体取决于评估的生成方式。首先，在观察功能是真正奖励的遗传化线性函数时，我们在一般情况下展示$ \ widetilde {o}（t ^ {2/3}）$后悔。另一方面，当观察功能是真正奖励的嘈杂线性函数时，我们就可以派生改进的$ \ widetilde {o}（\ sqrt {t}）$后悔。最后，我们报告了一个实证验证，确认我们的理论发现，与替代方法进行了彻底的比较，并进一步支持在实践中实现这一环境的兴趣。
translated by 谷歌翻译
在本文中，我们考虑了在规避风险的标准下线性收益的上下文多臂强盗问题。在每个回合中，每个手臂都会揭示上下文，决策者选择一只手臂拉动并获得相应的奖励。特别是，我们将均值变化视为风险标准，最好的组是具有最大均值奖励的均值。我们将汤普森采样算法应用于脱节模型，并为提出算法的变体提供全面的遗憾分析。对于$ t $ rounds，$ k $ Actions和$ d $ - 维功能向量，我们证明了$ o（（1+ \ rho+\ frac {1} {1} {\ rho}）{\ rho}）d \ ln t \ ln t \ ln的遗憾。 \ frac {k} {\ delta} \ sqrt {d k t^{1+2 \ epsilon} \ ln \ frac {k} {\ delta} \ frac {1} {\ epsilon}} $ 1 - \ \ delta $在带有风险公差$ \ rho $的均值方差标准下，对于任何$ 0 <\ epsilon <\ frac {1} {2} $，$ 0 <\ delta <1 $。我们提出的算法的经验性能通过投资组合选择问题来证明。
translated by 谷歌翻译
我们提出了一种数据驱动的算法，广告商可以用来自动在线出版商的数字广告广告。该算法使广告客户能够跨越可用的目标受众和AD-Media搜索通过在线实验找到其广告系列的最佳组合。找到最佳受众ad AD组合的问题使许多独特的挑战变得复杂，包括（a）需要积极探索以解决先前的不确定性并加快搜索有利可图的组合，（b）许多组合可供选择，产生高维搜索公式，以及（c）成功概率非常低，通常只有百分之一。我们的算法（指定的LRDL，logistic回归与Debiased Lasso的首字母缩写）通过结合四个元素来解决这些挑战：一个用于主动探索的多层匪徒框架；套索惩罚功能以处理高维度；一个内置的偏见核，可处理套索引起的正则化偏差；以及一个半参数回归模型，用于促进跨武器交叉学习的结果。该算法是作为汤普森采样器实施的，据我们所知，这是第一个实际上可以解决以上所有挑战的方法。具有真实和合成数据的模拟表明该方法是有效的，并记录了其在最近的高维匪徒文献中的几个基准测试中的出色性能。
translated by 谷歌翻译
在本文中，我们研究了组合半伴侣（CMAB），并专注于减少遗憾的批量$ k $的依赖性，其中$ k $是可以拉动或触发的武器总数每个回合。首先，对于用概率触发的臂（CMAB-T）设置CMAB，我们发现了一个新颖的（定向）触发概率和方差调制（TPVM）条件，可以替代各种应用程序的先前使用的平滑度条件，例如级联bandsistits bandits bandits。 ，在线网络探索和在线影响最大化。在这种新条件下，我们提出了一种具有方差感知置信区间的BCUCB-T算法，并进行遗憾分析，将$ O（k）$ actival降低到$ o（\ log k）$或$ o（\ log^2 k） ）$在遗憾中，大大改善了上述申请的后悔界限。其次，为了设置具有独立武器的非触发CMAB，我们提出了一种SESCB算法，该算法利用TPVM条件的非触发版本，并完全消除了对$ k $的依赖，以备受遗憾。作为有价值的副产品，本文使用的遗憾分析可以将几个现有结果提高到$ O（\ log K）$的一倍。最后，实验评估表明，与不同应用中的基准算法相比，我们的表现出色。
translated by 谷歌翻译
Authors are encouraged to submit new papers to INFORMS journals by means of a style file template, which includes the journal title. However, use of a template does not certify that the paper has been accepted for publication in the named journal. INFORMS journal templates are for the exclusive purpose of submitting to an INFORMS journal and should not be used to distribute the papers in print or online or to submit the papers to another publication.
translated by 谷歌翻译
我们在这里采用贝叶斯非参数混合模型，以将多臂匪徒扩展到尤其是汤普森采样，以扩展到存在奖励模型不确定性的场景。在随机的多臂强盗中，播放臂的奖励是由未知分布产生的。奖励不确定性，即缺乏有关奖励生成分布的知识，引起了探索 - 开发权的权衡：强盗代理需要同时了解奖励分布的属性，并顺序决定下一步要采取哪种操作。在这项工作中，我们通过采用贝叶斯非参数高斯混合模型来进行奖励模型不确定性，将汤普森的抽样扩展到场景中，以进行灵活的奖励密度估计。提出的贝叶斯非参数混合物模型汤普森采样依次学习了奖励模型，该模型最能近似于真实但未知的每臂奖励分布，从而实现了成功的遗憾表现。我们基于基于后验分析的新颖的分析得出的，这是一种针对该方法的渐近遗憾。此外，我们从经验上评估了其在多样化和以前难以捉摸的匪徒环境中的性能，例如，在指数级的家族中，奖励不受异常值和不同的每臂奖励分布。我们表明，拟议的贝叶斯非参数汤普森取样优于表现，无论是平均累积的遗憾和遗憾的波动，最先进的替代方案。在存在强盗奖励模型不确定性的情况下，提出的方法很有价值，因为它避免了严格的逐案模型设计选择，但提供了重要的遗憾。
translated by 谷歌翻译
在线学习算法广泛用于网络上的搜索和内容优化，必须平衡探索和开发，可能牺牲当前用户的经验，以获得将来会导致未来更好决策的信息。虽然在最坏的情况下，与贪婪算法相比，显式探索具有许多缺点，其通过选择当前看起来最佳的动作始终“利用”。我们在数据中固有的多样性的情况下提出了明确的探索不必要。我们在最近的一系列工作中进行了线性上下围匪盗模型中贪婪算法的平滑分析。我们提高了先前的结果，表明，只要多样性条件保持，贪婪的方法几乎符合任何其他算法的最佳可能性贝叶斯遗憾率，并且这种遗憾是最多的$ \ tilde o（t ^ {1/ 3}）$。
translated by 谷歌翻译
象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。
translated by 谷歌翻译
Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.
translated by 谷歌翻译
我们研究汤普森采样对上下文匪徒的效率。现有的基于汤普森采样的算法需要构建后验分布的拉普拉斯近似（即高斯分布），这是在一般协方差矩阵中的高维应用中效率低下的效率。此外，高斯近似可能不是对一般奖励产生功能的后验分布的良好替代物。我们提出了一种有效的后采样算法，即Langevin Monte Carlo Thompson采样（LMC-TS），该采样（LMC-TS）使用Markov Chain Monte Carlo（MCMC）方法直接从上下文斑块中的后验分布中直接采样。我们的方法在计算上是有效的，因为它只需要执行嘈杂的梯度下降更新而不构建后验分布的拉普拉斯近似。我们证明，所提出的算法实现了相同的sublinear遗憾，作为一种特殊情况的汤普森采样算法，是上下文匪徒的特殊情况，即线性上下文的强盗。我们在不同上下文匪徒模型上对合成数据和现实世界数据集进行实验，这表明直接从后验进行采样既具有计算上有效又具有竞争性能。
translated by 谷歌翻译
顺序决策中的一个核心问题是开发实用且计算上有效的算法，但支持灵活的通用模型的使用。关注上下文匪徒问题，最近的进度在可能的替代品数量（“动作”）很小时提供了可证明的有效算法，并具有很强的经验性能，但是在大型，连续的行动空间中进行决策的保证仍然难以捉摸，导致了重要的重要性理论与实践之间的差距。我们介绍了具有连续线性结构化作用空间的上下文匪徒的第一个有效的通用算法。我们的算法利用了（i）监督学习的计算序列，以及（ii）在动作空间上进行优化，并实现样本复杂性，运行时和内存，独立于动作空间的大小。此外，这是简单而实用的。我们进行大规模的经验评估，并表明我们的方法通常比标准基准相比具有较高的性能和效率。
translated by 谷歌翻译