在本文中,我们通过提取最小半径路径研究网络中的瓶颈标识。许多现实世界网络具有随机重量,用于预先提供全面知识。因此,我们将此任务塑造为组合半发布会问题,我们应用了汤普森采样的组合版本,并在相应的贝叶斯遗憾地建立了上限。由于该问题的计算诡计,我们设计了一种替代问题,其近似于原始目标。最后,我们通过对现实世界指导和无向网络的近似配方进行了实验评估了汤普森抽样的性能。
translated by 谷歌翻译
在本文中,我们研究了半发布反馈下的随机组合多武装强盗问题。虽然在算法上完成了很多工作,但优化线性的预期奖励以及一些一般奖励功能,我们研究了一个问题的变种,其中目标是风险感知。更具体地说,我们考虑最大化条件价值(CVAR)的问题,这是一个仅考虑最坏情况奖励的风险措施。我们提出了新的算法,最大化了从组合匪盗的超级臂上获得的奖励的CVAR,用于两个高斯和有界手臂奖励的两种情况。我们进一步分析了这些算法并提供了遗憾的界限。我们认为,我们的结果在风险感知案例中提供了对组合半强盗问题的第一个理论见解。
translated by 谷歌翻译
在许多真实世界应用程序的组合匪徒如内容缓存,必须在满足最小服务要求的同时最大化奖励。此外,基本ARM可用性随着时间的推移而变化,并且采取的行动需要适应奖励最大化的情况。我们提出了一个名为Contexal Combinatial Volatile Birtits的新的强盗模型,具有组阈值来解决这些挑战。我们的模型通过考虑超级臂作为基础臂组的子集来归档组合匪徒。我们寻求最大化超级手臂奖励,同时满足构成超级臂的所有基座组的阈值。为此,我们定义了一个新的遗憾遗嘱,使超级臂奖励最大化与团体奖励满意度合并。为了便于学习,我们假设基臂的平均结果是由上下文索引的高斯过程的样本,并且预期的奖励是Lipschitz在预期的基础臂结果中连续。我们提出了一种算法,称为阈值组合高斯工艺的上置信度界限(TCGP-UCB),最大化累积奖励和满足组奖励阈值之间的余额,并证明它会导致$ \ tilde {o}(k \ sqrt {t \ overline { \ gamma} _ {t}})$后悔具有高概率,其中$ \ overline {\ gamma} _ {t} $是与第一个$ t $轮中出现的基本arm上下文相关联的最大信息增益$ k $是所有在所有轮匝上任何可行行动的超级臂基数。我们在实验中展示了我们的算法累积了与最先进的组合强盗算法相当的奖励,同时采摘群体满足其阈值的动作。
translated by 谷歌翻译
我们考虑随机多武装强盗(MAB)问题,延迟影响了行动。在我们的环境中,过去采取的行动在随后的未来影响了ARM奖励。在现实世界中,行动的这种延迟影响是普遍的。例如,为某个社会群体中的人员偿还贷款的能力可能历史上历史上批准贷款申请的频率频率。如果银行将贷款申请拒绝拒绝弱势群体,则可以创建反馈循环,进一步损害该群体中获取贷款的机会。在本文中,我们制定了在多武装匪徒的背景下的行动延迟和长期影响。由于在学习期间,我们将强盗设置概括为对这种“偏置”的依赖性进行编码。目标是随着时间的推移最大化收集的公用事业,同时考虑到历史行动延迟影响所产生的动态。我们提出了一种算法,实现了$ \ tilde {\ mathcal {o}}的遗憾,并显示$ \ omega(kt ^ {2/3})$的匹配遗憾下限,其中$ k $是武器数量,$ t $是学习地平线。我们的结果通过添加技术来补充强盗文献,以处理具有长期影响的行动,并对设计公平算法有影响。
translated by 谷歌翻译
汤普森采样(TS)是解决上下文多武装强盗问题最有效的算法之一。在本文中,我们提出了一种新的算法,称为神经汤普森采样,这适应了深度神经网络,用于勘探和剥削。在我们的算法的核心是一种新的奖励的后分布,其平均值是神经网络近似器,并且其方差建立在相应神经网络的神经切线特征上。我们证明,如果底层奖励函数是有界的,则可以保证所提出的算法来实现$ \ mathcal {o}(t ^ {1/2})$的累积遗憾,它与其他上下文强盗算法的遗憾匹配总轮数量$ t $。各种数据集中其他基准强盗算法的实验比较证实了我们的理论。
translated by 谷歌翻译
富达匪徒问题是$ k $的武器问题的变体,其中每个臂的奖励通过提供额外收益的富达奖励来增强,这取决于播放器如何对该臂进行“忠诚”在过去。我们提出了两种忠诚的模型。在忠诚点模型中,额外奖励的数量取决于手臂之前播放的次数。在订阅模型中,额外的奖励取决于手臂的连续绘制的当前数量。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最佳,因此对抗性环境中遗憾的概念需要仔细调整。我们介绍了三个可能的遗憾和调查,这可以是偏执的偏执。我们详细介绍了增加,减少和优惠券的特殊情况(玩家在手臂的每辆M $播放后获得额外的奖励)保真奖励。对于不一定享受载体遗憾的模型,我们提供了最糟糕的下限。对于那些展示Sublinear遗憾的模型,我们提供算法并绑定他们的遗憾。
translated by 谷歌翻译
在臂分布的标准假设下广泛研究了随机多臂强盗问题(例如,用已知的支持,指数家庭等)。这些假设适用于许多现实世界问题,但有时他们需要知识(例如,在尾部上),从业者可能无法精确访问,提高强盗算法的鲁棒性的问题,以模拟拼盘。在本文中,我们研究了一种通用的Dirichlet采样(DS)算法,基于通过重新采样的武器观测和数​​据相关的探索奖励计算的经验指标的成对比较。我们表明,当该策略的界限和对数后悔具有轻度分量度条件的半界分布时,这种策略的不同变体达到了可证明的最佳遗憾。我们还表明,一项简单的调整在大类无界分布方面实现了坚固性,其成本比对数渐近的遗憾略差。我们终于提供了数字实验,展示了合成农业数据的决策问题中DS的优点。
translated by 谷歌翻译
节能导航构成了电动汽车的一个重要挑战,因为其有限的电池容量。我们采用贝叶斯方法在用于高效的导航路段的能耗模型。为了学习模型参数,我们开发了一个在线学习框架,并研究了几种勘探战略,如汤普森采样和上界的信心。然后,我们我们的在线学习框架扩展到多代理设置,其中多个车辆自适应导航和学习的能量模型的参数。我们分析汤普森采样和它在单剂和多代理设置性能建立严格的遗憾界限,通过下成批反馈算法的分析。最后,我们证明我们的方法通过实验,在几个真实世界的城市道路网络的性能。
translated by 谷歌翻译
在线学习算法广泛用于网络上的搜索和内容优化,必须平衡探索和开发,可能牺牲当前用户的经验,以获得将来会导致未来更好决策的信息。虽然在最坏的情况下,与贪婪算法相比,显式探索具有许多缺点,其通过选择当前看起来最佳的动作始终“利用”。我们在数据中固有的多样性的情况下提出了明确的探索不必要。我们在最近的一系列工作中进行了线性上下围匪盗模型中贪婪算法的平滑分析。我们提高了先前的结果,表明,只要多样性条件保持,贪婪的方法几乎符合任何其他算法的最佳可能性贝叶斯遗憾率,并且这种遗憾是最多的$ \ tilde o(t ^ {1/ 3})$。
translated by 谷歌翻译
通过新兴应用程序,如现场媒体电子商务,促销和建议,我们介绍和解决了一般的非静止多武装强盗问题,具有以下两个特征:(i)决策者可以拉动和收集每次期间,从最多$ k \,(\ ge 1)美元的奖励; (ii)手臂拉动后的预期奖励立即下降,然后随着ARM空闲时间的增加,非参数恢复。目的是最大化预期累计奖励超过$ T $时间段,我们设计了一类“纯粹的周期性政策”,共同设置了拉动每个臂的时间。对于拟议的政策,我们证明了离线问题和在线问题的性能保证。对于脱机问题,当已知所有型号参数时,所提出的周期性策略获得1- \ Mathcal O(1 / \ Sqrt {k})$的近似率,当$ k $生长时是渐近的最佳状态到无穷远。对于在线问题时,当模型参数未知并且需要动态学习时,我们将脱机周期性策略与在线策略上的上部置信程序进行集成。拟议的在线策略被证明是对脱机基准的近似拥有$ \ widetilde {\ mathcal o}(n \ sqrt {t})。我们的框架和政策设计可能在更广泛的离线规划和在线学习应用程序中阐明,具有非静止和恢复奖励。
translated by 谷歌翻译
我们考虑了一种有可能无限的武器的随机强盗问题。我们为最佳武器和$ \ delta $的比例写入$ p ^ * $,以获得最佳和次优臂之间的最小含义 - 均值差距。我们在累积遗憾设置中表征了最佳学习率,以及在问题参数$ t $(预算),$ p ^ * $和$ \ delta $的最佳臂识别环境中。为了最大限度地减少累积遗憾,我们提供了订单$ \ OMEGA(\ log(t)/(p ^ * \ delta))$的下限和UCB样式算法,其匹配上限为一个因子$ \ log(1 / \ delta)$。我们的算法需要$ p ^ * $来校准其参数,我们证明了这种知识是必要的,因为在这个设置中调整到$ p ^ * $以来,因此是不可能的。为了获得最佳武器识别,我们还提供了订单$ \ Omega(\ exp(-ct \ delta ^ 2 p ^))的较低限制,以上输出次优臂的概率,其中$ c> 0 $是一个绝对常数。我们还提供了一个消除算法,其上限匹配下限到指数中的订单$ \ log(t)$倍数,并且不需要$ p ^ * $或$ \ delta $ as参数。我们的结果直接适用于竞争$ j $ -th最佳手臂的三个相关问题,识别$ \ epsilon $良好的手臂,并找到一个平均值大于已知订单的大分的手臂。
translated by 谷歌翻译
元,多任务和联合学习可以全部被视为解决类似的任务,从反映任务相似之处的未知分发中汲取类似的任务。在这项工作中,我们提供了所有这些问题的统一视图,因为在分层贝叶斯匪徒中采取行动。我们分析了一种自然的分层汤普森采样算法(HIERTS),可以应用于此类中的任何问题。我们的遗憾界限在此类问题的许多情况下持有,包括当任务顺序或并行解决时;并捕获问题的结构,使得遗憾地随着任务的宽度而减少。我们的证据依赖于新的总方差分解,可以应用于其他图形模型结构。最后,我们的理论是由实验补充的,表明层次结构有助于任务之间的知识共享。这证实了分层贝叶斯匪徒是一种普遍和统计学的工具,用于学习与类似的匪徒任务进行行动。
translated by 谷歌翻译
本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前,卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例,其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小,位置和分散的联合效果。具体而言,离线数据的大小,位置和色散由历史样本数量为$ n $,平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left(\ sqrt {t} \ wedge \ frac {t} {(n \ wedge t)\ delta ^ 2 + n \ sigma ^ 2} \右)$,基于“面对不确定性”原则的“乐观主义”的学习算法,其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换,我们称之为阶段转型。此外,我们的结果表明,离线数据的位置和分散也对最佳遗憾具有内在效果,我们通过逆平面法量化了这种效果。
translated by 谷歌翻译
我们研究了批量策略优化中模型选择的问题:给定固定的部分反馈数据集和$ M $ Model类,学习具有与最佳模型类的策略具有竞争力的性能的策略。通过识别任何模型选择算法应最佳地折衷的错误,以线性模型类在与线性模型类中的内容匪徒设置中的问题正式化。(1)近似误差,(2)统计复杂性,(3 )覆盖范围。前两个来源是在监督学习的模型选择中常见的,在最佳的交易中,这些属性得到了很好的研究。相比之下,第三个源是批量策略优化的唯一,并且是由于设置所固有的数据集移位。首先表明,没有批处理策略优化算法可以同时实现所有三个的保证,展示批量策略优化的困难之间的显着对比,以及监督学习中的积极结果。尽管存在这种负面结果,但我们表明,在三个错误源中的任何一个都可以实现实现剩下的两个近乎oracle不平等的算法。我们通过实验结论,证明了这些算法的功效。
translated by 谷歌翻译
当他们更喜欢$ \ texit {exploit} $时,您如何激励自我兴趣的代理到$ \ texit {探索} $?我们考虑复杂的探索问题,其中每个代理面临相同(但未知)MDP。与传统的加固学习配方相比,代理商控制了政策的选择,而算法只能发出建议。然而,该算法控制信息流,并且可以通过信息不对称激励代理探索。我们设计一种算法,探讨MDP中的所有可达状态。我们达到了类似于先前研究的静态,无国籍探索问题中激励探索的保证担保。据我们所知,这是第一个考虑在有状态,强化学习环境中设计的工作。
translated by 谷歌翻译
由于信息不对称,多智能经纪增强学习(Marl)问题是挑战。为了克服这一挑战,现有方法通常需要代理商之间的高度协调或沟通。我们考虑具有在应用中产生的分层信息结构的两个代理多武装匪徒(MAB)和MARKOV决策过程(MDP),我们利用不需要协调或通信的更简单和更高效的算法。在结构中,在每个步骤中,“领导者”首先选择她的行动,然后“追随者”在观察领导者的行动后,“追随者”决定他的行动。这两个代理观察了相同的奖励(以及MDP设置中的相同状态转换),这取决于其联合行动。对于强盗设置,我们提出了一种分层匪盗算法,实现了$ \ widetilde {\ mathcal {o}}(\ sqrt {abt})$和近最佳差距依赖的近乎最佳的差距遗憾$ \ mathcal {o}(\ log(t))$,其中$ a $和$ b $分别是领导者和追随者的行动数,$ t $是步数。我们进一步延伸到多个追随者的情况,并且具有深层层次结构的情况,在那里我们都获得了近乎最佳的遗憾范围。对于MDP设置,我们获得$ \ widetilde {\ mathcal {o}}(\ sqrt {h ^ 7s ^ 2abt})$后悔,其中$ h $是每集的步骤数,$ s $是数量各国,$ T $是剧集的数量。这与$ a,b $和$ t $的现有下限匹配。
translated by 谷歌翻译
带背包(BWK)的匪徒是供应/预算约束下的多武装匪徒的一般模型。虽然BWK的最坏情况遗憾的遗憾是良好的理解,但我们提出了三种结果,超出了最坏情况的观点。首先,我们提供上下界限,其数量为对数,实例相关的后悔率的完整表征。其次,我们考虑BWK中的“简单遗憾”,在给定回合追踪算法的性能,并证明它在除了几轮之外的一切。第三,我们提供从BWK到匪徒的一般“减少”,这利用了一些已知的有用结构,并将这种减少应用于组合半刺点,线性上下文匪徒和多项式登录匪徒。我们的成果从\ CiteT {AgraWaldevanur-EC14}的BWK算法构建,提供了新的分析。
translated by 谷歌翻译
凭借其综合理论和实际相关性,逻辑匪徒最近经历了仔细的审查。这项研究工作提供了统计上有效的算法,通过指数巨大的因素来改善以前的策略的遗憾。然而,这种算法非常昂贵,因为它们需要每轮的$ \ omega(t)$操作。另一方面,一种不同的研究系列专注于计算效率($ \ mathcal {o}(1)美元的成本),但在放弃上述指数改进的成本上。遗憾的是,获得两个世界的最佳并非结婚两种方法的问题。相反,我们为Logistic Barits介绍了一个新的学习过程。它产生了信心集,可以在没有牺牲统计密封性的情况下轻松在线维护足够的统计数据。结合高效的规划机制,我们设计了快速算法,后悔性能仍然符合Abeille等人的问题依赖性较低。 (2021)。据我们所知,这些是第一个同时享受统计和计算效率的第一逻辑强盗算法。
translated by 谷歌翻译
一流拍卖基本上基于Vickrey拍卖的基于程序化广告的传统竞标方法。就学习而言,首次拍卖更具挑战性,因为最佳招标策略不仅取决于物品的价值,还需要一些其他出价的知识。他们已经升级了续集学习的几种作品,其中许多人考虑以对抗方式选择买方或对手最大出价的型号。即使在最简单的设置中,这也会导致算法,其后悔在$ \ sqrt {t} $方面与时间纵横为$ t $。专注于买方对静止随机环境扮演的情况,我们展示了如何实现显着较低的遗憾:当对手的最大竞标分布是已知的,我们提供了一种遗留算法,其后悔可以低至$ \ log ^ 2(t )$;在必须顺序地学习分发的情况下,对于任何$ \ epsilon> 0 $来说,该算法的概括可以达到$ t ^ {1/3 + \ epsilon} $。为了获得这些结果,我们介绍了两种可能对自己兴趣感兴趣的新颖思想。首先,通过在发布的价格设置中获得的结果进行输,我们提供了一个条件,其中一流的挡板效用在其最佳状态下局部二次。其次,我们利用观察到,在小子间隔上,可以更准确地控制经验分布函数的变化的浓度,而不是使用经典的DVORETZKY-Kiefer-Wolfowitz不等式来控制。数值模拟确认,我们的算法比各种出价分布中提出的替代方案更快地收敛,包括在实际的程序化广告平台上收集的出价。
translated by 谷歌翻译
我们研究了社交网络中的在线影响最大化(OIM)问题,其中在多个回合中,学习者反复选择种子节点以产生级联,观察级联反馈,并逐渐学习产生最大级联的最佳种子。我们专注于本文的两个主要挑战。首先,我们使用节点级反馈而不是边缘级反馈。边缘级别反馈显示通过级联中通过信息的所有边,其中节点级反馈仅显示使用时间戳的激活节点。节点级反馈可以说是更逼真的,因为在实践中,观察到谁受到影响,而且很难观察来自哪个关系(边缘)的影响。其次,我们使用标准离线Oracle而不是脱机对 - Oracle。为了计算下一轮的良好种子集,离线对 - Oracle同时找到最佳种子集和置信区内的最佳参数,并且由于OIM问题的组合核心,这种Oracle难以计算。因此,我们专注于如何使用标准离线影响最大化Oracle,它找到了将边缘参数作为输入的最佳种子集。在本文中,我们解决了这两个最受欢迎的扩散模型,独立级联(IC)和线性阈值(LT)模型的这些挑战。对于IC模型,过去的研究只实现了边缘级反馈,而我们介绍了第一个$ \ widetilde {o}(\ sqrt {t})$ - 遗憾的节点级反馈算法。此外,算法仅调用标准离线oracles。对于LT模型,最近的一项研究仅提供了一个符合第一个挑战的OIM解决方案,但仍需要一对甲骨文。在本文中,我们应用类似于IC模型的类似技术,以用标准的Oracle替换一对Oracle,同时维持$ \ widetilde {o}(\ sqrt {t})$ - 后悔。
translated by 谷歌翻译