贝叶斯优化（BO）是一种广泛使用的顺序方法，用于对复杂和昂贵计算的黑盒功能进行零阶优化。现有的BO方法假设功能评估（反馈）可立即或固定延迟后可用。在许多现实生活中的问题（例如在线建议，临床试验和超参数调谐）中，此类假设可能不实用，在随机延迟后可以提供反馈。为了从这些问题中的实验并行化中受益，学习者需要开始新的功能评估，而无需等待延迟反馈。在本文中，我们认为BO在随机延迟反馈问题下。我们提出了带有子线性后悔的算法，可以确保有效解决选择新功能查询的困境，同时等待随机延迟的反馈。在我们的结果的基础上，我们还为批处理和上下文高斯工艺匪徒做出了新的贡献。合成和现实生活数据集的实验验证了我们的算法的性能。
translated by 谷歌翻译
贝叶斯优化（BO）已成为黑框函数的顺序优化。当BO用于优化目标函数时，我们通常可以访问对潜在相关功能的先前评估。这就提出了一个问题，即我们是否可以通过元学习（meta-bo）来利用这些先前的经验来加速当前的BO任务，同时确保稳健性抵抗可能破坏BO融合的潜在有害的不同任务。本文介绍了两种可扩展且可证明的稳健元算法：稳健的元高斯过程 - 加工置信度结合（RM-GP-UCB）和RM-GP-thompson采样（RM-GP-TS）。我们证明，即使某些或所有以前的任务与当前的任务不同，这两种算法在渐近上都是无重组的，并且证明RM-GP-UCB比RM-GP-TS具有更好的理论鲁棒性。我们还利用理论保证，通过通过在线学习最大程度地减少遗憾，优化分配给各个任务的权重，从而减少了相似任务的影响，从而进一步增强了稳健性。经验评估表明，（a）RM-GP-UCB在各种应用程序中都有效，一致地性能，（b）RM-GP-TS，尽管在理论上和实践中都比RM-GP-ucb稳健，但在实践中，在竞争性中表现出色某些方案具有较小的任务，并且在计算上更有效。
translated by 谷歌翻译
来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。
translated by 谷歌翻译
高赌注应用中产生的许多黑匣子优化任务需要风险厌恶的决策。但标准贝叶斯优化（BO）范式仅优化了预期值。我们概括了博的商业卑鄙和输入依赖性方差，我们认为我们认为是未知的先验。特别是，我们提出了一种新的风险厌恶异源贝类贝叶斯优化算法（Rahbo），其旨在识别具有高回报和低噪声方差的解决方案，同时在飞行时学习噪声分布。为此，我们将期望和方差模拟（未知）RKHS函数，并提出了一种新的风险感知获取功能。我们对我们的方法绑定了遗憾，并提供了一个强大的规则，以报告必须识别单个解决方案的应用程序的最终决策点。我们展示了Rahbo对合成基准函数和超参数调整任务的有效性。
translated by 谷歌翻译
我们考虑基于嘈杂的强盗反馈优化黑盒功能的问题。内核强盗算法为此问题显示了强大的实证和理论表现。然而，它们严重依赖于模型所指定的模型，并且没有它可能会失败。相反，我们介绍了一个\ emph {isspecified}内塞的强盗设置，其中未知函数可以是$ \ epsilon $ - 在一些再现内核希尔伯特空间（RKHS）中具有界限范数的函数均匀近似。我们设计高效实用的算法，其性能在模型误操作的存在下最微小地降低。具体而言，我们提出了一种基于高斯过程（GP）方法的两种算法：一种乐观的EC-GP-UCB算法，需要了解误操作误差，并相断的GP不确定性采样，消除型算法，可以适应未知模型拼盘。我们在$ \ epsilon $，时间范围和底层内核方面提供累积遗憾的上限，我们表明我们的算法达到了$ \ epsilon $的最佳依赖性，而没有明确的误解知识。此外，在一个随机的上下文设置中，我们表明EC-GP-UCB可以有效地与遗憾的平衡策略有效地结合，尽管不知道$ \ epsilon $尽管不知道，但仍然可以获得类似的遗憾范围。
translated by 谷歌翻译
2022-02-01
在预测功能（假设）中获得可靠的自适应置信度集是顺序决策任务的核心挑战，例如土匪和基于模型的强化学习。这些置信度集合通常依赖于对假设空间的先前假设，例如，繁殖核Hilbert Space（RKHS）的已知核。手动设计此类内核是容易发生的，错误指定可能导致性能差或不安全。在这项工作中，我们建议从离线数据（meta-kel）中进行元学习核。对于未知核是已知碱基核的组合的情况，我们基于结构化的稀疏性开发估计量。在温和的条件下，我们保证我们的估计RKHS会产生有效的置信度集，随着越来越多的离线数据的量，它变得与鉴于真正未知内核的置信度一样紧。我们展示了我们关于内核化强盗问题（又称贝叶斯优化）的方法，我们在其中建立了遗憾的界限，与鉴于真正的内核的人竞争。我们还经验评估方法对贝叶斯优化任务的有效性。
translated by 谷歌翻译
2022-09-22
贝叶斯优化（BO）算法在涉及昂贵的黑盒功能的应用中表现出了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过采集函数和先前的功能（例如高斯过程）来估计查询点的实用性。然而，最近，通过密度比率估计（BORE）对BO进行重新制定允许将采集函数重新诠释为概率二进制分类器，从而消除了对函数的显式先验和提高可伸缩性的需求。在本文中，我们介绍了对孔的遗憾和算法扩展的理论分析，并提高了不确定性估计。我们还表明，通过将问题重新提交为近似贝叶斯推断，可以自然地扩展到批处理优化设置。所得算法配备了理论性能保证，并在一系列实验中对其他批处理基本线进行了评估。
translated by 谷歌翻译
贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
基于内核的模型，例如内核脊回归和高斯工艺在机器学习应用程序中无处不在，用于回归和优化。众所周知，基于内核的模型的主要缺点是高计算成本。给定$ n $样本的数据集，成本增长为$ \ Mathcal {o}（n^3）$。在某些情况下，现有的稀疏近似方法可以大大降低计算成本，从而有效地将实际成本降低到$ \ natercal {o}（n）$。尽管取得了显着的经验成功，但由于近似值而导致的误差的分析范围的现有结果仍然存在显着差距。在这项工作中，我们为NyStr \“ Om方法和稀疏变分高斯过程近似方法提供新颖的置信区间，我们使用模型的近似（代理）后差解释来建立这些方法。我们的置信区间可改善性能。回归和优化问题的界限。
translated by 谷歌翻译
寻找最佳个性化的治疗方案被认为是最具挑战性的精确药物问题之一。各种患者特征会影响对治疗的反应，因此，没有一种尺寸适合 - 所有方案。此外，甚至在治疗过程中均不服用单一不安全剂量可能对患者的健康产生灾难性后果。因此，个性化治疗模型必须确保患者{\ EM安全} {\ EM有效}优化疗程。在这项工作中，我们研究了一种普遍的和基本的医学问题，其中治疗旨在在范围内保持生理变量，优选接近目标水平。这样的任务也与其他域中相关。我们提出ESCADA，这是一个用于这个问题结构的通用算法，在确保患者安全的同时制作个性化和背景感知最佳剂量推荐。我们在Escada的遗憾中获得了高概率的上限以及安全保证。最后，我们对1型糖尿病疾病的{\ em推注胰岛素剂量}分配问题进行了广泛的模拟，并比较ESCADA对汤普森采样，规则的剂量分配者和临床医生的表现。
translated by 谷歌翻译
我们介绍了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只会改变其中的分布。每次动作之后，代理都会观察所有变量的实现。该模型是由营销活动和推荐系统激励的，在该系统中，变量代表单个客户的结果，例如点击。我们提出了UCB风格的算法，以估计基线上的动作的提升。我们研究了问题的多种变体，包括何时未知基线和受影响的变量，并证明所有这些变量均具有sublrinear后悔界限。我们还提供了较低的界限，以证明我们的建模假设的必要性是合理的。关于合成和现实世界数据集的实验显示了估计不使用这种结构的策略的振奋方法的好处。
translated by 谷歌翻译
在许多真实世界应用程序的组合匪徒如内容缓存，必须在满足最小服务要求的同时最大化奖励。此外，基本ARM可用性随着时间的推移而变化，并且采取的行动需要适应奖励最大化的情况。我们提出了一个名为Contexal Combinatial Volatile Birtits的新的强盗模型，具有组阈值来解决这些挑战。我们的模型通过考虑超级臂作为基础臂组的子集来归档组合匪徒。我们寻求最大化超级手臂奖励，同时满足构成超级臂的所有基座组的阈值。为此，我们定义了一个新的遗憾遗嘱，使超级臂奖励最大化与团体奖励满意度合并。为了便于学习，我们假设基臂的平均结果是由上下文索引的高斯过程的样本，并且预期的奖励是Lipschitz在预期的基础臂结果中连续。我们提出了一种算法，称为阈值组合高斯工艺的上置信度界限（TCGP-UCB），最大化累积奖励和满足组奖励阈值之间的余额，并证明它会导致$ \ tilde {o}（k \ sqrt {t \ overline { \ gamma} _ {t}}）$后悔具有高概率，其中$ \ overline {\ gamma} _ {t} $是与第一个$ t $轮中出现的基本arm上下文相关联的最大信息增益$ k $是所有在所有轮匝上任何可行行动的超级臂基数。我们在实验中展示了我们的算法累积了与最先进的组合强盗算法相当的奖励，同时采摘群体满足其阈值的动作。
translated by 谷歌翻译
Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multiarmed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.
translated by 谷歌翻译
我们考虑使用个性化的联合学习，除了全球目标外，每个客户还对最大化个性化的本地目标感兴趣。我们认为，在一般连续的动作空间设置下，目标函数属于繁殖的内核希尔伯特空间。我们提出了基于替代高斯工艺（GP）模型的算法，该算法达到了最佳的遗憾顺序（要归结为各种因素）。此外，我们表明，GP模型的稀疏近似显着降低了客户之间的沟通成本。
translated by 谷歌翻译
我们考虑使用图形结构数据定义的奖励函数的强盗优化问题。这个问题在分子设计和药物发现中具有重要的应用，在图形排列中，奖励自然不变。这种设置的主要挑战是扩展到大型域，以及带有许多节点的图形。我们通过将置换不变性嵌入我们的模型来解决这些挑战。特别是，我们表明图形神经网络（GNN）可用于估计奖励函数，假设它位于置换不变的加性核的再现内核希尔伯特空间。通过在此类内核与图形神经切线内核（GNTK）之间建立新的联系，我们介绍了第一个GNN信心绑定，并使用它来设计一个带有sublinear遗憾的相位脱口算法。我们的遗憾约束取决于GNTK的最大信息增益，我们也为此提供了界限。虽然奖励功能取决于所有$ n $节点功能，但我们的保证与图形节点$ n $的数量无关。从经验上讲，我们的方法在图形结构域上表现出竞争性能，并表现得很好。
translated by 谷歌翻译
最大值熵搜索（MES）是贝叶斯优化（BO）的最先进的方法之一。在本文中，我们提出了一种用于受约束问题的MES的新型变型，通过信息下限（CMES-IBO）称为受约束的ME，其基于互信息的下限的蒙特卡罗（MC）估计器（MI）。我们首先定义定义最大值的MI，以便它可以在可行性方面结合不确定性。然后，我们得出了保证非消极性的MI的下限，而传统ME的受约束对应物可以是负的。我们进一步提供了理论分析，确保我们估算者的低变异性，从未针对任何现有的信息理论博进行调查。此外，使用条件MI，我们将CMES-1BO扩展到并联设置，同时保持所需的性质。我们展示了CMES-IBO对多个基准功能和真实问题的有效性。
translated by 谷歌翻译
2022-12-19
Many real-world reinforcement learning tasks require control of complex dynamical systems that involve both costly data acquisition processes and large state spaces. In cases where the transition dynamics can be readily evaluated at specified states (e.g., via a simulator), agents can operate in what is often referred to as planning with a \emph{generative model}. We propose the AE-LSVI algorithm for best-policy identification, a novel variant of the kernelized least-squares value iteration (LSVI) algorithm that combines optimism with pessimism for active exploration (AE). AE-LSVI provably identifies a near-optimal policy \emph{uniformly} over an entire state space and achieves polynomial sample complexity guarantees that are independent of the number of states. When specialized to the recently introduced offline contextual Bayesian optimization setting, our algorithm achieves improved sample complexity bounds. Experimentally, we demonstrate that AE-LSVI outperforms other RL algorithms in a variety of environments when robustness to the initial state is required.
translated by 谷歌翻译
我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。
translated by 谷歌翻译
随机通用的线性匪徒是针对顺序决策问题的一个很好理解的模型，许多算法在立即反馈下实现了近乎最佳的遗憾。但是，在许多现实世界中，立即观察奖励的要求不适用。在这种情况下，不再理解标准算法。我们通过在选择动作和获得奖励之间引入延迟，以理论方式研究延迟奖励的现象。随后，我们表明，基于乐观原则的算法通过消除对决策集和延迟的延迟分布和放松假设的需要，从而改善了本设置的现有方法。这也导致从$ \ widetilde o（\ sqrt {dt} \ sqrt {d + \ mathbb {e} [\ tau]}）$改善遗憾保证。 ^{3/2} \ mathbb {e} [\ tau]）$，其中$ \ mathbb {e} [\ tau] $表示预期的延迟，$ d $是尺寸，$ t $ t $ the Time Horizon，我们我们抑制了对数术语。我们通过对模拟数据进行实验来验证我们的理论结果。
translated by 谷歌翻译
We consider the stochastic linear contextual bandit problem with high-dimensional features. We analyze the Thompson sampling (TS) algorithm, using special classes of sparsity-inducing priors (e.g. spike-and-slab) to model the unknown parameter, and provide a nearly optimal upper bound on the expected cumulative regret. To the best of our knowledge, this is the first work that provides theoretical guarantees of Thompson sampling in high dimensional and sparse contextual bandits. For faster computation, we use spike-and-slab prior to model the unknown parameter and variational inference instead of MCMC to approximate the posterior distribution. Extensive simulations demonstrate improved performance of our proposed algorithm over existing ones.
translated by 谷歌翻译