Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multiarmed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

我们考虑基于嘈杂的强盗反馈优化黑盒功能的问题。内核强盗算法为此问题显示了强大的实证和理论表现。然而，它们严重依赖于模型所指定的模型，并且没有它可能会失败。相反，我们介绍了一个\ emph {isspecified}内塞的强盗设置，其中未知函数可以是$ \ epsilon $ - 在一些再现内核希尔伯特空间（RKHS）中具有界限范数的函数均匀近似。我们设计高效实用的算法，其性能在模型误操作的存在下最微小地降低。具体而言，我们提出了一种基于高斯过程（GP）方法的两种算法：一种乐观的EC-GP-UCB算法，需要了解误操作误差，并相断的GP不确定性采样，消除型算法，可以适应未知模型拼盘。我们在$ \ epsilon $，时间范围和底层内核方面提供累积遗憾的上限，我们表明我们的算法达到了$ \ epsilon $的最佳依赖性，而没有明确的误解知识。此外，在一个随机的上下文设置中，我们表明EC-GP-UCB可以有效地与遗憾的平衡策略有效地结合，尽管不知道$ \ epsilon $尽管不知道，但仍然可以获得类似的遗憾范围。

基于内核的模型，例如内核脊回归和高斯工艺在机器学习应用程序中无处不在，用于回归和优化。众所周知，基于内核的模型的主要缺点是高计算成本。给定$ n $样本的数据集，成本增长为$ \ Mathcal {o}（n^3）$。在某些情况下，现有的稀疏近似方法可以大大降低计算成本，从而有效地将实际成本降低到$ \ natercal {o}（n）$。尽管取得了显着的经验成功，但由于近似值而导致的误差的分析范围的现有结果仍然存在显着差距。在这项工作中，我们为NyStr \“ Om方法和稀疏变分高斯过程近似方法提供新颖的置信区间，我们使用模型的近似（代理）后差解释来建立这些方法。我们的置信区间可改善性能。回归和优化问题的界限。

来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用​​于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。

Authors are encouraged to submit new papers to INFORMS journals by means of a style file template, which includes the journal title. However, use of a template does not certify that the paper has been accepted for publication in the named journal. INFORMS journal templates are for the exclusive purpose of submitting to an INFORMS journal and should not be used to distribute the papers in print or online or to submit the papers to another publication.

高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。

在预测功能（假设）中获得可靠的自适应置信度集是顺序决策任务的核心挑战，例如土匪和基于模型的强化学习。这些置信度集合通常依赖于对假设空间的先前假设，例如，繁殖核Hilbert Space（RKHS）的已知核。手动设计此类内核是容易发生的，错误指定可能导致性能差或不安全。在这项工作中，我们建议从离线数据（meta-kel）中进行元学习核。对于未知核是已知碱基核的组合的情况，我们基于结构化的稀疏性开发估计量。在温和的条件下，我们保证我们的估计RKHS会产生有效的置信度集，随着越来越多的离线数据的量，它变得与鉴于真正未知内核的置信度一样紧。我们展示了我们关于内核化强盗问题（又称贝叶斯优化）的方法，我们在其中建立了遗憾的界限，与鉴于真正的内核的人竞争。我们还经验评估方法对贝叶斯优化任务的有效性。

我们考虑使用个性化的联合学习，除了全球目标外，每个客户还对最大化个性化的本地目标感兴趣。我们认为，在一般连续的动作空间设置下，目标函数属于繁殖的内核希尔伯特空间。我们提出了基于替代高斯工艺（GP）模型的算法，该算法达到了最佳的遗憾顺序（要归结为各种因素）。此外，我们表明，GP模型的稀疏近似显着降低了客户之间的沟通成本。

我们考虑优化从高斯过程（GP）采样的矢量值的目标函数$ \ boldsymbol {f} $ sampled的问题，其索引集是良好的，紧凑的度量空间$（{\ cal x}，d）$设计。我们假设$ \ boldsymbol {f} $之前未知，并且在Design $ x $的$ \ \ boldsymbol {f} $ x $导致$ \ boldsymbol {f}（x）$。由于当$ {\ cal x} $很大的基数时，识别通过详尽搜索的帕累托最优设计是不可行的，因此我们提出了一种称为Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL的算法，从而利用GP的平滑度-Ampled函数和$（{\ cal x}，d）$的结构快速学习。从本质上讲，Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL采用基于树的自适应离散化技术，以识别$ \ Boldsymbol {\ epsilon} $ - 尽可能少的评估中的准确帕累托一组设计。我们在$ \ boldsymbol {\ epsilon} $ - 准确的Pareto Set识别上提供信息类型和度量尺寸类型界限。我们还在实验表明我们的算法在多个基准数据集上优于其他Pareto Set识别方法。

在线学习算法广泛用于网络上的搜索和内容优化，必须平衡探索和开发，可能牺牲当前用户的经验，以获得将来会导致未来更好决策的信息。虽然在最坏的情况下，与贪婪算法相比，显式探索具有许多缺点，其通过选择当前看起来最佳的动作始终“利用”。我们在数据中固有的多样性的情况下提出了明确的探索不必要。我们在最近的一系列工作中进行了线性上下围匪盗模型中贪婪算法的平滑分析。我们提高了先前的结果，表明，只要多样性条件保持，贪婪的方法几乎符合任何其他算法的最佳可能性贝叶斯遗憾率，并且这种遗憾是最多的$ \ tilde o（t ^ {1/ 3}）$。

有效的全球优化是一种广泛使用的方法，用于优化昂贵的黑盒功能，例如调谐参数，设计新材料等。尽管它很受欢迎，但鉴于其广泛使用，较少的关注来分析问题的固有硬度，重要的是要了解有效的全球优化算法的基本限制。在本文中，我们研究了有效的全球优化问题的最严重的复杂性，并且与现有的内核特异性结果相反，我们得出了一个统一的下限，以根据球的度量熵的指标，以实现有效的全局优化的复杂性在相应的繁殖内核希尔伯特空间〜（RKHS）中。具体而言，我们表明，如果存在确定性算法，该算法在$ t $函数评估中实现了任何函数$ f \ in s $ in s $ f \ in $ t $函数评估的次优差距，则有必要至少是$ \ omemega \ left（\ frac {\ log \ mathcal {n}（s（s（\ Mathcal {x}）），4 \ epsilon，\ | \ | \ cdot \ cdot \ | _ \ iftty）} {\ log（\ frac {\ frac {r} {r} {\ epsilon {\ epsilon }）}} \ right）$，其中$ \ mathcal {n}（\ cdot，\ cdot，\ cdot）$是覆盖号码，$ s $是$ 0 $ $ 0 $，RKHS中的RADIUS $ r $，并且$ s（\ mathcal {x}）$是可行套装$ \ mathcal {x} $的$ s $的限制。此外，我们表明，这种下限几乎与常用平方指数核的非自适应搜索算法和具有较大平滑度参数$ \ nu $的垫子\'ern内核所获得的上限匹配，最多可替换为$ $ $ d/2 $ by $ d $和对数项$ \ log \ frac {r} {\ epsilon} $。也就是说，我们的下限对于这些内核几乎是最佳的。

We consider optimizing a function network in the noise-free grey-box setting with RKHS function classes, where the exact intermediate results are observable. We assume that the structure of the network is known (but not the underlying functions comprising it), and we study three types of structures: (1) chain: a cascade of scalar-valued functions, (2) multi-output chain: a cascade of vector-valued functions, and (3) feed-forward network: a fully connected feed-forward network of scalar-valued functions. We propose a sequential upper confidence bound based algorithm GPN-UCB along with a general theoretical upper bound on the cumulative regret. For the Mat\'ern kernel, we additionally propose a non-adaptive sampling based method along with its theoretical upper bound on the simple regret. We also provide algorithm-independent lower bounds on the simple regret and cumulative regret, showing that GPN-UCB is near-optimal for chains and multi-output chains in broad cases of interest.

高赌注应用中产生的许多黑匣子优化任务需要风险厌恶的决策。但标准贝叶斯优化（BO）范式仅优化了预期值。我们概括了博的商业卑鄙和输入依赖性方差，我们认为我们认为是未知的先验。特别是，我们提出了一种新的风险厌恶异源贝类贝叶斯优化算法（Rahbo），其旨在识别具有高回报和低噪声方差的解决方案，同时在飞行时学习噪声分布。为此，我们将期望和方差模拟（未知）RKHS函数，并提出了一种新的风险感知获取功能。我们对我们的方法绑定了遗憾，并提供了一个强大的规则，以报告必须识别单个解决方案的应用程序的最终决策点。我们展示了Rahbo对合成基准函数和超参数调整任务的有效性。

级别设置估计问题旨在查找域$ {\ cal x} $的所有点，其中一个未知函数$ f：{\ cal x} \ lightarrow \ mathbb {r} $超过阈值$ \ alpha $ 。估计基于可以在$ {\ cal x} $中顺序和自适应地选择的位置获取的嘈杂函数评估。阈值$ \ alpha $可以是\弹性{显式}，并提供先验，或\ \ ich {隐式}，相对于最佳函数值定义，即$ \ alpha =（1- \ epsilon）f（x_ \ AST）$关于给定$ \ epsilon> 0 $ why $ f（x_ \ ist）$是最大函数值，并且未知。在这项工作中，我们通过将其与最近的自适应实验设计方法相关联，为近期自适应实验设计方法提供了一种新的再现内核盗窃空间（RKHS）设置。我们假设可以通过RKHS中的函数近似于未知的拼写，并为此设置中隐含和显式案件提供新的算法，具有很强的理论保证。此外，在线性（内核）设置中，我们表明我们的界限几乎是最佳的，即，我们的上限与阈值线性匪徒的现有下限匹配。据我们所知，这项工作提供了第一个实例依赖性非渐近的上限，就匹配信息理论下限的水平设定估计的样本复杂性。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们考虑了持续的武装匪徒问题，在汇总反馈下的固定预算范围内推荐最好的武器。这是通过精确奖励不可能或获得昂贵的应用程序的激励，而可提供聚合奖励或反馈，例如子集的平均值。我们假设它们来自高斯进程并提出高斯工艺乐观优化（GPOO）算法来限制一组奖励功能。我们自适应地构造一个树的树，作为臂空间的子集，在那里反馈是节点代表的聚合奖励。我们为建议武器的汇总反馈提出了一个新的简单遗憾概念。我们为所提出的算法提供理论分析，并将单点反馈恢复为特殊情况。我们说明了GPoo并将其与模拟数据的相关算法进行比较。

我们提出了一种非平稳核土匪的算法，该算法不需要事先了解非平稳性程度。该算法遵循通过解决平衡探索和剥削的优化问题获得的随机策略。当检测到奖励函数的更改时，它可以通过重新启动来适应非平稳性。我们的算法比以前在非平稳内核强盗设置上的工作更加动态遗憾。此外，当通过使用线性内核应用于非平稳线性匪徒设置时，我们的算法几乎是最小的最佳选择，可以解决非平稳的线性匪徒文献中的空旷问题。我们将算法扩展到使用神经网络，以动态调整特征映射到观察到的数据。我们证明了使用神经切线内核理论的延伸的动态遗憾。我们从经验上证明，我们的算法和扩展可以适应不同程度的非平稳性。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

上下文匪徒问题是一个理论上合理的框架，在各个领域都有广泛的应用程序。虽然先前关于此问题的研究通常需要噪声和上下文之间的独立性，但我们的工作考虑了一个更明智的环境，其中噪声成为影响背景和奖励的潜在混杂因素。这样的混杂设置更现实，可以扩展到更广泛的应用程序。但是，未解决的混杂因素将导致奖励功能估计的偏见，从而导致极大的遗憾。为了应对混杂因素带来的挑战，我们应用了双工具变量回归，该回归可以正确识别真正的奖励功能。我们证明，在两种广泛使用的繁殖核希尔伯特空间中，该方法的收敛速率几乎是最佳的。因此，我们可以根据混杂的匪徒问题的理论保证来设计计算高效和遗憾的算法。数值结果说明了我们提出的算法在混杂的匪徒设置中的功效。

在表演性预测中，预测模型的部署触发了数据分布的变化。由于这些转变通常是未知的，因此学习者需要部署模型以获取有关其引起的分布的反馈。我们研究了在性能下发现近乎最佳模型的问题，同时保持低廉的遗憾。从表面上看，这个问题似乎等同于强盗问题。但是，它表现出一种从根本上说的反馈结构，我们将其称为表演反馈：在每次部署后，学习者都会从转移的分布中收到样本，而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一种算法，该算法仅随着分配的复杂性而不是奖励功能的复杂性而实现后悔的界限。该算法仅依赖于移位的平滑度，并且不假定凸度。此外，它的最终迭代保证是近乎最佳的。关键算法的想法是对分布变化的仔细探索，该分布变化为新颖的置信范围构造了未开发模型的风险。从更广泛的角度来看，我们的工作为从土匪文献中利用工具的概念方法建立了一种概念性方法，目的是通过表演性反馈最小化后悔的目的。