神经匪使从业者能够有效地在非线性奖励功能上有效地运行。虽然在一般的上下文匪徒通常利用高斯过程（GP）决策的预测分布，但最成功的神经变体仅在推导中使用最后一层参数。神经内核（NK）的研究最近在深网络和GPS之间建立了对应的对应，考虑到NN的所有参数，并且可以比大多数贝叶斯NN更有效地培训。我们建议直接应用NK诱导的分布，以指导基于上行的束缚或汤普森采样的政策。我们展示了NK匪徒在高度非线性结构化数据上实现最先进的性能。此外，我们分析了实际考虑因素，例如训练频率和模型分区。我们相信我们的工作将有助于更好地了解利用NKS在应用环境中的影响。

我们在这里采用贝叶斯非参数混合模型，以将多臂匪徒扩展到尤其是汤普森采样，以扩展到存在奖励模型不确定性的场景。在随机的多臂强盗中，播放臂的奖励是由未知分布产生的。奖励不确定性，即缺乏有关奖励生成分布的知识，引起了探索 - 开发权的权衡：强盗代理需要同时了解奖励分布的属性，并顺序决定下一步要采取哪种操作。在这项工作中，我们通过采用贝叶斯非参数高斯混合模型来进行奖励模型不确定性，将汤普森的抽样扩展到场景中，以进行灵活的奖励密度估计。提出的贝叶斯非参数混合物模型汤普森采样依次学习了奖励模型，该模型最能近似于真实但未知的每臂奖励分布，从而实现了成功的遗憾表现。我们基于基于后验分析的新颖的分析得出的，这是一种针对该方法的渐近遗憾。此外，我们从经验上评估了其在多样化和以前难以捉摸的匪徒环境中的性能，例如，在指数级的家族中，奖励不受异常值和不同的每臂奖励分布。我们表明，拟议的贝叶斯非参数汤普森取样优于表现，无论是平均累积的遗憾和遗憾的波动，最先进的替代方案。在存在强盗奖励模型不确定性的情况下，提出的方法很有价值，因为它避免了严格的逐案模型设计选择，但提供了重要的遗憾。

我们考虑使用个性化的联合学习，除了全球目标外，每个客户还对最大化个性化的本地目标感兴趣。我们认为，在一般连续的动作空间设置下，目标函数属于繁殖的内核希尔伯特空间。我们提出了基于替代高斯工艺（GP）模型的算法，该算法达到了最佳的遗憾顺序（要归结为各种因素）。此外，我们表明，GP模型的稀疏近似显着降低了客户之间的沟通成本。

我们研究汤普森采样对上下文匪徒的效率。现有的基于汤普森采样的算法需要构建后验分布的拉普拉斯近似（即高斯分布），这是在一般协方差矩阵中的高维应用中效率低下的效率。此外，高斯近似可能不是对一般奖励产生功能的后验分布的良好替代物。我们提出了一种有效的后采样算法，即Langevin Monte Carlo Thompson采样（LMC-TS），该采样（LMC-TS）使用Markov Chain Monte Carlo（MCMC）方法直接从上下文斑块中的后验分布中直接采样。我们的方法在计算上是有效的，因为它只需要执行嘈杂的梯度下降更新而不构建后验分布的拉普拉斯近似。我们证明，所提出的算法实现了相同的sublinear遗憾，作为一种特殊情况的汤普森采样算法，是上下文匪徒的特殊情况，即线性上下文的强盗。我们在不同上下文匪徒模型上对合成数据和现实世界数据集进行实验，这表明直接从后验进行采样既具有计算上有效又具有竞争性能。

已经研究了几十年的上下文多武装匪，并适应了各种应用，如在线广告和个性化推荐。为了解决匪徒的开发探索权衡，有三种主要技术：epsilon - 贪婪，汤普森采样（TS）和上置信度（UCB）。在最近的文献中，线性上下窗匪徒采用了脊回归来估计奖励功能，并将其与TS或UCB策略结合起来的探索。但是，这行作品明确假设奖励基于ARM向量的线性函数，在现实世界数据集中可能不是真的。为了克服这一挑战，已经提出了一系列神经基的强盗算法，其中分配了神经网络以学习基础奖励功能，并且TS或UCB适于探索。在本文中，我们提出了一种具有新的探索策略的神经基匪徒方法。除了利用神经网络（开发网络）外学习奖励功能之外，与目前估计的奖励相比，EE-Net采用另一个神经网络（勘探网络）来自适应地学习潜在的增益。然后，构建决策者以将输出与剥削和探索网络组合起来。我们证明了EE-Net实现了$ \ mathcal {o}（\ sqrt {t \ log t}）$后悔，它比现有最先进的神经强盗算法更紧密（$ \ mathcal {o}（\基于UCB和TS的SQRT {T} \ log t）$。通过对四世界数据集的广泛实验，我们表明EE-Net优于现有的线性和神经匪徒的方法。

在本文中，我们在贝叶斯神经网络中展示了一种用于在线（顺序）推断的新算法，并显示其适用于解决上下文强盗问题的适用性。关键的想法是将扩展的卡尔曼滤波器（在每个时间步地上局部化的似然函数与参数的（学习或随机）的低维仿射子空间组合;使用子空间使我们能够将我们的算法扩展到具有$ \ SIM 1M $参数的模型。虽然大多数其他神经匪徒方法需要存储整个过去的数据集，以避免“灾难性忘记”的问题，我们的方法使用恒定的内存。这是可能的，因为我们代表了模型中所有参数的不确定性，而不仅仅是最终的线性层。我们在“Deep Bayesian Bandit摊牌”基准和Mnist和推荐系统上显示出良好的结果。

在本文中，我们考虑了在规避风险的标准下线性收益的上下文多臂强盗问题。在每个回合中，每个手臂都会揭示上下文，决策者选择一只手臂拉动并获得相应的奖励。特别是，我们将均值变化视为风险标准，最好的组是具有最大均值奖励的均值。我们将汤普森采样算法应用于脱节模型，并为提出算法的变体提供全面的遗憾分析。对于$ t $ rounds，$ k $ Actions和$ d $ - 维功能向量，我们证明了$ o（（1+ \ rho+\ frac {1} {1} {\ rho}）{\ rho}）d \ ln t \ ln t \ ln的遗憾。 \ frac {k} {\ delta} \ sqrt {d k t^{1+2 \ epsilon} \ ln \ frac {k} {\ delta} \ frac {1} {\ epsilon}} $ 1 - \ \ delta $在带有风险公差$ \ rho $的均值方差标准下，对于任何$ 0 <\ epsilon <\ frac {1} {2} $，$ 0 <\ delta <1 $。我们提出的算法的经验性能通过投资组合选择问题来证明。

亚马逊客户服务每年为数百万客户联系提供实时支持。尽管Bot-Resolver有助于自动化一些流量，但我们仍然看到对人类代理商的需求很高，也称为主题专家（SME）。客户在不同域中的问题（返回策略，设备故障排除等）进行宣传。根据他们的培训，并非所有中小型企业都有资格处理所有联系人。与合格的中小型企业的路由联系是一个非平凡的问题，因为中小企业的域名资格受训练质量的影响，并且可以随着时间的推移而改变。为了在同时学习真正的资格状态的同时，我们建议使用非参数上下文的强盗算法（K-Boot）以及资格控制（EC）算法来制定路由问题。 K-Boot模型以$ K $ -NN选择的类似样品和Bootstrap Thompson采样进行探索，并以类似的样本进行奖励。 EC通过最初符合系统的资格过滤武器（SME），并动态验证该信息的可靠性。提出的K-boot是一种通用匪徒算法，EC适用于其他土匪。我们的仿真研究表明，K-boot在最新的匪徒模型上进行性能，并且当存在随机弹性信号时，EC会提高K-Boot性能。

我们考虑基于嘈杂的强盗反馈优化黑盒功能的问题。内核强盗算法为此问题显示了强大的实证和理论表现。然而，它们严重依赖于模型所指定的模型，并且没有它可能会失败。相反，我们介绍了一个\ emph {isspecified}内塞的强盗设置，其中未知函数可以是$ \ epsilon $ - 在一些再现内核希尔伯特空间（RKHS）中具有界限范数的函数均匀近似。我们设计高效实用的算法，其性能在模型误操作的存在下最微小地降低。具体而言，我们提出了一种基于高斯过程（GP）方法的两种算法：一种乐观的EC-GP-UCB算法，需要了解误操作误差，并相断的GP不确定性采样，消除型算法，可以适应未知模型拼盘。我们在$ \ epsilon $，时间范围和底层内核方面提供累积遗憾的上限，我们表明我们的算法达到了$ \ epsilon $的最佳依赖性，而没有明确的误解知识。此外，在一个随机的上下文设置中，我们表明EC-GP-UCB可以有效地与遗憾的平衡策略有效地结合，尽管不知道$ \ epsilon $尽管不知道，但仍然可以获得类似的遗憾范围。

许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。

像汤普森采样等多武装强盗算法可用于进行自适应实验，其中最大化奖励意味着数据用于逐步为更多参与者分配更有效的武器。这些转让策略增加了统计假设试验的风险，鉴定武器之间的差异，当没有一个时，并且在真正是一个是一个时，武器的差异存在差异。我们为2臂实验仿真，探讨了两种算法，这些算法结合了统计分析的均匀随机化的益处，具有通过Thompson采样（TS）实现的奖励最大化的益处。首先，前两种汤普森采样增加了固定量的均匀随机分配（UR）随时间均匀传播。二，一种新的启发式算法，称为TS Postdiff（差异后概率）。 Ts Postdiff采用贝叶斯方法来混合TS和UR：使用UR分配分配参与者的概率是后部概率，即两个臂之间的差异是“小”（低于某个阈值），允许在存在时探索更多的探索很少或没有奖励获得。我们发现TS PostDiff方法跨多种效果大小进行良好，因此不需要根据真实效果大小的猜测进行调整。

贝叶斯优化（BO）是一种广泛使用的顺序方法，用于对复杂和昂贵计算的黑盒功能进行零阶优化。现有的BO方法假设功能评估（反馈）可立即或固定延迟后可用。在许多现实生活中的问题（例如在线建议，临床试验和超参数调谐）中，此类假设可能不实用，在随机延迟后可以提供反馈。为了从这些问题中的实验并行化中受益，学习者需要开始新的功能评估，而无需等待延迟反馈。在本文中，我们认为BO在随机延迟反馈问题下。我们提出了带有子线性后悔的算法，可以确保有效解决选择新功能查询的困境，同时等待随机延迟的反馈。在我们的结果的基础上，我们还为批处理和上下文高斯工艺匪徒做出了新的贡献。合成和现实生活数据集的实验验证了我们的算法的性能。

来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用​​于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。

我们解决了在线顺序决策的问题，即在利用当前知识以最大程度地提高绩效和探索新信息以使用多武器的强盗框架获得长期利益之间的权衡平衡。汤普森采样是选择解决这一探索探索困境的动作的启发式方法之一。我们首先提出了一个通用框架，该框架可帮助启发性地调整汤普森采样中的探索与剥削权衡取舍，并使用后部分布中的多个样本进行调整。利用此框架，我们为多臂匪徒问题提出了两种算法，并为累积遗憾提供了理论界限。接下来，我们证明了拟议算法对汤普森采样的累积遗憾表现的经验改善。我们还显示了所提出的算法在现实世界数据集上的有效性。与现有方法相反，我们的框架提供了一种机制，可以根据手头的任务改变探索/开发量。为此，我们将框架扩展到两个其他问题，即，在土匪中最佳的ARM识别和时间敏感学习，并将我们的算法与现有方法进行比较。

Thompson Sampling is one of the oldest heuristics for multi-armed bandit problems. It is a randomized algorithm based on Bayesian ideas, and has recently generated significant interest after several studies demonstrated it to have better empirical performance compared to the stateof-the-art methods. However, many questions regarding its theoretical performance remained open. In this paper, we design and analyze a generalization of Thompson Sampling algorithm for the stochastic contextual multi-armed bandit problem with linear payoff functions, when the contexts are provided by an adaptive adversary. This is among the most important and widely studied version of the contextual bandits problem. We provide the first theoretical guarantees for the contextual version of Thompson Sampling. We prove a high probability regret bound of Õ(d 3/2 √ T ) (or Õ(d T log(N ))), which is the best regret bound achieved by any computationally efficient algorithm for this problem, and is within a factor of √ d (or log(N )) of the information-theoretic lower bound for this problem.

Evaluating the performance of an ongoing policy plays a vital role in many areas such as medicine and economics, to provide crucial instruction on the early-stop of the online experiment and timely feedback from the environment. Policy evaluation in online learning thus attracts increasing attention by inferring the mean outcome of the optimal policy (i.e., the value) in real-time. Yet, such a problem is particularly challenging due to the dependent data generated in the online environment, the unknown optimal policy, and the complex exploration and exploitation trade-off in the adaptive experiment. In this paper, we aim to overcome these difficulties in policy evaluation for online learning. We explicitly derive the probability of exploration that quantifies the probability of exploring the non-optimal actions under commonly used bandit algorithms. We use this probability to conduct valid inference on the online conditional mean estimator under each action and develop the doubly robust interval estimation (DREAM) method to infer the value under the estimated optimal policy in online learning. The proposed value estimator provides double protection on the consistency and is asymptotically normal with a Wald-type confidence interval provided. Extensive simulations and real data applications are conducted to demonstrate the empirical validity of the proposed DREAM method.

汤普森采样（TS）是解决上下文多武装强盗问题最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，这适应了深度神经网络，用于勘探和剥削。在我们的算法的核心是一种新的奖励的后分布，其平均值是神经网络近似器，并且其方差建立在相应神经网络的神经切线特征上。我们证明，如果底层奖励函数是有界的，则可以保证所提出的算法来实现$ \ mathcal {o}（t ^ {1/2}）$的累积遗憾，它与其他上下文强盗算法的遗憾匹配总轮数量$ t $。各种数据集中其他基准强盗算法的实验比较证实了我们的理论。

神经网络和高斯过程的优势和劣势是互补的。更好地了解他们的关系伴随着使每个方法从另一个方法中受益的承诺。在这项工作中，我们建立了神经网络的前进通行证与（深）稀疏高斯工艺模型之间的等价。我们开发的理论是基于解释激活函数作为跨域诱导功能，通过对激活函数和内核之间的相互作用进行严格分析。这导致模型可以被视为具有改善的不确定性预测或深度高斯过程的神经网络，其具有提高的预测精度。这些权利要求通过对回归和分类数据集进行实验结果来支持。

It has long been known that a single-layer fully-connected neural network with an i.i.d. prior over its parameters is equivalent to a Gaussian process (GP), in the limit of infinite network width. This correspondence enables exact Bayesian inference for infinite width neural networks on regression tasks by means of evaluating the corresponding GP. Recently, kernel functions which mimic multi-layer random neural networks have been developed, but only outside of a Bayesian framework. As such, previous work has not identified that these kernels can be used as covariance functions for GPs and allow fully Bayesian prediction with a deep neural network. In this work, we derive the exact equivalence between infinitely wide deep networks and GPs. We further develop a computationally efficient pipeline to compute the covariance function for these GPs. We then use the resulting GPs to perform Bayesian inference for wide deep neural networks on MNIST and CIFAR-10. We observe that trained neural network accuracy approaches that of the corresponding GP with increasing layer width, and that the GP uncertainty is strongly correlated with trained network prediction error. We further find that test performance increases as finite-width trained networks are made wider and more similar to a GP, and thus that GP predictions typically outperform those of finite-width networks. Finally we connect the performance of these GPs to the recent theory of signal propagation in random neural networks. * Both authors contributed equally to this work. † Work done as a member of the Google AI Residency program (g.co/airesidency). 1 Throughout this paper, we assume the conditions on the parameter distributions and nonlinearities are such that the Central Limit Theorem will hold; for instance, that the weight variance is scaled inversely proportional to the layer width.

In this paper, we study a sequential decision-making problem, called Adaptive Sampling for Discovery (ASD). Starting with a large unlabeled dataset, algorithms for ASD adaptively label the points with the goal to maximize the sum of responses. This problem has wide applications to real-world discovery problems, for example drug discovery with the help of machine learning models. ASD algorithms face the well-known exploration-exploitation dilemma. The algorithm needs to choose points that yield information to improve model estimates but it also needs to exploit the model. We rigorously formulate the problem and propose a general information-directed sampling (IDS) algorithm. We provide theoretical guarantees for the performance of IDS in linear, graph and low-rank models. The benefits of IDS are shown in both simulation experiments and real-data experiments for discovering chemical reaction conditions.