本文介绍了一个新的神经网络，在$ \ mathbb r ^ d $的真实值函数之前，通过施工更容易和便宜地缩放到域维数$ d $与通常的karhunen-lo \`eve相比功能空间之前。新的先前是高斯神经网络，其中每个重量和偏差都有一个独立的高斯的先前，但是差异的关键差异是，差异在网络的宽度下减小，使得所得到的函数几乎肯定地定义了很多无限宽度网络的极限。我们表明，在推断未知功能的贝叶斯治疗中，使用希尔伯特Space Markov链蒙特卡罗（MCMC）方法，诱导的后续功能均可用于蒙特卡罗采样。这种类型的MCMC很受欢迎，例如，在贝叶斯逆问题文献中，因为它在网眼细化下稳定，即接受概率不会缩小到0美元，因为函数之前的更多参数甚至是AD Infinitum。在数值例子中，我们展示了其他功能空间前沿的这些竞争优势。我们还在贝叶斯加固学习中实施示例以自动化数据的任务，并首次演示MCMC的稳定性以对这些类型的问题进行网格细化。

在本文中，我们考虑了贝叶斯（DNNS），尤其是Trace-Class神经网络（TNN）先验，贝叶斯的推论是Sell等人提出的。 [39]。在推理问题的背景下，这种先验是对经典体系结构的更强大替代品。对于这项工作，我们为此类模型开发了多级蒙特卡洛（MLMC）方法。 MLMC是一种流行的差异技术，在贝叶斯统计和不确定性定量中具有特殊应用。我们展示了在[4]中引入的特定高级MLMC方法如何应用于DNN的贝叶斯推断并从数学上确定，即实现特定平方误差的计算成本，与后验预期相关，可以通过几个减少订单，与更常规的技术。为了验证此类结果，我们提供了许多关于机器学习中产生的模型问题的数值实验。其中包括贝叶斯回归，以及贝叶斯分类和增强学习。

我们考虑贝叶斯逆问题，其中假设未知状态是具有不连续结构的函数先验。介绍了基于具有重型重量的神经网络输出的一类现有分布，其具有关于这种网络的无限宽度限制的现有结果。理论上，即使网络宽度是有限的，我们也显示来自这种前导者的样本具有所需的不连续性，使得它们适合于边缘保留反转。在数值上，我们考虑在一个和二维空间域上定义的解卷积问题，以说明这些前景的有效性;地图估计，尺寸 - 鲁棒MCMC采样和基于集合的近似值用于探测后部分布。点估计的准确性显示出超过从非重尾前沿获得的那些，并且显示不确定性估计以提供更有用的定性信息。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

Whilst deep neural networks have shown great empirical success, there is still much work to be done to understand their theoretical properties. In this paper, we study the relationship between random, wide, fully connected, feedforward networks with more than one hidden layer and Gaussian processes with a recursive kernel definition. We show that, under broad conditions, as we make the architecture increasingly wide, the implied random function converges in distribution to a Gaussian process, formalising and extending existing results by Neal (1996) to deep networks. To evaluate convergence rates empirically, we use maximum mean discrepancy. We then compare finite Bayesian deep networks from the literature to Gaussian processes in terms of the key predictive quantities of interest, finding that in some cases the agreement can be very close. We discuss the desirability of Gaussian process behaviour and review non-Gaussian alternative models from the literature. 1

在本文中，我们提出了一种高效的差异减少了马尔可夫链的附加功能，依赖于新颖的离散时间鞅表示。我们的方法是完全非渐近性的，不需要了解静止分布（甚至任何类型的遍义）或潜在密度的特定结构。通过严格分析所提出的算法的收敛性，我们表明其成本方差产品确实小于一个天真算法之一。Langevin型马尔可夫链蒙特卡罗（MCMC）方法说明了新方法的数值性能。

我们介绍了一种改进政策改进的方法，该方法在基于价值的强化学习（RL）的贪婪方法与基于模型的RL的典型计划方法之间进行了插值。新方法建立在几何视野模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的折现状态验证分布进行了建模。我们表明，我们可以通过仔细的基本策略GHM的仔细组成，而无需任何其他学习，可以评估任何非马尔科夫策略，以固定的概率在一组基本马尔可夫策略之间切换。然后，我们可以将广义政策改进（GPI）应用于此类非马尔科夫政策的收集，以获得新的马尔可夫政策，通常将其表现优于其先驱。我们对这种方法提供了彻底的理论分析，开发了转移和标准RL的应用，并在经验上证明了其对标准GPI的有效性，对充满挑战的深度RL连续控制任务。我们还提供了GHM培训方法的分析，证明了关于先前提出的方法的新型收敛结果，并显示了如何在深度RL设置中稳定训练这些模型。

本文研究了无限二维希尔伯特空间之间线性算子的学习。训练数据包括希尔伯特空间中的一对随机输入向量以及在未知的自我接合线性运算符下的嘈杂图像。假设操作员在已知的基础上是对角线化的，则该工作解决了给定数据估算操作员特征值的等效反问题。采用贝叶斯方法，理论分析在无限的数据限制中建立了后部收缩率，而高斯先验者与反向问题的正向图没有直接相关。主要结果还包括学习理论的概括错误保证了广泛的分配变化。这些收敛速率分别量化了数据平滑度和真实特征值衰减或生长的影响，分别是紧凑或无界操作员对样品复杂性的影响。数值证据支持对角线和非对角性环境中的理论。

Reinforcement learning is a framework for interactive decision-making with incentives sequentially revealed across time without a system dynamics model. Due to its scaling to continuous spaces, we focus on policy search where one iteratively improves a parameterized policy with stochastic policy gradient (PG) updates. In tabular Markov Decision Problems (MDPs), under persistent exploration and suitable parameterization, global optimality may be obtained. By contrast, in continuous space, the non-convexity poses a pathological challenge as evidenced by existing convergence results being mostly limited to stationarity or arbitrary local extrema. To close this gap, we step towards persistent exploration in continuous space through policy parameterizations defined by distributions of heavier tails defined by tail-index parameter alpha, which increases the likelihood of jumping in state space. Doing so invalidates smoothness conditions of the score function common to PG. Thus, we establish how the convergence rate to stationarity depends on the policy's tail index alpha, a Holder continuity parameter, integrability conditions, and an exploration tolerance parameter introduced here for the first time. Further, we characterize the dependence of the set of local maxima on the tail index through an exit and transition time analysis of a suitably defined Markov chain, identifying that policies associated with Levy Processes of a heavier tail converge to wider peaks. This phenomenon yields improved stability to perturbations in supervised learning, which we corroborate also manifests in improved performance of policy search, especially when myopic and farsighted incentives are misaligned.

在本章中，我们确定了基本的几何结构，这些几何结构是采样，优化，推理和自适应决策问题的基础。基于此识别，我们得出了利用这些几何结构来有效解决这些问题的算法。我们表明，在这些领域中自然出现了广泛的几何理论，范围从测量过程，信息差异，泊松几何和几何整合。具体而言，我们解释了（i）如何利用汉密尔顿系统的符合性几何形状，使我们能够构建（加速）采样和优化方法，（ii）希尔伯特亚空间和Stein操作员的理论提供了一种通用方法来获得可靠的估计器，（iii）（iii）（iii）保留决策的信息几何形状会产生执行主动推理的自适应剂。在整个过程中，我们强调了这些领域之间的丰富联系。例如，推论借鉴了抽样和优化，并且自适应决策通过推断其反事实后果来评估决策。我们的博览会提供了基本思想的概念概述，而不是技术讨论，可以在本文中的参考文献中找到。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

我们研究了随机近似程序，以便基于观察来自ergodic Markov链的长度$ n $的轨迹来求近求解$ d -dimension的线性固定点方程。我们首先表现出$ t _ {\ mathrm {mix}} \ tfrac {n}} \ tfrac {n}} \ tfrac {d}} \ tfrac {d} {n} $的非渐近性界限。$ t _ {\ mathrm {mix $是混合时间。然后，我们证明了一种在适当平均迭代序列上的非渐近实例依赖性，具有匹配局部渐近最小的限制的领先术语，包括对参数$的敏锐依赖（d，t _ {\ mathrm {mix}}） $以高阶术语。我们将这些上限与非渐近Minimax的下限补充，该下限是建立平均SA估计器的实例 - 最优性。我们通过Markov噪声的政策评估导出了这些结果的推导 - 覆盖了所有$ \ lambda \中的TD（$ \ lambda $）算法，以便[0,1）$ - 和线性自回归模型。我们的实例依赖性表征为HyperParameter调整的细粒度模型选择程序的设计开放了门（例如，在运行TD（$ \ Lambda $）算法时选择$ \ lambda $的值）。

广义贝叶斯推理使用损失函数而不是可能性的先前信仰更新，因此可以用于赋予鲁棒性，以防止可能的错误规范的可能性。在这里，我们认为广泛化的贝叶斯推论斯坦坦差异作为损失函数的损失，由应用程序的可能性含有难治性归一化常数。在这种情况下，斯坦因差异来避免归一化恒定的评估，并产生封闭形式或使用标准马尔可夫链蒙特卡罗的通用后出版物。在理论层面上，我们显示了一致性，渐近的正常性和偏见 - 稳健性，突出了这些物业如何受到斯坦因差异的选择。然后，我们提供关于一系列棘手分布的数值实验，包括基于内核的指数家庭模型和非高斯图形模型的应用。

In this paper we develop a theoretical analysis of the performance of sampling-based fitted value iteration (FVI) to solve infinite state-space, discounted-reward Markovian decision processes (MDPs) under the assumption that a generative model of the environment is available. Our main results come in the form of finite-time bounds on the performance of two versions of sampling-based FVI. The convergence rate results obtained allow us to show that both versions of FVI are well behaving in the sense that by using a sufficiently large number of samples for a large class of MDPs, arbitrary good performance can be achieved with high probability. An important feature of our proof technique is that it permits the study of weighted L p -norm performance bounds. As a result, our technique applies to a large class of function-approximation methods (e.g., neural networks, adaptive regression trees, kernel machines, locally weighted learning), and our bounds scale well with the effective horizon of the MDP. The bounds show a dependence on the stochastic stability properties of the MDP: they scale with the discounted-average concentrability of the future-state distributions. They also depend on a new measure of the approximation power of the function space, the inherent Bellman residual, which reflects how well the function space is "aligned" with the dynamics and rewards of the MDP. The conditions of the main result, as well as the concepts introduced in the analysis, are extensively discussed and compared to previous theoretical results. Numerical experiments are used to substantiate the theoretical findings.

贝叶斯推理允许在贝叶斯神经网络的上下文中获取有关模型参数的有用信息，或者在贝叶斯神经网络的背景下。通常的Monte Carlo方法的计算成本，用于在贝叶斯推理中对贝叶斯推理的后验法律进行线性点的数量与数据点的数量进行线性。将其降低到这一成本的一小部分的一种选择是使用Langevin动态的未经调整的离散化来诉诸Mini-Batching，在这种情况下，只使用数据的随机分数来估计梯度。然而，这导致动态中的额外噪声，因此在马尔可夫链采样的不变度量上的偏差。我们倡导使用所谓的自适应Langevin动态，这是一种改进标准惯性Langevin动态，其动态摩擦力，可自动校正迷你批次引起的增加的噪声。我们调查假设适应性Langevin的假设（恒定协方差估计梯度的恒定协方差），这在贝叶斯推理的典型模型中不满足，并在这种情况下量化小型匹配诱导的偏差。我们还展示了如何扩展ADL，以便通过考虑根据参数的当前值来系统地减少后部分布的偏置。

利用启发式来评估收敛性和压缩马尔可夫链蒙特卡罗的输出可以在生产的经验逼近时是次优。通常，许多初始状态归因于“燃烧”并移除，而链条的其余部分是“变薄”，如果还需要压缩。在本文中，我们考虑回顾性地从样本路径中选择固定基数的状态的问题，使得由其经验分布提供的近似接近最佳。提出了一种基于核心稳定性差异的贪婪最小化的新方法，这适用于需要重压力的问题。理论结果保障方法的一致性及其有效性在常微分方程的参数推理的具体背景下证明了该效果。软件可在Python，R和Matlab中的Stein细化包中提供。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

内核Stein差异（KSD）是一种基于内核的广泛使用概率指标之间差异的非参数量度。它通常在用户从候选概率度量中收集的样本集合的情况下使用，并希望将它们与指定的目标概率度量进行比较。 KSD的一个有用属性是，它可以仅从候选度量的样本中计算出来，并且不知道目标度量的正常化常数。 KSD已用于一系列设置，包括合适的测试，参数推断，MCMC输出评估和生成建模。当前KSD方法论的两个主要问题是（i）超出有限维度欧几里得环境之外的适用性以及（ii）缺乏影响KSD性能的清晰度。本文提供了KSD的新频谱表示，这两种补救措施都使KSD适用于希尔伯特（Hilbert）评估数据，并揭示了内核和Stein oterator Choice对KSD的影响。我们通过在许多合成数据实验中对各种高斯和非高斯功能模型进行拟合优度测试来证明所提出的方法的功效。

协方差估计在功能数据分析中普遍存在。然而，对多维域的功能观测的情况引入了计算和统计挑战，使标准方法有效地不适用。为了解决这个问题，我们将“协方差网络”（CoVNet）介绍为建模和估算工具。 Covnet模型是“Universal” - 它可用于近似于达到所需精度的任何协方差。此外，该模型可以有效地拟合到数据，其神经网络架构允许我们在实现中采用现代计算工具。 Covnet模型还承认了一个封闭形式的实体分解，可以有效地计算，而不构建协方差本身。这有助于在CoVnet的背景下轻松存储和随后操纵协方差。我们建立了拟议估计者的一致性，得出了汇合速度。通过广泛的仿真研究和休息状态FMRI数据的应用，证明了所提出的方法的有用性。