我们提出了一种非参数因素分解方法，用于稀疏观察到的张量。稀疏性并不意味着零值的条目是大规模的或占主导地位的。相反，它意味着观察到的条目很少，甚至少于张量的生长;这在实践中是无处不在的。与存在的作品相比，我们的模型不仅利用了观察到的入境指标的结构信息，还提供了额外的可解释性和灵活性 - 它可以同时估计关于张量节点的内在属性的一组位置因素，另一组体现因素反映出与他人互动的外向活动;用户可以自由选择两种类型的因素之间的权衡。具体而言，我们使用等级伽玛工艺和泊松随机措施来构建张值的过程，可以自由地样本产生张量的两种因素，并始终保证渐近稀疏性。然后，我们将张量进程标准化以获得分层DireChlet进程来对每个观察到的进入索引进行采样，并使用高斯过程作为因子的非线性函数来对输入值进行采样，以捕获稀疏结构属性和复杂节点关系。为了高效推断，我们使用Dirichlet流程属性超过有限的样本分区，密度变换和随机特征来开发随机变分估计算法。我们展示了我们在多个基准数据集中的方法的优势。

高阶交互事件在现实世界应用中很常见。从这些事件中编码参与者的复杂关系的学习嵌入在知识挖掘和预测任务中至关重要。尽管现有方法取得了成功，例如泊松张量分解，它们忽略了数据基础的稀疏结构，即发生的相互作用远小于所有参与者之间可能的相互作用。在本文中，我们提出了稀疏高阶交互事件（NESH）的非参数嵌入。我们杂交稀疏的超图（张量）过程和一个基质高斯过程，以捕获相互作用中的渐近结构稀疏性和参与者之间的非线性时间关系。我们证明了稀疏性比的强渐近边界（包括较低和上限），这揭示了采样结构的渐近特性。我们使用批界规范化，破坏性结构和稀疏的变分GP近似来开发有效的，可扩展的模型推理算法。我们在几个现实世界应用中证明了方法的优势。

张量分解是一个基本框架，用于分析可以由多维阵列表示的数据。实际上，张量数据通常伴随时间信息，即产生输入值的时间点。该信息意味着丰富的，复杂的时间变化模式。但是，当前方法始终假设每个张量模式下实体的因子表示是静态的，并且从不考虑它们的时间演变。为了填补这一空白，我们建议用于动态张量分解（NONFAT）的非参数因子轨迹学习。我们将高斯工艺（GP）先验放置在频域中，并通过高斯 - 局部正交进行逆傅立叶变换以采样轨迹函数。通过这种方式，我们可以克服数据稀疏性并在长期范围内获得强大的轨迹估计值。给定特定时间点的轨迹值，我们使用二级GP来采样入口值并捕获实体之间的时间关系。为了高效且可扩展的推断，我们利用模型中的基质高斯结构，引入基质高斯后部，并开发嵌套的稀疏变分学习算法。我们已经在几个现实世界应用中展示了我们的方法的优势。

多保真建模和学习在与物理模拟相关的应用中很重要。它可以利用低保真性和高保真示例进行培训，以降低数据生成成本，同时仍然达到良好的性能。尽管现有方法仅模型有限，离散的保真度，但实际上，忠诚度的选择通常是连续且无限的，这可以对应于连续的网格间距或有限元元素长度。在本文中，我们提出了无限的保真度核心化（IFC）。鉴于数据，我们的方法可以在连续无限的保真度中提取和利用丰富的信息来增强预测准确性。我们的模型可以插值和/或推断出对新型保真度的预测，甚至可以高于训练数据的保​​真度。具体而言，我们引入了一个低维的潜在输出作为保真度和输入的连续函数，并具有带有基矩阵的多个IT以预测高维解决方案输出。我们将潜在输出建模为神经普通微分方程（ODE），以捕获内部的复杂关系并在整个连续保真度中整合信息。然后，我们使用高斯工艺或其他颂歌来估计忠诚度变化的碱基。为了有效的推断，我们将碱基重组为张量，并使用张量 - 高斯变异后部为大规模输出开发可扩展的推理算法。我们在计算物理学的几个基准任务中展示了我们的方法的优势。

多维时空数据的概率建模对于许多现实世界应用至关重要。然而，现实世界时空数据通常表现出非平稳性的复杂依赖性，即相关结构随位置/时间而变化，并且在空间和时间之间存在不可分割的依赖性，即依赖关系。开发有效和计算有效的统计模型，以适应包含远程和短期变化的非平稳/不可分割的过程，成为一项艰巨的任务，尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中，我们提出了一个新的统计框架 - 贝叶斯互补内核学习（BCKL），以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性，BCKL与短距离时空高斯过程（GP）相结合的内核低级分解（GP），其中两个组件相互补充。具体而言，我们使用多线性低级分组组件来捕获数据中的全局/远程相关性，并基于紧凑的核心函数引入加法短尺度GP，以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛（MCMC）算法，并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。

深度高斯进程（DGP）使非参数方法能够量化复杂深机器学习模型的不确定性。 DGP模型的传统推理方法可以遭受高计算复杂性，因为它们需要使用核矩阵的大规模操作进行训练和推理。在这项工作中，我们提出了一种基于一系列高斯过程的准确推理和预测的有效方案，称为Tensor Markov高斯过程（TMGP）。我们构建称为分层扩展的TMGP的诱导近似。接下来，我们开发一个深入的TMGP（DTMGP）模型作为TMGPS的多个层次扩展的组成。所提出的DTMGP模型具有以下性质：（1）每个激活功能的输出是确定性的，而重量独立于标准高斯分布选择; （2）在训练或预测中，只有O（Polylog（M））（M）激活函数具有非零输出，这显着提高了计算效率。我们对实时数据集的数值实验显示了DTMGP与其他DGP型号的卓越计算效率。

我们提出了一种新的非参数混合物模型，用于多变量回归问题，灵感来自概率K-Nearthimest邻居算法。使用有条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，从而产生高斯混合物表示的预测分布。在混合物组件的参数以及距离度量标准的参数上，使用平均场变化贝叶斯算法进行后推断，并具有基于随机梯度的优化过程。在与数据大小相比，输入 - 输出关系很复杂，预测分布可能偏向或多模式的情况下，输入相对较高的尺寸，该方法尤其有利。对五个数据集进行的计算研究，其中两个是合成生成的，这说明了我们的高维输入的专家混合物方法的明显优势，在验证指标和视觉检查方面都优于竞争者模型。

本文与社交网络上的在线有针对性广告有关。我们解决的主要技术任务是估计用户对的激活概率，这可以量化一个用户对购买决策的影响的影响。这是一项具有挑战性的任务，因为一个营销事件通常涉及多种产品的多种营销活动/策略。在本文中，我们提出了我们认为是第一个基于张量的在线广告上的基于张量的上下文强盗框架。该拟议的框架旨在以多模式张量的形式适应任何数量的特征向量，从而使以统一的方式捕获与用户偏好，产品和广告系列策略可能存在的异质性。为了处理张量模式的相互依赖性，我们引入了具有平均场近似值的在线变分算法。我们从经验上确认，提出的Tensorucb算法在影响基准比基准的影响最大化任务方面取得了重大改进，这归因于其捕获用户产品异质性的能力。

Neyman-Scott processes (NSPs) are point process models that generate clusters of points in time or space. They are natural models for a wide range of phenomena, ranging from neural spike trains to document streams. The clustering property is achieved via a doubly stochastic formulation: first, a set of latent events is drawn from a Poisson process; then, each latent event generates a set of observed data points according to another Poisson process. This construction is similar to Bayesian nonparametric mixture models like the Dirichlet process mixture model (DPMM) in that the number of latent events (i.e. clusters) is a random variable, but the point process formulation makes the NSP especially well suited to modeling spatiotemporal data. While many specialized algorithms have been developed for DPMMs, comparatively fewer works have focused on inference in NSPs. Here, we present novel connections between NSPs and DPMMs, with the key link being a third class of Bayesian mixture models called mixture of finite mixture models (MFMMs). Leveraging this connection, we adapt the standard collapsed Gibbs sampling algorithm for DPMMs to enable scalable Bayesian inference on NSP models. We demonstrate the potential of Neyman-Scott processes on a variety of applications including sequence detection in neural spike trains and event detection in document streams.

许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。

计数示意图（CMS）是一个时间和内存有效的随机数据结构，可根据随机哈希的数据提供令牌数据流（即点查询）中代币频率的估计。 CAI，Mitzenmacher和Adams（\ textit {neurips} 2018）提出了CMS的学习增强版本，称为CMS-DP，它依赖于贝叶斯非参与式（BNP）模型通过dirichlet过程（DP），给定数据，估计点查询作为位置查询后验分布的合适平均功能的估计值给定数据。尽管CMS-DP已被证明可以改善CMS的某些方面，但它具有``建设性的''证明的主要缺点，该证明是基于针对DP先验的论点构建的，即对其他非参数priors不使用的论点。在本文中，我们提出了CMS-DP的``贝叶斯''证明，其主要优点是基于原则上可用的参数，在广泛的非参数先验中，这是由归一化的完全随机措施引起的。该结果导致在Power-Law数据流下开发了一种新颖的学习增强的CMS，称为CMS-PYP，该CMS-PYP依赖于Pitman-Yor流程（PYP）的BNP模型。在这个更一般的框架下，我们应用了CMS-DP的``贝叶斯人''证明的论点，适当地适合PYP先验，以计算鉴于Hashed Data。数据和真实文本数据显示，CMS-PYP在估计低频代币方面优于CMS和CMS-DP，这在文本数据中是至关重要的，并且相对于CMS的变化，它具有竞争力还讨论了为低频代币设计的。还讨论了我们BNP方法扩展到更通用的查询。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

This survey provides an overview of higher-order tensor decompositions, their applications, and available software. A tensor is a multidimensional or N -way array. Decompositions of higher-order tensors (i.e., N -way arrays with N ≥ 3) have applications in psychometrics, chemometrics, signal processing, numerical linear algebra, computer vision, numerical analysis, data mining, neuroscience, graph analysis, and elsewhere. Two particular tensor decompositions can be considered to be higher-order extensions of the matrix singular value decomposition: CANDECOMP/PARAFAC (CP) decomposes a tensor as a sum of rank-one tensors, and the Tucker decomposition is a higher-order form of principal component analysis. There are many other tensor decompositions, including INDSCAL, PARAFAC2, CANDELINC, DEDICOM, and PARATUCK2 as well as nonnegative variants of all of the above. The N-way Toolbox, Tensor Toolbox, and Multilinear Engine are examples of software packages for working with tensors.

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

链接预测Infers从观察到的网络中的潜在链接，是网络分析中的基本问题之一。与仅预测双向成对关系的传统图形表示建模相比，我们提出了一种新颖的基于张量的联合网络嵌入方法，同时编码成对链路和超链接到潜在的空间上，从而捕获成对和多向链路之间的依赖性在推断出潜在的未被观察的超链接。所提出的嵌入程序的主要优点是它包括节点之间的成对关系和子组织结构，以捕获更丰富的网络信息。另外，该方法在推断潜在的超链接之间引入了链路之间的分层依赖性，并导致更好的链路预测。理论上，我们建立了拟议的嵌入方法的估计一致性，并提供了与仅利用成对链路或超链接的链路预测相比的更快的收敛速度。与现有链路预测算法相比，仿真设置和Facebook自我网络的数值研究表明，所提出的方法改善了与现有链路预测算法相比的超链接和成对链路预测精度。

Higher-order multiway data is ubiquitous in machine learning and statistics and often exhibits community-like structures, where each component (node) along each different mode has a community membership associated with it. In this paper we propose the tensor mixed-membership blockmodel, a generalization of the tensor blockmodel positing that memberships need not be discrete, but instead are convex combinations of latent communities. We establish the identifiability of our model and propose a computationally efficient estimation procedure based on the higher-order orthogonal iteration algorithm (HOOI) for tensor SVD composed with a simplex corner-finding algorithm. We then demonstrate the consistency of our estimation procedure by providing a per-node error bound, which showcases the effect of higher-order structures on estimation accuracy. To prove our consistency result, we develop the $\ell_{2,\infty}$ tensor perturbation bound for HOOI under independent, possibly heteroskedastic, subgaussian noise that may be of independent interest. Our analysis uses a novel leave-one-out construction for the iterates, and our bounds depend only on spectral properties of the underlying low-rank tensor under nearly optimal signal-to-noise ratio conditions such that tensor SVD is computationally feasible. Whereas other leave-one-out analyses typically focus on sequences constructed by analyzing the output of a given algorithm with a small part of the noise removed, our leave-one-out analysis constructions use both the previous iterates and the additional tensor structure to eliminate a potential additional source of error. Finally, we apply our methodology to real and simulated data, including applications to two flight datasets and a trade network dataset, demonstrating some effects not identifiable from the model with discrete community memberships.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

随机kriging已被广泛用于模拟元模拟，以预测复杂模拟模型的响应表面。但是，它的使用仅限于设计空间低维的情况，因为通常，样品复杂性（即随机Kriging生成准确预测所需的设计点数量）在设计的维度上呈指数增长。空间。大型样本量导致运行模拟模型的过度样本成本和由于需要倒入大量协方差矩阵而引起的严重计算挑战。基于张量的马尔可夫内核和稀疏的网格实验设计，我们开发了一种新颖的方法，可极大地减轻维数的诅咒。我们表明，即使在模型错误指定下，提议的方法论的样本复杂性也仅在维度上略有增长。我们还开发了快速算法，这些算法以其精确形式计算随机kriging，而无需任何近似方案。我们通过广泛的数值实验证明，我们的方法可以通过超过10,000维的设计空间来处理问题，从而通过相对于典型的替代方法在实践中通过数量级来提高预测准确性和计算效率。