我们引入了一个具有隐式规范正规化的概率模型，用于学习非负矩阵分解（NMF），该模型通常用于预测缺失值并在数据中找到隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因素的非负限制是通过选择基于指数函数的指数密度或分布的支持的先验来处理的。采用基于Gibbs抽样的贝叶斯推理程序。我们在几个现实世界数据集上评估了该模型，包括癌症中药物敏感性的基因组学（GDSC $ ic_ {50} $）和具有不同尺寸和尺寸的基因体甲基化，并表明拟议的贝叶斯NMF GL $ _2^2^2 $ and and anGL $ _ \ infty $模型可以对不同的数据值进行强大的预测，并避免与竞争性贝叶斯NMF方法相比过度拟合。

在本文中，我们介绍了一种用于学习非负矩阵分解（NMF）的概率模型，该模型通常用于预测数据中缺失值并在数据中找到隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。通过在非负子空间上支持先验的先验，可以处理潜在因素的非阴性约束。采用基于Gibbs抽样的贝叶斯推理程序。我们在几个现实世界中的数据集上评估了该模型，包括Movielens 100K和Movielens 1M具有不同尺寸和尺寸的Movielens，并表明所提出的贝叶斯NMF GRRN模型可导致更好的预测，并避免与现有的贝叶斯NMF方法相比，避免过度适应。

在本文中，我们提出了一个具有自动相关性测定（ARD）的概率模型，用于学习插值分解（ID），该模型通常用于低级别近似，特征选择，并识别数据中的隐藏模式，其中矩阵因子是潜在的。与每个数据维度关联的变量。在指定子空间上具有支持的先前密度用于解决观察到的矩阵的分量分量的大小的约束。采用基于Gibbs抽样的贝叶斯推理程序。我们在各种现实世界数据集上评估了该模型即使与固定潜在尺寸设置为矩阵等级的香草贝叶斯ID算法相比，甚至会导致较小的重建错误。

在本文中，我们提出了一个用于计算插值分解（ID）的概率模型，其中观察到的矩阵的每一列都有其自身的优先级或重要性，因此分解的最终结果可以找到一组代表该功能的特征，这些功能代表了该功能整个功能以及所选功能的优先级也比其他功能更高。这种方法通常用于低级别近似，特征选择和提取数据中的隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。应用贝叶斯推理的Gibbs采样用于进行优化。我们评估了现实世界数据集上的拟议模型，包括十个中国A股票股票，并证明了带有干预措施（IID）的拟议的贝叶斯ID算法（IID）与现有贝叶斯ID算法的可比较重建错误，同时选择具有更高分数或优先级的特征。

Matrix factorization exploits the idea that, in complex high-dimensional data, the actual signal typically lies in lower-dimensional structures. These lower dimensional objects provide useful insight, with interpretability favored by sparse structures. Sparsity, in addition, is beneficial in terms of regularization and, thus, to avoid over-fitting. By exploiting Bayesian shrinkage priors, we devise a computationally convenient approach for high-dimensional matrix factorization. The dependence between row and column entities is modeled by inducing flexible sparse patterns within factors. The availability of external information is accounted for in such a way that structures are allowed while not imposed. Inspired by boosting algorithms, we pair the the proposed approach with a numerical strategy relying on a sequential inclusion and estimation of low-rank contributions, with data-driven stopping rule. Practical advantages of the proposed approach are demonstrated by means of a simulation study and the analysis of soccer heatmaps obtained from new generation tracking data.

Understanding of the pathophysiology of obstructive lung disease (OLD) is limited by available methods to examine the relationship between multi-omic molecular phenomena and clinical outcomes. Integrative factorization methods for multi-omic data can reveal latent patterns of variation describing important biological signal. However, most methods do not provide a framework for inference on the estimated factorization, simultaneously predict important disease phenotypes or clinical outcomes, nor accommodate multiple imputation. To address these gaps, we propose Bayesian Simultaneous Factorization (BSF). We use conjugate normal priors and show that the posterior mode of this model can be estimated by solving a structured nuclear norm-penalized objective that also achieves rank selection and motivates the choice of hyperparameters. We then extend BSF to simultaneously predict a continuous or binary response, termed Bayesian Simultaneous Factorization and Prediction (BSFP). BSF and BSFP accommodate concurrent imputation and full posterior inference for missing data, including "blockwise" missingness, and BSFP offers prediction of unobserved outcomes. We show via simulation that BSFP is competitive in recovering latent variation structure, as well as the importance of propagating uncertainty from the estimated factorization to prediction. We also study the imputation performance of BSF via simulation under missing-at-random and missing-not-at-random assumptions. Lastly, we use BSFP to predict lung function based on the bronchoalveolar lavage metabolome and proteome from a study of HIV-associated OLD. Our analysis reveals a distinct cluster of patients with OLD driven by shared metabolomic and proteomic expression patterns, as well as multi-omic patterns related to lung function decline. Software is freely available at https://github.com/sarahsamorodnitsky/BSFP .

最近，通过双段正则化的镜头，基于基于低矩阵完成的无监督学习的兴趣复兴，这显着改善了多学科机器学习任务的性能，例如推荐系统，基因型插图和图像插入。虽然双颗粒正则化贡献了成功的主要部分，但通常涉及计算昂贵的超参数调谐。为了避免这样的缺点并提高完成性能，我们提出了一种新颖的贝叶斯学习算法，该算法会自动学习与双重正规化相关的超参数，同时保证矩阵完成的低级别。值得注意的是，设计出一个小说的先验是为了促进矩阵的低级别并同时编码双电图信息，这比单圈对应物更具挑战性。然后探索所提出的先验和可能性函数之间的非平凡条件偶联性，以使有效算法在变化推理框架下得出。使用合成和现实世界数据集的广泛实验证明了针对各种数据分析任务的拟议学习算法的最先进性能。

结构方程模型（SEM）是一种有效的框架，其原因是通过定向非循环图（DAG）表示的因果关系。最近的进步使得能够从观察数据中实现了DAG的最大似然点估计。然而，在实际场景中，可以不能准确地捕获在推断下面的底层图中的不确定性，其中真正的DAG是不可识别的并且/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估算表征线性高斯SEM的DAG的分布。由于图形的离散和组合性质，开发一个完整的贝叶斯后面是挑战。我们通过表达变分别家庭分析可扩展VI的可扩展VI的关键设计选择，例如1）表达性变分别家庭，2）连续弛豫，使低方差随机优化和3）在潜在变量上具有合适的前置。我们提供了一系列关于实际和合成数据的实验，显示BCD网在低数据制度中的标准因果发现度量上的最大似然方法，例如结构汉明距离。

Many existing approaches to collaborative filtering can neither handle very large datasets nor easily deal with users who have very few ratings. In this paper we present the Probabilistic Matrix Factorization (PMF) model which scales linearly with the number of observations and, more importantly, performs well on the large, sparse, and very imbalanced Netflix dataset. We further extend the PMF model to include an adaptive prior on the model parameters and show how the model capacity can be controlled automatically. Finally, we introduce a constrained version of the PMF model that is based on the assumption that users who have rated similar sets of movies are likely to have similar preferences. The resulting model is able to generalize considerably better for users with very few ratings. When the predictions of multiple PMF models are linearly combined with the predictions of Restricted Boltzmann Machines models, we achieve an error rate of 0.8861, that is nearly 7% better than the score of Netflix's own system.

We propose a message passing algorithm, based on variational Bayesian inference, for low-rank tensor completion with automatic rank determination in the canonical polyadic format when additional side information (SI) is given. The SI comes in the form of lowdimensional subspaces the contain the fiber spans of the tensor (columns, rows, tubes, etc.). We validate the regularization properties induced by SI with extensive numerical experiments on synthetic and real-world data and present the results about tensor recovery and rank determination. The results show that the number of samples required for successful completion is significantly reduced in the presence of SI. We also discuss the origin of a bump in the phase transition curves that exists when the dimensionality of SI is comparable with that of the tensor.

这项调查旨在提供线性模型及其背后的理论的介绍。我们的目标是对读者进行严格的介绍，并事先接触普通最小二乘。在机器学习中，输出通常是输入的非线性函数。深度学习甚至旨在找到需要大量计算的许多层的非线性依赖性。但是，这些算法中的大多数都基于简单的线性模型。然后，我们从不同视图中描述线性模型，并找到模型背后的属性和理论。线性模型是回归问题中的主要技术，其主要工具是最小平方近似，可最大程度地减少平方误差之和。当我们有兴趣找到回归函数时，这是一个自然的选择，该回归函数可以最大程度地减少相应的预期平方误差。这项调查主要是目的的摘要，即线性模型背后的重要理论的重要性，例如分布理论，最小方差估计器。我们首先从三种不同的角度描述了普通的最小二乘，我们会以随机噪声和高斯噪声干扰模型。通过高斯噪声，该模型产生了可能性，因此我们引入了最大似然估计器。它还通过这种高斯干扰发展了一些分布理论。最小二乘的分布理论将帮助我们回答各种问题并引入相关应用。然后，我们证明最小二乘是均值误差的最佳无偏线性模型，最重要的是，它实际上接近了理论上的极限。我们最终以贝叶斯方法及以后的线性模型结束。

我们考虑具有某些约束的矩阵分解（MF），在各个领域找到广泛的应用。利用变异推理（VI）和单一近似消息传递（UAMP），我们通过有效的消息传递实现（称为UAMPMF）开发了MF的贝叶斯方法。通过对因子矩阵施加的适当先验，UAMPMF可用于解决许多可以表达为MF的问题，例如非负基质分解，词典学习，具有矩阵不确定性的压缩感，可靠的主成分分析和稀疏矩阵分解。提供了广泛的数值示例，以表明UAMPMF在恢复精度，鲁棒性和计算复杂性方面显着优于最先进的算法。

我们提出了一种新的非参数混合物模型，用于多变量回归问题，灵感来自概率K-Nearthimest邻居算法。使用有条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，从而产生高斯混合物表示的预测分布。在混合物组件的参数以及距离度量标准的参数上，使用平均场变化贝叶斯算法进行后推断，并具有基于随机梯度的优化过程。在与数据大小相比，输入 - 输出关系很复杂，预测分布可能偏向或多模式的情况下，输入相对较高的尺寸，该方法尤其有利。对五个数据集进行的计算研究，其中两个是合成生成的，这说明了我们的高维输入的专家混合物方法的明显优势，在验证指标和视觉检查方面都优于竞争者模型。

多维时空数据的概率建模对于许多现实世界应用至关重要。然而，现实世界时空数据通常表现出非平稳性的复杂依赖性，即相关结构随位置/时间而变化，并且在空间和时间之间存在不可分割的依赖性，即依赖关系。开发有效和计算有效的统计模型，以适应包含远程和短期变化的非平稳/不可分割的过程，成为一项艰巨的任务，尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中，我们提出了一个新的统计框架 - 贝叶斯互补内核学习（BCKL），以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性，BCKL与短距离时空高斯过程（GP）相结合的内核低级分解（GP），其中两个组件相互补充。具体而言，我们使用多线性低级分组组件来捕获数据中的全局/远程相关性，并基于紧凑的核心函数引入加法短尺度GP，以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛（MCMC）算法，并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

显式低级正则化，例如核规范的正则化已被广泛用于成像科学。但是，已经发现，在各种图像处理任务中，隐式正规化优于明确的正规化。另一个问题是，固定的显式正则化将适用性限制为广泛图像，因为不同的图像偏爱不同的显式正则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低级别正则化，从训练数据中动态捕获了较低的先验。我们新的自适应和隐式低级别正则化的核心是在基于Dirichlet Energy的正则化中参数化Laplacian矩阵，我们称之为正则化空气。从理论上讲，我们表明\ retwo {air}的自适应正则化增强了训练结束时的隐式正则化和消失。我们验证了空气对各种基准任务的有效性，表明空气对缺失条目不均匀的情况特别有利。该代码可以在https://github.com/lizhemin15/air-net上找到。

明确的低级正则化，例如核规范规则，已广泛用于成像科学。但是，已经发现隐式正则化优于各种图像处理任务中的明确正则化。另一个问题是，固定的显式正则化将适用性限制为广泛的图像，因为不同的图像有利于使用不同的显式规则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低级正则化，其从训练数据动态地捕获低秩。在我们新的自适应和隐式低级正则化的核心，正在使用神经网络参数化Laplacian矩阵，并通过神经网络调用所提出的型号\ Textit {Air-Net}。从理论上讲，我们表明，空气网的自适应正规化增强了隐含的正则化并在培训结束时消失。我们验证了对各种基准任务对各种基准任务的效果，显示空中网对缺失条目不均匀时的情况尤为好评。可以在\ href {https://github.com/lizhemin15/airair-net}} {https：//github.com/lizhemin15/airair-net}。

The horseshoe prior is known to possess many desirable properties for Bayesian estimation of sparse parameter vectors, yet its density function lacks an analytic form. As such, it is challenging to find a closed-form solution for the posterior mode. Conventional horseshoe estimators use the posterior mean to estimate the parameters, but these estimates are not sparse. We propose a novel expectation-maximisation (EM) procedure for computing the MAP estimates of the parameters in the case of the standard linear model. A particular strength of our approach is that the M-step depends only on the form of the prior and it is independent of the form of the likelihood. We introduce several simple modifications of this EM procedure that allow for straightforward extension to generalised linear models. In experiments performed on simulated and real data, our approach performs comparable, or superior to, state-of-the-art sparse estimation methods in terms of statistical performance and computational cost.

矩阵分解（MF）已广泛应用于建议系统中的协作过滤。它的贝叶斯变体可以得出用户和项目嵌入的后验分布，并且对稀疏评分更强大。但是，贝叶斯方法受到其后验参数的更新规则的限制，这是由于先验和可能性的结合。变量自动编码器（VAE）可以通过捕获后验参数和数据之间的复杂映射来解决此问题。但是，当前对合作过滤的VAE的研究仅根据明确的数据信息考虑映射，而隐含嵌入信息则被忽略了。在本文中，我们首先从两个观点（以用户为导向和面向项目的观点）得出了贝叶斯MF模型的贝叶斯MF模型的较低界限（ELBO）。根据肘部，我们提出了一个基于VAE的贝叶斯MF框架。它不仅利用数据，还利用嵌入信息来近似用户项目联合分布。正如肘部所建议的那样，近似是迭代的，用户和项目嵌入彼此的编码器的交叉反馈。更具体地说，在上一个迭代中采样的用户嵌入被馈送到项目端编码器中，以估计当前迭代处的项目嵌入的后验参数，反之亦然。该估计还可以关注交叉食品的嵌入式，以进一步利用有用的信息。然后，解码器通过当前重新采样的用户和项目嵌入方式通过矩阵分解重建数据。

This paper extends quantile factor analysis to a probabilistic variant that incorporates regularization and computationally efficient variational approximations. By means of synthetic and real data experiments it is established that the proposed estimator can achieve, in many cases, better accuracy than a recently proposed loss-based estimator. We contribute to the literature on measuring uncertainty by extracting new indexes of low, medium and high economic policy uncertainty, using the probabilistic quantile factor methodology. Medium and high indexes have clear contractionary effects, while the low index is benign for the economy, showing that not all manifestations of uncertainty are the same.