我们考虑具有某些约束的矩阵分解（MF），在各个领域找到广泛的应用。利用变异推理（VI）和单一近似消息传递（UAMP），我们通过有效的消息传递实现（称为UAMPMF）开发了MF的贝叶斯方法。通过对因子矩阵施加的适当先验，UAMPMF可用于解决许多可以表达为MF的问题，例如非负基质分解，词典学习，具有矩阵不确定性的压缩感，可靠的主成分分析和稀疏矩阵分解。提供了广泛的数值示例，以表明UAMPMF在恢复精度，鲁棒性和计算复杂性方面显着优于最先进的算法。

Choosing the values of hyper-parameters in sparse Bayesian learning (SBL) can significantly impact performance. However, the hyper-parameters are normally tuned manually, which is often a difficult task. Most recently, effective automatic hyper-parameter tuning was achieved by using an empirical auto-tuner. In this work, we address the issue of hyper-parameter auto-tuning using neural network (NN)-based learning. Inspired by the empirical auto-tuner, we design and learn a NN-based auto-tuner, and show that considerable improvement in convergence rate and recovery performance can be achieved.

最近，通过双段正则化的镜头，基于基于低矩阵完成的无监督学习的兴趣复兴，这显着改善了多学科机器学习任务的性能，例如推荐系统，基因型插图和图像插入。虽然双颗粒正则化贡献了成功的主要部分，但通常涉及计算昂贵的超参数调谐。为了避免这样的缺点并提高完成性能，我们提出了一种新颖的贝叶斯学习算法，该算法会自动学习与双重正规化相关的超参数，同时保证矩阵完成的低级别。值得注意的是，设计出一个小说的先验是为了促进矩阵的低级别并同时编码双电图信息，这比单圈对应物更具挑战性。然后探索所提出的先验和可能性函数之间的非平凡条件偶联性，以使有效算法在变化推理框架下得出。使用合成和现实世界数据集的广泛实验证明了针对各种数据分析任务的拟议学习算法的最先进性能。

We propose a message passing algorithm, based on variational Bayesian inference, for low-rank tensor completion with automatic rank determination in the canonical polyadic format when additional side information (SI) is given. The SI comes in the form of lowdimensional subspaces the contain the fiber spans of the tensor (columns, rows, tubes, etc.). We validate the regularization properties induced by SI with extensive numerical experiments on synthetic and real-world data and present the results about tensor recovery and rank determination. The results show that the number of samples required for successful completion is significantly reduced in the presence of SI. We also discuss the origin of a bump in the phase transition curves that exists when the dimensionality of SI is comparable with that of the tensor.

通过变分贝叶斯近似来提出框架，用于拟合逆问题模型。与标准马尔可夫链蒙特卡罗方法相比，这种方法可确保对广泛的应用，良好的应用，良好的精度性能和降低的模型拟合时间来灵活。我们描述的变分贝叶斯的消息传递和因子图片段方法促进了简化的近似推理算法的实现，并形成软件开发的基础。这种方法允许将许多响应分布和惩罚抑制到逆问题模型中。尽管我们的工作被赋予了一个和二维响应变量，但我们展示了一个基础设施，其中还可以导出基于变量之间的无效弱交互的有效算法更新，以便在更高维度中的逆问题。通过生物医学和考古问题激励的图像处理应用程序作为图示。

In this paper, we investigate the joint device activity and data detection in massive machine-type communications (mMTC) with a one-phase non-coherent scheme, where data bits are embedded in the pilot sequences and the base station simultaneously detects active devices and their embedded data bits without explicit channel estimation. Due to the correlated sparsity pattern introduced by the non-coherent transmission scheme, the traditional approximate message passing (AMP) algorithm cannot achieve satisfactory performance. Therefore, we propose a deep learning (DL) modified AMP network (DL-mAMPnet) that enhances the detection performance by effectively exploiting the pilot activity correlation. The DL-mAMPnet is constructed by unfolding the AMP algorithm into a feedforward neural network, which combines the principled mathematical model of the AMP algorithm with the powerful learning capability, thereby benefiting from the advantages of both techniques. Trainable parameters are introduced in the DL-mAMPnet to approximate the correlated sparsity pattern and the large-scale fading coefficient. Moreover, a refinement module is designed to further advance the performance by utilizing the spatial feature caused by the correlated sparsity pattern. Simulation results demonstrate that the proposed DL-mAMPnet can significantly outperform traditional algorithms in terms of the symbol error rate performance.

在本文中，我们提出了一个参数化因素，该因子可以对随机变量之间存在线性依赖性的高斯网络进行推理。我们的因素表示有效地是对传统高斯参数化的概括，在这种情况下，协方差矩阵的正定限制已被放松。为此，我们得出了各种统计操作和结果（例如，随机变量的边缘化，乘法和仿射转换）将高斯因子的能力扩展到这些退化设置。通过使用此原则性因素定义，可以以几乎没有额外的计算成本来准确，自动适应退化。作为例证，我们将方法应用于一个代表性的示例，该示例涉及合作移动机器人的递归状态估计。

神经影像动物和超越的几个问题需要对多任务稀疏分层回归模型参数的推断。示例包括M / EEG逆问题，用于基于任务的FMRI分析的神经编码模型，以及气候或CPU和GPU的温度监测。在这些域中，要推断的模型参数和测量噪声都可以表现出复杂的时空结构。现有工作要么忽略时间结构，要么导致计算苛刻的推论方案。克服这些限制，我们设计了一种新颖的柔性等级贝叶斯框架，其中模型参数和噪声的时空动态被建模为具有Kronecker产品协方差结构。我们的框架中的推断是基于大大化最小化优化，并有保证的收敛属性。我们高效的算法利用了时间自传矩阵的内在riemannian几何学。对于Toeplitz矩阵描述的静止动力学，采用了循环嵌入的理论。我们证明了Convex边界属性并导出了结果算法的更新规则。在来自M / EEG的合成和真实神经数据上，我们证明了我们的方法导致性能提高。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

我们通过基于压缩感测和多输出（MIMO）无线雷达来解决材料缺陷的检测，这些材料缺陷在层状材料结构内部。这里，由于层状结构的表面的反射导致的强杂波通常经常使缺陷挑战的缺陷。因此，需要改进的缺陷检测所需的复杂信号分离方法。在许多情况下，我们感兴趣的缺陷的数量是有限的，并且分层结构的信令响应可以被建模为低秩结构。因此，我们提出了对缺陷检测的关节等级和稀疏最小化。特别是，我们提出了一种基于迭代重量的核和$ \ ell_1- $规范（一种双重重量方法）的非凸法方法，与传统的核规范和$ \ ell_1- $常态最小化相比获得更高的准确性。为此，迭代算法旨在估计低级别和稀疏贡献。此外，我们建议深入学习来学习算法（即，算法展开）的参数，以提高算法的准确性和汇聚速度。我们的数值结果表明，该方法在恢复的低级别和稀疏组分的均方误差和收敛速度方面优于常规方法。

贝叶斯神经网络和深度集合代表了深入学习中不确定性量化的两种现代范式。然而，这些方法主要因内存低效率问题而争取，因为它们需要比其确定性对应物高出几倍的参数储存。为了解决这个问题，我们使用少量诱导重量增强每层的重量矩阵，从而将不确定性定量突出到这种低尺寸空间中。我们进一步扩展了Matheron的有条件高斯采样规则，以实现快速的重量采样，这使得我们的推理方法能够与合并相比保持合理的运行时间。重要的是，我们的方法在具有完全连接的神经网络和RESNET的预测和不确定性估算任务中实现了竞争性能，同时将参数大小减少到$单辆$ \ LEQ 24.3 \％$的参数大小神经网络。

We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.

具有伽马超高提升的分层模型提供了一个灵活，稀疏的促销框架，用于桥接$ l ^ 1 $和$ l ^ 2 $ scalalizations在贝叶斯的配方中致正问题。尽管对这些模型具有贝叶斯动机，但现有的方法仅限于\ Textit {最大后验}估计。尚未实现执行不确定性量化的可能性。本文介绍了伽马超高图的分层逆问题的变分迭代交替方案。所提出的变分推理方法产生精确的重建，提供有意义的不确定性量化，易于实施。此外，它自然地引入了用于选择超参数的模型选择。我们说明了我们在几个计算的示例中的方法的性能，包括从时间序列数据的动态系统的解卷积问题和稀疏识别。

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

本文介绍了使用基于补丁的先前分布的图像恢复的新期望传播（EP）框架。虽然Monte Carlo技术典型地用于从难以处理的后分布中进行采样，但它们可以在诸如图像恢复之类的高维推论问题中遭受可扩展性问题。为了解决这个问题，这里使用EP来使用多元高斯密度的产品近似后分布。此外，对这些密度的协方差矩阵施加结构约束允许更大的可扩展性和分布式计算。虽然该方法自然适于处理添加剂高斯观察噪声，但它也可以扩展到非高斯噪声。用于高斯和泊松噪声的去噪，染色和去卷积问题进行的实验说明了这种柔性近似贝叶斯方法的潜在益处，以实现与采样技术相比降低的计算成本。

结构化参数空间的自然梯度下降（NGD）（例如，低级CovariRces）是由于困难的Fisher矩阵计算而在计算上具有挑战性。我们通过使用\ emph {local-parameter坐标}来解决此问题，以获取灵活且高效的NGD方法，适用于各种结构化参数化。我们显示了四个应用程序，我们的方法（1）概括指数自然进化策略，（2）恢复现有的牛顿样算法，（3）通过矩阵组产生新的结构化二阶算法，（4）给出了新的算法高斯和基于Wishart的分布的协方差。我们展示了深度学习，变分推论和进化策略的一系列问题。我们的工作为可扩展结构化几何方法开辟了新的方向。

多维时空数据的概率建模对于许多现实世界应用至关重要。然而，现实世界时空数据通常表现出非平稳性的复杂依赖性，即相关结构随位置/时间而变化，并且在空间和时间之间存在不可分割的依赖性，即依赖关系。开发有效和计算有效的统计模型，以适应包含远程和短期变化的非平稳/不可分割的过程，成为一项艰巨的任务，尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中，我们提出了一个新的统计框架 - 贝叶斯互补内核学习（BCKL），以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性，BCKL与短距离时空高斯过程（GP）相结合的内核低级分解（GP），其中两个组件相互补充。具体而言，我们使用多线性低级分组组件来捕获数据中的全局/远程相关性，并基于紧凑的核心函数引入加法短尺度GP，以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛（MCMC）算法，并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。

我们开发了一个计算程序，以估计具有附加噪声的半摩托车高斯过程回归模型的协方差超参数。也就是说，提出的方法可用于有效估计相关误差的方差，以及基于最大化边际似然函数的噪声方差。我们的方法涉及适当地降低超参数空间的维度，以简化单变量的根发现问题的估计过程。此外，我们得出了边际似然函数及其衍生物的边界和渐近线，这对于缩小高参数搜索的初始范围很有用。使用数值示例，我们证明了与传统参数优化相比，提出方法的计算优势和鲁棒性。

近似消息传递（AMP）是具有非高斯分布的某些高维线性系统的低成本迭代参数估计技术。然而，放大器仅适用于独立相同的分布（IID）变换矩阵，但是对于其他矩阵集合，尤其是对于不良条件的矩阵，可能变得不可靠（例如，表现不良或甚至不同）。建议正交/矢量放大器（OAMP / VAMP）用于一般右单一不变的矩阵来处理这种困难。然而，贝叶斯最优休息/鞋面（BO-OAMP / VAMP）需要高度复杂性线性最小均方误差（MMSE）估计器。这限制了oamp / vamp在大规模系统中的应用。为了解决AMP和BO-OAMP / VAMP的缺点，本文提出了在正交原理下的记忆放大器（MAMP）框架，保证了MAMP中估计估计误差的渐近IID高斯。我们为本域内存估算器提供了一个正交化过程，以实现MAMP所需的正交性。此外，我们提出了一种贝叶斯 - 最佳机制（BO-MAMP），其中提出了一种用于干扰抑制的长存储器匹配过滤器。 BO-MAMP的复杂性与AMP相当。源于渐近表征Bo-MAMP的性能的状态演变。基于国家演化，优化了BO-MAMP中的松弛参数和阻尼载体。对于所有右单一不变的矩阵，优化的BO-MAMP的状态演变会收敛到与高复杂性BO-OAMP / VAMP相同的固定点，并且如果其状态进化具有独特的固定点，则是贝叶斯的最佳状态。最后，提供了模拟以验证理论结果的有效性和准确性。

在本文中，我们提出了一个具有自动相关性测定（ARD）的概率模型，用于学习插值分解（ID），该模型通常用于低级别近似，特征选择，并识别数据中的隐藏模式，其中矩阵因子是潜在的。与每个数据维度关联的变量。在指定子空间上具有支持的先前密度用于解决观察到的矩阵的分量分量的大小的约束。采用基于Gibbs抽样的贝叶斯推理程序。我们在各种现实世界数据集上评估了该模型即使与固定潜在尺寸设置为矩阵等级的香草贝叶斯ID算法相比，甚至会导致较小的重建错误。