神经影像动物和超越的几个问题需要对多任务稀疏分层回归模型参数的推断。示例包括M / EEG逆问题，用于基于任务的FMRI分析的神经编码模型，以及气候或CPU和GPU的温度监测。在这些域中，要推断的模型参数和测量噪声都可以表现出复杂的时空结构。现有工作要么忽略时间结构，要么导致计算苛刻的推论方案。克服这些限制，我们设计了一种新颖的柔性等级贝叶斯框架，其中模型参数和噪声的时空动态被建模为具有Kronecker产品协方差结构。我们的框架中的推断是基于大大化最小化优化，并有保证的收敛属性。我们高效的算法利用了时间自传矩阵的内在riemannian几何学。对于Toeplitz矩阵描述的静止动力学，采用了循环嵌入的理论。我们证明了Convex边界属性并导出了结果算法的更新规则。在来自M / EEG的合成和真实神经数据上，我们证明了我们的方法导致性能提高。

许多现代数据集，从神经影像和地统计数据等领域都以张量数据的随机样本的形式来说，这可以被理解为对光滑的多维随机功能的嘈杂观察。来自功能数据分析的大多数传统技术被维度的诅咒困扰，并且随着域的尺寸增加而迅速变得棘手。在本文中，我们提出了一种学习从多维功能数据样本的持续陈述的框架，这些功能是免受诅咒的几种表现形式的。这些表示由一组可分离的基函数构造，该函数被定义为最佳地适应数据。我们表明，通过仔细定义的数据的仔细定义的减少转换的张测仪分解可以有效地解决所得到的估计问题。使用基于差分运算符的惩罚，并入粗糙的正则化。也建立了相关的理论性质。在模拟研究中证明了我们对竞争方法的方法的优点。我们在神经影像动物中得出真正的数据应用。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

我们开发了一个计算程序，以估计具有附加噪声的半摩托车高斯过程回归模型的协方差超参数。也就是说，提出的方法可用于有效估计相关误差的方差，以及基于最大化边际似然函数的噪声方差。我们的方法涉及适当地降低超参数空间的维度，以简化单变量的根发现问题的估计过程。此外，我们得出了边际似然函数及其衍生物的边界和渐近线，这对于缩小高参数搜索的初始范围很有用。使用数值示例，我们证明了与传统参数优化相比，提出方法的计算优势和鲁棒性。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

电磁源成像（ESI）需要解决高度不良的反问题。为了寻求独特的解决方案，传统的ESI方法施加了各种形式的先验，这些方法可能无法准确反映实际的源属性，这可能会阻碍其广泛的应用。为了克服这一局限性，在本文中，提出了一种新的数据合成的时空卷积编码器网络方法，称为dst-cednet。 DST-CEDNET将ESI作为机器学习问题重新铸造，其中歧视性学习和潜在空间表示形式集成到卷积编码器decoder网络（CEDNET）中，以从测量的电脑摄影/磁脑摄影学（E/MEG）信号中学习强大的映射，大脑活动。特别是，通过纳入有关动态大脑活动的先验知识，设计了一种新型的数据合成策略来生成大规模样本，以有效训练Cednet。这与传统的ESI方法相反，在传统的ESI方法中，通常通过主要旨在用于数学便利的约束来实施先前的信息。广泛的数值实验以及对真实MEG和癫痫脑电图数据集的分析表明，DST-Cednet在多种源配置下稳健估计源信号的多种最新ESI方法的表现。

多光谱探测器的进步导致X射线计算机断层扫描（CT）的范式偏移。从这些检测器获取的光谱信息可用于提取感兴趣对象的体积材料成分图。如果已知材料及其光谱响应是先验的，则图像重建步骤相当简单。但是，如果他们不知道，则需要共同估计地图以及响应。频谱CT中的传统工作流程涉及执行卷重建，然后进行材料分解，反之亦然。然而，这些方法本身遭受了联合重建问题的缺陷。为了解决这个问题，我们提出了一种基于词典的联合重建和解密方法的光谱断层扫描（调整）。我们的配方依赖于形成CT中常见的材料的光谱签名词典以及对象中存在的材料数的先验知识。特别地，我们在空间材料映射，光谱词典和字典元素的材料的指示符方面对光谱体积线性分解。我们提出了一种记忆有效的加速交替的近端梯度方法，以找到所得到的Bi-convex问题的近似解。根据几种合成幻影的数值示范，我们观察到与其他最先进的方法相比，调整非常好。此外，我们解决了针对有限测量模式调整的鲁棒性。

We consider the nonlinear inverse problem of learning a transition operator $\mathbf{A}$ from partial observations at different times, in particular from sparse observations of entries of its powers $\mathbf{A},\mathbf{A}^2,\cdots,\mathbf{A}^{T}$. This Spatio-Temporal Transition Operator Recovery problem is motivated by the recent interest in learning time-varying graph signals that are driven by graph operators depending on the underlying graph topology. We address the nonlinearity of the problem by embedding it into a higher-dimensional space of suitable block-Hankel matrices, where it becomes a low-rank matrix completion problem, even if $\mathbf{A}$ is of full rank. For both a uniform and an adaptive random space-time sampling model, we quantify the recoverability of the transition operator via suitable measures of incoherence of these block-Hankel embedding matrices. For graph transition operators these measures of incoherence depend on the interplay between the dynamics and the graph topology. We develop a suitable non-convex iterative reweighted least squares (IRLS) algorithm, establish its quadratic local convergence, and show that, in optimal scenarios, no more than $\mathcal{O}(rn \log(nT))$ space-time samples are sufficient to ensure accurate recovery of a rank-$r$ operator $\mathbf{A}$ of size $n \times n$. This establishes that spatial samples can be substituted by a comparable number of space-time samples. We provide an efficient implementation of the proposed IRLS algorithm with space complexity of order $O(r n T)$ and per-iteration time complexity linear in $n$. Numerical experiments for transition operators based on several graph models confirm that the theoretical findings accurately track empirical phase transitions, and illustrate the applicability and scalability of the proposed algorithm.

Erroneous correspondences between samples and their respective channel or target commonly arise in several real-world applications. For instance, whole-brain calcium imaging of freely moving organisms, multiple target tracking or multi-person contactless vital sign monitoring may be severely affected by mismatched sample-channel assignments. To systematically address this fundamental problem, we pose it as a signal reconstruction problem where we have lost correspondences between the samples and their respective channels. We show that under the assumption that the signals of interest admit a sparse representation over an overcomplete dictionary, unique signal recovery is possible. Our derivations reveal that the problem is equivalent to a structured unlabeled sensing problem without precise knowledge of the sensing matrix. Unfortunately, existing methods are neither robust to errors in the regressors nor do they exploit the structure of the problem. Therefore, we propose a novel robust two-step approach for the reconstruction of shuffled sparse signals. The performance and robustness of the proposed approach is illustrated in an application of whole-brain calcium imaging in computational neuroscience. The proposed framework can be generalized to sparse signal representations other than the ones considered in this work to be applied in a variety of real-world problems with imprecise measurement or channel assignment.

We study a multi-factor block model for variable clustering and connect it to the regularized subspace clustering by formulating a distributionally robust version of the nodewise regression. To solve the latter problem, we derive a convex relaxation, provide guidance on selecting the size of the robust region, and hence the regularization weighting parameter, based on the data, and propose an ADMM algorithm for implementation. We validate our method in an extensive simulation study. Finally, we propose and apply a variant of our method to stock return data, obtain interpretable clusters that facilitate portfolio selection and compare its out-of-sample performance with other clustering methods in an empirical study.

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.

我们提出了一种监督学习稀疏促进正规化器的方法，以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是，这些正规化器的基础操作员通常是通过手动设计的，要么以无监督的方式从数据中学到。监督学习（主要是卷积神经网络）在解决图像重建问题方面的最新成功表明，这可能是设计正规化器的富有成果的方法。为此，我们建议使用带有参数，稀疏的正规器的变异公式来贬低信号，其中学会了正常器的参数，以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题；我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达，并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明，所提出的方法可以学习一个超过众所周知的正规化器（总变化，DCT-SPARSITY和无监督的字典学习）的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的，但我们认为它可以适应线性测量模型的较大类反问题，使其在广泛的信号重建设置中适用。

We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.

我们考虑使用共享结构估算两个功能无向图形模型之间的差异的问题。在许多应用中，数据自然被认为是随机函数的向量而不是标量的矢量。例如，脑电图（EEG）数据更适当地被视为时间函数。在这样的问题中，不仅可以每个样本测量的函数数量大，而且每个功能都是自身是无限尺寸对象，使估计模型参数具有挑战性。这进一步复杂于曲线通常仅在离散时间点观察到。我们首先定义一个功能差异图，捕获两个功能图形模型之间的差异，并在功能性差分图定义良好时正式表征。然后，我们提出了一种方法，软件，直接估计功能差异图，而不首先估计每个图形。这在各个图形是密集的情况下，这是特别有益的，但差分图是稀疏的。我们表明，融合始终估计功能差图，即使在全面观察和离散的功能路径的高维设置中也是如此。我们通过仿真研究说明了我们方法的有限样本性质。我们还提出了一种竞争方法，该方法是关节功能图形套索，它概括了关节图形套索到功能设置。最后，我们将我们的方法应用于EEG数据，以揭示一群含有酒精使用障碍和对照组的个体之间的功能性脑连接的差异。

我们考虑了从节点观测值估算多个网络拓扑的问题，其中假定这些网络是从相同（未知）随机图模型中绘制的。我们采用图形作为我们的随机图模型，这是一个非参数模型，可以从中绘制出潜在不同大小的图形。图形子的多功能性使我们能够解决关节推理问题，即使对于要恢复的图形包含不同数量的节点并且缺乏整个图形的精确比对的情况。我们的解决方案是基于将最大似然惩罚与Graphon估计方案结合在一起，可用于增强现有网络推理方法。通过引入嘈杂图抽样信息的强大方法，进一步增强了所提出的联合网络和图形估计。我们通过将其性能与合成和实际数据集中的竞争方法进行比较来验证我们提出的方法。

多变量功能数据的协方差结构可以高度复杂，特别是如果多变量维度大，则使标准多变量数据的统计方法的扩展到功能数据设置具有挑战性。例如，通过将多变量方法应用于截断的基础扩展系数，最近已经扩展到高斯图形模型。然而，与多变量数据相比的关键难度是协方差操作员紧凑，因此不可逆转。本文中的方法论地解决了多元函数数据的协方差建模的一般问题，特别是特定功能性高斯图形模型。作为第一步，提出了多变量功能数据的协方差运算符的可分离性的新概念，称为部分可分离性，导致这种数据的新型Karhunen-Lo \“Eve型扩展。接下来，示出部分可分离结构是特别有用的，以提供可以用一系列有限维图形模型，每个相同的固定尺寸识别的明确定义的功能高斯图形模型。这通过应用联合图形套索来激发一个简单有效的估计过程。通过在电机任务期间的模拟和分析功能性脑连接的仿真和分析来评估图形模型估计方法的经验性能。通过在电机任务期间的仿真和分析来评估图形模型估计方法的百分比实证性能。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

具有伽马超高提升的分层模型提供了一个灵活，稀疏的促销框架，用于桥接$ l ^ 1 $和$ l ^ 2 $ scalalizations在贝叶斯的配方中致正问题。尽管对这些模型具有贝叶斯动机，但现有的方法仅限于\ Textit {最大后验}估计。尚未实现执行不确定性量化的可能性。本文介绍了伽马超高图的分层逆问题的变分迭代交替方案。所提出的变分推理方法产生精确的重建，提供有意义的不确定性量化，易于实施。此外，它自然地引入了用于选择超参数的模型选择。我们说明了我们在几个计算的示例中的方法的性能，包括从时间序列数据的动态系统的解卷积问题和稀疏识别。

重建 /特征提取的联合问题是图像处理中的一项具有挑战性的任务。它包括以联合方式执行图像的恢复及其特征的提取。在这项工作中，我们首先提出了一个新颖的非平滑和非凸变性表述。为此，我们介绍了一种通用的高斯先验，其参数（包括其指数）是空间变化的。其次，我们设计了一种基于近端的交替优化算法，该算法有效利用了所提出的非convex目标函数的结构。我们还分析了该算法的收敛性。如在关节分割/脱张任务进行的数值实验中所示，该方法提供了高质量的结果。