我们提出了一种监督学习稀疏促进正规化器的方法，以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是，这些正规化器的基础操作员通常是通过手动设计的，要么以无监督的方式从数据中学到。监督学习（主要是卷积神经网络）在解决图像重建问题方面的最新成功表明，这可能是设计正规化器的富有成果的方法。为此，我们建议使用带有参数，稀疏的正规器的变异公式来贬低信号，其中学会了正常器的参数，以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题；我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达，并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明，所提出的方法可以学习一个超过众所周知的正规化器（总变化，DCT-SPARSITY和无监督的字典学习）的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的，但我们认为它可以适应线性测量模型的较大类反问题，使其在广泛的信号重建设置中适用。

我们提出了一种监督稀疏性促进计划的方法，是许多现代信号重建问题的关键成分。学习规范器的参数，以最小化在训练地面真理信号和测量对训练组中重建的平均平方误差。培训涉及解决一个充满挑战性的彼得利优化问题，具有非光滑的下层目标。我们使用其双重问题给出的较低级别变分问题的隐式闭合状态来得出培训损失梯度的表达，并提供伴随梯度下降算法（被称为Blorc）以最小化损耗。我们在简单的自然图像和用于去噪1D信号的实验表明，该方法可以学习有意义的运算符，并且计算的分析梯度比标准自动分化方法更快。虽然我们存在的方法适用于去噪，但我们认为它可以适应线性测量模型的各种逆问题，从而使其在各种场景中适用。

一类非平滑实践优化问题可以写成，以最大程度地减少平滑且部分平滑的功能。我们考虑了这种结构化问题，这些问题也取决于参数矢量，并研究了将其解决方案映射相对于参数的问题，该参数在灵敏度分析和参数学习选择材料问题中具有很大的应用。我们表明，在部分平滑度和其他温和假设下，近端分裂算法产生的序列的自动分化（AD）会收敛于溶液映射的衍生物。对于一种自动分化的变体，我们称定点自动分化（FPAD），我们纠正了反向模式AD的内存开销问题，此外，理论上提供了更快的收敛。我们从数值上说明了套索和组套索问题的AD和FPAD的收敛性和收敛速率，并通过学习正则化项来证明FPAD在原型实用图像deoise问题上的工作。

稀疏性前锋常用于去噪和图像重建。对于分析型前导者，字典定义了可能稀疏的信号的表示。在大多数情况下，通过最小化重建误差，该字典尚不清楚。这定义了分层优化问题，可以作为双级优化投射。然而，这个问题是无法解决的，因为重建和它们的衍生物WRT字典没有闭合形式表达式。然而，可以使用前后分离（FB）算法迭代地计算重建。在本文中，我们通过上述FB算法的输出来近似重建。然后，我们利用自动差异来评估该输出的梯度WRT字典，我们使用投影梯度下降来学习。实验表明，我们的算法成功学习了来自分段恒定信号的1D总变化（TV）词典。对于相同的案例研究，我们建议将我们的搜索限制在0中心列的字典中，该字典删除了不期望的局部最小值并提高了数值稳定性。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

最近有兴趣的兴趣在教师学生环境中的各种普遍性线性估计问题中的渐近重建性能研究，特别是对于I.I.D标准正常矩阵的案例。在这里，我们超越这些矩阵，并证明了具有具有任意界限频谱的旋转不变数据矩阵的凸遍的线性模型的重建性能的分析公式，严格地确认使用来自统计物理的副本衍生的猜想。该公式包括许多问题，例如压缩感测或稀疏物流分类。通过利用消息通过算法和迭代的统计特性来实现证明，允许表征估计器的渐近实证分布。我们的证据是基于构建Oracle多层向量近似消息传递算法的会聚序列的构建，其中通过检查等效动态系统的稳定性来完成收敛分析。我们说明了我们对主流学习方法的数值示例的要求，例如稀疏的逻辑回归和线性支持矢量分类器，显示中等大小模拟和渐近预测之间的良好一致性。

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

本文介绍了OptNet，该网络架构集成了优化问题（这里，专门以二次程序的形式），作为较大端到端可训练的深网络中的单个层。这些层在隐藏状态之间编码约束和复杂依赖性，传统的卷积和完全连接的层通常无法捕获。我们探索这种架构的基础：我们展示了如何使用敏感性分析，彼得优化和隐式差分的技术如何通过这些层和相对于层参数精确地区分;我们为这些层开发了一种高效的解算器，用于利用基于GPU的基于GPU的批处理在原始 - 双内部点法中解决，并且在求解的顶部几乎没有额外的成本提供了反向衰减梯度;我们突出了这些方法在几个问题中的应用。在一个值得注意的示例中，该方法学习仅在输入和输出游戏中播放Mini-sudoku（4x4），没有关于游戏规则的a-priori信息;这突出了OptNet比其他神经架构更好地学习硬限制的能力。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法，以启发凸出和深度学习。该方法包括通过训练深神网络（DNN）作为Denoiser学习先前的图像模型，并将其替换为优化算法的手工近端正则操作员。拟议的airi（``````````````'''''）框架，用于成像复杂的强度结构，并从可见性数据中扩散和微弱的发射，继承了优化的鲁棒性和解释性，以及网络的学习能力和速度。我们的方法取决于三个步骤。首先，我们从光强度图像设计了一个低动态范围训练数据库。其次，我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语，可确保算法收敛，并通过指示进行即时数据库动态范围增强。第三，我们将学习的DeNoiser插入前向后的优化算法中，从而产生了一个简单的迭代结构，该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁，优化算法的AIRI，并经过DNN训练，可以直接从可见性数据中重建图像。仿真结果表明，AIRI与SARA及其基于前卫的版本USARA具有竞争力，同时提供了显着的加速。干净保持更快，但质量较低。端到端DNN提供了进一步的加速，但质量远低于AIRI。

将数据作为几个原子的组合表示数据的字典学习问题，长期以来作为一种流行的学习统计信息和信号处理方法。最受欢迎的字典学习算法在稀疏编码和词典上的交替交替，富有的文献研究了其理论融合。神经卓越的展开稀疏编码网络的日益普及导致了经验发现，通过这种网络的反向化执行字典学习。本文通过Pudle提供了这些经验结果的第一个理论证明，可提供展开的展开字典学习方法。我们突出了损失，展开和背交对融合的影响。我们发现隐式加速：作为展开的函数，BackPropagated梯度会收敛得更快，比梯度从交替最小化更准确。我们通过合成和图像去噪实验补充我们的研究结果。调查结果支持使用加速深度学习优化器和展开网络用于字典学习。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

在本文中，我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建，这是相对于当前最新ART的显着增强的参数级别集（PALS）模型。本文的主要贡献是一种新的PALS公式，它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性，多对象问题提供了明显的优势，所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限，我们的方法能够以任何对比度分布恢复对象，并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程，以找到这些空间变化的对比度限制。相对于使用径向基函数（RBF）的大多数PAL方法，我们的模型利用了非异型基函数，从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后，Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件，因此通过控制PALS扩展系数的幅度来加速优化方法，固定基本函数的中心，以及参数映射到图像映射的唯一性，由新参数化提供。我们使用X射线计算机断层扫描，弥漫性光学断层扫描（DOT），Denoising，DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据，以进一步验证所提出的方法。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

Discriminative features extracted from the sparse coding model have been shown to perform well for classification. Recent deep learning architectures have further improved reconstruction in inverse problems by considering new dense priors learned from data. We propose a novel dense and sparse coding model that integrates both representation capability and discriminative features. The model studies the problem of recovering a dense vector $\mathbf{x}$ and a sparse vector $\mathbf{u}$ given measurements of the form $\mathbf{y} = \mathbf{A}\mathbf{x}+\mathbf{B}\mathbf{u}$. Our first analysis proposes a geometric condition based on the minimal angle between spanning subspaces corresponding to the matrices $\mathbf{A}$ and $\mathbf{B}$ that guarantees unique solution to the model. The second analysis shows that, under mild assumptions, a convex program recovers the dense and sparse components. We validate the effectiveness of the model on simulated data and propose a dense and sparse autoencoder (DenSaE) tailored to learning the dictionaries from the dense and sparse model. We demonstrate that (i) DenSaE denoises natural images better than architectures derived from the sparse coding model ($\mathbf{B}\mathbf{u}$), (ii) in the presence of noise, training the biases in the latter amounts to implicitly learning the $\mathbf{A}\mathbf{x} + \mathbf{B}\mathbf{u}$ model, (iii) $\mathbf{A}$ and $\mathbf{B}$ capture low- and high-frequency contents, respectively, and (iv) compared to the sparse coding model, DenSaE offers a balance between discriminative power and representation.

插件播放（PNP）框架使得将高级图像deno的先验集成到优化算法中成为可能，以有效地解决通常以最大后验（MAP）估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法（ADMM）和通过denoing（红色）算法的正则化是这类方法的两个示例，这些示例在图像恢复方面取得了突破。但是，尽管前一种方法仅适用于近端算法，但最近已经证明，当DeOisers缺乏Jacobian对称性时，没有任何正规化解释红色算法，这恰恰是最实际的DINOISERS的情况。据我们所知，没有任何方法来训练直接代表正规器梯度的网络，该网络可以直接用于基于插入梯度的算法中。我们表明，可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络，并获得与其他通用插件方法相比，获得更好的结果。我们还表明，正规器可以用作展开梯度下降的预训练网络。最后，我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.