在本文中，我们介绍了来自离散傅里叶变换（DFT）的一位或两位噪声观察的信号重建算法的两个变化。 DFT的单位观察对应于其实体部分的符号，而DFT的两位观察对应于DFT的真实和虚部的迹象。我们专注于图像进行分析和仿真，从而使用2D-DFT的标志。这类信号的选择是通过之前的作品启发的。对于我们的算法，我们表明，信号重建中的预期均方误差（MSE）与采样率的倒数渐近成比例。样品受到已知分布的添加零平均噪声的影响。我们通过设计使用收缩映射的算法来解决该信号估计问题，基于Banach TEXT点定理。提供了具有四个基准图像的数值测试以显示算法的有效性。采用PSNR，SSIM，ESSIM和MS-SSIM等图像重建质量评估的各种度量标准。在所有四个基准图像上，我们的算法通过显着的边距来满足所有这些指标中的最先进。

我们考虑一个非线性逆问题$ \ mathbf {y} = f（\ mathbf {ax}）$，其中观察$ \ mathbf {y} \ in \ mathbb {r} ^ m $ in $ \ mathbf的组件非线性转换\ MathBB {R} ^ M $，$ \ MATHBF {X} \ IN \ MATHBB {R} ^ $是兴趣的信号，$ \ MATHBF {A} $是已知的线性映射。通过正确指定非线性处理功能，可以将该模型统治到许多信号处理问题，包括压缩感测和相位检索。我们本文的主要目标是了解传感矩阵的影响，或更具体地是感测矩阵的频谱，难以从$ \ mathbf {y} $恢复$ \ mathbf {x} $。为了实现这一目标，我们研究了最成功的恢复方法之一的性能，即期望传播算法（EP）。我们为$ \ mathbf {a} $的频谱的尖端定义了一个概念，并显示了在EP性能方面的这一措施的重要性。频谱的刺激是否可以伤害或帮助EP的恢复性能取决于$ F $。我们根据函数$ F $定义某些数量，使我们能够描述谱对EP恢复刺激的影响。基于我们的框架，我们能够表明，例如，在阶段检索问题中，具有尖光频谱的矩阵对于EP更好，而在1位压缩的感测问题中，较少的尖峰（平坦）频谱提供更好的恢复。我们的结果统一并基本上概括了比较子高斯和正交矩阵的现有结果，并为设计最佳感测系统提供平台。

我们考虑通过旋转不变设计矩阵定义的广义线性模型中信号估计的问题。由于这些矩阵可以具有任意光谱分布，因此该模型非常适合于捕获在应用中经常出现的复杂相关结构。我们提出了一种新颖的近似消息，用于通过（AMP）算法用于信号估计，并且经由状态演进递归严格地表征其在高维极限中的性能。假设设计矩阵频谱的知识，我们的旋转不变放大器具有与高斯矩阵的现有放大器相同的顺序的复杂性;它还恢复现有的放大器作为一个特例。数值结果展示了靠近向量放大器的性能（在某些设置中猜测贝叶斯 - 最佳），但随着所提出的算法不需要计算昂贵的奇异值分解，可以获得更低的复杂性。

总变化（TV）正则化已经提高了用于图像处理任务的各种变分模型。我们提出了与电视正则化的早期文献中的倒扩散过程与电视正常化相结合，并表明所得到的增强电视最小化模型对于降低对比度的损失特别有效，这通常由使用电视正常化的模型遇到。我们从嘈杂的额相测量中建立了增强电视模型的稳定重建保证;考虑非自适应线性测量和可变密度采样的傅里叶测量。特别地，在一些较弱的受限制的等距特性条件下，增强的电视最小化模型被示出为比各种基于电视的模型具有更严格的重建误差界限，用于噪声水平很大并且测量量有限。增强电视模型的优点也通过初步实验进行了数值验证，通过一些合成，自然和医学图像的重建。

压缩传感一直是依赖线性操作的非常成功的高维信号采集和恢复技术。但是，在存储或处理之前，必须对信号的实际测量进行量化。 1（一个） - 位压缩传感是压缩传感的大量量化版本，在其中，信号的每个线性测量都降低到一个位：测量的符号。一旦收集了足够的测量结果，1位压缩感应中的恢复问题旨在以尽可能准确的方式找到原始信号。恢复问题与学习理论中传统的“半空间学习”问题有关。为了恢复稀疏矢量，从1位测量值中的流行重建方法是二元迭代硬阈值（BIHT）算法。该算法是一种简单的投影次级下降法，尽管该问题的概念性不佳，但已知在经验上均能很好地收敛。 BIHT的收敛性属性在理论上没有合理的理由，除了大量的测量值（即，许多大于$ \ max \ {k^{10}，24^{48}，k^{3.5}/ k^{3.5}/ \ epsilon \} $，其中$ k $是稀疏性，$ \ epsilon $表示近似错误，甚至该表达式隐藏了其他因素）。在本文中，我们表明，BIHT算法仅通过$ \ tilde {o}收敛（\ frac {k} {\ epsilon}）$测量。请注意，这种依赖性对$ k $和$ \ epsilon $对于1位压缩传感中的任何恢复方法都是最佳的。据我们所知，BIHT是唯一需要所有参数（$ K $和$ \ epsilon $）中最佳测量值的实用和高效（多项式时间）算法。这也是在适当的结构条件下，梯度下降算法转化为非凸问题的正确解决方案的示例。

我们考虑使用随机球形代码的高维信号$ x $的有损压缩表示之间的分布连接，并在添加白色高斯噪声（AWGN）下的$ X $观察$ x $。我们展示了比特率 - $ R $压缩版的Wassersein距离$ x $及其在AWGN-噪声比率下的AWGN噪声比率下的观察2 ^ {2R} -1 $ 2 ^ {2r} -1 $中的下线性。我们利用此事实基于AWGN损坏的$ x $的AWGN损坏版本的估算者的风险连接到与其比特率 - $ r $量化版本相同的估算器所获得的风险。我们通过在压缩约束下导出推导问题的各种新结果来展示这种联系的有用性，包括Minimax估计，稀疏回归，压缩感和远程源编码中的线性估计的普遍性。

自Venkatakrishnan等人的开创性工作以来。 2013年，即插即用（PNP）方法在贝叶斯成像中变得普遍存在。这些方法通过将显式似然函数与预定由图像去噪算法隐式定义的明确定义，导出用于成像中的逆问题的最小均方误差（MMSE）或最大后验误差（MAP）估计器。文献中提出的PNP算法主要不同于他们用于优化或采样的迭代方案。在优化方案的情况下，一些最近的作品能够保证收敛到一个定点，尽管不一定是地图估计。在采样方案的情况下，据我们所知，没有已知的收敛证明。关于潜在的贝叶斯模型和估算器是否具有明确定义，良好的良好，并且具有支持这些数值方案所需的基本规律性属性，还存在重要的开放性问题。为了解决这些限制，本文开发了用于对PNP前锋进行贝叶斯推断的理论，方法和可忽略的会聚算法。我们介绍了两个算法：1）PNP-ULA（未调整的Langevin算法），用于蒙特卡罗采样和MMSE推断; 2）PNP-SGD（随机梯度下降）用于MAP推理。利用Markov链的定量融合的最新结果，我们为这两种算法建立了详细的收敛保证，在现实假设下，在去噪运营商使用的现实假设下，特别注意基于深神经网络的遣散者。我们还表明这些算法大致瞄准了良好的决策理论上最佳的贝叶斯模型。所提出的算法在几种规范问题上证明了诸如图像去纹，染色和去噪，其中它们用于点估计以及不确定的可视化和量化。

我们在限制下研究了一阶优化算法，即使用每个维度的$ r $ bits预算进行量化下降方向，其中$ r \ in（0，\ infty）$。我们提出了具有收敛速率的计算有效优化算法，与信息理论性能匹配：（i）：（i）具有访问精确梯度甲骨文的平稳且强烈的符合目标，以及（ii）一般凸面和非平滑目标访问嘈杂的亚级别甲骨文。这些算法的关键是一种多项式复杂源编码方案，它在量化它之前将矢量嵌入随机子空间中。这些嵌入使得具有很高的概率，它们沿着转换空间的任何规范方向的投影很小。结果，量化这些嵌入，然后对原始空间进行逆变换产生一种源编码方法，具有最佳的覆盖效率，同时仅利用每个维度的$ r $ bits。我们的算法保证了位预算$ r $的任意值的最佳性，其中包括次线性预算制度（$ r <1 $），以及高预算制度（$ r \ geq 1 $），虽然需要$ o \ left（n^2 \右）$乘法，其中$ n $是尺寸。我们还提出了使用Hadamard子空间对这种编码方案的有效放松扩展以显着提高梯度稀疏方案的性能。数值模拟验证我们的理论主张。我们的实现可在https://github.com/rajarshisaha95/distoptconstrocncomm上获得。

在本文中，我们提出了一种均匀抖动的一位量化方案，以进行高维统计估计。该方案包含截断，抖动和量化，作为典型步骤。作为规范示例，量化方案应用于三个估计问题：稀疏协方差矩阵估计，稀疏线性回归和矩阵完成。我们研究了高斯和重尾政权，假定重尾数据的基本分布具有有限的第二或第四刻。对于每个模型，我们根据一位量化的数据提出新的估计器。在高斯次级政权中，我们的估计器达到了对数因素的最佳最小速率，这表明我们的量化方案几乎没有额外的成本。在重尾状态下，虽然我们的估计量基本上变慢，但这些结果是在这种单位量化和重型尾部设置中的第一个结果，或者比现有可比结果表现出显着改善。此外，我们为一位压缩传感和一位矩阵完成的问题做出了巨大贡献。具体而言，我们通过凸面编程将一位压缩感传感扩展到次高斯甚至是重尾传感向量。对于一位矩阵完成，我们的方法与标准似然方法基本不同，并且可以处理具有未知分布的预量化随机噪声。提出了有关合成数据的实验结果，以支持我们的理论分析。

为了解决逆问题，已经开发了插件（PNP）方法，可以用呼叫特定于应用程序的DeNoiser在凸优化算法中替换近端步骤，该算法通常使用深神经网络（DNN）实现。尽管这种方法已经成功，但可以改进它们。例如，Denoiser通常经过设计/训练以消除白色高斯噪声，但是PNP算法中的DINOISER输入误差通常远非白色或高斯。近似消息传递（AMP）方法提供了白色和高斯DEOISER输入误差，但仅当正向操作员是一个大的随机矩阵时。在这项工作中，对于基于傅立叶的远期运营商，我们提出了一种基于普遍期望一致性（GEC）近似的PNP算法 - AMP的紧密表弟 - 在每次迭代时提供可预测的错误统计信息，以及新的DNN利用这些统计数据的Denoiser。我们将方法应用于磁共振成像（MRI）图像恢复，并证明其优于现有的PNP和AMP方法。

在本文中，我们将颜色图像插入作为纯季基矩阵完成问题。在文献中，季节矩阵完成的理论保证并不确定。我们的主要目的是提出一个新的最小化问题，并将核标准和三个通道之间的二次损失相结合。为了填补理论空缺，我们获得了在干净和损坏的政权中绑定的错误，这依赖于四元素矩阵的一些新结果。在强大的完成中考虑了一般的高斯噪音，所有观察都被损坏。由于界限的动机，我们建议通过二次损失中的跨通道重量来处理不平衡或相关的噪声，这是重新平衡噪声水平或消除噪声相关性的主要目的。提供了有关合成和颜色图像数据的广泛实验结果，以确认和证明我们的理论发现。

We consider the nonlinear inverse problem of learning a transition operator $\mathbf{A}$ from partial observations at different times, in particular from sparse observations of entries of its powers $\mathbf{A},\mathbf{A}^2,\cdots,\mathbf{A}^{T}$. This Spatio-Temporal Transition Operator Recovery problem is motivated by the recent interest in learning time-varying graph signals that are driven by graph operators depending on the underlying graph topology. We address the nonlinearity of the problem by embedding it into a higher-dimensional space of suitable block-Hankel matrices, where it becomes a low-rank matrix completion problem, even if $\mathbf{A}$ is of full rank. For both a uniform and an adaptive random space-time sampling model, we quantify the recoverability of the transition operator via suitable measures of incoherence of these block-Hankel embedding matrices. For graph transition operators these measures of incoherence depend on the interplay between the dynamics and the graph topology. We develop a suitable non-convex iterative reweighted least squares (IRLS) algorithm, establish its quadratic local convergence, and show that, in optimal scenarios, no more than $\mathcal{O}(rn \log(nT))$ space-time samples are sufficient to ensure accurate recovery of a rank-$r$ operator $\mathbf{A}$ of size $n \times n$. This establishes that spatial samples can be substituted by a comparable number of space-time samples. We provide an efficient implementation of the proposed IRLS algorithm with space complexity of order $O(r n T)$ and per-iteration time complexity linear in $n$. Numerical experiments for transition operators based on several graph models confirm that the theoretical findings accurately track empirical phase transitions, and illustrate the applicability and scalability of the proposed algorithm.

通过最近基于深度学习的方法显示出令人鼓舞的结果，可以消除图像中的噪音，在有监督的学习设置中报道了最佳的降级性能，该设置需要大量的配对嘈杂图像和训练的基础真相。强大的数据需求可以通过无监督的学习技术来减轻，但是，对于高质量的解决方案，图像或噪声方差的准确建模仍然至关重要。对于未知的噪声分布而言，学习问题不足。本文研究了单个联合学习框架中图像降解和噪声方差估计的任务。为了解决问题的不良性，我们提出了深度差异先验（DVP），该差异指出，适当学到的DeNoiser在噪声变化方面的变化满足了一些平滑度的特性，这是良好DeNoiser的关键标准。建立在DVP的基础上，这是一个无监督的深度学习框架，同时学习了Denoiser并估算了噪声差异。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，而是仅使用一组嘈杂的图像近似于最小平方误差Denoisiser。在一个框架中考虑了两个基本任务，我们允许它们相互优化。实验结果表明，具有与监督的学习和准确的噪声方差估计值相当的质量。

在本文中，我们利用过度参数化来设计高维单索索引模型的无规矩算法，并为诱导的隐式正则化现象提供理论保证。具体而言，我们研究了链路功能是非线性且未知的矢量和矩阵单索引模型，信号参数是稀疏向量或低秩对称矩阵，并且响应变量可以是重尾的。为了更好地理解隐含正规化的角色而没有过度的技术性，我们假设协变量的分布是先验的。对于载体和矩阵设置，我们通过采用分数函数变换和专为重尾数据的强大截断步骤来构造过度参数化最小二乘损耗功能。我们建议通过将无规则化的梯度下降应用于损耗函数来估计真实参数。当初始化接近原点并且步骤中足够小时，我们证明了所获得的解决方案在载体和矩阵案件中实现了最小的收敛统计速率。此外，我们的实验结果支持我们的理论调查结果，并表明我们的方法在$ \ ell_2 $ -staticatisticated率和变量选择一致性方面具有明确的正则化的经验卓越。

Erroneous correspondences between samples and their respective channel or target commonly arise in several real-world applications. For instance, whole-brain calcium imaging of freely moving organisms, multiple target tracking or multi-person contactless vital sign monitoring may be severely affected by mismatched sample-channel assignments. To systematically address this fundamental problem, we pose it as a signal reconstruction problem where we have lost correspondences between the samples and their respective channels. We show that under the assumption that the signals of interest admit a sparse representation over an overcomplete dictionary, unique signal recovery is possible. Our derivations reveal that the problem is equivalent to a structured unlabeled sensing problem without precise knowledge of the sensing matrix. Unfortunately, existing methods are neither robust to errors in the regressors nor do they exploit the structure of the problem. Therefore, we propose a novel robust two-step approach for the reconstruction of shuffled sparse signals. The performance and robustness of the proposed approach is illustrated in an application of whole-brain calcium imaging in computational neuroscience. The proposed framework can be generalized to sparse signal representations other than the ones considered in this work to be applied in a variety of real-world problems with imprecise measurement or channel assignment.

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

诸如压缩感测，图像恢复，矩阵/张恢复和非负矩阵分子等信号处理和机器学习中的许多近期问题可以作为约束优化。预计的梯度下降是一种解决如此约束优化问题的简单且有效的方法。本地收敛分析将我们对解决方案附近的渐近行为的理解，与全球收敛分析相比，收敛率的较小界限提供了较小的界限。然而，本地保证通常出现在机器学习和信号处理的特定问题领域。此稿件在约束最小二乘范围内，对投影梯度下降的局部收敛性分析提供了统一的框架。该建议的分析提供了枢转局部收敛性的见解，例如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定程度的准确度所需的迭代次数的界限。为了证明所提出的方法的适用性，我们介绍了PGD的收敛分析的配方，并通过在四个基本问题上的配方的开始延迟应用来证明它，即线性约束最小二乘，稀疏恢复，最小二乘法使用单位规范约束和矩阵完成。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

在本文中，我们提出了一种由量化压缩感测的通信高效的联合学习框架。呈现的框架包括用于参数服务器（PS）的无线设备和梯度重建的梯度压缩。我们对梯度压缩的策略是顺序执行块稀疏，尺寸减小和量化。由于梯度稀疏和量化，我们的策略可以实现比单位梯度压缩更高的压缩比。为了从PS的压缩信号中精确聚集局部梯度，我们使用期望最大化通用近似消息传递（EM-GAMP）算法来提出梯度重建的近似最小均方误差（MMSE）方法。假设Bernoulli高斯 - 混合的先前，该算法迭代地更新来自压缩信号的局部梯度的后均值和方差。我们还为梯度重建呈现出低复杂性的方法。在这种方法中，我们使用Bussgang定理来从压缩信号聚合本地梯度，然后使用EM-GAMP算法计算聚合梯度的近似MMSE估计。我们还提供了所提出的框架的收敛速度分析。使用Mnist DataSet，我们证明所呈现的框架几乎可以使用不执行压缩的情况实现几乎相同的性能，同时显着降低联合学习的通信开销。

This paper studies the quantization of heavy-tailed data in some fundamental statistical estimation problems, where the underlying distributions have bounded moments of some order. We propose to truncate and properly dither the data prior to a uniform quantization. Our major standpoint is that (near) minimax rates of estimation error are achievable merely from the quantized data produced by the proposed scheme. In particular, concrete results are worked out for covariance estimation, compressed sensing, and matrix completion, all agreeing that the quantization only slightly worsens the multiplicative factor. Besides, we study compressed sensing where both covariate (i.e., sensing vector) and response are quantized. Under covariate quantization, although our recovery program is non-convex because the covariance matrix estimator lacks positive semi-definiteness, all local minimizers are proved to enjoy near optimal error bound. Moreover, by the concentration inequality of product process and covering argument, we establish near minimax uniform recovery guarantee for quantized compressed sensing with heavy-tailed noise.