稀疏的盲源分离（BSS）已成为广泛应用的成熟工具 - 例如，在天体物理学和遥感中。古典稀疏BSS方法，例如近端交替线性化最小化（Palm）算法，然而经常遭受困难的封路数据计选择，其破坏了它们的结果。为了绕过这个陷阱，我们建议在这项工作中建立在展开/展开的历程中的繁荣领域。通过学习Palm HyperParameters和变量，展开手掌可以利用从现实模拟或地面真实数据中源的数据驱动的知识。与大多数现有的展开算法相比，在训练和测试阶段之前假设一个固定的已知字典，本文进一步强调处理可变混合矩阵（A.k.a.字典）。因此，提出的学习棕榈（LPALM）算法使得能够执行半盲源分离，这是增加现实世界应用中学习模型的概括的关键。我们说明了LPALM在天体物理多光谱成像中的相关性：算法不仅需要高达10美元的迭代率，而且还提高了分离质量，同时避免了繁琐的高参数和初始化的手掌选择。我们进一步表明，LPALM在半盲设置中优于其他展开的源分离方法。

盲源分离（BSS）算法是无监督的方法，通过允许物理有意义的数据分解，它们是高光谱数据分析的基石。 BSS问题不足，解决方案需要有效的正则化方案，以更好地区分来源并产生可解释的解决方案。为此，我们研究了一种半监督的源分离方法，在这种方法中，我们将预测的交替最小二乘算法与基于学习的正则化方案结合在一起。在本文中，我们专注于通过使用生成模型来限制混合矩阵属于学习的歧管。总而言之，我们表明，这允许具有创新的BSS算法，具有提高的精度，可提供物理上可解释的解决方案。在涉及强噪声，高度相关的光谱和不平衡来源的挑战性场景中，对现实的高光谱天体物理数据进行了测试。结果突出了在减少来源之间的泄漏之前，学到的重大好处，这可以使总体上更好的分解。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法，以启发凸出和深度学习。该方法包括通过训练深神网络（DNN）作为Denoiser学习先前的图像模型，并将其替换为优化算法的手工近端正则操作员。拟议的airi（``````````````'''''）框架，用于成像复杂的强度结构，并从可见性数据中扩散和微弱的发射，继承了优化的鲁棒性和解释性，以及网络的学习能力和速度。我们的方法取决于三个步骤。首先，我们从光强度图像设计了一个低动态范围训练数据库。其次，我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语，可确保算法收敛，并通过指示进行即时数据库动态范围增强。第三，我们将学习的DeNoiser插入前向后的优化算法中，从而产生了一个简单的迭代结构，该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁，优化算法的AIRI，并经过DNN训练，可以直接从可见性数据中重建图像。仿真结果表明，AIRI与SARA及其基于前卫的版本USARA具有竞争力，同时提供了显着的加速。干净保持更快，但质量较低。端到端DNN提供了进一步的加速，但质量远低于AIRI。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

Countless signal processing applications include the reconstruction of signals from few indirect linear measurements. The design of effective measurement operators is typically constrained by the underlying hardware and physics, posing a challenging and often even discrete optimization task. While the potential of gradient-based learning via the unrolling of iterative recovery algorithms has been demonstrated, it has remained unclear how to leverage this technique when the set of admissible measurement operators is structured and discrete. We tackle this problem by combining unrolled optimization with Gumbel reparametrizations, which enable the computation of low-variance gradient estimates of categorical random variables. Our approach is formalized by GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators). This novel method is easy-to-implement, computationally efficient, and extendable due to its compatibility with automatic differentiation. We empirically demonstrate the performance and flexibility of GLODISMO in several prototypical signal recovery applications, verifying that the learned measurement matrices outperform conventional designs based on randomization as well as discrete optimization baselines.

在本文中，我们引入了一种新算法，该算法基于原型分析，用于假设末日成员的线性混合，用于盲目的高光谱脉冲。原型分析是该任务的自然表述。该方法不需要存在纯像素（即包含单个材料的像素），而是将末端成员表示为原始高光谱图像中几个像素的凸组合。我们的方法利用了熵梯度下降策略，（i）比传统的原型分析算法为高光谱脉冲提供更好的解决方案，并且（ii）导致有效的GPU实现。由于运行我们算法的单个实例很快，我们还提出了一个结合机制以及适当的模型选择程序，该过程使我们的方法可鲁棒性到超参数选择，同时保持计算复杂性合理。通过使用六个标准的真实数据集，我们表明我们的方法的表现优于最先进的矩阵分解和最新的深度学习方法。我们还提供开源pytorch实施：https：//github.com/inria-thoth/edaa。

我们提出了一种监督学习稀疏促进正规化器的方法，以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是，这些正规化器的基础操作员通常是通过手动设计的，要么以无监督的方式从数据中学到。监督学习（主要是卷积神经网络）在解决图像重建问题方面的最新成功表明，这可能是设计正规化器的富有成果的方法。为此，我们建议使用带有参数，稀疏的正规器的变异公式来贬低信号，其中学会了正常器的参数，以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题；我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达，并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明，所提出的方法可以学习一个超过众所周知的正规化器（总变化，DCT-SPARSITY和无监督的字典学习）的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的，但我们认为它可以适应线性测量模型的较大类反问题，使其在广泛的信号重建设置中适用。

每次使用新的（但类似）数据的应用程序都必须重复解决优化问题的应用。可以手动设计分析优化算法以迭代方式解决这些问题。一方面，数据驱动的算法可以“学习优化”（L2O），其迭代率较少，而每次迭代的成本与通用优化算法相似。另一方面，不幸的是，许多L2O算法缺乏融合保证。为了融合这些方法的优势，我们提出了一个安全的L2O框架。 Safe-L2O更新结合了保障措施，以保证近端和/或梯度甲状管的凸问题收敛。安全性在实现方面很简单且计算便宜，并且只有在数据驱动的L2O更新性能较差或似乎差异时，它才会被激活。这产生了使用机器学习来创建快速L2O算法的数值好处，同时仍然保证收敛。我们的数值示例表明，即使提供的数据不是来自培训数据的分布，Safe-L2O算法的收敛性也是如此。

传统上，信号处理，通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理，先验信息和其他领域知识的数学公式。简单的经典模型有用，但对不准确性敏感，当真实系统显示复杂或动态行为时，可能会导致性能差。另一方面，随着数据集变得丰富，现代深度学习管道的力量增加，纯粹的数据驱动的方法越来越流行。深度神经网络（DNNS）使用通用体系结构，这些架构学会从数据中运行，并表现出出色的性能，尤其是针对受监督的问题。但是，DNN通常需要大量的数据和巨大的计算资源，从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣，以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中，我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集，这些系统结合了两个领域的优势。

高光谱成像为各种应用提供了新的视角，包括使用空降或卫星遥感，精密养殖，食品安全，行星勘探或天体物理学的环境监测。遗憾的是，信息的频谱分集以各种劣化来源的牺牲品，并且目前获取的缺乏准确的地面“清洁”高光谱信号使得恢复任务具有挑战性。特别是，与传统的RGB成像问题相比，培训深度神经网络用于恢复难以深入展现的传统RGB成像问题。在本文中，我们提倡基于稀疏编码原理的混合方法，其保留与手工图像前导者编码域知识的经典技术的可解释性，同时允许在没有大量数据的情况下训练模型参数。我们在各种去噪基准上展示了我们的方法是计算上高效并且显着优于现有技术。

基于深度学习的方法保持最先进的导致低级图像处理任务，但由于其黑匣子结构而难以解释。展开的优化网络通过从经典迭代优化方法导出它们的架构而不使用来自标准深度学习工具盒的技巧来构建深神经网络的可解释的替代方案。到目前为止，这种方法在使用可解释结构的同时，在使用其可解释的结构的同时证明了接近最先进的模型的性能，以实现相对的低学习参数计数。在这项工作中，我们提出了一个展开的卷积字典学习网络（CDLNET），并在低和高参数计数方面展示其竞争的去噪和联合去噪和去除脱落（JDD）性能。具体而言，我们表明，当缩放到类似的参数计数时，所提出的模型优于最先进的完全卷积的去噪和JDD模型。此外，我们利用模型的可解释结构提出了网络中阈值的噪声适应性参数化，该阈值能够实现最先进的盲目的表现，以及在训练期间看不见的噪声水平的完美概括。此外，我们表明这种性能延伸到JDD任务和无监督的学习。

深矩阵因子化（深MF）是最新的无监督数据挖掘技术，其灵感来自受约束的低级别近似值。他们旨在提取高维数据集中功能的复杂层次结构。文献中提出的大多数损失函数用于评估深MF模型的质量和基础优化框架不一致，因为在不同层上使用了不同的损失。在本文中，我们引入了深层MF的两个有意义的损失功能，并提出了一个通用框架来解决相应的优化问题。我们通过整合各种约束和正规化（例如稀疏性，非负和最小体积）来说明这种方法的有效性。这些模型已成功应用于合成数据和真实数据，即高光谱的不混合和提取面部特征。

巨大的多输入多输出（MIMO）通信系统在数据速率和能效方面具有巨大的潜力，尽管信道估计对于大量天线变得具有挑战性。使用物理模型允许通过基于传播物理来注入先验信息来缓解问题。然而，这种模型依赖于简化假设，并且需要精确地了解系统的配置，这在实践中是不现实的。在本文中我们呈现了MPNET，该展开神经网络专为大规模的MIMO信道估计而设计。它以无人监督的方式在线培训。此外，MPNET正在计算上高效，并自动将其深度与信噪比（SNR）相互作用。我们提出的方法通过允许基于传入数据自动校正其信道估计算法来增加物理信道模型的灵活性，而无需单独的离线训练阶段。它应用于现实毫米波通道并显示表现出色，实现频道估计误差几乎与一个完美校准的系统一起获得的频道估计误差。它还允许入射检测和自动校正，使BS弹性能够自动适应其环境的变化。

We explore an original strategy for building deep networks, based on stacking layers of denoising autoencoders which are trained locally to denoise corrupted versions of their inputs. The resulting algorithm is a straightforward variation on the stacking of ordinary autoencoders. It is however shown on a benchmark of classification problems to yield significantly lower classification error, thus bridging the performance gap with deep belief networks (DBN), and in several cases surpassing it. Higher level representations learnt in this purely unsupervised fashion also help boost the performance of subsequent SVM classifiers. Qualitative experiments show that, contrary to ordinary autoencoders, denoising autoencoders are able to learn Gabor-like edge detectors from natural image patches and larger stroke detectors from digit images. This work clearly establishes the value of using a denoising criterion as a tractable unsupervised objective to guide the learning of useful higher level representations.

在这项工作中，我们研究了非盲目图像解卷积的问题，并提出了一种新的经常性网络架构，其导致高图像质量的竞争性恢复结果。通过现有大规模线性求解器的计算效率和稳健性的推动，我们设法将该问题的解决方案表达为一系列自适应非负数最小二乘问题的解决方案。这引发了我们提出的复发性最小二乘因解网络（RLSDN）架构，其包括在其输入和输出之间施加线性约束的隐式层。通过设计，我们的网络管理以同时服务两个重要的目的。首先，它隐含地模拟了可以充分表征这组自然图像的有效图像，而第二种是它恢复相应的最大后验（MAP）估计。近期最先进的方法的公开数据集的实验表明，我们提出的RLSDN方法可以实现所有测试方案的灰度和彩色图像的最佳报告性能。此外，我们介绍了一种新颖的培训策略，可以通过任何网络架构采用，这些架构涉及线性系统作为其管道的一部分的解决方案。我们的策略完全消除了线性求解器所需迭代的需要，因此，它在训练期间显着降低了内存占用。因此，这使得能够培训更深的网络架构，这可以进一步提高重建结果。

Channel estimation is a critical task in multiple-input multiple-output (MIMO) digital communications that substantially effects end-to-end system performance. In this work, we introduce a novel approach for channel estimation using deep score-based generative models. A model is trained to estimate the gradient of the logarithm of a distribution and is used to iteratively refine estimates given measurements of a signal. We introduce a framework for training score-based generative models for wireless MIMO channels and performing channel estimation based on posterior sampling at test time. We derive theoretical robustness guarantees for channel estimation with posterior sampling in single-input single-output scenarios, and experimentally verify performance in the MIMO setting. Our results in simulated channels show competitive in-distribution performance, and robust out-of-distribution performance, with gains of up to $5$ dB in end-to-end coded communication performance compared to supervised deep learning methods. Simulations on the number of pilots show that high fidelity channel estimation with $25$% pilot density is possible for MIMO channel sizes of up to $64 \times 256$. Complexity analysis reveals that model size can efficiently trade performance for estimation latency, and that the proposed approach is competitive with compressed sensing in terms of floating-point operation (FLOP) count.

我们引入了一种新的经验贝叶斯方法，用于大规模多线性回归。我们的方法结合了两个关键思想：（i）使用灵活的“自适应收缩”先验，该先验近似于正常分布的有限混合物，近似于正常分布的非参数家族； （ii）使用变分近似来有效估计先前的超参数并计算近似后期。将这两个想法结合起来，将快速，灵活的方法与计算速度相当，可与快速惩罚的回归方法（例如Lasso）相当，并在各种场景中具有出色的预测准确性。此外，我们表明，我们方法中的后验平均值可以解释为解决惩罚性回归问题，并通过直接解决优化问题（而不是通过交叉验证来调整）从数据中学到的惩罚函数的精确形式。 。我们的方法是在r https://github.com/stephenslab/mr.ash.ash.alpha的r软件包中实现的

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general 1 norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed ISTA-Net + , is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and networkbased CS methods by large margins, while maintaining fast computational speed. Our source codes are available: http://jianzhang.tech/projects/ISTA-Net.