盲源分离（BSS）算法是无监督的方法，通过允许物理有意义的数据分解，它们是高光谱数据分析的基石。 BSS问题不足，解决方案需要有效的正则化方案，以更好地区分来源并产生可解释的解决方案。为此，我们研究了一种半监督的源分离方法，在这种方法中，我们将预测的交替最小二乘算法与基于学习的正则化方案结合在一起。在本文中，我们专注于通过使用生成模型来限制混合矩阵属于学习的歧管。总而言之，我们表明，这允许具有创新的BSS算法，具有提高的精度，可提供物理上可解释的解决方案。在涉及强噪声，高度相关的光谱和不平衡来源的挑战性场景中，对现实的高光谱天体物理数据进行了测试。结果突出了在减少来源之间的泄漏之前，学到的重大好处，这可以使总体上更好的分解。

稀疏的盲源分离（BSS）已成为广泛应用的成熟工具 - 例如，在天体物理学和遥感中。古典稀疏BSS方法，例如近端交替线性化最小化（Palm）算法，然而经常遭受困难的封路数据计选择，其破坏了它们的结果。为了绕过这个陷阱，我们建议在这项工作中建立在展开/展开的历程中的繁荣领域。通过学习Palm HyperParameters和变量，展开手掌可以利用从现实模拟或地面真实数据中源的数据驱动的知识。与大多数现有的展开算法相比，在训练和测试阶段之前假设一个固定的已知字典，本文进一步强调处理可变混合矩阵（A.k.a.字典）。因此，提出的学习棕榈（LPALM）算法使得能够执行半盲源分离，这是增加现实世界应用中学习模型的概括的关键。我们说明了LPALM在天体物理多光谱成像中的相关性：算法不仅需要高达10美元的迭代率，而且还提高了分离质量，同时避免了繁琐的高参数和初始化的手掌选择。我们进一步表明，LPALM在半盲设置中优于其他展开的源分离方法。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法，以启发凸出和深度学习。该方法包括通过训练深神网络（DNN）作为Denoiser学习先前的图像模型，并将其替换为优化算法的手工近端正则操作员。拟议的airi（``````````````'''''）框架，用于成像复杂的强度结构，并从可见性数据中扩散和微弱的发射，继承了优化的鲁棒性和解释性，以及网络的学习能力和速度。我们的方法取决于三个步骤。首先，我们从光强度图像设计了一个低动态范围训练数据库。其次，我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语，可确保算法收敛，并通过指示进行即时数据库动态范围增强。第三，我们将学习的DeNoiser插入前向后的优化算法中，从而产生了一个简单的迭代结构，该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁，优化算法的AIRI，并经过DNN训练，可以直接从可见性数据中重建图像。仿真结果表明，AIRI与SARA及其基于前卫的版本USARA具有竞争力，同时提供了显着的加速。干净保持更快，但质量较低。端到端DNN提供了进一步的加速，但质量远低于AIRI。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

传统上，信号处理，通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理，先验信息和其他领域知识的数学公式。简单的经典模型有用，但对不准确性敏感，当真实系统显示复杂或动态行为时，可能会导致性能差。另一方面，随着数据集变得丰富，现代深度学习管道的力量增加，纯粹的数据驱动的方法越来越流行。深度神经网络（DNNS）使用通用体系结构，这些架构学会从数据中运行，并表现出出色的性能，尤其是针对受监督的问题。但是，DNN通常需要大量的数据和巨大的计算资源，从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣，以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中，我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集，这些系统结合了两个领域的优势。

神经影像动物和超越的几个问题需要对多任务稀疏分层回归模型参数的推断。示例包括M / EEG逆问题，用于基于任务的FMRI分析的神经编码模型，以及气候或CPU和GPU的温度监测。在这些域中，要推断的模型参数和测量噪声都可以表现出复杂的时空结构。现有工作要么忽略时间结构，要么导致计算苛刻的推论方案。克服这些限制，我们设计了一种新颖的柔性等级贝叶斯框架，其中模型参数和噪声的时空动态被建模为具有Kronecker产品协方差结构。我们的框架中的推断是基于大大化最小化优化，并有保证的收敛属性。我们高效的算法利用了时间自传矩阵的内在riemannian几何学。对于Toeplitz矩阵描述的静止动力学，采用了循环嵌入的理论。我们证明了Convex边界属性并导出了结果算法的更新规则。在来自M / EEG的合成和真实神经数据上，我们证明了我们的方法导致性能提高。

光子计数CT（PCCT）通过更好的空间和能量分辨率提供了改进的诊断性能，但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型，以重建更准确的图像，但取决于准确的前向操作员，并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建，这在CT中表现出了巨大的希望。但是，完全数据驱动的解决方案通常需要大量的培训数据，并且缺乏解释性。为了结合两种方法的好处，同时最大程度地降低了各自的缺点，希望开发重建算法，以结合基于模型和数据驱动的方法。在这项工作中，我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案，用于PCCT中的材料分解。我们评估了两种情况：一种学识渊博的后处理，隐含地利用了模型知识，以及一种学到的梯度，该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术，我们解决了一个具有挑战性的PCCT模拟情况：低剂量，碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下，我们的方法的表现优于最大似然估计，一种变异方法以及一个完整的网络。

我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

物理驱动的深度学习方法已成为计算磁共振成像（MRI）问题的强大工具，将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题，并回顾了解决这些方法的经典方法。然后，我们专注于物理驱动的深度学习方法，涵盖了物理驱动的损失功能，插件方法，生成模型和展开的网络。我们重点介绍了特定于领域的挑战，例如神经网络的实现和复杂值的构建基块，以及具有线性和非线性正向模型的MRI转换应用。最后，我们讨论常见问题和开放挑战，并与物理驱动的学习与医学成像管道中的其他下游任务相结合时，与物理驱动的学习的重要性联系在一起。

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

A fundamental problem in neural network research, as well as in many other disciplines, is finding a suitable representation of multivariate data, i.e. random vectors. For reasons of computational and conceptual simplicity, the representation is often sought as a linear transformation of the original data. In other words, each component of the representation is a linear combination of the original variables. Well-known linear transformation methods include principal component analysis, factor analysis, and projection pursuit. Independent component analysis (ICA) is a recently developed method in which the goal is to find a linear representation of nongaussian data so that the components are statistically independent, or as independent as possible. Such a representation seems to capture the essential structure of the data in many applications, including feature extraction and signal separation. In this paper, we present the basic theory and applications of ICA, and our recent work on the subject.

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

地震数据处理在很大程度上取决于物理驱动的反问题的解决方案。在存在不利的数据采集条件下（例如，源和/或接收器的规则或不规则的粗略采样），基本的反问题变得非常不适，需要先进的信息才能获得令人满意的解决方案。刺激性反演，再加上固定基础的稀疏转换，代表了许多处理任务的首选方法，因为其实施简单性并在各种采集方案中都成功地应用了成功应用。利用深神经网络找到复杂的多维矢量空间的紧凑表示的能力，我们建议训练自动编码器网络，以了解输入地震数据和代表性潜流歧管之间的直接映射。随后，训练有素的解码器被用作手头物理驱动的逆问题的非线性预处理。提供了各种地震处理任务的合成数据和现场数据，并且所提出的非线性，学习的转换被证明超过了固定基本的转换，并更快地收敛到所寻求的解决方案。

在本文中，我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建，这是相对于当前最新ART的显着增强的参数级别集（PALS）模型。本文的主要贡献是一种新的PALS公式，它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性，多对象问题提供了明显的优势，所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限，我们的方法能够以任何对比度分布恢复对象，并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程，以找到这些空间变化的对比度限制。相对于使用径向基函数（RBF）的大多数PAL方法，我们的模型利用了非异型基函数，从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后，Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件，因此通过控制PALS扩展系数的幅度来加速优化方法，固定基本函数的中心，以及参数映射到图像映射的唯一性，由新参数化提供。我们使用X射线计算机断层扫描，弥漫性光学断层扫描（DOT），Denoising，DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据，以进一步验证所提出的方法。

通常，层析成像是一个不适合的反问题。通常，从断层扫描测量中获得了拟距对象的单个正则图像估计。但是，可能有多个与相同的测量数据一致的对象。生成此类替代解决方案的能力很重要，因为它可以实现成像系统的新评估。原则上，这可以通过后采样方法来实现。近年来，已经采用了深层神经网络进行后验采样，结果令人鼓舞。但是，此类方法尚未用于大规模断层成像应用。另一方面，经验抽样方法在大规模成像系统上可能是可行的，并且可以对实际应用实现不确定性量化。经验抽样涉及在随机优化框架内求解正规化的逆问题，以获得替代数据一致的解决方案。在这项工作中，提出了一种新的经验抽样方法，该方法计算了与同一获得的测量数据一致的层析成像逆问题的多个解决方案。该方法通过在基于样式的生成对抗网络（stylegan）的潜在空间中反复解决优化问题的运行，并受到通过潜在空间探索（PULSE）方法的照片启发，该方法是为超分辨率任务开发而成的。通过涉及两种程式化的层析成像模式的数值研究来证明和分析所提出的方法。这些研究确定了该方法执行有效的经验抽样和不确定性定量的能力。

深度学习模型是压缩光谱成像（CSI）恢复的最新模型。这些方法使用深神网络（DNN）作为图像发生器来学习从压缩测量到光谱图像的非线性映射。例如，深频谱先验方法在优化算法中使用卷积自动编码器网络（CAE）通过使用非线性表示来恢复光谱图像。但是，CAE训练与恢复问题分离，这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了联合非线性表示和恢复网络（JR2NET），将表示和恢复任务链接到单个优化问题。 JR2NET由ADMM公式遵循优化启发的网络组成，该网络学习了非线性低维表示，并同时执行通过端到端方法训练的光谱图像恢复。实验结果表明，该方法的优势在PSNR中的改进高达2.57 dB，并且性能比最新方法快2000倍。