斑点波动严重限制了合成孔径雷达（SAR）图像的可解释性。因此，散斑减少是跨越至少四十年的众多作品的主题。基于深度神经网络的技术最近在SAR图像恢复质量方面实现了一种新的性能。超出了合适的网络架构的设计或选择足够的损失功能，培训集的构建是最重要的。到目前为止，大多数方法都考虑了监督培训策略：培训网络以产生尽可能靠近斑点的参考图像的输出。无斑点图像通常不可用，这需要采用自然或光学图像或在长时间序列中选择稳定区域，以规避缺乏地面真理。另一方面，自我监督避免使用无斑点图像。我们介绍了一个自我监督的战略，基于单眼复杂的SAR图像的真实和虚构部分的分离，称为Merlin（复杂的自我监督的机除），并表明它提供了一种培训各种深度掠夺的直接途径网络。由于特定于给定传感器和成像模式的SAR传输功能，使用Merlin培训的网络考虑了空间相关性。通过只需要一个图像，并且可能利用大型档案，Merlin将门打开了无忧无虑的机器，以及对机器网络的大规模培训。培训型号的代码是在https://gitlab.telecom-paris.fr/ring/mollin的。

斑点过滤通常是分析合成孔径雷达（SAR）图像的先决条件。在单像伪装的领域取得了巨大进步。最新技术依靠深度神经网络来恢复SAR图像特有的各种结构和纹理。 SAR图像的时间序列的可用性提供了通过在同一区域结合不同斑点实现来改善斑点过滤的可能性。深度神经网络的监督培训需要无基真斑点图像。这样的图像只能通过某种平均形式，空间或时间整合间接获得，并且不完美。考虑到通过多阶段斑点滤波可以达到非常高质量的恢复的潜力，需要规避地面真相图像的局限性。我们将最新的自我监督训练策略扩展到了称为Merlin的单外观复杂SAR图像的情况，以进行多个颞滤波。这需要对空间和时间维度以及复杂幅度的真实组件和虚构组件之间的统计依赖性来源进行建模。使用模拟斑点上的数据集进行定量分析表明，当包括其他SAR图像时，斑点减少了明显改善。然后，将我们的方法应用于Terrasar-X图像的堆栈，并显示出优于竞争的多阶段斑点滤波方法。在$ \ href {https://gitlab.telecom-paris.fr/ring/multi-temporal-merlin/} {\ text {gitlab}} $上LTCI实验室，T \'El \'Ecom Paris Institut Polytechnique de Paris。

图像质量是一个模糊的概念，对不同的人不同的含义。为了量化图像质量，通常在损坏的图像和地面真实图像之间计算相对差异。但是我们应该使用哪些指标来测量这种差异？理想情况下，公制应对自然和科学图像表现良好。结构相似度指数（SSIM）是人类如何感知图像相似性的好措施，但对显微镜中科学有意义的差异不敏感。在电子和超分辨率显微镜中，经常使用傅里叶环相关（FRC），但在这些领域之外几乎是知名的。在这里，我们表明FRC同样可以应用于自然图像，例如自然图像。 Google打开图像数据集。然后，我们基于FRC定义了损失功能，表明它是在分析上可分的，并使用它来训练U-Net以用于去噪图像。这种基于FRC的损耗功能允许网络训练更快并达到与使用基于L1或L2的损失相似或更好的结果。我们还研究了通过FRC分析的神经网络去噪的性质和局限性。

减少斑点并限制合成孔径雷达（SAR）图像中物理参数的变化通常是完全利用此类数据潜力的关键步骤。如今，深度学习方法产生了最新的现状，从而导致单位SAR修复。然而，现在经常可用巨大的多阶梯堆栈，并且可以有效利用以进一步提高图像质量。本文探讨了两种快速的策略，这些策略采用单像伪装算法，即SAR2SAR，在多个阶段的框架中。第一个是基于Quegan过滤器，并取代了SAR2SAR的局部反射率预估计。第二个使用SAR2SAR来抑制从“超级图像”的形式（即时间序列的时间算术平均值）形式的形式编码多个时间段信息的比率图像中抑制斑点。 Sentinel-1 GRD数据的实验结果表明，这两种多时间策略提供了改进的过滤结果，同时增加了有限的计算成本。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。

Spatially varying spectral modulation can be implemented using a liquid crystal spatial light modulator (SLM) since it provides an array of liquid crystal cells, each of which can be purposed to act as a programmable spectral filter array. However, such an optical setup suffers from strong optical aberrations due to the unintended phase modulation, precluding spectral modulation at high spatial resolutions. In this work, we propose a novel computational approach for the practical implementation of phase SLMs for implementing spatially varying spectral filters. We provide a careful and systematic analysis of the aberrations arising out of phase SLMs for the purposes of spatially varying spectral modulation. The analysis naturally leads us to a set of "good patterns" that minimize the optical aberrations. We then train a deep network that overcomes any residual aberrations, thereby achieving ideal spectral modulation at high spatial resolution. We show a number of unique operating points with our prototype including dynamic spectral filtering, material classification, and single- and multi-image hyperspectral imaging.

最初在具有基于图像的图像的机器人和自主驾驶等领域开发的领域，基于图像的单图像深度估计（侧面）发现了对更广泛的图像分析界的兴趣。遥感也不例外，因为在地形重建的背景下估计来自单个空中或卫星图像的高度地图的可能性很大。少数开创性的调查已经证明了从光学遥感图像的单个图像高度预测的一般可行性，并激发了这种方向的进一步研究。借鉴了本文，我们介绍了对遥感中的其他重要传感器模式的基于深度学习的单图像高度预测的第一次演示：合成孔径雷达（SAR）数据。除了用于SAR强度图像的卷积神经网络（CNN）架构的适应外，我们还为不同SAR成像模式和测试站点提供了用于生成训练数据的工作流程，以及广泛的实验结果。由于我们特别强调可转换性，我们能够确认基于深度的学习的单图像高度估计不仅可能，而且也是不可能的，而且也转移到未经看的数据，即使通过不同的成像模式和成像参数获取。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

Image reconstruction using deep learning algorithms offers improved reconstruction quality and lower reconstruction time than classical compressed sensing and model-based algorithms. Unfortunately, clean and fully sampled ground-truth data to train the deep networks is often unavailable in several applications, restricting the applicability of the above methods. We introduce a novel metric termed the ENsemble Stein's Unbiased Risk Estimate (ENSURE) framework, which can be used to train deep image reconstruction algorithms without fully sampled and noise-free images. The proposed framework is the generalization of the classical SURE and GSURE formulation to the setting where the images are sampled by different measurement operators, chosen randomly from a set. We evaluate the expectation of the GSURE loss functions over the sampling patterns to obtain the ENSURE loss function. We show that this loss is an unbiased estimate for the true mean-square error, which offers a better alternative to GSURE, which only offers an unbiased estimate for the projected error. Our experiments show that the networks trained with this loss function can offer reconstructions comparable to the supervised setting. While we demonstrate this framework in the context of MR image recovery, the ENSURE framework is generally applicable to arbitrary inverse problems.

Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.

We propose a natural scene statistic-based distortion-generic blind/no-reference (NR) image quality assessment (IQA) model that operates in the spatial domain. The new model, dubbed blind/referenceless image spatial quality evaluator (BRISQUE) does not compute distortion-specific features, such as ringing, blur, or blocking, but instead uses scene statistics of locally normalized luminance coefficients to quantify possible losses of "naturalness" in the image due to the presence of distortions, thereby leading to a holistic measure of quality. The underlying features used derive from the empirical distribution of locally normalized luminances and products of locally normalized luminances under a spatial natural scene statistic model. No transformation to another coordinate frame (DCT, wavelet, etc.) is required, distinguishing it from prior NR IQA approaches. Despite its simplicity, we are able to show that BRISQUE is statistically better than the full-reference peak signal-tonoise ratio and the structural similarity index, and is highly competitive with respect to all present-day distortion-generic NR IQA algorithms. BRISQUE has very low computational complexity, making it well suited for real time applications. BRISQUE features may be used for distortion-identification as well. To illustrate a new practical application of BRISQUE, we describe how a nonblind image denoising algorithm can be augmented with BRISQUE in order to perform blind image denoising. Results show that BRISQUE augmentation leads to performance improvements over state-of-the-art methods. A software release of BRISQUE is available online: http:// live.ece.utexas.edu/ research/ quality/ BRISQUE_release.zip for public use and evaluation.

间接飞行时间（ITOF）相机是一个有希望的深度传感技术。然而，它们容易出现由多路径干扰（MPI）和低信噪比（SNR）引起的错误。传统方法，在去噪后，通过估计编码深度的瞬态图像来减轻MPI。最近，在不使用中间瞬态表示的情况下，共同去噪和减轻MPI的数据驱动方法已经成为最先进的。在本文中，我们建议重新审视瞬态代表。使用数据驱动的Priors，我们将其插入/推断ITOF频率并使用它们来估计瞬态图像。给定直接TOF（DTOF）传感器捕获瞬态图像，我们将我们的方法命名为ITOF2DTOF。瞬态表示是灵活的。它可以集成与基于规则的深度感测算法，对低SNR具有强大，并且可以处理实际上出现的模糊场景（例如，镜面MPI，光学串扰）。我们在真正深度传感方案中展示了先前方法上的ITOF2DTOF的好处。

本文介绍了使用基于补丁的先前分布的图像恢复的新期望传播（EP）框架。虽然Monte Carlo技术典型地用于从难以处理的后分布中进行采样，但它们可以在诸如图像恢复之类的高维推论问题中遭受可扩展性问题。为了解决这个问题，这里使用EP来使用多元高斯密度的产品近似后分布。此外，对这些密度的协方差矩阵施加结构约束允许更大的可扩展性和分布式计算。虽然该方法自然适于处理添加剂高斯观察噪声，但它也可以扩展到非高斯噪声。用于高斯和泊松噪声的去噪，染色和去卷积问题进行的实验说明了这种柔性近似贝叶斯方法的潜在益处，以实现与采样技术相比降低的计算成本。

我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法，以启发凸出和深度学习。该方法包括通过训练深神网络（DNN）作为Denoiser学习先前的图像模型，并将其替换为优化算法的手工近端正则操作员。拟议的airi（``````````````'''''）框架，用于成像复杂的强度结构，并从可见性数据中扩散和微弱的发射，继承了优化的鲁棒性和解释性，以及网络的学习能力和速度。我们的方法取决于三个步骤。首先，我们从光强度图像设计了一个低动态范围训练数据库。其次，我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语，可确保算法收敛，并通过指示进行即时数据库动态范围增强。第三，我们将学习的DeNoiser插入前向后的优化算法中，从而产生了一个简单的迭代结构，该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁，优化算法的AIRI，并经过DNN训练，可以直接从可见性数据中重建图像。仿真结果表明，AIRI与SARA及其基于前卫的版本USARA具有竞争力，同时提供了显着的加速。干净保持更快，但质量较低。端到端DNN提供了进一步的加速，但质量远低于AIRI。

合成孔径雷达（SAR）图像是各种任务的有价值资产。在过去的几年里，许多网站以易于管理产品的形式免费提供它们，倾向于在S​​AR领域的广泛扩散和研究工作。这些机会的缺点是，这些图像可能会被恶意用户暴露于伪造和操纵，提高对他们的诚信和可信度的新担忧。到目前为止，多媒体取证文献提出了各种技术来定位自然照片中的操纵，但从未调查过SAR图像的完整性评估。此任务构成了新的挑战，因为SAR图像是由处理链完全不同于自然照片的图像。这意味着对于自然图像开发的许多取证方法不保证成功。在本文中，我们研究了SAR图像拼接定位问题的问题。我们的目标是本地化已经复制和粘贴了从另一个图像复制和粘贴的幅度SAR图像的区域，可能正在进行该过程中的某种编辑。为此，我们利用卷积神经网络（CNN）来提取在分析的输入的处理迹线中突出的指纹突出显示。然后，我们检查该指纹以产生二进制篡改掩模，指示拼接攻击下的像素区域。结果表明，我们提出的方法，针对SAR信号的性质量身定制，提供比为自然图像开发的最先进的法医工具更好的表现。

高光谱成像为各种应用提供了新的视角，包括使用空降或卫星遥感，精密养殖，食品安全，行星勘探或天体物理学的环境监测。遗憾的是，信息的频谱分集以各种劣化来源的牺牲品，并且目前获取的缺乏准确的地面“清洁”高光谱信号使得恢复任务具有挑战性。特别是，与传统的RGB成像问题相比，培训深度神经网络用于恢复难以深入展现的传统RGB成像问题。在本文中，我们提倡基于稀疏编码原理的混合方法，其保留与手工图像前导者编码域知识的经典技术的可解释性，同时允许在没有大量数据的情况下训练模型参数。我们在各种去噪基准上展示了我们的方法是计算上高效并且显着优于现有技术。

Light is a complex-valued field. The intensity and phase of the field are affected by imaged objects. However, imaging sensors measure only real-valued non-negative intensities. This results in a nonlinear relation between the measurements and the unknown imaged objects. Moreover, the sensor readouts are corrupted by Poissonian-distributed photon noise. In this work, we seek the most probable object (or clear image), given noisy measurements, that is, maximizing the a-posteriori probability of the sought variables. Hence, we generalize annealed Langevin dynamics, tackling fundamental challenges in optical imaging, including phase recovery and Poisson (photon) denoising. We leverage deep neural networks, not for explicit recovery of the imaged object, but as an approximate gradient for a prior term. We show results on empirical data, acquired by a real experiment. We further show results of simulations.

Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example images. In this paper, we show that, on the contrary, the structure of a generator network is sufficient to capture a great deal of low-level image statistics prior to any learning. In order to do so, we show that a randomly-initialized neural network can be used as a handcrafted prior with excellent results in standard inverse problems such as denoising, superresolution, and inpainting. Furthermore, the same prior can be used to invert deep neural representations to diagnose them, and to restore images based on flash-no flash input pairs.

近年来，对基于深度学习的粉丝彭化的兴趣日益增长。研究主要集中在建筑上。然而，缺乏基础事实，模型培训也是一个主要问题。一种流行的方法是使用原始数据作为地面真理训练在降低的分辨率域中的网络。然后在全分辨率数据上使用训练有素的网络，依赖于隐式缩放不变性假设。结果通常良好的分辨率，但在全分辨率下更具可疑的问题。在这里，我们向基于深度学习的泛散歌提出了一个全分辨率的培训框架。训练在高分辨率域中进行，仅依赖于原始数据，没有信息丢失。为了确保光谱和空间保真度，定义了合适的损耗，该损耗迫使泛圆柱输出与可用的全谱和多光谱输入一致。在WorldView-3，WorldView-2和Geoeye-1图像上进行的实验表明，在拟议的框架培训的方法中，在全分辨率数值指标和视觉质量方面都能保证出色的性能。该框架完全是一般的，可用于培训和微调任何基于深度学习的泛狼平网络。

通过最近基于深度学习的方法显示出令人鼓舞的结果，可以消除图像中的噪音，在有监督的学习设置中报道了最佳的降级性能，该设置需要大量的配对嘈杂图像和训练的基础真相。强大的数据需求可以通过无监督的学习技术来减轻，但是，对于高质量的解决方案，图像或噪声方差的准确建模仍然至关重要。对于未知的噪声分布而言，学习问题不足。本文研究了单个联合学习框架中图像降解和噪声方差估计的任务。为了解决问题的不良性，我们提出了深度差异先验（DVP），该差异指出，适当学到的DeNoiser在噪声变化方面的变化满足了一些平滑度的特性，这是良好DeNoiser的关键标准。建立在DVP的基础上，这是一个无监督的深度学习框架，同时学习了Denoiser并估算了噪声差异。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，而是仅使用一组嘈杂的图像近似于最小平方误差Denoisiser。在一个框架中考虑了两个基本任务，我们允许它们相互优化。实验结果表明，具有与监督的学习和准确的噪声方差估计值相当的质量。