Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is of high possibility to be degraded due to noises and distortions. In this paper, we propose two novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (i.e., signal and object)-domain curvature regularization model. Fast numerical optimization algorithms are developed relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, which are further accelerated by GPU implementation. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.
translated by 谷歌翻译
作为一种引起巨大关注的新兴技术,通过分析继电器表面上的漫反射来重建隐藏物体的非视线(NLOS)成像,具有广泛的应用前景,在自主驾驶,医学成像和医学成像领域防御。尽管信噪比低(SNR)和高不良效率的挑战,但近年来,NLOS成像已迅速发展。大多数当前的NLOS成像技术使用传统的物理模型,通过主动或被动照明构建成像模型,并使用重建算法来恢复隐藏场景。此外,NLOS成像的深度学习算法最近也得到了很多关注。本文介绍了常规和深度学习的NLOS成像技术的全面概述。此外,我们还调查了新的拟议的NLOS场景,并讨论了现有技术的挑战和前景。这样的调查可以帮助读者概述不同类型的NLOS成像,从而加速了在角落周围看到的发展。
translated by 谷歌翻译
在计算机断层扫描成像的实际应用中,投影数据可以在有限角度范围内获取,并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中,我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中,提出了一个新型的低分辨率图像先验的CT重建模型,以利用低分辨率图像来提高重建质量。更具体地说,我们在下采样的投影数据上建立了低分辨率重建问题,并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明,我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
由于成像硬件和重建算法的重大进展,计算成像拐角处或非视线(NLOS)成像的方法正在成为现实。 NAM等人的最新发展NLOS成像。展示了一个高速非焦距成像系统,其运行速度为5Hz,比以前的ART快100倍。然而,这种巨大的采集率增长需要在光传输中进行大量近似,打破了许多现有的NLOS重建方法,这些方法采用了理想化的图像形成模型。为了弥合差距,我们提出了一个新颖的深层模型,该模型结合了波传播和体积渲染的互补物理学先验,以进行高质量和强大的NLOS重建。该精心策划的设计通过放松图像形成模型来规范解决方案空间,从而产生了一个深层模型,尽管在合成数据上只接受了专门的培训,但在真实捕获上却很好地概括了。此外,我们设计了一个统一的学习框架,使我们的模型能够使用各种监督信号(包括目标强度图像甚至RAW NLOS瞬态测量)灵活训练我们的模型。一旦受过训练,我们的模型就会在一次前传球中的推理时间呈现强度和深度图像,能够在高端GPU上处理超过5个以上的捕获。通过广泛的定性和定量实验,我们表明我们的方法的表现优于先前的物理和基于学习的方法,同时基于合成和实际测量。我们预计,我们的方法以及快速捕获系统将加速NLOS成像的未来开发,用于需要高速成像的现实世界应用。
translated by 谷歌翻译
编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
本文介绍了在混合高斯 - 突破噪声条件下重建高分辨率(HR)LF图像的GPU加速计算框架。主要重点是考虑处理速度和重建质量的高性能方法。从统计的角度来看,我们得出了一个联合$ \ ell^1 $ - $ \ ell^2 $数据保真度,用于惩罚人力资源重建错误,考虑到混合噪声情况。对于正则化,我们采用了加权非本地总变异方法,这使我们能够通过适当的加权方案有效地实现LF图像。我们表明,乘数算法(ADMM)的交替方向方法可用于简化计算复杂性,并在GPU平台上导致高性能并行计算。对合成4D LF数据集和自然图像数据集进行了广泛的实验,以验证提出的SR模型的鲁棒性并评估加速优化器的性能。实验结果表明,与最先进的方法相比,我们的方法在严重的混合噪声条件下实现了更好的重建质量。此外,提议的方法克服了处理大规模SR任务的先前工作的局限性。虽然适合单个现成的GPU,但建议的加速器提供的平均加速度为2.46 $ \ times $和1.57 $ \ times $,分别为$ \ times 2 $和$ \ times 3 $ SR任务。此外,与CPU执行相比,达到$ 77 \ times $的加速。
translated by 谷歌翻译
快速移动对象的检测和跟踪在许多领域都具有广泛的实用性。但是,由于复杂的计算和有限的数据处理能力,使用基于图像的技术满足快速有效检测和跟踪的这种需求是有问题的。为了解决这个问题,我们提出了一种无图像的方法,以实现快速移动对象的实时检测和跟踪。它采用Hadamard模式通过空间光调节器来照亮快速移动对象,其中单像素检测器收集所得的光信号。单像素测量值直接用于无需图像重建而无需重建位置信息。此外,一种新的采样方法用于优化实现超低采样率的模式投影方法。与最先进的方法相比,我们的方法不仅能够处理实时检测和跟踪,而且还具有少量计算和高效率。我们在实验上证明,使用22kHz数字微型摩尔设备的提出方法可以在跟踪时以1.28%的采样速率实现105FPS帧速率。我们的方法突破了传统的跟踪方式,可以在无图像重建的情况下实现对象实时跟踪。
translated by 谷歌翻译
Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.
translated by 谷歌翻译
在部署非视线(NLOS)成像系统中,越来越兴趣,以恢复障碍物背后的物体。现有解决方案通常在扫描隐藏对象之前预先校准系统。在封堵器,对象和扫描模式的现场调整需要重新校准。我们提出了一种在线校准技术,直接将所获取的瞬态扫描到LOS和隐藏组件中的所获取的瞬态耦合。我们使用前者直接(RE)在场景/障碍配置,扫描区域和扫描模式的变化时校准系统,而后者通过空间,频率或基于学习的技术恢复后者。我们的技术避免使用辅助校准设备,例如镜子或棋盘,并支持实验室验证和现实世界部署。
translated by 谷歌翻译
减少磁共振(MR)图像采集时间可能会使MR检查更容易获得。包括深度学习模型在内的先前艺术已致力于解决长期MRI成像时间的问题。最近,深层生成模型在算法鲁棒性和使用灵活性方面具有巨大的潜力。然而,无法直接学习或使用任何现有方案。此外,还值得研究的是,深层生成模型如何在混合域上很好地工作。在这项工作中,通过利用基于深度能量的模型,我们提出了一个K空间和图像域协作生成模型,以全面估算从采样量未采样的测量中的MR数据。与最先进的实验比较表明,所提出的混合方法的重建精度较小,在不同的加速因子下更稳定。
translated by 谷歌翻译
网状denoising是数字几何处理中的基本问题。它试图消除表面噪声,同时尽可能准确地保留表面固有信号。尽管传统的智慧是基于专门的先验来平稳表面的,但基于学习的方法在概括和自动化方面取得了巨大的成功。在这项工作中,我们对网格denoising的进步进行了全面的综述,其中包含传统的几何方法和最近的基于学习的方法。首先,要熟悉读者的denoising任务,我们总结了网格denoising中的四个常见问题。然后,我们提供了两种现有的脱氧方法的分类。此外,分别详细介绍和分析了三个重要类别,包括优化,过滤器和基于数据驱动的技术。说明了定性和定量比较,以证明最先进的去核方法的有效性。最后,指出未来工作的潜在方向来解决这些方法的共同问题。这项工作还建立了网格denoising基准测试,未来的研究人员将通过最先进的方法轻松方便地评估其方法。
translated by 谷歌翻译
多光谱探测器的进步导致X射线计算机断层扫描(CT)的范式偏移。从这些检测器获取的光谱信息可用于提取感兴趣对象的体积材料成分图。如果已知材料及其光谱响应是先验的,则图像重建步骤相当简单。但是,如果他们不知道,则需要共同估计地图以及响应。频谱CT中的传统工作流程涉及执行卷重建,然后进行材料分解,反之亦然。然而,这些方法本身遭受了联合重建问题的缺陷。为了解决这个问题,我们提出了一种基于词典的联合重建和解密方法的光谱断层扫描(调整)。我们的配方依赖于形成CT中常见的材料的光谱签名词典以及对象中存在的材料数的先验知识。特别地,我们在空间材料映射,光谱词典和字典元素的材料的指示符方面对光谱体积线性分解。我们提出了一种记忆有效的加速交替的近端梯度方法,以找到所得到的Bi-convex问题的近似解。根据几种合成幻影的数值示范,我们观察到与其他最先进的方法相比,调整非常好。此外,我们解决了针对有限测量模式调整的鲁棒性。
translated by 谷歌翻译
我们考虑使用系统的光学成像过程与卷积神经网络(CNN)来解决快照高光谱成像重建问题,其使用双相机系统以压缩方式捕获三维高光谱图像(HSIS)。近年来已经开发了使用CNN的各种方法来重建HSI,但大多数监督的深度学习方法旨在符合捕获的压缩图像和标准HSI之间的蛮力映射关系。因此,当观察数据偏离训练数据时,学习的映射将无效。特别是,我们通常在现实方案中没有地面真相。在本文中,我们提出了一个自我监督的双摄像机设备,具有未经训练的物理信息的CNNS框架。广泛的模拟和实验结果表明,我们没有培训的方法可以适应具有良好性能的广泛成像环境。此外,与基于培训的方法相比,我们的系统可以在现实方案中不断微调和自我改善。
translated by 谷歌翻译
PtyChography是一种经过良好研究的相成像方法,可在纳米尺度上进行非侵入性成像。它已发展为主流技术,在材料科学或国防工业等各个领域具有各种应用。 PtyChography的一个主要缺点是由于相邻照明区域之间的高重叠要求以实现合理的重建,因此数据采集时间很长。扫描区域之间重叠的传统方法导致与文物的重建。在本文中,我们提出了从深层生成网络采样的数据中稀疏获得或不足采样的数据,以满足Ptychography的过采样要求。由于深度生成网络是预先训练的,并且可以在收集数据时计算其输出,因此可以减少实验数据和获取数据的时间。我们通过提出重建质量与先前提出的和传统方法相比,通过提出重建质量来验证该方法,并评论提出的方法的优势和缺点。
translated by 谷歌翻译
Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.
translated by 谷歌翻译
传统摄像机测量图像强度。相比之下,事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题,因为重建的图像继承了高动态范围(HDR)和事件的高速属性;因此,它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而,最先进的方法通过训练映射到图像经常性神经网络(RNN)来解决这个问题,这缺乏可解释性并且难以调整。在这项工作中,我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题,而无需训练图像重建RNN。相反,基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明,尽管仅使用来自短时间间隔(即,没有复发连接),但是,尽管只使用来自短时间间隔的数据,所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里,我们的方法可以被解释为由图像前提引导的泊松重建。
translated by 谷歌翻译
Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.
translated by 谷歌翻译
近年来,基于深度学习的平行成像(PI)取得了巨大进展,以加速磁共振成像(MRI)。然而,现有方法的性能和鲁棒性仍然可以是不受欢迎的。在这项工作中,我们建议通过柔性PI重建,创建的重量K-Space Genera-Tive模型(WKGM)来探索K空间域学习。具体而言,WKGM是一种通用的K空间域模型,在其中有效地纳入了K空间加权技术和高维空间增强设计,用于基于得分的Genererative模型训练,从而实现良好和强大的重建。此外,WKGM具有灵活性,因此可以与各种传统的K空间PI模型协同结合,从而产生基于学习的先验以产生高保真重建。在具有不同采样模式和交流电因子的数据集上进行实验性重新构建表明,WKGM可以通过先验良好的K-Space生成剂获得最新的重建结果。
translated by 谷歌翻译
数字全息图是一种3D成像技术,它通过向物体发射激光束并测量衍射波形的强度,称为全息图。对象的3D形状可以通过对捕获的全息图的数值分析并恢复发生的相位来获得。最近,深度学习(DL)方法已被用于更准确的全息处理。但是,大多数监督方法都需要大型数据集来训练该模型,由于样本或隐私问题的缺乏,大多数DH应用程序都很少获得。存在一些基于DL的恢复方法,不依赖配对图像的大数据集。尽管如此,这些方法中的大多数经常忽略控制波传播的基本物理法。这些方法提供了一个黑盒操作,无法解释,可以推广和转移到其他样本和应用程序。在这项工作中,我们提出了一种基于生成对抗网络的新DL体系结构,该架构使用判别网络来实现重建质量的语义度量,同时使用生成网络作为函数近似器来建模全息图的倒数。我们使用模拟退火驱动的渐进式掩蔽模块将恢复图像的背景部分强加于回收图像的背景部分,以增强重建质量。所提出的方法是一种表现出高传递性对类似样品的可传递性的方法之一,该方法促进了其在时间敏感应用程序中的快速部署,而无需重新培训网络。结果表明,重建质量(约5 dB PSNR增益)和噪声的鲁棒性(PSNR与噪声增加率降低约50%)的竞争者方法有了显着改善。
translated by 谷歌翻译