PtyChography是一种经过良好研究的相成像方法,可在纳米尺度上进行非侵入性成像。它已发展为主流技术,在材料科学或国防工业等各个领域具有各种应用。 PtyChography的一个主要缺点是由于相邻照明区域之间的高重叠要求以实现合理的重建,因此数据采集时间很长。扫描区域之间重叠的传统方法导致与文物的重建。在本文中,我们提出了从深层生成网络采样的数据中稀疏获得或不足采样的数据,以满足Ptychography的过采样要求。由于深度生成网络是预先训练的,并且可以在收集数据时计算其输出,因此可以减少实验数据和获取数据的时间。我们通过提出重建质量与先前提出的和传统方法相比,通过提出重建质量来验证该方法,并评论提出的方法的优势和缺点。
translated by 谷歌翻译
We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.
translated by 谷歌翻译
数字全息图是一种3D成像技术,它通过向物体发射激光束并测量衍射波形的强度,称为全息图。对象的3D形状可以通过对捕获的全息图的数值分析并恢复发生的相位来获得。最近,深度学习(DL)方法已被用于更准确的全息处理。但是,大多数监督方法都需要大型数据集来训练该模型,由于样本或隐私问题的缺乏,大多数DH应用程序都很少获得。存在一些基于DL的恢复方法,不依赖配对图像的大数据集。尽管如此,这些方法中的大多数经常忽略控制波传播的基本物理法。这些方法提供了一个黑盒操作,无法解释,可以推广和转移到其他样本和应用程序。在这项工作中,我们提出了一种基于生成对抗网络的新DL体系结构,该架构使用判别网络来实现重建质量的语义度量,同时使用生成网络作为函数近似器来建模全息图的倒数。我们使用模拟退火驱动的渐进式掩蔽模块将恢复图像的背景部分强加于回收图像的背景部分,以增强重建质量。所提出的方法是一种表现出高传递性对类似样品的可传递性的方法之一,该方法促进了其在时间敏感应用程序中的快速部署,而无需重新培训网络。结果表明,重建质量(约5 dB PSNR增益)和噪声的鲁棒性(PSNR与噪声增加率降低约50%)的竞争者方法有了显着改善。
translated by 谷歌翻译
编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
目的:并行成像通过用一系列接收器线圈获取其他灵敏度信息,从而加速了磁共振成像(MRI)数据,从而降低了相位编码步骤。压缩传感磁共振成像(CS-MRI)在医学成像领域中获得了普及,因为其数据要求较少,而不是平行成像。并行成像和压缩传感(CS)均通过最大程度地减少K空间中捕获的数据量来加快传统MRI获取。由于采集时间与样品的数量成反比,因此从缩短的K空间样品中的图像的反向形成会导致收购更快,但具有混乱的伪像。本文提出了一种新型的生成对抗网络(GAN),即雷德格尔(Recgan-gr)受到多模式损失的监督,以消除重建的图像。方法:与现有的GAN网络相反,我们提出的方法引入了一种新型的发电机网络,即与双域损耗函数集成的弹药网络,包括加权幅度和相位损耗函数以及基于平行成像的损失,即Grappa一致性损失。提出了K空间校正块,以使GAN网络自动化生成不必要的数据,从而使重建过程的收敛性更快。结果:全面的结果表明,拟议的Recgan-GR在基于GAN的方法中的PSNR有4 dB的改善,并且在文献中可用的传统最先进的CNN方法中有2 dB的改进。结论和意义:拟议的工作有助于显着改善低保留数据的图像质量,从而更快地获取了5倍或10倍。
translated by 谷歌翻译
在许多计算机断层扫描(CT)成像应用程序中,重要的是快速收集来自移动或随时间变化的对象的数据。通常假设断层图像是逐步拍摄的,其中物体旋转到每个期望的角度,并且拍摄视图。然而,阶梯和射击采集缓慢并且可以浪费光子,因此在实践中,在收集数据的同时连续旋转物体的情况下进行飞行扫描。然而,这可能导致运动模糊的视图,从而与严重运动伪影进行重建。在本文中,我们介绍了Codex,一个模块化框架,用于联合去模糊和断层切断重建,可以有效地颠倒在扫描中引入的运动模糊。该方法是具有新型非凸贝叶斯重建算法的新型采集方法的协同组合。 Codex通过使用重建算法的已知二进制代码编码采集而作证,然后重转反转。使用良好选择的二进制代码进行编码测量可以提高反转过程的准确性。 Codex重建方法使用乘法器(ADMM)的交替方向方法将逆问题分成迭代解训和重建子问题,使重建实用实现。我们对模拟和实验数据的重建结果显示了我们方法的有效性。
translated by 谷歌翻译
深度学习方法已成功用于各种计算机视觉任务。受到成功的启发,已经在磁共振成像(MRI)重建中探索了深度学习。特别是,整合深度学习和基于模型的优化方法已显示出很大的优势。但是,对于高重建质量,通常需要大量标记的培训数据,这对于某些MRI应用来说是具有挑战性的。在本文中,我们提出了一种名为DUREN-NET的新型重建方法,该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言,使用denoising(红色)正规化实现了MRI重建网络的杠杆作用。实验结果表明,所提出的方法需要减少训练数据的数量才能达到高重建质量。
translated by 谷歌翻译
Noninvasive X-ray imaging of nanoscale three-dimensional objects, e.g. integrated circuits (ICs), generally requires two types of scanning: ptychographic, which is translational and returns estimates of complex electromagnetic field through ICs; and tomographic scanning, which collects complex field projections from multiple angles. Here, we present Attentional Ptycho-Tomography (APT), an approach trained to provide accurate reconstructions of ICs despite incomplete measurements, using a dramatically reduced amount of angular scanning. Training process includes regularizing priors based on typical IC patterns and the physics of X-ray propagation. We demonstrate that APT with 12-time reduced angles achieves fidelity comparable to the gold standard with the original set of angles. With the same set of reduced angles, APT also outperforms baseline reconstruction methods. In our experiments, APT achieves 108-time aggregate reduction in data acquisition and computation without compromising quality. We expect our physics-assisted machine learning framework could also be applied to other branches of nanoscale imaging.
translated by 谷歌翻译
计算机断层扫描(CT)使用从身体周围的传感器取出的X射线测量以产生人体的断层图像。如果X射线数据充分采样和高质量,则可以使用传统的重建算法;然而,诸如将剂量减少给患者的问题,或数据采集的几何限制可能导致低质量或不完整的数据。由于噪声和其他伪像,使用传统方法从这些数据重建的图像具有差的质量。本研究的目的是训练单个神经网络,从嘈杂或不完全CT扫描数据重建高质量CT图像,包括低剂量,稀疏视图和有限的角度场景。为了完成这项任务,我们将生成的对冲网络(GaN)作为信号训练,以与CT数据的迭代同步代数重建技术(SART)结合使用。网络包括自我关注块,以模拟数据中的远程依赖性。我们将我们的自我关注GaN进行CT图像重建,包括几种最先进的方法,包括去噪循环GaN,Circle GaN和总变化的校长算法。我们的方法被证明是可以相当的整体性能来圈出GaN,同时优于其他两种方法。
translated by 谷歌翻译
我们为高分辨率自由呼吸肺MRI介绍了无监督的运动补偿重建方案。我们将时间序列中的图像帧模拟为3D模板图像卷的变形版本。我们假设变形图在高维空间中的光滑歧管上是点。具体地,我们在每次时刻模拟变形图作为基于CNN的发电机的输出,该发电机的输出具有由低维潜航向量驱动的所有时间框架的权重。潜伏向量的时间序列占数据集中的动态,包括呼吸运动和散装运动。模板图像卷,发电机的参数,以及潜在矢量的直接从k-t空间数据以无监督的方式学习。我们的实验结果表明,与最先进的方法相比,改进了重建,特别是在扫描期间散装运动的背景下。
translated by 谷歌翻译
基于分数的扩散模型为使用数据分布的梯度建模图像提供了一种强大的方法。利用学到的分数函数为先验,在这里,我们引入了一种从条件分布中进行测量的方法,以便可以轻松地用于求解成像中的反问题,尤其是用于加速MRI。简而言之,我们通过denoising得分匹配来训练连续的时间依赖分数函数。然后,在推论阶段,我们在数值SDE求解器和数据一致性投影步骤之间进行迭代以实现重建。我们的模型仅需要用于训练的幅度图像,但能够重建复杂值数据,甚至扩展到并行成像。所提出的方法是不可知论到子采样模式,可以与任何采样方案一起使用。同样,由于其生成性质,我们的方法可以量化不确定性,这是标准回归设置不可能的。最重要的是,我们的方法还具有非常强大的性能,甚至击败了经过全面监督训练的模型。通过广泛的实验,我们在质量和实用性方面验证了我们方法的优势。
translated by 谷歌翻译
我们提出了一种通过大气湍流(称为Turbugan)进行成像的自我监督和自我校准的多拍方法。我们的方法不需要配对的训练数据,适应湍流的分布,利用特定于域的数据先验,并且可以从数十万概括到数千个测量值。我们通过适合Cryogan的对抗传感框架来实现此类功能,该框架使用歧视网络来匹配捕获和模拟测量的分布。我们的框架是通过(1)概括向前测量模型以通过跨界湍流来纳入照明传播的物理准确和计算有效模型的基础上的,(2)使适应性略有指定的远期模型,以及(3)利用域特异性域的先验知识先验知识的先验知识。使用预验证的生成网络,如果可用。我们在计算模拟和实验捕获的图像上验证了Turbugan,并用各种湍流扭曲。
translated by 谷歌翻译
有限的角度X射线断层扫描重建是一个不良反问题一般。特别是当投影角度有限并且在光子限制条件下进行测量时,来自经典算法的重建,例如过滤的反光,可能导致由于缺失的问题而获取伪影。为了获得令人满意的重建结果,通常在重建算法中结合在重建算法中的令人满意的重建结果,例如总变化最小化和非局部图像相似度。在这项工作中,我们介绍了深度神经网络,以确定并应用重建过程的先前分配。我们的神经网络直接从合成训练样本中学习。因此,神经网络获得了对我们对重建感兴趣的对象类的特定的先前分配。特别是,我们使用了具有3D卷积层和3D注意图层的深生成的模型,这些层在来自DubBed电路库的3D合成集成电路(IC)数据上培训。我们证明,当投影角度和光子预算受到限制时,来自我们深度生成模型的前沿可以显着提高合成数据的IC重建质量,而与最大似然估计相比。使用电路库的合成IC数据训练深度生成模型说明了从机器学习之前学到的学习功能。我们预计,如果使用实验数据再现过程,机器学习的优势将持续存在。机器学习在有限角X射线断层扫描的优点可以进一步能够在低光子纳米级成像中实现应用。
translated by 谷歌翻译
Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
相干显微镜技术提供了跨科学和技术领域的材料的无与伦比的多尺度视图,从结构材料到量子设备,从综合电路到生物细胞。在构造更明亮的来源和高速探测器的驱动下,连贯的X射线显微镜方法(如Ptychography)有望彻底改变纳米级材料的特征。但是,相关的数据和计算需求显着增加意味着,常规方法不再足以从高速相干成像实验实时恢复样品图像。在这里,我们演示了一个工作流程,该工作流利用边缘的人工智能和高性能计算,以实现直接从检测器直接从检测器流出的X射线ptychography数据实时反演。拟议的AI支持的工作流程消除了传统的Ptychography施加的采样约束,从而使用比传统方法所需的数据较少的数据级允许低剂量成像。
translated by 谷歌翻译
在本文中,我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建,这是相对于当前最新ART的显着增强的参数级别集(PALS)模型。本文的主要贡献是一种新的PALS公式,它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性,多对象问题提供了明显的优势,所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限,我们的方法能够以任何对比度分布恢复对象,并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程,以找到这些空间变化的对比度限制。相对于使用径向基函数(RBF)的大多数PAL方法,我们的模型利用了非异型基函数,从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后,Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件,因此通过控制PALS扩展系数的幅度来加速优化方法,固定基本函数的中心,以及参数映射到图像映射的唯一性,由新参数化提供。我们使用X射线计算机断层扫描,弥漫性光学断层扫描(DOT),Denoising,DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据,以进一步验证所提出的方法。
translated by 谷歌翻译
作为一种引起巨大关注的新兴技术,通过分析继电器表面上的漫反射来重建隐藏物体的非视线(NLOS)成像,具有广泛的应用前景,在自主驾驶,医学成像和医学成像领域防御。尽管信噪比低(SNR)和高不良效率的挑战,但近年来,NLOS成像已迅速发展。大多数当前的NLOS成像技术使用传统的物理模型,通过主动或被动照明构建成像模型,并使用重建算法来恢复隐藏场景。此外,NLOS成像的深度学习算法最近也得到了很多关注。本文介绍了常规和深度学习的NLOS成像技术的全面概述。此外,我们还调查了新的拟议的NLOS场景,并讨论了现有技术的挑战和前景。这样的调查可以帮助读者概述不同类型的NLOS成像,从而加速了在角落周围看到的发展。
translated by 谷歌翻译
Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is of high possibility to be degraded due to noises and distortions. In this paper, we propose two novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (i.e., signal and object)-domain curvature regularization model. Fast numerical optimization algorithms are developed relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, which are further accelerated by GPU implementation. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.
translated by 谷歌翻译
基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是,临床用例已增加了兴趣,并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用,其中测量数据的量很少,以使获取时间短而且辐射剂量较低,降低了串联的伪像,促使数据驱动的DeNoINEDENO算法的开发,其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET,这是一个数据驱动的双域denoising模型,其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno,而实现过滤后的反向投影算法的第三层则夹在前两种之间,并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能,并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络,并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。
translated by 谷歌翻译