求解电磁逆散射问题(ISP)由于内在的非线性,呈不良和昂贵的计算成本,挑战。最近,深神经网络(DNN)技术已经成功地应用于ISP上,并在传统方法上示出了优异成像的电位。在本文中,我们分析了DNN溶剂和传统迭代算法之间的类比,并讨论了在训练过程中不能有效地纳入重要的物理现象。我们展示了在DNN的学习过程中包括近端前瞻的重要性。为此,我们提出了新的损耗功能设计,其包括基于多散射的近场数量(例如散射场或感兴趣领域内的诱导电流)。使用各种数值实验研究了物理引导功能的影响。总结了调查的ISP求解器的利弊,综述了不同损失功能。
translated by 谷歌翻译
电磁(EM)成像广泛用于感应安全性,生物医学,地球物理学和各种行业。这是一个不当的逆问题,其解决方案通常在计算上昂贵。机器学习(ML)技术,尤其是深度学习(DL)在快速准确的成像中显示出潜力。但是,纯粹的数据驱动方法的高性能依赖于构建与实用方案一致的训练集,而在EM成像任务中通常不可能。因此,普遍性成为主要问题。另一方面,物理原理是EM现象的基础,并为当前的成像技术提供了基准。为了从大数据中的先验知识和物理定律的理论约束中受益,物理学嵌入的ML成像方法已成为近期大量工作的重点。本文调查了各种方案,以将物理学纳入基于学习的EM成像中。我们首先介绍有关逆问题的EM成像和基本公式的背景。然后,我们专注于将物理和ML进行线性和非线性成像组合的三种类型的策略,并讨论它们的优势和局限性。最后,我们在这个快速发展的领域中以公开的挑战和可能的前进方式得出结论。我们的目的是促进将有效,可解释和可控制的智能EM成像方法的研究。
translated by 谷歌翻译
Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.
translated by 谷歌翻译
在本文中,我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建,这是相对于当前最新ART的显着增强的参数级别集(PALS)模型。本文的主要贡献是一种新的PALS公式,它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性,多对象问题提供了明显的优势,所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限,我们的方法能够以任何对比度分布恢复对象,并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程,以找到这些空间变化的对比度限制。相对于使用径向基函数(RBF)的大多数PAL方法,我们的模型利用了非异型基函数,从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后,Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件,因此通过控制PALS扩展系数的幅度来加速优化方法,固定基本函数的中心,以及参数映射到图像映射的唯一性,由新参数化提供。我们使用X射线计算机断层扫描,弥漫性光学断层扫描(DOT),Denoising,DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据,以进一步验证所提出的方法。
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
光子计数CT(PCCT)通过更好的空间和能量分辨率提供了改进的诊断性能,但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型,以重建更准确的图像,但取决于准确的前向操作员,并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建,这在CT中表现出了巨大的希望。但是,完全数据驱动的解决方案通常需要大量的培训数据,并且缺乏解释性。为了结合两种方法的好处,同时最大程度地降低了各自的缺点,希望开发重建算法,以结合基于模型和数据驱动的方法。在这项工作中,我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案,用于PCCT中的材料分解。我们评估了两种情况:一种学识渊博的后处理,隐含地利用了模型知识,以及一种学到的梯度,该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术,我们解决了一个具有挑战性的PCCT模拟情况:低剂量,碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下,我们的方法的表现优于最大似然估计,一种变异方法以及一个完整的网络。
translated by 谷歌翻译
近年来,深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求,例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效,但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来,已经取得了重大进展,以揭示数据驱动的图像恢复方法的内部运作,从而挑战了其广泛认为的黑盒本质。在本文中,我们将为数据驱动的图像重建指定相关的融合概念,该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用,提供了将深度学习的力量与经典凸正则化理论相结合的可能性,用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解,旨在通过提供可访问的融合概念的描述,并通过将一些现有的经验实践放在可靠的数学上,来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。
translated by 谷歌翻译
我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法,以启发凸出和深度学习。该方法包括通过训练深神网络(DNN)作为Denoiser学习先前的图像模型,并将其替换为优化算法的手工近端正则操作员。拟议的airi(``````````````''''')框架,用于成像复杂的强度结构,并从可见性数据中扩散和微弱的发射,继承了优化的鲁棒性和解释性,以及网络的学习能力和速度。我们的方法取决于三个步骤。首先,我们从光强度图像设计了一个低动态范围训练数据库。其次,我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语,可确保算法收敛,并通过指示进行即时数据库动态范围增强。第三,我们将学习的DeNoiser插入前向后的优化算法中,从而产生了一个简单的迭代结构,该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁,优化算法的AIRI,并经过DNN训练,可以直接从可见性数据中重建图像。仿真结果表明,AIRI与SARA及其基于前卫的版本USARA具有竞争力,同时提供了显着的加速。干净保持更快,但质量较低。端到端DNN提供了进一步的加速,但质量远低于AIRI。
translated by 谷歌翻译
地震数据处理在很大程度上取决于物理驱动的反问题的解决方案。在存在不利的数据采集条件下(例如,源和/或接收器的规则或不规则的粗略采样),基本的反问题变得非常不适,需要先进的信息才能获得令人满意的解决方案。刺激性反演,再加上固定基础的稀疏转换,代表了许多处理任务的首选方法,因为其实施简单性并在各种采集方案中都成功地应用了成功应用。利用深神经网络找到复杂的多维矢量空间的紧凑表示的能力,我们建议训练自动编码器网络,以了解输入地震数据和代表性潜流歧管之间的直接映射。随后,训练有素的解码器被用作手头物理驱动的逆问题的非线性预处理。提供了各种地震处理任务的合成数据和现场数据,并且所提出的非线性,学习的转换被证明超过了固定基本的转换,并更快地收敛到所寻求的解决方案。
translated by 谷歌翻译
我们提出了一个具有物理信息的神经网络,作为生物样品层析成像重建的正向模型。我们证明,通过用Helmholtz方程训练该网络作为物理损失,我们可以准确预测散射场。可以证明,可以对不同的样本进行微调的验证网络,并用于与其他数值解决方案更快地解决散射问题。我们通过数值和实验结果评估我们的方法。我们的物理知识神经网络可以推广到任何前进和反向散射问题。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
放射造影通常用于探测动态系统中的复杂,不断发展的密度字段,以便在潜在的物理学中实现进入洞察力。该技术已用于许多领域,包括材料科学,休克物理,惯性监禁融合和其他国家安全应用。然而,在许多这些应用中,噪声,散射,复杂光束动力学等的并发症防止了密度的重建足以足以识别具有足够置信度的底层物理。因此,来自静态/动态射线照相的密度重建通常限于在许多这些应用中识别诸如裂缝和空隙的不连续特征。在这项工作中,我们提出了一种从基本上重建密度的基本上新的射线照片序列的密度。仅使用射线照相识别的稳健特征,我们将它们与使用机器学习方法的底层流体动力方程组合,即条件生成对冲网络(CGAN),以从射线照片的动态序列确定密度字段。接下来,我们寻求通过参数估计和投影的过程进一步提高ML的密度重建的流体动力学一致性,并进入流体动力歧管。在这种情况下,我们注意到,训练数据给出的流体动力歧管在被认为的参数空间中给出的测试数据是用于预测的稳定性的诊断,并用于增强培训数据库,期望后者将进一步降低未来的密度重建错误。最后,我们展示了这种方法优于传统的射线照相重建在捕获允许的流体动力学路径中的能力,即使存在相对少量的散射。
translated by 谷歌翻译
在本文中,我们提出了通过绘制物理信息监督残余学习(PHISRL)的方案来求解2D逆散射问题(ISP)来求解传统出版方法的计算过程( TBIM)。 NeuralBim采用独立的卷积神经网络(CNNS)来学习两种不同候选解决方案的交替更新规则,其相应的残差。本文提出了两种不同的NeuralBim方案,包括监督和无监督的学习计划。利用由时刻(MOM)的方法生成的数据集,监督的NeuralBims培训具有总场的知识和对比度。无监督的NeuralBim是由ISP的管理方程式创建的物理嵌入式损失功能,这导致总场的要求和培训对比。代表性数值结果进一步验证了监督和无人育的NeuralBims的有效性和竞争力。
translated by 谷歌翻译
在计算断层摄影(CT)成像过程中,患者内的金属植入物总是造成有害伪影,这对重建的CT图像的视觉质量产生了负面影响,并且对随后的临床诊断产生负面影响。对于金属伪影减少(MAR)任务,基于深度学习的方法取得了有希望的表现。然而,大多数主要共享两个主要常见限制:1)CT物理成像几何约束是完全融入深网络结构中的; 2)整个框架对特定MAR任务具有薄弱的可解释性;因此,难以评估每个网络模块的作用。为了减轻这些问题,在本文中,我们构建了一种新的可解释的双域网络,称为Indudonet +,CT成像过程被精细地嵌入到其中。具体地说,我们推出了一个联合空间和氡域重建模型,并提出了一种仅具有简单操作员的优化算法来解决它。通过将所提出的算法中涉及的迭代步骤展开到相应的网络模块中,我们可以轻松地构建Indudonet +,以明确的解释性。此外,我们分析了不同组织之间的CT值,并将现有的观察合并到Endudonet +的现有网络中,这显着提高了其泛化性能。综合数据和临床数据的综合实验证实了所提出的方法的优越性以及超出当前最先进(SOTA)MAR方法的卓越概括性性能。代码可用于\ url {https://github.com/hongwang01/indududonet_plus}。
translated by 谷歌翻译
在本文中,我们调查了解决逆问题的各种深入学习策略。我们将现有的深度学习解决方案分为逆问题,分为三类直接映射,数据一致性优化优化器和深规范化器。我们选择每个逆问题类型的样本,以比较三类的稳健性,并报告对其差异的统计分析。我们对计算机视觉中的线性回归和三个众所周知的逆问题进行了广泛的实验,即图像去噪,3D人脸反向渲染和对象跟踪,选择为每种逆问题的代表原型。整体结果和统计分析表明,解决方案类别具有依赖于逆问题域的类型的稳健性行为,具体取决于问题是否包括测量异常值。基于我们的实验结果,我们通过为每个反问题类提出最强大的解决方案类别来得出结论。
translated by 谷歌翻译
我们建议使用贝叶斯推理和深度神经网络的技术,将地震成像中的不确定性转化为图像上执行的任务的不确定性,例如地平线跟踪。地震成像是由于带宽和孔径限制,这是一个不良的逆问题,由于噪声和线性化误差的存在而受到阻碍。但是,许多正规化方法,例如变形域的稀疏性促进,已设计为处理这些错误的不利影响,但是,这些方法具有偏向解决方案的风险,并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法,以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络(CNN)并评估这些不确定性,样品是从CNN权重的后验分布中得出的,用于参数化图像。与传统先验相比,文献中认为,这些CNN引入了灵活的感应偏见,这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题,即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外,最大的后验估计值容易过度拟合外,访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性,以便在跟踪的视野上不确定性。例如,它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。
translated by 谷歌翻译
逆问题本质上是普遍存在的,几乎在科学和工程的几乎所有领域都出现,从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法,通过将逆问题提出为统计框架。但是,当推断具有大幅度的离散表示的字段(所谓的“维度的诅咒”)和/或仅以先前获取的解决方案的形式可用时。在这项工作中,我们提出了一种新的方法,可以使用深层生成模型进行有效,准确的贝叶斯反转。具体而言,我们证明了如何使用生成对抗网络(GAN)在贝叶斯更新中学到的近似分布,并在GAN的低维度潜在空间中重新解决所得的推断问题,从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学,并且被证明可以通过可靠的不确定性估计得出准确的结果,即使没有有关基础噪声模型的信息,这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性,包括合成和实验观察到的数据。
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
远期操作员的计算成本和选择适当的先前分布的计算成本挑战了贝叶斯对高维逆问题的推断。摊销的变异推理解决了这些挑战,在这些挑战中,训练神经网络以近似于现有模型和数据对的后验分布。如果以前看不见的数据和正态分布的潜在样品作为输入,则预处理的深神经网络(在我们的情况下是有条件的正常化流量)几乎没有成本的后验样品。然而,这种方法的准确性取决于高保真训练数据的可用性,由于地球的异质结构,由于地球物理逆问题很少存在。此外,准确的摊销变异推断需要从训练数据分布中汲取观察到的数据。因此,我们建议通过基于物理学的校正对有条件的归一化流量分布来提高摊销变异推断的弹性。为了实现这一目标,我们不是标准的高斯潜在分布,我们通过具有未知平均值和对角线协方差的高斯分布来对潜在分布进行参数化。然后,通过最小化校正后分布和真实后验分布之间的kullback-leibler差异来估算这些未知数量。尽管通用和适用于其他反问题,但通过地震成像示例,我们表明我们的校正步骤可提高摊销变异推理的鲁棒性,以相对于源实验数量的变化,噪声方差以及先前分布的变化。这种方法提供了伪像有限的地震图像,并评估其不确定性,其成本大致与五个反度迁移相同。
translated by 谷歌翻译
从早期图像处理到现代计算成像,成功的模型和算法都依赖于自然信号的基本属性:对称性。在这里,对称是指信号集的不变性属性,例如翻译,旋转或缩放等转换。对称性也可以以模棱两可的形式纳入深度神经网络中,从而可以进行更多的数据效率学习。虽然近年来端到端的图像分类网络的设计方面取得了重要进展,但计算成像引入了对等效网络解决方案的独特挑战,因为我们通常只通过一些嘈杂的不良反向操作员观察图像,可能不是均等的。我们回顾了现象成像的新兴领域,并展示它如何提供改进的概括和新成像机会。在此过程中,我们展示了采集物理学与小组动作之间的相互作用,以及与迭代重建,盲目的压缩感应和自我监督学习之间的联系。
translated by 谷歌翻译