近年来,基于神经网络的深度恢复方法已实现了最先进的方法,从而导致了各种图像过度的任务。但是,基于深度学习的Deblurring网络的一个主要缺点是,训练需要大量模糊清洁图像对才能实现良好的性能。此外,当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时,深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中,我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此,我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此,造成造成的问题被转化为一个降解问题。然后,我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验,以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。
translated by 谷歌翻译
现代监视系统使用基于深度学习的面部验证网络执行人员认可。大多数最先进的面部验证系统都是使用可见光谱图像训练的。但是,在弱光和夜间条件的情况下,在可见光谱中获取图像是不切实际的,并且通常在诸如热红外域之类的替代域中捕获图像。在检索相应的可见域图像后,通常在热图像中进行面部验证。这是一个公认的问题,通常称为热能(T2V)图像翻译。在本文中,我们建议针对面部图像的T2V翻译基于Denoising扩散概率模型(DDPM)解决方案。在训练过程中,该模型通过扩散过程了解了它们相应的热图像,可见面部图像的条件分布。在推断过程中,可见的域图像是通过从高斯噪声开始并反复执行的。 DDPM的现有推理过程是随机且耗时的。因此,我们提出了一种新颖的推理策略,以加快DDPM的推理时间,特别是用于T2V图像翻译问题。我们在多个数据集上实现了最新结果。代码和验证的模型可在http://github.com/nithin-gk/t2v-ddpm上公开获得
translated by 谷歌翻译
尽管许多远程成像系统旨在支持扩展视力应用,但由于大气湍流,其操作的自然障碍是退化。大气湍流通过引入模糊和几何变形而导致图像质量的显着降解。近年来,在文献中提出了各种基于深度学习的单图像缓解方法,包括基于CNN的基于CNN和基于GAN的反转方法,这些方法试图消除图像中的失真。但是,其中一些方法很难训练,并且通常无法重建面部特征并产生不切实际的结果,尤其是在高湍流的情况下。降级扩散概率模型(DDPM)最近由于其稳定的训练过程和产生高质量图像的能力而获得了一些吸引力。在本文中,我们提出了第一个基于DDPM的解决方案,用于缓解大气湍流问题。我们还提出了一种快速采样技术,用于减少条件DDPM的推理时间。对合成和现实世界数据进行了广泛的实验,以显示我们模型的重要性。为了促进进一步的研究,在审查过程之后,所有代码和验证的模型都将公开。
translated by 谷歌翻译
单眼深度估计(MDE)由于其低成本和机器人任务的关键功能,例如定位,映射和障碍物检测而吸引了激烈的研究。经过深入学习的发展,监督的方法已取得了巨大的成功,但它们依靠大量的地面深度注释,这些深度昂贵。无监督的域适应性(UDA)将知识从标记的源数据转移到未标记的目标数据,以放大监督学习的约束。但是,由于域移位问题,现有的UDA方法可能无法完全跨不同数据集的域差距对齐。我们认为,可以通过精心设计的特征分解来实现更好的域对齐。在本文中,我们提出了一种针对MDE的新型UDA方法,称为适应的学习功能分解(LFDA),该方法学会将功能空间分解为内容和样式组件。 LFDA仅尝试对齐内容组件,因为它具有较小的域间隙。同时,它不包括针对源域的样式组件,而不是训练主要任务。此外,LFDA使用单独的特征分布估计来进一步弥合域间隙。在三个域适应性MDE方案上进行了广泛的实验表明,与最先进的方法相比,所提出的方法可实现卓越的准确性和较低的计算成本。
translated by 谷歌翻译
图像恢复(如Denoising)的最终目的是找到嘈杂和清晰图像域之间的确切相关性。但是,以样本到样本的方式进行了端到端的denoising学习,例如像素损失,这忽略了图像的内在相关性,尤其是语义。在本文中,我们介绍了深层语义统计匹配(D2SM)DENOISISN网络。它利用了预审预测的分类网络的语义特征,然后隐含地与语义特征空间上清晰图像的概率分布匹配。通过学习保留Denocied图像的语义分布,我们从经验上发现我们的方法显着提高了网络的可转换功能,并且可以通过高级视觉任务更好地理解了deNo的结果。在嘈杂的CityScapes数据集上进行的综合实验证明了我们方法对降级性能和语义分割精度的优越性。此外,在我们的扩展任务上观察到的绩效改进,包括超分辨率和飞行实验,表明了其作为新的一般插件组件的潜力。
translated by 谷歌翻译
大气湍流可以通过在大气折射索引中引起空间和时间随机的波动,从而显着降低远程成像系统获得的图像质量。折射率的变化导致捕获的图像几何扭曲和模糊。因此,重要的是要补偿由大气湍流引起的图像中的视觉降解。在本文中,我们提出了一种基于深度学习的方法,用于限制大气湍流降解的单个图像。我们利用基于蒙特卡洛辍学的认知不确定性来捕获网络很难恢复的图像中的区域。然后,使用估计的不确定性图来指导网络以获得还原图像。对合成图像和真实图像进行了广泛的实验,以显示拟议工作的重要性。代码可在以下网址找到:https://github.com/rajeevyasarla/at-net
translated by 谷歌翻译
人类文明对地球系统具有越来越强大的影响,地球观察是评估和减轻负面影响的宝贵工具。为此,观察地球表面上精确定义的变化是必不可少的,我们提出了一种实现这一目标的有效方法。值得注意的是,我们的变更检测(CD)/分割方法提出了一种新颖的方式,以通过将不同的地球观察程序通过不同的扩散概率模型来纳入数百万个现成的,未标记的,未标记的,遥感的图像到训练过程中。我们首先通过使用预训练的denoding扩散概率模型,利用这些现成,未经贴贴和未标记的遥感图像的信息,然后采用来自扩散模型解码器的多尺度特征表示来训练轻量级CD分类器检测精确的更改。在四个公开可用的CD数据集上执行的实验表明,所提出的方法比F1,IOU和总体准确性中的最新方法取得了更好的结果。代码和预培训模型可在以下网址找到:https://github.com/wgcban/ddpm-cd
translated by 谷歌翻译
由于超声图像中的成像伪影和低信噪比,自动骨表面分割网络通常会产生碎片的预测,从而阻碍超声引导的计算机辅助手术程序的成功。由于缺乏执行连通性的监督,现有的像素预测通常无法捕获骨组织的准确拓扑。在这项工作中,我们提出了一个定向引导的图形卷积网络,以改善连通性,同时分割骨表面。我们还提出了有关骨表面方向的额外监督,以进一步施加连通性。我们在1042 Vivo US扫描股骨,膝盖,脊柱和远端半径上验证了我们的方法。我们的方法将最新方法的连通性指标提高了5.01%。
translated by 谷歌翻译
多模式先验下的图像合成是一项有用且具有挑战性的任务,近年来受到了越来越多的关注。使用生成模型来完成此任务的一个主要挑战是缺乏包含所有模式(即先验)和相应输出的配对数据。在最近的工作中,对各种自动编码器(VAE)模型进行了弱监督的培训,以应对这一挑战。由于VAE的生成能力通常受到限制,因此该方法很难合成属于复杂分布的图像。为此,我们提出了一个基于脱氧扩散概率模型的解决方案,以在多模型先验下合成图像。基于以下事实:扩散模型中的每个时间步中的分布都是高斯,在这项工作中,我们表明对生成图像的封闭形式表达式对应于给定的模态。所提出的解决方案不需要所有模式的明确重试,并且可以根据不同的约束来利用单个模式的输出来生成逼真的图像。我们对两个现实世界数据集进行研究,以证明我们的方法的有效性
translated by 谷歌翻译
Speckle是一种乘法噪声,它会影响所有连贯的成像方式,包括合成孔径雷达(SAR)图像。斑点的存在降低了图像质量和不利影响SAR图像理解应用程序的性能,例如自动目标识别和变更检测。因此,SAR Despeckling是遥感中的重要问题。在本文中,我们介绍了SAR-DDPM,这是SAR Despeckling的降解扩散概率模型。提出的方法包括马尔可夫链,该链通过反复添加随机噪声将干净的图像转换为白色高斯噪声。伪造的图像是通过反向过程恢复的,该过程迭代地使用噪声预测器在斑点图像上进行噪声预测。此外,我们提出了一种基于循环旋转的新推理策略,以提高选品的性能。我们对合成和真实SAR图像的实验表明,所提出的方法在定量和定性结果方面在最新的伪造方法上都取得了重大改进。
translated by 谷歌翻译