最近，高光谱成像（HSI）引起了越来越多的研究关注，特别是对于基于编码光圈快照谱成像（CASSI）系统的研究。现有的深度HSI重建模型通常接受对数据进行配对数据，以在CASSI中的特定光学硬件掩模给出的2D压缩测量时检索原始信号，在此期间，掩码很大程度上影响了重建性能，并且可以作为数据上的“模型超参数”。增强。此屏蔽特定的培训风格将导致硬件错误稳定问题，从而为在不同硬件和嘈杂环境中部署深度HSI模型的障碍。为了解决这一挑战，我们为HSI引入了具有完整变分的贝叶斯学习处理的掩码不确定性，并通过真实硬件的启发的掩模分解显式模拟它。具体而言，我们提出了一种基于图形的自我调整（GST）网络，以推理适应不同硬件之间的掩模的不同空间结构的不确定性。此外，我们开发了一个Bilevel优化框架，以平衡HSI重建和不确定性估计，占MASK的HyperParameter属性。广泛的实验结果和模型讨论验证了两个错误频繁场景下提出的GST方法的有效性（超过33/30 dB），与最先进的校正方法相比，竞争性能很大。我们的代码和预先接受的模型可在https://github.com/jiamian wang / mask_unctainty_spectral_sci获得
translated by 谷歌翻译
高光谱成像技术（HSI）在远程分布光谱波长上记录了视觉信息。代表性的高光谱图像采集程序通过编码的光圈快照光谱成像器（CASSI）进行了3D到2D的编码，并且需要用于3D信号重建的软件解码器。基于此编码程序，两个主要挑战妨碍了高保真重建的方式：（i）获得2D测量值，CASSI通过分散器触觉并将其挤压到同一空间区域，从。 （ii）物理编码的光圈（掩码）将通过选择性阻止像素的光曝光来导致掩盖数据丢失。为了应对这些挑战，我们提出了具有面膜感知的学习策略的空间光谱（S2-）变压器体系结构。首先，我们同时利用空间和光谱注意模型来沿两个维度划分2D测量中的混合信息。空间和光谱线索跨的一系列变压器结构是系统设计的，它考虑了两倍提示之间的信息相互依赖性。其次，蒙面的像素将引起更高的预测难度，应与未掩盖的像素不同。因此，我们通过推断出对蒙版意识预测的难度级别来适应归因于面具结构的损失惩罚。我们提出的方法不仅定量设置了新的最新方法，而且在结构化区域中产生了更好的感知质量。
translated by 谷歌翻译
高光谱图像（HSI）重建旨在从编码光圈快照频谱成像（CASSI）系统中的2D测量中恢复3D空间光谱信号。 HSI表示在光谱维度上具有高度相似和相关性。建模频谱间相互作用对HSI重建有益。然而，现有的基于CNN的方法显示了捕获光谱和远程依赖性的限制。此外，HSI信息由CASSI中的编码孔径（物理掩码）调制。尽管如此，目前的算法尚未完全探索掩模的掩模恢复的引导效果。在本文中，我们提出了一种新颖的框架，掩模引导的光谱 - 明智变压器（MST），用于HSI重建。具体地，我们介绍了一种频谱，用于将每个光谱特征视为令牌的频谱 - 明智的多头自我注意（S-MSA）并计算沿光谱尺寸的自我关注。此外，我们自定义一个掩模导向机构（mm），指示S-MSA，以注意具有高保真谱表示的空间区域。广泛的实验表明，我们的MST在模拟和真实HSI数据集上显着优于最先进的（SOTA）方法，同时需要大幅更便宜的计算和内存成本。
translated by 谷歌翻译
光谱压缩成像（SCI）能够将高维高光谱图像编码为2D测量，然后使用算法来重建时空光谱数据处。目前，SCI的主要瓶颈是重建算法，最新的（SOTA）重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中，我们提出了一个新型的混合网络模块，即CCOT（卷积和上下文变压器）块，该模块可以同时获得卷积的感应偏见和强大的变压器建模能力，并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中，并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验，我们提出的模型可实现更高的重建质量（$> $> $> $> $ 2db的PSNR在模拟基准数据集中）和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。
translated by 谷歌翻译
视频快照压缩成像（SCI）使用计算成像的概念通过单个测量捕获了多个顺序视频帧。基本原理是通过不同的遮罩调节高速框架，这些调制帧求和到由低速2D传感器捕获的单个测量值（称为光学编码器）；此后，如果需要，使用算法来重建所需的高速帧（配音软件解码器）。在本文中，我们考虑了视频SCI中的重建算法，即从压缩测量中恢复一系列视频帧。具体而言，我们提出了一个时空变压器（STFORMER）来利用空间和时间域中的相关性。 stformer网络由令牌生成块，视频重建块组成，这两个块由一系列的stformer块连接。每个STFORMER块由空间自我注意分支，时间自我发项处和这两个分支的输出组成，由融合网络集成。对模拟和真实数据的广泛结果证明了Stformer的最新性能。代码和模型可在https://github.com/ucaswangls/stformer.git上公开获得
translated by 谷歌翻译
高光谱成像是各种应用的基本成像模型，尤其是遥感，农业和医学。灵感来自现有的高光谱相机，可以慢，昂贵或笨重，从低预算快照测量中重建高光谱图像（HSIS）已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中，近期深度展开网络（DUNS）用于光谱快照压缩感应（SCI）已经取得了显着的成功。然而，DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中，我们提出了一种新的高光谱可分解的重建和最佳采样深度网络，用于SCI，被称为HeroSnet，其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵，并在梯度下降步骤中进行上下文调整步骤，以及分层熔断器，并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时，终端实现硬件友好的最佳二进制掩模，以进一步提高重建性能。最后，我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。
translated by 谷歌翻译
在编码的光圈快照光谱压缩成像（CASSI）系统中，采用高光谱图像（HSI）重建方法从压缩测量中恢复了空间光谱信号。在这些算法中，深层展开的方法表现出令人鼓舞的表现，但遭受了两个问题的困扰。首先，他们没有从高度相关的CASSI估计降解模式和不适当的程度来指导迭代学习。其次，它们主要基于CNN，显示出捕获长期依赖性的局限性。在本文中，我们提出了一个原则性的降级感知框架（DAUF），该框架（DAUF）从压缩图像和物理掩码中估算参数，然后使用这些参数来控制每个迭代。此外，我们自定义了一种新颖的半剃须变压器（HST），该变压器（HST）同时捕获本地内容和非本地依赖性。通过将HST插入DAUF，我们为HSI重建建立了第一个基于变压器的深层展开方法，即降解感知的降解 - 降解的半个剃须刀变压器（DAUHST）。实验表明，Dauhst显着超过了最先进的方法，同时需要更便宜的计算和存储成本。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
已经开发了许多算法来解决编码光圈快照光谱成像（CASSI）的反问题，即从2D压缩测量中恢复3D高光谱图像（HSIS）。近年来，基于学习的方法证明了有希望的表现，并主导了主流研究方向。但是，现有的基于CNN的方法显示了捕获长期依赖性和非本地自相似性的局限性。以前的基于变压器的方法密集样本令牌，其中一些是不明显的，并计算了某些在内容中无关的令牌之间的多头自我注意力（MSA）。这不符合HSI信号的空间稀疏性质，并限制了模型可伸缩性。在本文中，我们提出了一种新型的基于变压器的方法，即粗到细稀疏变压器（CST），首先将HSI的稀疏嵌入到HSI重建的深度学习中。特别是，CST使用我们提出的光谱感知筛选机制（SASM）进行粗贴片选择。然后，选定的贴片被馈入我们的定制光谱 - 聚集多头自我注意力（SAH-MSA），以进行精细的像素聚类和自相似性捕获。全面的实验表明，我们的CST在需要廉价的计算成本的同时，明显优于最先进的方法。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
基于深度学习的图像重建方法在许多成像方式中表现出令人印象深刻的经验表现。这些方法通常需要大量的高质量配对训练数据，这在医学成像中通常不可用。为了解决这个问题，我们为贝叶斯框架内的学习重建提供了一种新颖的无监督知识转移范式。提出的方法分为两个阶段学习重建网络。第一阶段训练一个重建网络，其中包括一组有序对，包括椭圆的地面真相图像和相应的模拟测量数据。第二阶段微调在没有监督的情况下将经过验证的网络用于更现实的测量数据。通过构造，该框架能够通过重建图像传递预测性不确定性信息。我们在低剂量和稀疏视图计算机断层扫描上提出了广泛的实验结果，表明该方法与几种最先进的监督和无监督的重建技术具有竞争力。此外，对于与培训数据不同的测试数据，与仅在合成数据集中训练的学习方法相比，所提出的框架不仅在视觉上可以显着提高重建质量，而且在PSNR和SSIM方面也可以显着提高重建质量。
translated by 谷歌翻译
现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。
translated by 谷歌翻译
本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。
translated by 谷歌翻译
深度展开是一种基于深度学习的图像重建方法，它弥合了基于模型和纯粹的基于深度学习的图像重建方法之间的差距。尽管深层展开的方法实现了成像问题的最新性能，并允许将观察模型纳入重建过程，但它们没有提供有关重建图像的任何不确定性信息，这严重限制了他们在实践中的使用，尤其是用于安全 - 关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，该框架将观察模型纳入重建任务中，并能够基于深层展开和贝叶斯神经网络来量化认知和核心不确定性。我们证明了所提出的框架在磁共振成像和计算机断层扫描重建问题上的不确定性表征能力。我们研究了拟议框架提供的认知和态度不确定性信息的特征，以激发未来的研究利用不确定性信息来开发更准确，健壮，可信赖，不确定性，基于学习的图像重建和成像问题的分析方法。我们表明，所提出的框架可以提供不确定性信息，同时与最新的深层展开方法实现可比的重建性能。
translated by 谷歌翻译
在许多图像处理任务中，深度学习方法的成功，最近还将深度学习方法引入了阶段检索问题。这些方法与传统的迭代优化方法不同，因为它们通常只需要一个强度测量，并且可以实时重建相位图像。但是，由于巨大的领域差异，这些方法给出的重建图像的质量仍然有很大的改进空间来满足一般应用要求。在本文中，我们设计了一种新型的深神经网络结构，名为Sisprnet，以基于单个傅立叶强度测量值进行相检索。为了有效利用测量的光谱信息，我们建议使用多层感知器（MLP）作为前端提出一个新的特征提取单元。它允许将输入强度图像的所有像素一起考虑，以探索其全局表示。 MLP的大小经过精心设计，以促进代表性特征的提取，同时减少噪音和异常值。辍学层还可以减轻训练MLP的过度拟合问题。为了促进重建图像中的全局相关性，将自我注意力的机制引入了提议的Sisprnet的上采样和重建（UR）块。这些UR块被插入残留的学习结构中，以防止由于其复杂的层结构而导致的较弱的信息流和消失的梯度问题。使用线性相关幅度和相位的仅相位图像和图像的不同测试数据集对所提出的模型进行了广泛的评估。在光学实验平台上进行了实验，以了解在实用环境中工作时不同深度学习方法的性能。
translated by 谷歌翻译
在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。
translated by 谷歌翻译
学习自然图像恢复的一般性先验是一项重要但具有挑战性的任务。早期方法主要涉及手工制作的先验，包括归一化稀疏性，L_0梯度，暗通道先验等。最近，深层神经网络已用于学习各种图像先验，但不能保证概括。在本文中，我们提出了一种新颖的方法，该方法将任务敏捷的先验嵌入到变压器中。我们的方法称为任务不合时宜的先验嵌入（磁带），由两个阶段组成，即，任务不合时宜的预训练和特定于任务的微调，第一阶段将有关自然图像的先验知识嵌入到变压器中，第二阶段嵌入了第二阶段。阶段提取知识以帮助下游图像恢复。对各种降解的实验验证了胶带的有效性。根据PSNR的图像恢复性能提高了多达1.45dB，甚至超过了特定于任务的算法。更重要的是，磁带显示了从退化的图像中解开广义图像先验的能力，这些图像具有良好的转移能力，可以转移到未知的下游任务。
translated by 谷歌翻译
盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。
translated by 谷歌翻译
深度学习的快速发展为高光谱图像（HSI）的端到端重建提供了更好的解决方案。但是，现有的基于学习的方法有两个主要缺陷。首先，具有自我注意力的网络通常会牺牲内部分辨率，以平衡模型性能与复杂性，失去细粒度的高分辨率（HR）功能。其次，即使专注于空间光谱域学习（SDL）的优化也会收敛到理想解决方案，但重建的HSI与真相之间仍然存在显着的视觉差异。因此，我们为HSI重建提出了一个高分辨率双域学习网络（HDNET）。一方面，提出的及其有效特征融合的人力资源空间光谱注意模块可提供连续且精细的像素级特征。另一方面，引入了频域学习（FDL），以供HSI重建以缩小频域差异。动态FDL监督迫使模型重建细粒频率，并补偿由像素级损失引起的过度平滑和失真。我们的HDNET相互促进HSI感知质量的人力资源像素水平的注意力和频率级别的完善。广泛的定量和定性评估实验表明，我们的方法在模拟和真实的HSI数据集上实现了SOTA性能。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。
translated by 谷歌翻译
最近，基于深度学习的图像降级方法在测试数据上具有与训练集相同的测试数据的有希望的性能，在该数据中，已经学习了基于合成或收集的现实世界训练数据的各种denoising模型。但是，在处理真实世界的嘈杂图像时，Denoising的性能仍然受到限制。在本文中，我们提出了一种简单而有效的贝叶斯深集合（BDE）方法，用于真实世界图像denoising，其中可以融合使用各种训练数据设置进行预训练的几位代表性的深层Denoiser，以提高稳健性。 BDE的基础是，现实世界的图像噪声高度取决于信号依赖性，并且在现实世界中的嘈杂图像中的异质噪声可以由不同的Deoisiser分别处理。特别是，我们将受过良好训练的CBDNET，NBNET，HINET，UFORFORMER和GMSNET进入Denoiser池，并采用U-NET来预测Pixel的加权图以融合这些DeOisiser。引入了贝叶斯深度学习策略，而不是仅仅学习像素的加权地图，而是为了预测加权不确定性和加权图，可以通过该策略来建模预测差异，以改善现实世界中的嘈杂图像的鲁棒性。广泛的实验表明，可以通过融合现有的DINOISER而不是训练一个以昂贵的成本来训练一个大的Denoiser来更好地消除现实世界的噪音。在DND数据集上，我们的BDE实现了 +0.28〜dB PSNR的增益，而不是最先进的denoising方法。此外，我们注意到，在应用于现实世界嘈杂的图像时，基于不同高斯噪声水平的BDE Denoiser优于最先进的CBDNET。此外，我们的BDE可以扩展到其他图像恢复任务，并在基准数据集上获得 +0.30dB， +0.18dB和 +0.12dB PSNR的收益，以分别用于图像去除图像，图像降低和单个图像超级分辨率。
translated by 谷歌翻译
以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。
translated by 谷歌翻译