特征在于巨大的光谱信息,高光谱图像能够检测微妙的变化,并区分各种变化等级以进行变化检测。然而,最近由高光谱二进制变更检测的研究工作不能提供精细的变化课程信息。并且大多数包含用于高光谱多字母变化检测(HMCD)的光谱解密的方法,但忽略了时间相关性和误差累积。在这项研究中,我们提出了一种无监督的二进制变化,用于HMCD的无监督二进制变更导向的高光谱多种子变化检测网络(BCG-Net),其旨在通过成熟二进制改变检测方法提升多种子变化检测结果和解密结果。在BCG-Net中,专为多时间谱解密而设计了一种新型的部分暹罗联合式解密模块,并且开发了由二元变化检测结果的伪标签指导的突破性的时间相关约束,从透视中引导未混合过程变化检测,鼓励不变的像素的丰富更接合,并且改变像素更准确。此外,提出了一种创新的二进制变更检测规则来处理传统规则易受数值的问题。提出了频谱解压过程的迭代优化和变化检测过程,以消除来自解密结果的累积误差和偏置以改变检测结果。实验结果表明,我们所提出的BCG-Net可以在最先进的方法中实现多种多数变化检测的比较甚至出色的性能,并同时获得更好的光谱解密结果。
translated by 谷歌翻译
自我监督学习的快速发展降低了从大量未标记的数据中的条形学习特征表示形式,并触发了一系列有关遥感图像的变更检测的研究。从自然图像分类到遥感图像的自我监督学习的挑战是从两个任务之间的差异引起的。对于像素级的精确更改检测,学习的补丁级特征表示不满意。在本文中,我们提出了一种新颖的像素级自我观察的高光谱空间传播理解网络(HyperNet),以完成像素的特征表示,以有效地进行高光谱变化检测。具体而言,不是斑块,而是整个图像被馈入网络,并且通过像素比较多个颞空间光谱特征。提出了一个强大的空间光谱注意模块,而不是处理二维成像空间和光谱响应维度,而是提出了一个强大的空间光谱注意模块,以探索分别分别的多个颞高光谱图像(HSIS)的空间相关性和判别光谱特征。仅创建并被迫对齐双期HSI的同一位置的正样品,旨在学习光谱差异不变的特征。此外,提出了一种新的相似性损失函数,以解决不平衡的简单和硬阳性样品比较的问题,其中这些硬样品的重量被扩大并突出显示以促进网络训练。已经采用了六个高光谱数据集来测试拟议的HyperNET的有效性和概括。广泛的实验表明,在下游高光谱变化检测任务上,HyperNET优于最先进的算法。
translated by 谷歌翻译
最近,基于卷积神经网络(CNN)的合成孔径雷达(SAR)图像的变更检测方法已增加了研究的注意力。但是,现有的基于CNN的方法忽略了多层卷积之间的相互作用,并且涉及的预分类限制了网络优化。为此,我们提出了一个基于注意力的噪声网络,称为Lantnet。特别是,我们设计了一个层注意模块,该模块可以适应不同卷积层的特征。此外,我们设计了一个耐噪声损失函数,可有效抑制嘈杂标签的影响。因此,该模型对预制结果中的嘈杂标签不敏感。三个SAR数据集的实验结果表明,与几种最新方法相比,所提出的Lantnet性能更好。源代码可在https://github.com/summitgao/lantnet上找到
translated by 谷歌翻译
由于高光谱摄像机传感器在较差的照明条件下捕获的能量不足,因此低光谱图像(HSIS)通常会遭受视野较低,光谱失真和各种噪音的遭受的影响。已经开发了一系列HSI恢复方法,但它们在增强低光HSIS方面的有效性受到限制。这项工作着重于低光HSI增强任务,该任务旨在揭示隐藏在黑暗区域中的空间光谱信息。为了促进低光HSI处理的开发,我们收集了室内和室外场景的低光HSI(LHSI)数据集。基于Laplacian金字塔分解和重建,我们开发了在LHSI数据集中训练的端到端数据驱动的低光HSI增强(HSIE)方法。通过观察到照明与HSI的低频组件有关,而纹理细节与高频组件密切相关,因此建议的HSIE设计为具有两个分支。采用照明增强分支以减少分辨率来启发低频组件。高频改进分支用于通过预测的掩码来完善高频组件。此外,为了提高信息流量和提高性能,我们引入了具有残留致密连接的有效通道注意块(CAB),该连接是照明增强分支的基本块。 LHSI数据集的实验结果证明了HSIE在定量评估措施和视觉效果中的有效性和效率。根据遥感印度松树数据集的分类性能,下游任务受益于增强的HSI。可用数据集和代码:\ href {https://github.com/guanguanboy/hsie} {https://github.com/guanguanboy/hsie}。
translated by 谷歌翻译
语义变化检测(SCD)扩展了多级变化检测(MCD)任务,不仅提供了更改位置,而且提供了观察间隔之前和之后的详细覆盖/土地使用(LCLU)类别。这种细粒度的语义变更信息在许多应用中非常有用。最近的研究表明,SCD可以通过三分支卷积神经网络(CNN)进行建模,其包含两个时间分支和变化分支。然而,在这种架构中,时间分支和改变分支之间的通信不足。为了克服现有方法中的限制,我们提出了一种用于SCD的新型CNN架构,其中语义时间特征在深CD单元中合并。此外,我们详细说明了这种架构,以推理双颞态语义相关性。由此产生的双时话语义推理网络(BI-SRNET)包含两种类型的语义推理块,以推理单时段和跨时话语义相关性,以及提高改变变化检测结果的语义一致性的新型损失功能。基准数据集上的实验结果表明,该架构对现有方法获得了显着的准确性改进,而Bi-SRNET中的添加设计则进一步提高了语义类别和改变区域的分割。本文的代码可访问:github.com/gnsding/bi-srnet。
translated by 谷歌翻译
Change detection (CD) is an essential earth observation technique. It captures the dynamic information of land objects. With the rise of deep learning, convolutional neural networks (CNN) have shown great potential in CD. However, current CNN models introduce backbone architectures that lose detailed information during learning. Moreover, current CNN models are heavy in parameters, which prevents their deployment on edge devices such as UAVs. In this work, we tackle this issue by proposing RDP-Net: a region detail preserving network for CD. We propose an efficient training strategy that constructs the training tasks during the warmup period of CNN training and lets the CNN learn from easy to hard. The training strategy enables CNN to learn more powerful features with fewer FLOPs and achieve better performance. Next, we propose an effective edge loss that increases the penalty for errors on details and improves the network's attention to details such as boundary regions and small areas. Furthermore, we provide a CNN model with a brand new backbone that achieves the state-of-the-art empirical performance in CD with only 1.70M parameters. We hope our RDP-Net would benefit the practical CD applications on compact devices and could inspire more people to bring change detection to a new level with the efficient training strategy. The code and models are publicly available at https://github.com/Chnja/RDPNet.
translated by 谷歌翻译
现有的基于深度学习的变更检测方法试图精心设计具有功能强大特征表示的复杂神经网络,但忽略了随时间变化的土地覆盖变化引起的通用域转移,包括亮度波动和事件前和事后图像之间的季节变化,从而产生亚最佳结果。在本文中,我们提出了一个端到端监督域的适应框架,用于跨域变更检测,即SDACD,以有效地减轻双期颞图像之间的域移位,以更好地变更预测。具体而言,我们的SDACD通过有监督的学习从图像和特征角度介绍了合作改编。图像适应性利用了具有循环矛盾的限制来利用生成的对抗学习,以执行跨域样式转换,从而有效地以两边的方式缩小了域间隙。为了特征适应性,我们提取域不变特征以对齐特征空间中的不同特征分布,这可以进一步减少跨域图像的域间隙。为了进一步提高性能,我们结合了三种类型的双颞图像,以进行最终变化预测,包括初始输入双期图像和两个来自事件前和事后域的生成的双颞图像。对两个基准的广泛实验和分析证明了我们提出的框架的有效性和普遍性。值得注意的是,我们的框架将几个代表性的基线模型推向了新的最先进的记录,分别在CDD和WHU建筑数据集上分别达到97.34%和92.36%。源代码和模型可在https://github.com/perfect-you/sdacd上公开获得。
translated by 谷歌翻译
Pansharpening是指具有高空间分辨率的全色图像的融合和具有低空间分辨率的多光谱图像,旨在获得高空间分辨率多光谱图像。在本文中,我们提出了一种新的深度神经网络架构,通过考虑以下双型结构,\ emph {ie,double级,双分支和双向,称为三双网络(TDNet)。通过使用TDNet的结构,可以充分利用平面图像的空间细节,并利用逐步注入低空间分辨率多光谱图像,从而产生高空间分辨率输出。特定的网络设计是由传统多分辨率分析(MRA)方法的物理公式的动机。因此,有效的MRA融合模块也集成到TDNet中。此外,我们采用了一些Reset块和一些多尺度卷积内核来加深和扩大网络,以有效增强所提出的TDNet的特征提取和鲁棒性。关于WorldView-3,Quickbird和GaoFen-2传感器获得的减少和全分辨率数据集的广泛实验表明了与最近最近的最先进的泛红花彭化方法相比,所提出的TDNet的优越性。一个消融的研究也证实了所提出的方法的有效性。
translated by 谷歌翻译
光谱超分辨率(SSR)是指从RGB对应物中恢复的高光谱图像(HSI)。由于SSR问题的一对多性,可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息,如自然RGB空间上下文的上下文,深度特征或固有的HSI统计事先等,以提高重建的置信度和保真度光谱。然而,大多数目前的方法只考虑设计定制的卷积神经网络(CNN)的一般和有限的前瞻,这导致无法有效地减轻不良程度。为解决有问题的问题,我们为SSR提出了一个新颖的全面的先前嵌入关系网络(HPRN)。基本上,核心框架由几个多剩余关系块(MRB)进行多种组装,其完全便于RGB信号之前的低频内容的传输和利用。创新性地,引入了RGB输入的语义之前,以识别类别属性,并且向前提出了语义驱动的空间关系模块(SSRM)以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外,我们开发了一种基于变换器的通道关系模块(TCRM),其习惯使用标量作为先前深度特征中的频道方面关系的描述符,并用某些向量替换为变换器特征交互,支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性,将二阶的先前约束(SOPC)结合到丢失功能中以引导HSI重建过程。
translated by 谷歌翻译
高分辨率卫星图像可以为土地覆盖分类提供丰富的详细空间信息,这对于研究复杂的建筑环境尤为重要。但是,由于覆盖范围复杂的覆盖模式,昂贵的训练样品收集以及卫星图像的严重分布变化,很少有研究应用高分辨率图像来大规模详细类别的覆盖地图。为了填补这一空白,我们提出了一个大规模的土地盖数据集,即五亿像素。它包含超过50亿个标记的像素,这些像素由150个高分辨率Gaofen-2(4 M)卫星图像,在24类系统中注释,涵盖人工结构,农业和自然阶层。此外,我们提出了一种基于深度学习的无监督域适应方法,该方法可以转移在标记的数据集(称为源域)上训练的分类模型,以获取大型土地覆盖映射的无标记数据(称为目标域) 。具体而言,我们采用动态伪标签分配和班级平衡策略来介绍一个端到端的暹罗网络,以执行自适应领域联合学习。为了验证我们的数据集的普遍性以及在不同的传感器和不同地理区域中提出的方法,我们对中国的五个大城市和其他五个亚洲国家的五个城市进行了土地覆盖地图,以下情况下使用:Planetscope(3 m),Gaofen-1,Gaofen-1 (8 m)和Sentinel-2(10 m)卫星图像。在总研究区域为60,000平方公里,即使输入图像完全未标记,实验也显示出令人鼓舞的结果。拟议的方法接受了5亿像素数据集的培训,可实现在整个中国和其他亚洲国家的高质量和详细的土地覆盖地图。
translated by 谷歌翻译
确实,卷积神经网络(CNN)更合适。然而,固定内核大小使传统的CNN太具体,既不灵活也不有利于特征学习,从而影响分类准确性。不同内核大小网络的卷积可以通过捕获更多辨别和相关信息来克服这个问题。鉴于此,所提出的解决方案旨在将3D和2D成立网的核心思想与促进混合方案中的HSIC CNN性能提升。生成的\ Textit {注意融合混合网络}(AFNET)基于三个关注融合的并行混合子网,每个块中的不同内核使用高级功能,以增强最终的地面图。简而言之,AFNET能够选择性地过滤滤除对分类至关重要的辨别特征。与最先进的模型相比,HSI数据集的几次测试为AFNET提供了竞争力的结果。拟议的管道实现,实际上,印度松树的总体准确性为97 \%,博茨瓦纳100 \%,帕尔茨大学,帕维亚中心和萨利纳斯数据集的99 \%。
translated by 谷歌翻译
最近的研究表明,在高光谱图像(HSI)分类任务中,深度学习算法的巨大潜力。然而,培训这些模型通常需要大量标记的数据。由于针对HSI的像素级注释的收集是费力且耗时的,因此开发算法可以在小样本量的情况下产生良好的性能。在这项研究中,我们提出了一个强大的自我缩放网络(RSEN)来解决这个问题。拟议的RSEN由两个子网组成,包括基本网络和一个集合网络。鉴于标记数据的监督损失以及未经标记的数据的无监督损失,基本网络和整体网络都可以相互学习,从而实现自我启动的机制。据我们所知,提出的方法是首次尝试将自我汇总技术引入HSI分类任务,该任务提供了有关如何利用HSI中未标记数据来协助网络培训的不同观点。我们进一步提出了一种新型的一致性滤波器,以增加自我同步学习的鲁棒性。在三个基准HSI数据集上进行的广泛实验表明,与最新方法相比,所提出的算法可以产生竞争性能。代码可在线获得(\ url {https://github.com/yonghaoxu/rsen})。
translated by 谷歌翻译
有效的早期检测马铃薯晚枯萎病(PLB)是马铃薯栽培的必要方面。然而,由于缺乏在冠层水平上缺乏视觉线索,在具有传统成像方法的领域的早期阶段来检测晚期枯萎是一项挑战。高光谱成像可以,捕获来自宽范围波长的光谱信号也在视觉波长之外。在这种情况下,通过将2D卷积神经网络(2D-CNN)和3D-CNN与深度合作的网络(PLB-2D-3D-A)组合来提出高光谱图像的深度学习分类架构。首先,2D-CNN和3D-CNN用于提取丰富的光谱空间特征,然后使用注意力块和SE-RESET用于强调特征图中的突出特征,并提高模型的泛化能力。数据集采用15,360张图像(64x64x204)构建,从在实验领域捕获的240个原始图像裁剪,具有超过20种马铃薯基因型。 2000年图像的测试数据集中的精度在全带中达到0.739,特定带中的0.790(492nm,519nm,560nm,592nm,717nm和765nm)。本研究表明,具有深入学习和近端高光谱成像的早期检测PLB的令人鼓舞的结果。
translated by 谷歌翻译
Semantic Change Detection (SCD) refers to the task of simultaneously extracting the changed areas and the semantic categories (before and after the changes) in Remote Sensing Images (RSIs). This is more meaningful than Binary Change Detection (BCD) since it enables detailed change analysis in the observed areas. Previous works established triple-branch Convolutional Neural Network (CNN) architectures as the paradigm for SCD. However, it remains challenging to exploit semantic information with a limited amount of change samples. In this work, we investigate to jointly consider the spatio-temporal dependencies to improve the accuracy of SCD. First, we propose a SCanFormer (Semantic Change Transformer) to explicitly model the 'from-to' semantic transitions between the bi-temporal RSIs. Then, we introduce a semantic learning scheme to leverage the spatio-temporal constraints, which are coherent to the SCD task, to guide the learning of semantic changes. The resulting network (ScanNet) significantly outperforms the baseline method in terms of both detection of critical semantic changes and semantic consistency in the obtained bi-temporal results. It achieves the SOTA accuracy on two benchmark datasets for the SCD.
translated by 谷歌翻译
随着对手工卫生的需求不断增长和使用的便利性,掌上识别最近具有淡淡的发展,为人识别提供了有效的解决方案。尽管已经致力于该地区的许多努力,但仍然不确定无接触棕榈污染的辨别能力,特别是对于大规模数据集。为了解决问题,在本文中,我们构建了一个大型无尺寸的棕榈纹数据集,其中包含了来自1167人的2334个棕榈手机。为了我们的最佳知识,它是有史以来最大的非接触式手掌形象基准,而是关于个人和棕榈树的数量收集。此外,我们提出了一个名为3DCPN(3D卷积棕榈识别网络)的无棕榈识别的新型深度学习框架,它利用3D卷积来动态地集成多个Gabor功能。在3DCPN中,嵌入到第一层中的新颖变体以增强曲线特征提取。通过精心设计的集合方案,然后将低级别的3D功能卷积以提取高级功能。最后在顶部,我们设置了基于地区的损失功能,以加强全局和本地描述符的辨别能力。为了展示我们方法的优越性,在我们的数据集和其他流行数据库同济和IITD上进行了广泛的实验,其中结果显示了所提出的3DCPN实现最先进的或可比性的性能。
translated by 谷歌翻译
高光谱图像(HSI)分类一直是决定的热门话题,因为高光谱图像具有丰富的空间和光谱信息,并为区分不同的土地覆盖物体提供了有力的基础。从深度学习技术的发展中受益,基于深度学习的HSI分类方法已实现了有希望的表现。最近,已经提出了一些用于HSI分类的神经架构搜索(NAS)算法,这将HSI分类的准确性进一步提高到了新的水平。在本文中,NAS和变压器首次合并用于处理HSI分类任务。与以前的工作相比,提出的方法有两个主要差异。首先,我们重新访问了先前的HSI分类NAS方法中设计的搜索空间,并提出了一个新型的混合搜索空间,该搜索空间由空间主导的细胞和频谱主导的单元组成。与以前的工作中提出的搜索空间相比,所提出的混合搜索空间与HSI数据的特征更加一致,即HSIS具有相对较低的空间分辨率和非常高的光谱分辨率。其次,为了进一步提高分类准确性,我们尝试将新兴变压器模块移植到自动设计的卷积神经网络(CNN)上,以将全局信息添加到CNN学到的局部区域的特征中。三个公共HSI数据集的实验结果表明,所提出的方法的性能要比比较方法更好,包括手动设计的网络和基于NAS的HSI分类方法。特别是在最近被捕获的休斯顿大学数据集中,总体准确性提高了近6个百分点。代码可在以下网址获得:https://github.com/cecilia-xue/hyt-nas。
translated by 谷歌翻译
随着深度学习技术的快速发展和计算能力的提高,深度学习已广泛应用于高光谱图像(HSI)分类领域。通常,深度学习模型通常包含许多可训练参数,并且需要大量标记的样品来实现最佳性能。然而,关于HSI分类,由于手动标记的难度和耗时的性质,大量标记的样本通常难以获取。因此,许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中,我们专注于这一主题,并对相关文献提供系统审查。具体而言,本文的贡献是双重的。首先,相关方法的研究进展根据学习范式分类,包括转移学习,积极学习和少量学习。其次,已经进行了许多具有各种最先进的方法的实验,总结了结果以揭示潜在的研究方向。更重要的是,虽然深度学习模型(通常需要足够的标记样本)和具有少量标记样本的HSI场景之间存在巨大差距,但是通过深度学习融合,可以很好地表征小样本集的问题方法和相关技术,如转移学习和轻量级模型。为了再现性,可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。
translated by 谷歌翻译
遥感图像中的Pansharpening旨在通过融合具有平面(PAN)图像的低分辨率多光谱(LRMS)图像直接获取高分辨率多光谱(HRMS)图像。主要问题是如何将LRMS图像的丰富光谱信息与PAN图像的丰富空间信息有效地结合。最近,已经提出了基于深度学习的许多方法,以便泛歌舞团的任务。然而,这些方法通常具有两个主要缺点:1)需要HRMS进行监督学习; 2)简单地忽略了MS和PAN​​图像之间的潜在关系并直接融合它们。为了解决这些问题,我们提出了一种基于学习劣化过程的新型无监督网络,称为LDP-Net。设计用于分别用于学习相应的降级过程的重新阻挡块和灰色块。另外,提出了一种新的混合损失函数,以在不同分辨率下限制泛散形图像和平底锅和平移和LRMS图像之间的空间和光谱一致性。 WorldView2和WorldView3图像上的实验表明,我们所提出的LDP-Net可以在没有HRMS样本的帮助下有效地融合平移和LRMS图像,从而在定性视觉效果和定量度量方面实现了有希望的性能。
translated by 谷歌翻译
利用深度学习的水提取需要精确的像素级标签。然而,在像素级别标记高分辨率遥感图像非常困难。因此,我们研究如何利用点标签来提取水体并提出一种名为邻居特征聚合网络(NFANET)的新方法。与PixelLevel标签相比,Point标签更容易获得,但它们会失去许多信息。在本文中,我们利用了局部水体的相邻像素之间的相似性,并提出了邻居采样器来重塑遥感图像。然后,将采样的图像发送到网络以进行特征聚合。此外,我们使用改进的递归训练算法进一步提高提取精度,使水边界更加自然。此外,我们的方法利用相邻特征而不是全局或本地特征来学习更多代表性。实验结果表明,所提出的NFANET方法不仅优于其他研究的弱监管方法,而且还获得与最先进的结果相似。
translated by 谷歌翻译
Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.
translated by 谷歌翻译