在所提出的Sehybridsn模型中,使用密集块来重用浅特征,并旨在更好地利用分层空间谱特征。随后的深度可分离卷积层用于区分空间信息。通过通道注意方法实现了空间谱特征的进一步改进,该方法在每个3D卷积层和每个2D卷积层后面进行。实验结果表明,我们所提出的模型使用很少的训练数据了解更多辨别的空间谱特征。Sehybridsn使用仅0.05和0.01个标记的训练数据,获得了非常令人满意的性能。
translated by 谷歌翻译
最近,卷积神经网络(CNN)技术具有普及作为高光谱图像分类(HSIC)的工具。为了在有限样品的条件下提高HSIC的特征提取效率,目前的方法通常使用大量层的深层模型。然而,当样品有限时,深网络模型容易出现过度拟合和梯度消失问题。此外,空间分辨率严重降低,深度深度,这对空间边缘特征提取非常有害。因此,这封信提出了一种HSIC的浅模型,称为深度过度参数化卷积神经网络(DOCNN)。为了确保浅模型的有效提取,引入深度过度参数化卷积(DO-CONV)内核以提取歧视特征。深度过度参数化卷积内核由标准卷积内核和深度卷积内核组成,其可以单独地提取不同信道的空间特征,并同时熔合整个通道的空间特征。此外,为了进一步减少由于卷积操作引起的空间边缘特征的损失,提出了一种密集的残余连接(DRC)结构以适用于整个网络的特征提取部分。从三个基准数据集获得的实验结果表明,该方法在分类准确度和计算效率方面优于其他最先进的方法。
translated by 谷歌翻译
确实,卷积神经网络(CNN)更合适。然而,固定内核大小使传统的CNN太具体,既不灵活也不有利于特征学习,从而影响分类准确性。不同内核大小网络的卷积可以通过捕获更多辨别和相关信息来克服这个问题。鉴于此,所提出的解决方案旨在将3D和2D成立网的核心思想与促进混合方案中的HSIC CNN性能提升。生成的\ Textit {注意融合混合网络}(AFNET)基于三个关注融合的并行混合子网,每个块中的不同内核使用高级功能,以增强最终的地面图。简而言之,AFNET能够选择性地过滤滤除对分类至关重要的辨别特征。与最先进的模型相比,HSI数据集的几次测试为AFNET提供了竞争力的结果。拟议的管道实现,实际上,印度松树的总体准确性为97 \%,博茨瓦纳100 \%,帕尔茨大学,帕维亚中心和萨利纳斯数据集的99 \%。
translated by 谷歌翻译
有效的早期检测马铃薯晚枯萎病(PLB)是马铃薯栽培的必要方面。然而,由于缺乏在冠层水平上缺乏视觉线索,在具有传统成像方法的领域的早期阶段来检测晚期枯萎是一项挑战。高光谱成像可以,捕获来自宽范围波长的光谱信号也在视觉波长之外。在这种情况下,通过将2D卷积神经网络(2D-CNN)和3D-CNN与深度合作的网络(PLB-2D-3D-A)组合来提出高光谱图像的深度学习分类架构。首先,2D-CNN和3D-CNN用于提取丰富的光谱空间特征,然后使用注意力块和SE-RESET用于强调特征图中的突出特征,并提高模型的泛化能力。数据集采用15,360张图像(64x64x204)构建,从在实验领域捕获的240个原始图像裁剪,具有超过20种马铃薯基因型。 2000年图像的测试数据集中的精度在全带中达到0.739,特定带中的0.790(492nm,519nm,560nm,592nm,717nm和765nm)。本研究表明,具有深入学习和近端高光谱成像的早期检测PLB的令人鼓舞的结果。
translated by 谷歌翻译
高光谱图像(HSI)分类一直是决定的热门话题,因为高光谱图像具有丰富的空间和光谱信息,并为区分不同的土地覆盖物体提供了有力的基础。从深度学习技术的发展中受益,基于深度学习的HSI分类方法已实现了有希望的表现。最近,已经提出了一些用于HSI分类的神经架构搜索(NAS)算法,这将HSI分类的准确性进一步提高到了新的水平。在本文中,NAS和变压器首次合并用于处理HSI分类任务。与以前的工作相比,提出的方法有两个主要差异。首先,我们重新访问了先前的HSI分类NAS方法中设计的搜索空间,并提出了一个新型的混合搜索空间,该搜索空间由空间主导的细胞和频谱主导的单元组成。与以前的工作中提出的搜索空间相比,所提出的混合搜索空间与HSI数据的特征更加一致,即HSIS具有相对较低的空间分辨率和非常高的光谱分辨率。其次,为了进一步提高分类准确性,我们尝试将新兴变压器模块移植到自动设计的卷积神经网络(CNN)上,以将全局信息添加到CNN学到的局部区域的特征中。三个公共HSI数据集的实验结果表明,所提出的方法的性能要比比较方法更好,包括手动设计的网络和基于NAS的HSI分类方法。特别是在最近被捕获的休斯顿大学数据集中,总体准确性提高了近6个百分点。代码可在以下网址获得:https://github.com/cecilia-xue/hyt-nas。
translated by 谷歌翻译
与RGB图像相比,高光谱图像包含更多数量的通道,因此包含有关图像中实体的更多信息。卷积神经网络(CNN)和多层感知器(MLP)已被证明是一种有效的图像分类方法。但是,他们遭受了长期培训时间和大量标记数据的要求,以达到预期的结果。在处理高光谱图像时,这些问题变得更加复杂。为了减少训练时间并减少对大型标记数据集的依赖性,我们建议使用转移学习方法。使用PCA将高光谱数据集预处理到较低的维度,然后将深度学习模型应用于分类。然后,转移学习模型使用该模型学到的功能来解决看不见的数据集上的新分类问题。进行了CNN和多个MLP体系结构模型的详细比较,以确定最适合目标的最佳体系结构。结果表明,层的缩放并不总是会导致准确性的提高,但通常会导致过度拟合,并增加训练时间。通过应用转移学习方法而不仅仅是解决问题,训练时间更大程度地减少了。通过直接在大型数据集上训练新模型,而不会影响准确性。
translated by 谷歌翻译
高光谱(HS)图像的特征在于近似连续的频谱信息,通过捕获微妙的光谱差异来实现材料的精细识别。由于它们出色的局部上下文建模能力,已被证明是HS Image分类中的强大特征提取器的卷积神经网络(CNNS)。但是,由于其固有的网络骨干的限制,CNNS无法挖掘并表示频谱签名的序列属性。为了解决这个问题,我们从与变换器的顺序透视重新考虑HS图像分类,并提出一个名为\ ul {spectralformer}的新型骨干网。除了经典变压器中的带明智的表示之外,Spectralformer能够从HS图像的相邻频带中学习频谱局部序列信息,产生群体方向谱嵌入。更重要的是,为了减少在层面传播过程中丢失有价值信息的可能性,我们通过自适应地学习跨层熔断“软”残留物来传达横向跳过连接以传送从浅层到深层的存储器样组件。值得注意的是,所提出的光谱变压器是一个高度灵活的骨干网络,可以适用于像素和修补程序的输入。我们通过进行广泛的实验评估三个HS数据集上提出的光谱变压器的分类性能,显示了经典变压器的优越性,与最先进的骨干网络相比,实现了显着改进。这项工作的代码将在https://github.com/danfenghong/ieee_tgrs_spectralformer下获得,以便再现性。
translated by 谷歌翻译
随着深度学习技术的快速发展和计算能力的提高,深度学习已广泛应用于高光谱图像(HSI)分类领域。通常,深度学习模型通常包含许多可训练参数,并且需要大量标记的样品来实现最佳性能。然而,关于HSI分类,由于手动标记的难度和耗时的性质,大量标记的样本通常难以获取。因此,许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中,我们专注于这一主题,并对相关文献提供系统审查。具体而言,本文的贡献是双重的。首先,相关方法的研究进展根据学习范式分类,包括转移学习,积极学习和少量学习。其次,已经进行了许多具有各种最先进的方法的实验,总结了结果以揭示潜在的研究方向。更重要的是,虽然深度学习模型(通常需要足够的标记样本)和具有少量标记样本的HSI场景之间存在巨大差距,但是通过深度学习融合,可以很好地表征小样本集的问题方法和相关技术,如转移学习和轻量级模型。为了再现性,可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。
translated by 谷歌翻译
肝脏的准确细分是诊断疾病的先决条件。自动分割是计算机辅助检测和肝病诊断的重要应用。近年来,医学图像的自动化处理已经取得了突破。然而,腹部扫描CT图像的低对比度和肝脏形态的复杂性使得精确的自动分割具有挑战性。在本文中,我们提出了RA V-NET,这是基于U-Net的改进的医学图像自动分割模型。它有以下三个主要创新。建议Cofres模块(复合原始功能剩余模块)。通过更复杂的卷积层和跳过连接,使其获得更高级别的图像特征提取功能并防止梯度消失或爆炸。建议AR模块(注意恢复模块)以减少模型的计算工作。另外,通过调整通道和LSTM卷积来感测编码和解码模块的数据像素之间的空间特征。最后,有效地保留了图像特征。介绍了CA模块(通道注意模块),用于提取具有依赖性的相关通道,并通过矩阵点产品加强它们,同时在没有依赖性的情况下削弱无关的通道。达到关注的目的。 LSTM卷积和CA模块提供的注意机制是强证神经网络性能的保证。 U-Net网络的准确性:0.9862,精确度:0.9118,DSC:0.8547,JSC:0.82。 RA V-NET的评估指标,精度:0.9968,精确度:0.9597,DSC:0.9654,JSC:0.9414。分割效果的最代表性度量是DSC,其在U-NET上改善0.1107,JSC改善0.1214。
translated by 谷歌翻译
哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖(Lulc)映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中,我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集,包括卷积神经网络,多层感知,视觉变压器,高效导通和宽残余网络(WRN)架构。我们的目标是利用分类准确性,培训时间和推理率。我们提出了一种基于用于网络深度,宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架,以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构,增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数,实现所有19个LULC类的平均F分类准确度达到4.5%,并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号,以及我们在多个GPU节点上分布式培训的代码。
translated by 谷歌翻译
由于单峰生物识别系统的不稳定性和局限性,多模式系统吸引了研究人员的关注。但是,如何利用不同方式之间的独立和互补信息仍然是一个关键和具有挑战性的问题。在本文中,我们提出了一种基于指纹和手指静脉的多模式融合识别算法(指纹手指静脉 - 通道 - 通道空间注意融合模块,FPV-CSAFM)。具体而言,对于每对指纹和手指静脉图像,我们首先提出一个简单有效的卷积神经网络(CNN)来提取特征。然后,我们构建一个多模式融合模块(通道空间注意融合模块,CSAFM),以完全融合指纹和指纹之间的互补信息。与现有的融合策略不同,我们的融合方法可以根据渠道和空间维度不同模态的重要性动态调整融合权重,以便更好地将信息之间的信息更好地结合在一起,并提高整体识别性能。为了评估我们方法的性能,我们在多个公共数据集上进行了一系列实验。实验结果表明,所提出的FPV-CSAFM基于指纹和手指静脉在三个多模式数据集上实现了出色的识别性能。
translated by 谷歌翻译
本文介绍了拼图,这是一种用于地球科学的卷积神经网络(CNN),并基于Inception,但针对地球科学分析量身定制。介绍了拼图(基于拼图),并将其用于印度松树,帕维亚大学和萨利纳斯高光谱图像数据集的土地使用土地覆盖(LULC)分类问题。将网络与Hybridsn进行比较,Hybridsn是一个光谱空间3D-CNN,然后是2D-CNN,可在数据集中获得最新的结果。这篇简短的文章证明了拼图在所有三种情况下都能达到或超过混合动力的表现。此外,强调了在地球科学中使用拼图的,而代码和工具包可用。
translated by 谷歌翻译
近年来,大肠癌已成为危害人类健康最重要的疾病之一。深度学习方法对于结直肠组织病理学图像的分类越来越重要。但是,现有方法更多地集中在使用计算机而不是人类计算机交互的端到端自动分类。在本文中,我们提出了一个IL-MCAM框架。它基于注意机制和互动学习。提出的IL-MCAM框架包括两个阶段:自动学习(AL)和交互性学习(IL)。在AL阶段,使用包含三种不同注意机制通道和卷积神经网络的多通道注意机制模型用于提取多通道特征进行分类。在IL阶段,提出的IL-MCAM框架不断地将错误分类的图像添加到交互式方法中,从而提高了MCAM模型的分类能力。我们对数据集进行了比较实验,并在HE-NCT-CRC-100K数据集上进行了扩展实验,以验证拟议的IL-MCAM框架的性能,分别达到98.98%和99.77%的分类精度。此外,我们进行了消融实验和互换性实验,以验证三个通道的能力和互换性。实验结果表明,所提出的IL-MCAM框架在结直肠组织病理学图像分类任务中具有出色的性能。
translated by 谷歌翻译
Pansharpening使用高空间分辨率Panchromatic图像的特征增强了高光谱分辨率多光谱图像的空间细节。有许多传统的pansharpening方法,但是产生表现出高光谱和空间保真度的图像仍然是一个空旷的问题。最近,深度学习已被用来产生有希望的Pansharped图像。但是,这些方法中的大多数通过使用相同的网络进行特征提取,对多光谱和全球性图像都采用了类似的处理。在这项工作中,我们提出了一个新型的基于双重注意的两流网络。首先使用两个单独的网络进行两个图像的特征提取,这是一种具有注意机制的编码器,可重新校准提取的功能。接下来是融合的特征,形成喂入图像重建网络的紧凑表示形式以产生pansharped图像。使用标准定量评估指标和视觉检查的PL \'{E} IADES数据集的实验结果表明,就Pansharped图像质量而言,所提出的方法比其他方法更好。
translated by 谷歌翻译
由于高光谱摄像机传感器在较差的照明条件下捕获的能量不足,因此低光谱图像(HSIS)通常会遭受视野较低,光谱失真和各种噪音的遭受的影响。已经开发了一系列HSI恢复方法,但它们在增强低光HSIS方面的有效性受到限制。这项工作着重于低光HSI增强任务,该任务旨在揭示隐藏在黑暗区域中的空间光谱信息。为了促进低光HSI处理的开发,我们收集了室内和室外场景的低光HSI(LHSI)数据集。基于Laplacian金字塔分解和重建,我们开发了在LHSI数据集中训练的端到端数据驱动的低光HSI增强(HSIE)方法。通过观察到照明与HSI的低频组件有关,而纹理细节与高频组件密切相关,因此建议的HSIE设计为具有两个分支。采用照明增强分支以减少分辨率来启发低频组件。高频改进分支用于通过预测的掩码来完善高频组件。此外,为了提高信息流量和提高性能,我们引入了具有残留致密连接的有效通道注意块(CAB),该连接是照明增强分支的基本块。 LHSI数据集的实验结果证明了HSIE在定量评估措施和视觉效果中的有效性和效率。根据遥感印度松树数据集的分类性能,下游任务受益于增强的HSI。可用数据集和代码:\ href {https://github.com/guanguanboy/hsie} {https://github.com/guanguanboy/hsie}。
translated by 谷歌翻译
标记医学图像取决于专业知识,因此很难在短时间内以高质量获取大量注释的医学图像。因此,在小型数据集中充分利用有限标记的样品来构建高性能模型是医疗图像分类问题的关键。在本文中,我们提出了一个深入监督的层选择性注意网络(LSANET),该网络全面使用功能级和预测级监督中的标签信息。对于特征级别的监督,为了更好地融合低级功能和高级功能,我们提出了一个新颖的视觉注意模块,层选择性注意(LSA),以专注于不同层的特征选择。 LSA引入了一种权重分配方案,该方案可以在整个训练过程中动态调整每个辅助分支的加权因子,以进一步增强深入监督的学习并确保其概括。对于预测级的监督,我们采用知识协同策略,通过成对知识匹配来促进所有监督分支之间的层次信息互动。使用公共数据集MedMnist,这是用于涵盖多种医学专业的生物医学图像分类的大规模基准,我们评估了LSANET在多个主流CNN体系结构和各种视觉注意模块上评估。实验结果表明,我们所提出的方法对其相应的对应物进行了实质性改进,这表明LSANET可以为医学图像分类领域的标签有效学习提供有希望的解决方案。
translated by 谷歌翻译
光谱超分辨率(SSR)是指从RGB对应物中恢复的高光谱图像(HSI)。由于SSR问题的一对多性,可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息,如自然RGB空间上下文的上下文,深度特征或固有的HSI统计事先等,以提高重建的置信度和保真度光谱。然而,大多数目前的方法只考虑设计定制的卷积神经网络(CNN)的一般和有限的前瞻,这导致无法有效地减轻不良程度。为解决有问题的问题,我们为SSR提出了一个新颖的全面的先前嵌入关系网络(HPRN)。基本上,核心框架由几个多剩余关系块(MRB)进行多种组装,其完全便于RGB信号之前的低频内容的传输和利用。创新性地,引入了RGB输入的语义之前,以识别类别属性,并且向前提出了语义驱动的空间关系模块(SSRM)以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外,我们开发了一种基于变换器的通道关系模块(TCRM),其习惯使用标量作为先前深度特征中的频道方面关系的描述符,并用某些向量替换为变换器特征交互,支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性,将二阶的先前约束(SOPC)结合到丢失功能中以引导HSI重建过程。
translated by 谷歌翻译
多标签遥感图像分类(MLRSIC)已获得越来越多的研究兴趣。将多个标签的辅助关系作为其他信息有助于提高此任务的性能。当前方法着重于使用它来限制卷积神经网络(CNN)的最终功能输出。一方面,这些方法不会充分利用标签相关来形成特征表示。另一方面,它们增加了系统的标签噪声灵敏度,导致稳健性差。在本文中,提出了一种称为语义交织的全球通道注意(Signa)的新颖方法。首先,根据数据集的统计信息获得标签共发生图。标签共发生图用作图形神经网络(GNN)的输入,以生成最佳特征表示。然后,语义特征和视觉特征交错,以指导图像从原始特征空间到具有嵌入式标签关系的语义特征空间的特征表达。 Signa在新的语义特征空间中触发了特征地图通道的全球关注,以提取更重要的视觉特征。提出了基于多头签名的功能自适应加权网络,以插件的方式对任何CNN作用。对于遥感图像,可以通过将CNN插入浅层层来实现更好的分类性能。我们对三个数据集进行了广泛的实验比较:UCM数据集,AID数据集和DFC15数据集。实验结果表明,与最新方法(SOTA)方法相比,所提出的Signa具有出色的分类性能。值得一提的是,本文的代码将向社区开放,以进行可重复性研究。我们的代码可在https://github.com/kyle-one/signa上找到。
translated by 谷歌翻译
Semiconductor manufacturing is on the cusp of a revolution: the Internet of Things (IoT). With IoT we can connect all the equipment and feed information back to the factory so that quality issues can be detected. In this situation, more and more edge devices are used in wafer inspection equipment. This edge device must have the ability to quickly detect defects. Therefore, how to develop a high-efficiency architecture for automatic defect classification to be suitable for edge devices is the primary task. In this paper, we present a novel architecture that can perform defect classification in a more efficient way. The first function is self-proliferation, using a series of linear transformations to generate more feature maps at a cheaper cost. The second function is self-attention, capturing the long-range dependencies of feature map by the channel-wise and spatial-wise attention mechanism. We named this method as self-proliferation-and-attention neural network. This method has been successfully applied to various defect pattern classification tasks. Compared with other latest methods, SP&A-Net has higher accuracy and lower computation cost in many defect inspection tasks.
translated by 谷歌翻译
Semantic segmentation of UAV aerial remote sensing images provides a more efficient and convenient surveying and mapping method for traditional surveying and mapping. In order to make the model lightweight and improve a certain accuracy, this research developed a new lightweight and efficient network for the extraction of ground features from UAV aerial remote sensing images, called LDMCNet. Meanwhile, this research develops a powerful lightweight backbone network for the proposed semantic segmentation model. It is called LDCNet, and it is hoped that it can become the backbone network of a new generation of lightweight semantic segmentation algorithms. The proposed model uses dual multi-scale context modules, namely the Atrous Space Pyramid Pooling module (ASPP) and the Object Context Representation module (OCR). In addition, this research constructs a private dataset for semantic segmentation of aerial remote sensing images from drones. This data set contains 2431 training sets, 945 validation sets, and 475 test sets. The proposed model performs well on this dataset, with only 1.4M parameters and 5.48G floating-point operations (FLOPs), achieving an average intersection-over-union ratio (mIoU) of 71.12%. 7.88% higher than the baseline model. In order to verify the effectiveness of the proposed model, training on the public datasets "LoveDA" and "CITY-OSM" also achieved excellent results, achieving mIoU of 65.27% and 74.39%, respectively.
translated by 谷歌翻译