土地覆盖分类是一项多级分割任务，将每个像素分类为地球表面的某些天然或人为类别，例如水，土壤，自然植被，农作物和人类基础设施。受硬件计算资源和内存能力的限制，大多数现有研究通过将它们放置或将其裁剪成小于512*512像素的小斑块来预处理原始遥感图像，然后再将它们发送到深神经网络。然而，下调图像会导致空间细节损失，使小细分市场难以区分，并逆转了数十年来努力获得的空间分辨率进度。将图像裁剪成小斑块会导致远程上下文信息的丢失，并将预测的结果恢复为原始大小会带来额外的延迟。为了响应上述弱点，我们提出了称为Mkanet的有效的轻巧的语义分割网络。 Mkanet针对顶视图高分辨率遥感图像的特征，利用共享内核同时且同样处理不一致的尺度的地面段，还采用平行且浅层的体系结构来提高推理速度和友好的支持速度和友好的支持图像贴片，超过10倍。为了增强边界和小段歧视，我们还提出了一种捕获类别杂质区域的方法，利用边界信息并对边界和小部分错误判断施加额外的惩罚。广泛实验的视觉解释和定量指标都表明，Mkanet在两个土地覆盖分类数据集上获得了最先进的准确性，并且比其他竞争性轻量级网络快2倍。所有这些优点突出了Mkanet在实际应用中的潜力。

语义分割是自主车辆了解周围场景的关键技术。当代模型的吸引力表现通常以牺牲重计算和冗长的推理时间为代价，这对于自行车来说是无法忍受的。在低分辨率图像上使用轻量级架构（编码器 - 解码器或双路）或推理，最近的方法实现了非常快的场景解析，即使在单个1080TI GPU上以100多件FPS运行。然而，这些实时方法与基于扩张骨架的模型之间的性能仍有显着差距。为了解决这个问题，我们提出了一家专门为实时语义细分设计的高效底座。所提出的深层双分辨率网络（DDRNET）由两个深部分支组成，之间进行多个双边融合。此外，我们设计了一个名为Deep聚合金字塔池（DAPPM）的新上下文信息提取器，以基于低分辨率特征映射放大有效的接收字段和熔丝多尺度上下文。我们的方法在城市景观和Camvid数据集上的准确性和速度之间实现了新的最先进的权衡。特别是，在单一的2080Ti GPU上，DDRNET-23-Slim在Camvid测试组上的Citycapes试验组102 FPS上的102 FPS，74.7％Miou。通过广泛使用的测试增强，我们的方法优于最先进的模型，需要计算得多。 CODES和培训的型号在线提供。

现代的高性能语义分割方法采用沉重的主链和扩张的卷积来提取相关特征。尽管使用上下文和语义信息提取功能对于分割任务至关重要，但它为实时应用程序带来了内存足迹和高计算成本。本文提出了一种新模型，以实现实时道路场景语义细分的准确性/速度之间的权衡。具体来说，我们提出了一个名为“比例吸引的条带引导特征金字塔网络”（s \ textsuperscript {2} -fpn）的轻巧模型。我们的网络由三个主要模块组成：注意金字塔融合（APF）模块，比例吸引条带注意模块（SSAM）和全局特征Upsample（GFU）模块。 APF采用了注意力机制来学习判别性多尺度特征，并有助于缩小不同级别之间的语义差距。 APF使用量表感知的关注来用垂直剥离操作编码全局上下文，并建模长期依赖性，这有助于将像素与类似的语义标签相关联。此外，APF还采用频道重新加权块（CRB）来强调频道功能。最后，S \ TextSuperScript {2} -fpn的解码器然后采用GFU，该GFU用于融合APF和编码器的功能。已经对两个具有挑战性的语义分割基准进行了广泛的实验，这表明我们的方法通过不同的模型设置实现了更好的准确性/速度权衡。提出的模型已在CityScapes Dataset上实现了76.2 \％miou/87.3fps，77.4 \％miou/67fps和77.8 \％miou/30.5fps，以及69.6 \％miou，71.0 miou，71.0 \％miou，和74.2 \％\％\％\％\％\％。 miou在Camvid数据集上。这项工作的代码将在\ url {https://github.com/mohamedac29/s2-fpn提供。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

Semantic segmentation of UAV aerial remote sensing images provides a more efficient and convenient surveying and mapping method for traditional surveying and mapping. In order to make the model lightweight and improve a certain accuracy, this research developed a new lightweight and efficient network for the extraction of ground features from UAV aerial remote sensing images, called LDMCNet. Meanwhile, this research develops a powerful lightweight backbone network for the proposed semantic segmentation model. It is called LDCNet, and it is hoped that it can become the backbone network of a new generation of lightweight semantic segmentation algorithms. The proposed model uses dual multi-scale context modules, namely the Atrous Space Pyramid Pooling module (ASPP) and the Object Context Representation module (OCR). In addition, this research constructs a private dataset for semantic segmentation of aerial remote sensing images from drones. This data set contains 2431 training sets, 945 validation sets, and 475 test sets. The proposed model performs well on this dataset, with only 1.4M parameters and 5.48G floating-point operations (FLOPs), achieving an average intersection-over-union ratio (mIoU) of 71.12%. 7.88% higher than the baseline model. In order to verify the effectiveness of the proposed model, training on the public datasets "LoveDA" and "CITY-OSM" also achieved excellent results, achieving mIoU of 65.27% and 74.39%, respectively.

Real-time semantic segmentation has played an important role in intelligent vehicle scenarios. Recently, numerous networks have incorporated information from multi-size receptive fields to facilitate feature extraction in real-time semantic segmentation tasks. However, these methods preferentially adopt massive receptive fields to elicit more contextual information, which may result in inefficient feature extraction. We believe that the elaborated receptive fields are crucial, considering the demand for efficient feature extraction in real-time tasks. Therefore, we propose an effective and efficient architecture termed Dilation-wise Residual segmentation (DWRSeg), which possesses different sets of receptive field sizes within different stages. The architecture involves (i) a Dilation-wise Residual (DWR) module for extracting features based on different scales of receptive fields in the high level of the network; (ii) a Simple Inverted Residual (SIR) module that uses an inverted bottleneck structure to extract features from the low stage; and (iii) a simple fully convolutional network (FCN)-like decoder for aggregating multiscale feature maps to generate the prediction. Extensive experiments on the Cityscapes and CamVid datasets demonstrate the effectiveness of our method by achieving a state-of-the-art trade-off between accuracy and inference speed, in addition to being lighter weight. Without using pretraining or resorting to any training trick, we achieve 72.7% mIoU on the Cityscapes test set at a speed of 319.5 FPS on one NVIDIA GeForce GTX 1080 Ti card, which is significantly faster than existing methods. The code and trained models are publicly available.

两个分支网络体系结构显示了其对实时语义分割任务的效率和有效性。但是，低水平细节和高级语义的直接融合将导致一种现象，即周围的上下文信息很容易被详细特征淹没，即本文中的超声波，这限制了现有的两种分支模型的准确性的提高。在本文中，我们桥接了卷积神经网络（CNN）与比例综合衍生物（PID）控制器之间的联系，并揭示了两个分支网络不过是一个比例综合（PI）控制器，它固有地来自于此。类似的过冲问题。为了减轻这个问题，我们提出了一个新颖的三个分支网络架构：Pidnet，它分别拥有三个分支来分析详细的，上下文和边界信息（语义的导数），并采用边界关注来指导详细和背景的融合在最后阶段的分支。 PIDNET家族在推理速度和准确性之间实现了最佳的权衡，其测试准确性超过了所有存在的模型，这些模型在CityScapes，Camvid和Coco-STUFF数据集上具有相似的推理速度。尤其是，Pidnet-S在CityScapes测试套装上以93.2 fps的推理速度达到78.6％，在CAMVID测试集上速度为153.7 fps，速度为80.1％。

在广泛的实用应用中，需要进行远程感知的城市场景图像的语义细分，例如土地覆盖地图，城市变化检测，环境保护和经济评估。在深度学习技术的快速发展，卷积神经网络（CNN）的迅速发展。 ）多年来一直在语义细分中占主导地位。 CNN采用层次特征表示，证明了局部信息提取的强大功能。但是，卷积层的本地属性限制了网络捕获全局上下文。最近，作为计算机视觉领域的热门话题，Transformer在全球信息建模中展示了其巨大的潜力，从而增强了许多与视觉相关的任务，例如图像分类，对象检测，尤其是语义细分。在本文中，我们提出了一个基于变压器的解码器，并为实时城市场景细分构建了一个类似Unet的变压器（UneTformer）。为了有效的分割，不显示器将轻量级RESNET18选择作为编码器，并开发出有效的全球关注机制，以模拟解码器中的全局和局部信息。广泛的实验表明，我们的方法不仅运行速度更快，而且与最先进的轻量级模型相比，其准确性更高。具体而言，拟议的未显示器分别在无人机和洛夫加数据集上分别达到了67.8％和52.4％的MIOU，而在单个NVIDIA GTX 3090 GPU上输入了512x512输入的推理速度最多可以达到322.4 fps。在进一步的探索中，拟议的基于变压器的解码器与SWIN变压器编码器结合使用，还可以在Vaihingen数据集上实现最新的结果（91.3％F1和84.1％MIOU）。源代码将在https://github.com/wanglibo1995/geoseg上免费获得。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

建筑物分割是地球观测和空中图像分析领域的基本任务。最现有的基于深度学习的文献中的基于深度学习的算法可以应用于固定或窄的空间分辨率图像。在实践方案中，用户处理广泛的图像分辨率，因此，通常需要重新确定给定的空中图像以匹配用于训练深度学习模型的数据集的空间分辨率。然而，这将导致输出分割掩模的质量严重降级。要处理此问题，我们提出了这项研究，该研究是能够在不同空间分辨率下的空中图像中存在的建筑物的规模不变神经网络（SCI-NET）。具体而言，我们修改了U-Net架构并用密集的空间金字塔池（ASPP）融合，以提取细粒度的多尺度表示。我们将拟议模型对开放城市AI DataSet上的若干艺术模型的拟议模型进行了比较，并显示了SCI-Net在数据集中可用的所有分辨率方面提供稳定的改进余量。

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

在像素级别的特定类别分配地理空间对象是遥感图像分析中的基本任务。随着传感器技术的快速发展，可以在多个空间分辨率（MSR）中捕获远程感测图像，信息内容显示在不同的尺度上。从这些MSR图像中提取信息表示增强特征表示和表征的巨大机会。但是，MSR图像遭受了两个关键问题：1）地理对象的比例变化和2）在粗略空间分辨率下丢失详细信息。为了弥合这些差距，在本文中，我们提出了一种用于MSR远程感知图像的语义细分的新型刻度感知神经网络（SANET）。 SANET部署了密集连接的特征网络（DCFFM）模块，以捕获高质量的多尺度上下文，使得刻度变化正确地处理，并且对于大型和小物体而增加分割质量。空间特征重新校准（SFRM）模块进一步结合到网络中以学习具有增强的空间关系的完整语义内容，其中删除了信息丢失的负面影响。 DCFFM和SFRM的组合允许SANET学习尺度感知功能表示，这胜过现有的多尺度特征表示。三个语义分割数据集的广泛实验证明了拟议的Sanet在跨分辨率细分中的有效性。

现有的多尺度解决方案会导致仅增加接受场大小的风险，同时忽略小型接受场。因此，有效构建自适应神经网络以识别各种空间尺度对象是一个具有挑战性的问题。为了解决这个问题，我们首先引入一个新的注意力维度，即除了现有的注意力维度（例如渠道，空间和分支）之外，并提出了一个新颖的选择性深度注意网络，以对称地处理各种视觉中的多尺度对象任务。具体而言，在给定神经网络的每个阶段内的块，即重新连接，输出层次功能映射共享相同的分辨率但具有不同的接收场大小。基于此结构属性，我们设计了一个舞台建筑模块，即SDA，其中包括树干分支和类似SE的注意力分支。躯干分支的块输出融合在一起，以通过注意力分支指导其深度注意力分配。根据提出的注意机制，我们可以动态选择不同的深度特征，这有助于自适应调整可变大小输入对象的接收场大小。这样，跨块信息相互作用会导致沿深度方向的远距离依赖关系。与其他多尺度方法相比，我们的SDA方法结合了从以前的块到舞台输出的多个接受场，从而提供了更广泛，更丰富的有效接收场。此外，我们的方法可以用作其他多尺度网络以及注意力网络的可插入模块，并创造为SDA- $ x $ net。它们的组合进一步扩展了有效的接受场的范围，可以实现可解释的神经网络。我们的源代码可在\ url {https://github.com/qingbeiguo/sda-xnet.git}中获得。

最近已经设计了一些轻巧的卷积神经网络（CNN）模型，用于遥感对象检测（RSOD）。但是，他们中的大多数只是用可分离的卷积代替了香草卷积，这可能是由于很多精确损失而无法有效的，并且可能无法检测到方向的边界框（OBB）。同样，现有的OBB检测方法很难准确限制CNN预测的对象的形状。在本文中，我们提出了一个有效的面向轻质对象检测器（LO-DET）。具体而言，通道分离聚集（CSA）结构旨在简化可分开的卷积的复杂性，并开发了动态的接收场（DRF）机制，以通过自定义卷积内核及其感知范围来保持高精度，以保持高精度。网络复杂性。 CSA-DRF组件在保持高精度的同时优化了效率。然后，对角支撑约束头（DSC-Head）组件旨在检测OBB，并更准确，更稳定地限制其形状。公共数据集上的广泛实验表明，即使在嵌入式设备上，拟议的LO-DET也可以非常快地运行，具有检测方向对象的竞争精度。

Semantic segmentation requires both rich spatial information and sizeable receptive field. However, modern approaches usually compromise spatial resolution to achieve real-time inference speed, which leads to poor performance. In this paper, we address this dilemma with a novel Bilateral Segmentation Network (BiSeNet). We first design a Spatial Path with a small stride to preserve the spatial information and generate high-resolution features. Meanwhile, a Context Path with a fast downsampling strategy is employed to obtain sufficient receptive field. On top of the two paths, we introduce a new Feature Fusion Module to combine features efficiently. The proposed architecture makes a right balance between the speed and segmentation performance on Cityscapes, CamVid, and COCO-Stuff datasets. Specifically, for a 2048×1024 input, we achieve 68.4% Mean IOU on the Cityscapes test dataset with speed of 105 FPS on one NVIDIA Titan XP card, which is significantly faster than the existing methods with comparable performance.

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

语义分割是将类标签分配给图像中每个像素的问题，并且是自动车辆视觉堆栈的重要组成部分，可促进场景的理解和对象检测。但是，许多表现最高的语义分割模型非常复杂且笨拙，因此不适合在计算资源有限且低延迟操作的板载自动驾驶汽车平台上部署。在这项调查中，我们彻底研究了旨在通过更紧凑，更有效的模型来解决这种未对准的作品，该模型能够在低内存嵌入式系统上部署，同时满足实时推理的限制。我们讨论了该领域中最杰出的作品，根据其主要贡献将它们置于分类法中，最后我们评估了在一致的硬件和软件设置下，所讨论模型的推理速度，这些模型代表了具有高端的典型研究环境GPU和使用低内存嵌入式GPU硬件的现实部署方案。我们的实验结果表明，许多作品能够在资源受限的硬件上实时性能，同时说明延迟和准确性之间的一致权衡。

在过去的十年中，基于深度学习的算法在遥感图像分析的不同领域中广泛流行。最近，最初在自然语言处理中引入的基于变形金刚的体系结构遍布计算机视觉领域，在该字段中，自我发挥的机制已被用作替代流行的卷积操作员来捕获长期依赖性。受到计算机视觉的最新进展的启发，遥感社区还见证了对各种任务的视觉变压器的探索。尽管许多调查都集中在计算机视觉中的变压器上，但据我们所知，我们是第一个对基于遥感中变压器的最新进展进行系统评价的人。我们的调查涵盖了60多种基于变形金刚的60多种方法，用于遥感子方面的不同遥感问题：非常高分辨率（VHR），高光谱（HSI）和合成孔径雷达（SAR）图像。我们通过讨论遥感中变压器的不同挑战和开放问题来结束调查。此外，我们打算在遥感论文中频繁更新和维护最新的变压器，及其各自的代码：https：//github.com/virobo-15/transformer-in-in-remote-sensing

玻璃在现实世界中非常普遍。受玻璃区域的不确定性以及玻璃背后的各种复杂场景的影响，玻璃的存在对许多计算机视觉任务构成了严重的挑战，从而使玻璃分割成为重要的计算机视觉任务。玻璃没有自己的视觉外观，而只能传输/反映其周围环境的外观，从而与其他常见对象根本不同。为了解决此类具有挑战性的任务，现有方法通常会探索并结合深网络中不同特征级别的有用线索。由于存在级别不同的特征之间的特征差距，即，深层特征嵌入了更多高级语义，并且更好地定位目标对象，而浅层特征具有更大的空间尺寸，并保持更丰富，更详细的低级信息，因此，将这些特征融合到天真的融合将导致亚最佳溶液。在本文中，我们将有效的特征融合到两个步骤中，以朝着精确的玻璃分割。首先，我们试图通过开发可区分性增强（DE）模块来弥合不同级别特征之间的特征差距，该模块使特定于级别的特征成为更具歧视性的表示，从而减轻了融合不兼容的特征。其次，我们设计了一个基于焦点和探索的融合（FEBF）模块，以通过突出显示常见并探索级别差异特征之间的差异，从而在融合过程中丰富挖掘有用的信息。

利用深度学习的水提取需要精确的像素级标签。然而，在像素级别标记高分辨率遥感图像非常困难。因此，我们研究如何利用点标签来提取水体并提出一种名为邻居特征聚合网络（NFANET）的新方法。与PixelLevel标签相比，Point标签更容易获得，但它们会失去许多信息。在本文中，我们利用了局部水体的相邻像素之间的相似性，并提出了邻居采样器来重塑遥感图像。然后，将采样的图像发送到网络以进行特征聚合。此外，我们使用改进的递归训练算法进一步提高提取精度，使水边界更加自然。此外，我们的方法利用相邻特征而不是全局或本地特征来学习更多代表性。实验结果表明，所提出的NFANET方法不仅优于其他研究的弱监管方法，而且还获得与最先进的结果相似。