研究进步使得在自主车辆中部署的神经网络算法来感知周围。用于感知环境的标准脱墨传感器是摄像机和潮羊段。因此，使用这些脱模传感器开发的神经网络算法已经为自主车辆的感知提供了必要的解决方案。这些脱离传感器的一个主要缺点是它们在恶劣天气条件下的可操作性，例如，低照明和夜间条件。自主车辆传感器套件中热摄像机的可供选择性和可负担能力为自主车辆在恶劣天气条件下的感知方面提供了必要的改进。环境的语义有利于鲁棒的感知，这可以通过在场景中分段不同的对象来实现。在这项工作中，我们使用了用于语义细分的热相机。我们设计了一个名为Artseg的基于关注的反复卷积网络（RCNN）编码器解码器架构，用于热语义分割。这项工作的主要贡献是编码器解码器架构的设计，该架构为每个编码器和解码器块使用RCNN的单位。此外，在解码器模块中采用添加剂注意力，以保持高分辨率特征并改善特征的定位。在可用的公共数据集中评估所提出的方法的功效，显示出与联盟（IOU）的均值交叉口的其他最先进方法更好的性能。

现代车辆配备各种驾驶员辅助系统，包括自动车道保持，这防止了无意的车道偏离。传统车道检测方法采用了手工制作或基于深度的学习功能，然后使用基于帧的RGB摄像机进行通道提取的后处理技术。用于车道检测任务的帧的RGB摄像机的利用易于照明变化，太阳眩光和运动模糊，这限制了车道检测方法的性能。在自主驾驶中的感知堆栈中结合了一个事件摄像机，用于自动驾驶的感知堆栈是用于减轻基于帧的RGB摄像机遇到的挑战的最有希望的解决方案之一。这项工作的主要贡献是设计车道标记检测模型，它采用动态视觉传感器。本文探讨了使用事件摄像机通过设计卷积编码器后跟注意引导的解码器的新颖性应用了车道标记检测。编码特征的空间分辨率由致密的区域空间金字塔池（ASPP）块保持。解码器中的添加剂注意机制可提高促进车道本地化的高维输入编码特征的性能，并缓解后处理计算。使用DVS数据集进行通道提取（DET）的DVS数据集进行评估所提出的工作的功效。实验结果表明，多人和二进制车道标记检测任务中的5.54 \％$ 5.54 \％$ 5.54 \％$ 5.03 \％$ 5.03 \％$ 5.03。此外，在建议方法的联盟（$ iou $）分数上的交叉点将超越最佳最先进的方法，分别以6.50 \％$ 6.50 \％$ 6.5.37 \％$ 9.37 \％$ 。

环境的敏感性和敏感性在自主车辆的安全和安全运行中起着决定性作用。这种对周围的感知是类似于人类视觉表示的方式。人类的大脑通过利用不同的感官频道并开发视图不变的表示模型来感知环境。在这种情况下保持，不同的脱模传感器部署在自主车辆上，以感知环境。最常见的遗赠传感器是自主车辆感知的相机，激光乐队和雷达。尽管存在这些传感器，但在可见的光谱结构域中已经在不利的天气条件下说明了它们的益处，例如，在夜间，它们具有有限的操作能力，这可能导致致命事故。在这项工作中，我们探讨了热对象检测，以通过采用自我监督的对比度学习方法来模拟视图不变模型表示。为此，我们提出了一个深度神经网络自我监督的热网络（SSTN），用于学习通过对比学习来最大化可见和红外光谱域之间的信息，并在使用这些学习特征表示使用的使用多尺度编码器 - 解码器互感器网络。在两个公共可用的数据集中广泛评估所提出的方法：FLIR-ADAS数据集和KAIST多光谱数据集。实验结果说明了所提出的方法的功效。

通过验证SOTIF-ISO / PAS-21448（预期功能的安全）来验证安全标准，构思自动车辆以提供安全和安全的服务。在这种情况下，对环境的感知与本地化，规划和控制模块结合起作用乐器作用。作为感知堆栈中的枢轴算法，对象检测提供了广泛的洞察，进入自动车辆的周围环境。相机和激光雷达广泛用于不同的传感器模式之间的物体检测，但这些脱离传感器在分辨率和恶劣天气条件下具有局限性。在这项工作中，探索基于雷达的对象检测提供了部署的对应传感器模块，并用于恶劣天气条件。雷达提供复杂的数据;为此目的，提出了一种具有变压器编码器 - 解码器网络的通道升压功能集合方法。使用雷达的对象检测任务被制定为一个设置的预测问题，并在公共可用的数据集中进行评估，在良好和良好的天气条件下。使用Coco评估度量广泛评估所提出的方法的功效，最佳拟议的模型将其最先进的同行方法超过12.55 \％$ 12.48 \％$ 12.48 \％$。

行人检测是自主驱动系统中最关键的模块。虽然相机通常用于此目的，但其质量严重降低了低光夜间驾驶场景。另一方面，热摄像机图像的质量在类似条件下保持不受影响。本文采用RGB和热图像提出了一种用于行人检测的端到端多峰融合模型。其新颖的时空深度网络架构能够有效利用多模式输入。它由两个不同的可变形ResNext-50编码器组成，用于来自两个方式的特征提取。这两个编码特征的融合发生在由几个图形关注网络和特征融合单元组成的多模式特征嵌入模块（MUFEM）内部。随后将MUFEM的最后一个特征融合单元的输出传递给两个CRF的空间细化。通过在四个不同方向横穿四个RNN的帮助下，通过应用渠道明智的关注和提取上下文信息来实现特征的进一步提高。最后，单级解码器使用这些特征映射来生成每个行人和分数图的边界框。我们在三个公开可用的多模式行人检测基准数据集，即Kaist，CVC-14和Utokyo上进行了广泛的框架实验。每个每个结果都改善了各种最先进的性能。在https://youtu.be/fdjdsifuucs，可以看到一个简短的视频以及其定性结果的概述。我们的源代码将在发布论文时发布。

Salient object detection (SOD) focuses on distinguishing the most conspicuous objects in the scene. However, most related works are based on RGB images, which lose massive useful information. Accordingly, with the maturity of thermal technology, RGB-T (RGB-Thermal) multi-modality tasks attain more and more attention. Thermal infrared images carry important information which can be used to improve the accuracy of SOD prediction. To accomplish it, the methods to integrate multi-modal information and suppress noises are critical. In this paper, we propose a novel network called Interactive Context-Aware Network (ICANet). It contains three modules that can effectively perform the cross-modal and cross-scale fusions. We design a Hybrid Feature Fusion (HFF) module to integrate the features of two modalities, which utilizes two types of feature extraction. The Multi-Scale Attention Reinforcement (MSAR) and Upper Fusion (UF) blocks are responsible for the cross-scale fusion that converges different levels of features and generate the prediction maps. We also raise a novel Context-Aware Multi-Supervised Network (CAMSNet) to calculate the content loss between the prediction and the ground truth (GT). Experiments prove that our network performs favorably against the state-of-the-art RGB-T SOD methods.

RGB-thermal显着对象检测（RGB-T SOD）旨在定位对齐可见的和热红外图像对的共同突出对象，并准确地分割所有属于这些对象的像素。由于对热图像的照明条件不敏感，它在诸如夜间和复杂背景之类的具有挑战性的场景中很有希望。因此，RGB-T SOD的关键问题是使两种方式的功能相互补充并互相调整，因为不可避免的是，由于极端光条件和诸如极端光条件和诸如极端光明条件和热跨界。在本文中，我们提出了一个针对RGB-T SOD的新型镜子互补变压器网络（MCNET）。具体而言，我们将基于变压器的特征提取模块引入RGB和热图像的有效提取分层特征。然后，通过基于注意力的特征相互作用和基于串行的多尺度扩张卷积（SDC）特征融合模块，提出的模型实现了低级特征的互补相互作用以及深度特征的语义融合。最后，基于镜子互补结构，即使是一种模态也可以准确地提取两种方式的显着区域也是无效的。为了证明在现实世界中具有挑战性的场景下提出的模型的鲁棒性，我们基于自动驾驶域中使用的大型公共语义分段RGB-T数据集建立了一种新颖的RGB-T SOD数据集VT723。基准和VT723数据集上的昂贵实验表明，所提出的方法优于最先进的方法，包括基于CNN的方法和基于变压器的方法。该代码和数据集将在稍后在https://github.com/jxr326/swinmcnet上发布。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

Hyperspectral Imaging (HSI) provides detailed spectral information and has been utilised in many real-world applications. This work introduces an HSI dataset of building facades in a light industry environment with the aim of classifying different building materials in a scene. The dataset is called the Light Industrial Building HSI (LIB-HSI) dataset. This dataset consists of nine categories and 44 classes. In this study, we investigated deep learning based semantic segmentation algorithms on RGB and hyperspectral images to classify various building materials, such as timber, brick and concrete.

FreeSpace检测是自动驾驶技术的重要组成部分，并且在轨迹计划中起着重要作用。在过去的十年中，已证明基于深度学习的自由空间检测方法可行。但是，这些努力集中在城市道路环境上，由于缺乏越野基准，很少有针对越野自由空间检测专门设计的深度学习方法。在本文中，我们介绍了ORFD数据集，据我们所知，该数据集是第一个越野自由空间检测数据集。数据集收集在不同的场景（林地，农田，草地和乡村），不同的天气条件（阳光，多雨，雾气和雪地）以及不同的光线条件（明亮的光线，日光，暮光，黑暗）中，完全包含12,198 LIDAR点云和RGB图像对与可穿越的区域，不可传输区域和无法达到的区域进行了详细注释。我们提出了一个名为Off-NET的新型网络，该网络将变压器体系结构统一以汇总本地和全球信息，以满足大型接收领域的自由空间检测任务的要求。我们还向动态融合激光雷达和RGB图像信息提出了交叉注意，以进行准确的越野自由空间检测。数据集和代码可公开可用athttps：//github.com/chaytonmin/off-net。

Building segmentation in high-resolution InSAR images is a challenging task that can be useful for large-scale surveillance. Although complex-valued deep learning networks perform better than their real-valued counterparts for complex-valued SAR data, phase information is not retained throughout the network, which causes a loss of information. This paper proposes a Fully Complex-valued, Fully Convolutional Multi-feature Fusion Network(FC2MFN) for building semantic segmentation on InSAR images using a novel, fully complex-valued learning scheme. The network learns multi-scale features, performs multi-feature fusion, and has a complex-valued output. For the particularity of complex-valued InSAR data, a new complex-valued pooling layer is proposed that compares complex numbers considering their magnitude and phase. This helps the network retain the phase information even through the pooling layer. Experimental results on the simulated InSAR dataset show that FC2MFN achieves better results compared to other state-of-the-art methods in terms of segmentation performance and model complexity.

交通场景边缘壳体的语义分割的鲁棒性是智能运输安全的重要因素。然而，交通事故的大多数关键场景都是非常动态和以前看不见的，这严重损害了语义分割方法的性能。另外，在高速驾驶期间传统相机的延迟将进一步降低时间尺寸中的上下文信息。因此，我们建议从基于事件的数据提取动态上下文，以更高的时间分辨率来增强静态RGB图像，即使对于来自运动模糊，碰撞，变形，翻转等的流量事故而言，此外，为评估分割交通事故中的性能，我们提供了一个像素 - 明智的注释事故数据集，即Dada-Seg，其中包含来自交通事故的各种临界情景。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法在拟议的事故数据集中实现了+ 8.2％的性能增益，超过了20多种最先进的语义细分方法。已经证明该提案对于在多个源数据库中学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。

可驱动区域的实时分割在完成汽车的自主感知中起着至关重要的作用。最近，使用深度学习的图像分割模型开发了一些快速的进步。但是，大多数进步都是在模型架构设计中取得的。在解决与细分有关的任何有监督的深度学习问题时，一个人构建的模型的成功取决于我们用于该模型的输入培训数据的数量和质量。该数据应包含良好的各种图像，以更好地工作分割模型。与数据集中的注释有关的问题可能会导致该模型在测试和验证中的压倒性I型和II型错误中得出结论，在试图解决现实世界问题时造成恶意问题。为了解决这个问题并使我们的模型更加准确，动态和健壮，数据增强涉及使用，因为它有助于扩展我们的样本培训数据并使其更好，整体上更加多样化。因此，在我们的研究中，我们专注于通过分析预先存在的图像数据集并相应地进行增强来研究数据增强的好处。我们的结果表明，现有最新模型（或SOTA）模型的性能和鲁棒性可以大大增加，而不会增加模型复杂性或推理时间。仅在对当今广泛使用中的其他几种增强方法和策略进行彻底研究及其相应的效果之后，仅在本文中决定并使用的增强作用。我们所有的结果都在广泛使用的CityScapes数据集上报告。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

基于深度学习的检测网络在自动驾驶系统（广告）中取得了显着进展。广告应在各种环境照明和恶劣天气条件下具有可靠的性能。然而，亮度劣化和视觉障碍物（如眩光，雾）导致视觉相机质量差，导致性能下降。为了克服这些挑战，我们探讨了利用不同数据模型的想法，这些数据模块不同于视觉数据。我们提出了一种基于多模式协作框架的全面检测系统，该框架从RGB（来自Visual Cameras）和热（来自红外相机）数据学习。该框架在学习其自身模式的学习最佳特征中提供了灵活性，同时还包含对方的互补知识。我们广泛的经验结果表明，虽然准确性的提高是标称的，但该值在于挑战性和极其困难的边缘情况，这在广告中的安全关键应用中至关重要。我们提供了在检测中使用热成像系统的效果和限制的整体视图。

医疗图像分割有助于计算机辅助诊断，手术和治疗。数字化组织载玻片图像用于分析和分段腺，核和其他生物标志物，这些标志物进一步用于计算机辅助医疗应用中。为此，许多研究人员开发了不同的神经网络来对组织学图像进行分割，主要是这些网络基于编码器编码器体系结构，并且还利用了复杂的注意力模块或变压器。但是，这些网络不太准确地捕获相关的本地和全局特征，并在多个尺度下具有准确的边界检测，因此，我们提出了一个编码器折叠网络，快速注意模块和多损耗函数（二进制交叉熵（BCE）损失的组合） ，焦点损失和骰子损失）。我们在两个公开可用数据集上评估了我们提出的网络的概括能力，用于医疗图像分割Monuseg和Glas，并胜过最先进的网络，在Monuseg数据集上提高了1.99％的提高，而GLAS数据集则提高了7.15％。实施代码可在此链接上获得：https：//bit.ly/histoseg

Deep learning has made a breakthrough in medical image segmentation in recent years due to its ability to extract high-level features without the need for prior knowledge. In this context, U-Net is one of the most advanced medical image segmentation models, with promising results in mammography. Despite its excellent overall performance in segmenting multimodal medical images, the traditional U-Net structure appears to be inadequate in various ways. There are certain U-Net design modifications, such as MultiResUNet, Connected-UNets, and AU-Net, that have improved overall performance in areas where the conventional U-Net architecture appears to be deficient. Following the success of UNet and its variants, we have presented two enhanced versions of the Connected-UNets architecture: ConnectedUNets+ and ConnectedUNets++. In ConnectedUNets+, we have replaced the simple skip connections of Connected-UNets architecture with residual skip connections, while in ConnectedUNets++, we have modified the encoder-decoder structure along with employing residual skip connections. We have evaluated our proposed architectures on two publicly available datasets, the Curated Breast Imaging Subset of Digital Database for Screening Mammography (CBIS-DDSM) and INbreast.

由于图像的复杂性和活细胞的时间变化，来自明亮场光显微镜图像的活细胞分割具有挑战性。最近开发的基于深度学习（DL）的方法由于其成功和有希望的结果而在医学和显微镜图像分割任务中变得流行。本文的主要目的是开发一种基于U-NET的深度学习方法，以在明亮场传输光学显微镜中分割HeLa系的活细胞。为了找到适合我们数据集的最合适的体系结构，提出了剩余的注意U-net，并将其与注意力和简单的U-NET体系结构进行了比较。注意机制突出了显着的特征，并抑制了无关图像区域中的激活。残余机制克服了消失的梯度问题。对于简单，注意力和剩余的关注U-NET，我们数据集的平均值得分分别达到0.9505、0.9524和0.9530。通过将残留和注意机制应用在一起，在平均值和骰子指标中实现了最准确的语义分割结果。应用的分水岭方法适用于这种最佳的（残留的关注）语义分割结果，使每个单元格的特定信息进行了分割。

Semantic segmentation is a challenging task that addresses most of the perception needs of Intelligent Vehicles (IV) in an unified way. Deep Neural Networks excel at this task, as they can be trained end-to-end to accurately classify multiple object categories in an image at pixel level. However, a good trade-off between high quality and computational resources is yet not present in state-of-the-art semantic segmentation approaches, limiting their application in real vehicles. In this paper, we propose a deep architecture that is able to run in real-time while providing accurate semantic segmentation. The core of our architecture is a novel layer that uses residual connections and factorized convolutions in order to remain efficient while retaining remarkable accuracy. Our approach is able to run at over 83 FPS in a single Titan X, and 7 FPS in a Jetson TX1 (embedded GPU). A comprehensive set of experiments on the publicly available Cityscapes dataset demonstrates that our system achieves an accuracy that is similar to the state of the art, while being orders of magnitude faster to compute than other architectures that achieve top precision. The resulting trade-off makes our model an ideal approach for scene understanding in IV applications. The code is publicly available at: https://github.com/Eromera/erfnet

确保所有交通参与者的安全性是将智能车辆更接近实际应用的先决条件。援助系统不仅应在正常条件下实现高精度，而是获得对极端情况的强大感知。然而，在大多数训练集中涉及对象碰撞，变形，翻转等的交通事故，但是看不见的，在很大程度上损害了现有语义分段模型的性能。为了解决这个问题，我们在意外场景中的语义细分，以及事故DADASET DADA-SEG，我们展示了一个很少有关的任务。它包含313个不同的事故序列，每个事故序列有40帧，其中时间窗口位于交通事故之前和期间。每11个帧都是手动注释，用于基准测试分割性能。此外，我们提出了一种新的基于事件的多模态分段架构励志。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法达到+ 8.2％的Miou性能收益，拟议的评估集，超过了10多种最先进的细分方法。拟议的Issafe架构被证明对于在多个源数据库上学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。