通过在计算机视觉（CV）领域深度学习算法的良好性能，卷积神经网络（CNN）体系结构已成为计算机视觉任务的主要骨干。随着移动设备的广泛使用，基于计算能力低的平台的神经网络模型逐渐引起人们的注意。但是，由于计算能力的限制，移动设备上通常无法使用深度学习算法。本文提出了一个轻巧的卷积神经网络TripLenet，可以在Raspberry Pi上轻松运行。从阈值中的块连接概念中采用，新提出的网络模型会压缩并加速网络模型，减少网络的参数量，并在确保准确性的同时缩短每个图像的推理时间。我们提出的TripLenet和其他最先进的（SOTA）神经网络在Raspberry Pi上使用CIFAR-10和SVHN数据集进行了图像分类实验。实验结果表明，与GhostNet，Mobilenet，Theashnet，EdefityNet和HardNet相比，每图像的推理时间分别缩短了15％，16％，17％，24％和30％。

随着计算机愿景任务中的神经网络的不断发展，越来越多的网络架构取得了突出的成功。作为最先进的神经网络架构之一，DenSenet捷径所有特征映射都可以解决模型深度的问题。虽然这种网络架构在低MAC（乘法和累积）上具有优异的准确性，但它需要过度推理时间。为了解决这个问题，HardNet减少了特征映射之间的连接，使得其余连接类似于谐波。然而，这种压缩方法可能导致模型精度和增加的MAC和模型大小降低。该网络架构仅减少了内存访问时间，需要改进其整体性能。因此，我们提出了一种新的网络架构，使用阈值机制来进一步优化连接方法。丢弃不同卷积层的不同数量的连接以压缩阈值中的特征映射。所提出的网络架构使用了三个数据集，CiFar-10，CiFar-100和SVHN，以评估图像分类的性能。实验结果表明，与DENSENET相比，阈值可降低推理时间高达60％，并且在这些数据集上的硬盘相比，训练速度快高达35％的训练速度和20％的误差率降低。

卷积神经网络（CNN）通过堆叠卷积层增加深度，而更深的网络模型在图像识别方面的表现更好。实证研究表明，简单地堆叠卷积层不会使网络训练更好，而跳过连接（残留学习）可以改善网络模型性能。对于图像分类任务，具有全球密集连接体系结构的模型在ImageNet等大型数据集中表现良好，但不适用于CIFAR-10和SVHN等小型数据集。与密集的连接不同，我们提出了两种连接层的新算法。基线是一个密集的连接网络，由两个新算法连接的网络分别命名为ShortNet1和ShortNet2。CIFAR-10和SVHN上图像分类的实验结果表明，ShortNet1的测试错误率低5％，推理时间比基线快25％。ShortNet2将推理时间加速40％，测试准确性损失较小。

深度神经网络在计算机视野领域取得了重大进展。最近的研究表明，神经网络架构的深度，宽度和快捷方式连接在其性能中起着至关重要的作用。最先进的神经网络架构DenSenet之一，通过密集连接实现了优异的收敛速率。但是，它仍然具有明显的缺点在内存量的使用情况。在本文中，我们介绍了一种新型的修剪工具，阈值，这是指MOSFET中阈值电压的原理。这项工作采用此方法以不同的方式连接不同深度的块以减少内存的使用情况。它表示为阈值。我们在CiFar10的数据集上评估阈值和其他不同网络。实验表明，HardNet是DenSenet的两倍，在此基础上，阈值比HardNet更快10％，误差率降低10％。

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight Ghost-Net can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. 75.7% top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https: //github.com/huawei-noah/ghostnet.

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

最近已经设计了一些轻巧的卷积神经网络（CNN）模型，用于遥感对象检测（RSOD）。但是，他们中的大多数只是用可分离的卷积代替了香草卷积，这可能是由于很多精确损失而无法有效的，并且可能无法检测到方向的边界框（OBB）。同样，现有的OBB检测方法很难准确限制CNN预测的对象的形状。在本文中，我们提出了一个有效的面向轻质对象检测器（LO-DET）。具体而言，通道分离聚集（CSA）结构旨在简化可分开的卷积的复杂性，并开发了动态的接收场（DRF）机制，以通过自定义卷积内核及其感知范围来保持高精度，以保持高精度。网络复杂性。 CSA-DRF组件在保持高精度的同时优化了效率。然后，对角支撑约束头（DSC-Head）组件旨在检测OBB，并更准确，更稳定地限制其形状。公共数据集上的广泛实验表明，即使在嵌入式设备上，拟议的LO-DET也可以非常快地运行，具有检测方向对象的竞争精度。

We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new architecture utilizes two new operations, pointwise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy. Experiments on ImageNet classification and MS COCO object detection demonstrate the superior performance of ShuffleNet over other structures, e.g. lower top-1 error (absolute 7.8%) than recent MobileNet [12] on Ima-geNet classification task, under the computation budget of 40 MFLOPs. On an ARM-based mobile device, ShuffleNet achieves ∼13× actual speedup over AlexNet while maintaining comparable accuracy.

Capturing feature information effectively is of great importance in vision tasks. With the development of convolutional neural networks (CNNs), concepts like residual connection and multiple scales promote continual performance gains on diverse deep learning vision tasks. However, the existing methods do not organically combined advantages of these valid ideas. In this paper, we propose a novel CNN architecture called GoogLe2Net, it consists of residual feature-reutilization inceptions (ResFRI) or split residual feature-reutilization inceptions (Split-ResFRI) which create transverse passages between adjacent groups of convolutional layers to enable features flow to latter processing branches and possess residual connections to better process information. Our GoogLe2Net is able to reutilize information captured by foregoing groups of convolutional layers and express multi-scale features at a fine-grained level, which improves performances in image classification. And the inception we proposed could be embedded into inception-like networks directly without any migration costs. Moreover, in experiments based on popular vision datasets, such as CIFAR10 (97.94%), CIFAR100 (85.91%) and Tiny Imagenet (70.54%), we obtain better results on image classification task compared with other modern models.

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections-one between each layer and its subsequent layer-our network has L(L+1) 2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet.

We present the next generation of MobileNets based on a combination of complementary search techniques as well as a novel architecture design. MobileNetV3 is tuned to mobile phone CPUs through a combination of hardwareaware network architecture search (NAS) complemented by the NetAdapt algorithm and then subsequently improved through novel architecture advances. This paper starts the exploration of how automated search algorithms and network design can work together to harness complementary approaches improving the overall state of the art. Through this process we create two new MobileNet models for release: MobileNetV3-Large and MobileNetV3-Small which are targeted for high and low resource use cases. These models are then adapted and applied to the tasks of object detection and semantic segmentation. For the task of semantic segmentation (or any dense pixel prediction), we propose a new efficient segmentation decoder Lite Reduced Atrous Spatial Pyramid Pooling (LR-ASPP). We achieve new state of the art results for mobile classification, detection and segmentation. MobileNetV3-Large is 3.2% more accurate on ImageNet classification while reducing latency by 20% compared to MobileNetV2. MobileNetV3-Small is 6.6% more accurate compared to a MobileNetV2 model with comparable latency. MobileNetV3-Large detection is over 25% faster at roughly the same accuracy as Mo-bileNetV2 on COCO detection. MobileNetV3-Large LR-ASPP is 34% faster than MobileNetV2 R-ASPP at similar accuracy for Cityscapes segmentation.

我们提出了一种多移民通道（MGIC）方法，该方法可以解决参数数量相对于标准卷积神经网络（CNN）中的通道数的二次增长。因此，我们的方法解决了CNN中的冗余，这也被轻量级CNN的成功所揭示。轻巧的CNN可以达到与参数较少的标准CNN的可比精度。但是，权重的数量仍然随CNN的宽度四倍地缩放。我们的MGIC体系结构用MGIC对应物代替了每个CNN块，该块利用了小组大小的嵌套分组卷积的层次结构来解决此问题。因此，我们提出的架构相对于网络的宽度线性扩展，同时保留了通道的完整耦合，如标准CNN中。我们对图像分类，分割和点云分类进行的广泛实验表明，将此策略应用于Resnet和MobilenetV3等不同体系结构，可以减少参数的数量，同时获得相似或更好的准确性。

卷积神经网络（CNN）已在许多物联网（IoT）设备中应用于多种下游任务。但是，随着边缘设备上的数据量的增加，CNN几乎无法及时完成某些任务，而计算和存储资源有限。最近，过滤器修剪被认为是压缩和加速CNN的有效技术，但是从压缩高维张量的角度来看，现有的方法很少是修剪CNN。在本文中，我们提出了一种新颖的理论，可以在三维张量中找到冗余信息，即量化特征图（QSFM）之间的相似性，并利用该理论来指导滤波器修剪过程。我们在数据集（CIFAR-10，CIFAR-100和ILSVRC-12）上执行QSFM和Edge设备，证明所提出的方法可以在神经网络中找到冗余信息，具有可比的压缩和可耐受的准确性下降。没有任何微调操作，QSFM可以显着压缩CIFAR-56（48.7％的Flops和57.9％的参数），而TOP-1的准确性仅损失0.54％。对于边缘设备的实际应用，QSFM可以将Mobilenet-V2推理速度加速1.53倍，而ILSVRC-12 TOP-1的精度仅损失1.23％。

由于现代嵌入式系统和具有受约束资源的移动设备的出现，对机器学习目的的令人难以置信的深度神经网络有很大的需求。当他们的数据处理并存储在外部服务器中，在进一步推动了对本地嵌入式系统的实时推断的需要开发这种有效的神经网络的需要时，对一般公众的隐私和保密性越来越关注。本文呈现的工作范围仅限于使用卷积神经网络的图像分类。卷积神经网络（CNN）是一类深神经网络（DNN）广泛用于通过图像传感器捕获的视觉图像的分析，旨在提取信息并将其转换为有意义的表示，以便输入数据的实时推断。在本文中，我们提出了一种深度卷积神经网络架构的近期变体来改善现有CNN架构对嵌入式系统的实时推断的性能。我们表明，与基线神经网络架构，CondenSenet，通过减少培训网络所需的培训参数和拖鞋，在维护培训的模型尺寸低于3.0 MB之间的平衡和准确性之间的平衡折衷导致前所未有的计算效率。

$ $With recent advances in CNNs, exceptional improvements have been made in semantic segmentation of high resolution images in terms of accuracy and latency. However, challenges still remain in detecting objects in crowded scenes, large scale variations, partial occlusion, and distortions, while still maintaining mobility and latency. We introduce a fast and efficient convolutional neural network, ASBU-Net, for semantic segmentation of high resolution images that addresses these problems and uses no novelty layers for ease of quantization and embedded hardware support. ASBU-Net is based on a new feature extraction module, atrous space bender layer (ASBL), which is efficient in terms of computation and memory. The ASB layers form a building block that is used to make ASBNet. Since this network does not use any special layers it can be easily implemented, quantized and deployed on FPGAs and other hardware with limited memory. We present experiments on resource and accuracy trade-offs and show strong performance compared to other popular models.

为了实现不断增长的准确性，通常会开发大型和复杂的神经网络。这样的模型需要高度的计算资源，因此不能在边缘设备上部署。由于它们在几个应用领域的有用性，建立资源有效的通用网络非常感兴趣。在这项工作中，我们努力有效地结合了CNN和变压器模型的优势，并提出了一种新的有效混合体系结构。特别是在EDGENEXT中，我们引入了分裂深度转置注意力（SDTA）编码器，该编码器将输入张量分解为多个通道组，并利用深度旋转以及跨通道维度的自我注意力，以隐含地增加接受场并编码多尺度特征。我们在分类，检测和分割任务上进行的广泛实验揭示了所提出的方法的优点，优于相对较低的计算要求的最先进方法。我们具有130万参数的EDGENEXT模型在Imagenet-1k上达到71.2 \％TOP-1的精度，超过移动设备的绝对增益为2.2 \％，而拖鞋减少了28 \％。此外，我们具有560万参数的EDGENEXT模型在Imagenet-1k上达到了79.4 \％TOP-1的精度。代码和模型可在https://t.ly/_vu9上公开获得。

建立一个小型的快速监控系统模型，适合有限的资源设备是一个具有挑战性的，但却是一个重要的任务。卷积神经网络（CNNS）在检测和分类任务中取代了传统的特征提取和机器学习模型。提出了各种复杂的大型CNN模型，从而实现了精度的显着改善。最近介绍了轻量级CNN型号用于实时任务。本文介绍了一种基于CNN的轻量级模型，可以适合诸如覆盆子PI的有限边缘装置。我们所提出的模型提供了具有更好的性能时间，较小的尺寸和与现有方法的可比准确度。在多个基准数据集中评估模型性能。它也与现有模型相比，在大小，平均处理时间和F分数方面。建议未来研究的其他增强功能。

语义分割是将类标签分配给图像中每个像素的问题，并且是自动车辆视觉堆栈的重要组成部分，可促进场景的理解和对象检测。但是，许多表现最高的语义分割模型非常复杂且笨拙，因此不适合在计算资源有限且低延迟操作的板载自动驾驶汽车平台上部署。在这项调查中，我们彻底研究了旨在通过更紧凑，更有效的模型来解决这种未对准的作品，该模型能够在低内存嵌入式系统上部署，同时满足实时推理的限制。我们讨论了该领域中最杰出的作品，根据其主要贡献将它们置于分类法中，最后我们评估了在一致的硬件和软件设置下，所讨论模型的推理速度，这些模型代表了具有高端的典型研究环境GPU和使用低内存嵌入式GPU硬件的现实部署方案。我们的实验结果表明，许多作品能够在资源受限的硬件上实时性能，同时说明延迟和准确性之间的一致权衡。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

语义分割是自主车辆了解周围场景的关键技术。当代模型的吸引力表现通常以牺牲重计算和冗长的推理时间为代价，这对于自行车来说是无法忍受的。在低分辨率图像上使用轻量级架构（编码器 - 解码器或双路）或推理，最近的方法实现了非常快的场景解析，即使在单个1080TI GPU上以100多件FPS运行。然而，这些实时方法与基于扩张骨架的模型之间的性能仍有显着差距。为了解决这个问题，我们提出了一家专门为实时语义细分设计的高效底座。所提出的深层双分辨率网络（DDRNET）由两个深部分支组成，之间进行多个双边融合。此外，我们设计了一个名为Deep聚合金字塔池（DAPPM）的新上下文信息提取器，以基于低分辨率特征映射放大有效的接收字段和熔丝多尺度上下文。我们的方法在城市景观和Camvid数据集上的准确性和速度之间实现了新的最先进的权衡。特别是，在单一的2080Ti GPU上，DDRNET-23-Slim在Camvid测试组上的Citycapes试验组102 FPS上的102 FPS，74.7％Miou。通过广泛使用的测试增强，我们的方法优于最先进的模型，需要计算得多。 CODES和培训的型号在线提供。