结构重新参数化（REP）方法已在传统的卷积网络上取得了重大的性能提高。大多数当前的REP方法依靠先验知识来选择重新聚集操作。但是，体系结构的性能受到操作类型和先验知识的限制。为了打破这项限制，在这项工作中，设计了改进的重新参数化搜索空间，其中包括更多类型的重新参数操作。具体而言，搜索空间可以进一步提高卷积网络的性能。为了有效地探索该搜索空间，基于神经体系结构搜索（NAS）设计了自动重新参数增强策略，该策略可以搜索出色的重新参数化体系结构。此外，我们可视化体系结构的输出功能，以分析形成重新参数架构的原因。在公共数据集中，我们取得了更好的结果。在与RESNET相同的训练条件下，我们将Resnet-50的准确性提高了Imagenet-1K的1.82％。

在过去几年中，已经制作了神经结构搜索领域的显着改进。然而，由于存在搜索的约束和实际推断时间之间的间隙，搜索有效网络仍然具有挑战性。为了搜索具有低推理时间的高性能网络，若干以前的作品为搜索算法设置了计算复杂性约束。然而，许多因素影响推理的速度（例如，拖鞋，MAC）。单个指示符与延迟之间的相关性并不强。目前，提出了一些重新参数化（REP）技术将多分支转换为对单路径架构进行推断友好的。然而，多分支架构仍然是人为定义和效率低下。在这项工作中，我们提出了一种适用于结构重新参数化技术的新搜索空间。 repnas是一种单级NAS方法，以便在分支号约束下有效地搜索每个层的最佳分支块（ODBB）。我们的实验结果表明，搜索的ODBB可以轻松超越手动各种分支块（DBB），高效培训。代码和型号将越早提供。

最近，已经成功地应用于各种遥感图像（RSI）识别任务的大量基于深度学习的方法。然而，RSI字段中深度学习方法的大多数现有进步严重依赖于手动设计的骨干网络提取的特征，这严重阻碍了由于RSI的复杂性以及先前知识的限制而受到深度学习模型的潜力。在本文中，我们研究了RSI识别任务中的骨干架构的新设计范式，包括场景分类，陆地覆盖分类和对象检测。提出了一种基于权重共享策略和进化算法的一拍架构搜索框架，称为RSBNet，其中包括三个阶段：首先，在层面搜索空间中构造的超空网是在自组装的大型中预先磨削 - 基于集合单路径培训策略进行缩放RSI数据集。接下来，预先培训的SuperNet通过可切换识别模块配备不同的识别头，并分别在目标数据集上进行微调，以获取特定于任务特定的超网络。最后，我们根据没有任何网络训练的进化算法，搜索最佳骨干架构进行不同识别任务。对于不同识别任务的五个基准数据集进行了广泛的实验，结果显示了所提出的搜索范例的有效性，并证明搜索后的骨干能够灵活地调整不同的RSI识别任务并实现令人印象深刻的性能。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.

Recently, Neural architecture search has achieved great success on classification tasks for mobile devices. The backbone network for object detection is usually obtained on the image classification task. However, the architecture which is searched through the classification task is sub-optimal because of the gap between the task of image and object detection. As while work focuses on backbone network architecture search for mobile device object detection is limited, mainly because the backbone always requires expensive ImageNet pre-training. Accordingly, it is necessary to study the approach of network architecture search for mobile device object detection without expensive pre-training. In this work, we propose a mobile object detection backbone network architecture search algorithm which is a kind of evolutionary optimized method based on non-dominated sorting for NAS scenarios. It can quickly search to obtain the backbone network architecture within certain constraints. It better solves the problem of suboptimal linear combination accuracy and computational cost. The proposed approach can search the backbone networks with different depths, widths, or expansion sizes via a technique of weight mapping, making it possible to use NAS for mobile devices detection tasks a lot more efficiently. In our experiments, we verify the effectiveness of the proposed approach on YoloX-Lite, a lightweight version of the target detection framework. Under similar computational complexity, the accuracy of the backbone network architecture we search for is 2.0% mAP higher than MobileDet. Our improved backbone network can reduce the computational effort while improving the accuracy of the object detection network. To prove its effectiveness, a series of ablation studies have been carried out and the working mechanism has been analyzed in detail.

在本文中，我们提出了MENAS，这是一种有效的基于多试剂进化的NAS方法，人类干预较少。具体而言，我们提出了一个扩大的搜索空间（Mobilenet3-MT），用于Imagenet-1K，并提高两个方面的搜索效率。首先，MENAS共同探索建筑和最佳修剪候选人（彩票），逐渐减少了人口中的平均模型。每种型号都经过培训，并由其彩票票取代，而不是首先搜索繁琐的网络然后进行修剪。其次，我们介绍了个人体重共享，该分享专门用于多重试验NAS，旨在通过分享父母和子女网络之间的权重来摊销培训成本。与超级网的重量共享相比，单个体重分享的排名一致性更为可靠，同时通过防止复杂的超级网训练易于实现。此外，为了使被困在小型模型中的进化过程正规化，在制定父群体时，我们保留了最大模型的小比例，这被证明有益于增强模型性能。广泛的实验结果证明了十分的优势。在ImagEnet-1K数据库上，MENA可实现80.5％的TOP-1准确性，而无需涉及知识蒸馏或更大的图像分辨率。代码和型号将可用。

在对象检测模型中，检测骨干机消耗超过一半的整体推理成本。最近的研究试图通过在神经结构搜索（NAS）的帮助下优化骨干架构来降低这一成本。然而，对象检测的现有NAS方法需要数百至数千个GPU小时的搜索，使它们在快节奏的研究和开发中不切实际。在这项工作中，我们提出了一种新的零射NAS方法来解决这个问题。所提出的方法，命名为Zendet，在不训练网络参数的情况下自动设计有效的检测骨干网，从而降低了架构设计成本，几乎归零但提供了最先进的（SOTA）性能。在引擎盖下，Zendet最大化了检测骨干的差分熵，导致对象检测的更好的特征提取器，在相同的计算预算下。在仅为全自动设计的一个GPU日之后，Zendet在多个检测基准数据集上创新了SOTA检测骨干，具有很少的人为干预。与Reset-50个骨干相比，Zendet在Map中使用相同数量的拖波/参数时更好地+ 2.0％，并且在同一地图上的NVIDIA V100速度快1.54倍。稍后将发布代码和预先训练的型号。

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

语义细分是计算机视觉中的一个流行研究主题，并且在其上做出了许多努力，结果令人印象深刻。在本文中，我们打算搜索可以实时运行此问题的最佳网络结构。为了实现这一目标，我们共同搜索深度，通道，扩张速率和特征空间分辨率，从而导致搜索空间约为2.78*10^324可能的选择。为了处理如此大的搜索空间，我们利用差异架构搜索方法。但是，需要离散地使用使用现有差异方法搜索的体系结构参数，这会导致差异方法找到的架构参数与其离散版本作为体系结构搜索的最终解决方案之间的离散差距。因此，我们从解决方案空间正则化的创新角度来缓解离散差距的问题。具体而言，首先提出了新型的解决方案空间正则化（SSR）损失，以有效鼓励超级网络收敛到其离散。然后，提出了一种新的分层和渐进式解决方案空间缩小方法，以进一步实现较高的搜索效率。此外，我们从理论上表明，SSR损失的优化等同于L_0-NORM正则化，这说明了改善的搜索评估差距。综合实验表明，提出的搜索方案可以有效地找到最佳的网络结构，该结构具有较小的模型大小（1 m）的分割非常快的速度（175 fps），同时保持可比较的精度。

功能提取器在文本识别（TR）中起着至关重要的作用，但是由于昂贵的手动调整，自定义其体系结构的探索相对较少。在这项工作中，受神经体系结构搜索（NAS）的成功启发，我们建议搜索合适的功能提取器。我们通过探索具有良好功能提取器的原理来设计特定于域的搜索空间。该空间包括用于空间模型的3D结构空间和顺序模型的基于转换的空间。由于该空间是巨大且结构复杂的，因此无法应用现有的NAS算法。我们提出了一种两阶段算法，以有效地在空间中进行搜索。在第一阶段，我们将空间切成几个块，并借助辅助头逐步训练每个块。我们将延迟约束引入第二阶段，并通过自然梯度下降从受过训练的超级网络搜索子网络。在实验中，进行了一系列消融研究，以更好地了解设计的空间，搜索算法和搜索架构。我们还将所提出的方法与手写和场景TR任务上的各种最新方法进行了比较。广泛的结果表明，我们的方法可以以较小的延迟获得更好的识别性能。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

与其他基于架构的NAS方法不同，广泛的神经结构搜索（BNA）提出了一个广泛的，它由卷积和增强块组成，被称为广泛的卷积神经网络（BCNN）作为搜索空间，以惊人的效率改进。 BCNN重用卷积块中的单元格的拓扑，使得BNA可以使用很少的小区以获得有效的搜索。此外，提出了多尺度特征融合和知识嵌入，以提高BCNN具有浅层拓扑的性能。然而，BNA遭受了一些缺点：1）特征融合和增强的代表性多样性不足，2）人类专家对知识嵌入设计的耗时。在本文中，我们提出了堆叠的BNA，其搜索空间是名为堆叠BCNN的开发的广泛可扩展架构，性能比BNA更好。一方面，堆叠的BCNN将Mini-BCNN视为保存综合表示的基本块，并提供强大的特征提取能力。另一方面，我们提出了知识嵌入搜索（KES）来学习适当的知识嵌入。实验结果表明，1）堆叠的BNA获得比BNA，2）KES有助于降低具有令人满意的性能的学习架构参数，3）堆叠BNA可提供0.02 GPU天的最新效率。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

虽然残留连接使训练非常深的神经网络，但由于其多分支拓扑而​​导致在线推断不友好。这鼓励许多研究人员在推动时没有残留连接的情况下设计DNN。例如，repvgg在部署时将多分支拓扑重新参数化为vgg型（单分支）模型，当网络相对较浅时显示出具有很大的性能。但是，RepVGG不能等效地将Reset转换为VGG，因为重新参数化方法只能应用于线性块，并且必须将非线性层（Relu）放在残余连接之外，这导致了有限的表示能力，特别是更深入网络。在本文中，我们的目标是通过在Resblock上的保留和合并（RM）操作等效地纠正此问题，并提出删除Vanilla Reset中的残留连接。具体地，RM操作允许输入特征映射通过块，同时保留其信息，并在每个块的末尾合并所有信息，这可以去除残差而不改变原始输出。作为一个插件方法，RM操作基本上有三个优点：1）其实现使其实现高比率网络修剪。 2）它有助于打破RepVGG的深度限制。 3）与Reset和RepVGG相比，它导致更好的精度速度折衷网络（RMNet）。我们相信RM操作的意识形态可以激发对未来社区的模型设计的许多见解。代码可用：https://github.com/fxmeng/rmnet。

卷积神经网络（CNNS），例如时滞神经网络（TDNN），在学习扬声器嵌入方面已经示出了它们显着的能力。但是，它们同时在存储大小，处理和记忆中带来巨大的计算成本。发现符合特定约束的专业CNN需要努力的人类专家。与手工设计的方法相比，神经结构搜索（NAS）作为自动化手动架构设计过程的实用技术，并引起了对扬声器识别等口语处理任务的越来越兴趣。在本文中，我们提出了一种高效的架构搜索框架，该架构由基于TDNN的超网络和TDNN-NAS算法组成。该提出的超网络引入了从不同层的各种分辨率的不同范围的不同范围的时间卷积，并从不同层到TDNN。在其顶部，TDNN-NAS算法通过权重共享子网迅速搜索所需的TDNN架构，这令人惊讶地减少了处理具有各种资源要求的广大设备的计算。 VOXECEL数据集上的实验结果显示了所提出的效率，可以近似有关深度，内核和宽度的$ 10 ^ {13} $架构。考虑到不同的计算约束，它实现了2.20％的误差率（eer），具有204m的乘法累积操作（Mac），1.41％eer，具有571米Mac以及0.94％的eer，具有1.45g Mac。综合调查表明，训练有素的超空心概括了在培训期间未采样的子网，并在准确性和效率之间获得有利的权衡。

大多数对象检测框架都使用最初设计用于图像分类的主链体系结构，通常在Imagenet上具有预训练的参数。但是，图像分类和对象检测本质上是不同的任务，并且不能保证分类的最佳主链也适用于对象检测。最近的神经体系结构搜索（NAS）研究表明，自动设计专门用于对象检测的骨干有助于提高整体准确性。在本文中，我们引入了一种神经体系结构适应方法，该方法可以优化给定的主链以进行检测目的，同时仍允许使用预训练的参数。我们建议除了每个块的输出通道尺寸外，还通过搜索特定操作和层数来调整微体系结构。重要的是要找到最佳的通道深度，因为它极大地影响了特征表示功能和计算成本。我们使用搜索的主链进行对象检测进行实验，并证明我们的主链在可可数据集上的手动设计和搜索的最新骨干均优于手动设计和搜索的骨干。

作为梯度引导的搜索方法，可区分的神经体系结构搜索（飞镖）大大降低了计算成本，并加快了搜索的速度。在飞镖中，将体系结构参数引入候选操作，但是某些配备权重的操作的参数可能在初始阶段训练不好，这会导致候选操作之间的不公平竞争。无重量的操作大量出现，导致性能崩溃现象。此外，在训练超网中将占用许多内存，这会导致内存利用率较低。在本文中，提出了基于通道注意的部分通道连接，以进行可区分的神经体系结构搜索（ADARTS）。一些具有较高权重的通道是通过注意机制选择的，并将其他通道直接与处理的通道接触到操作空间。选择一些具有较高注意力权重的通道可以更好地将重要的功能信息传输到搜索空间中，并大大提高搜索效率和内存利用率。也可以避免由随机选择引起的网络结构的不稳定性。实验结果表明，ADART在CIFAR-10和CIFAR-100上分别达到了2.46％和17.06％的分类错误率。 Adarts可以有效地解决一个问题，即搜索过程中出现过多的跳过连接并获得具有更好性能的网络结构。

自我关注架构被出现为最近提高视力任务表现的最新进步。手动确定自我关注网络的架构依赖于专家的经验，无法自动适应各种场景。同时，神经结构搜索（NAS）显着推出了神经架构的自动设计。因此，需要考虑使用NAS方法自动发现更好的自我关注架构。然而，由于基于细胞的搜索空间统一和缺乏长期内容依赖性，直接使用现有的NAS方法来搜索关注网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全部关注的NAS方法。更具体地，构造阶段明智的搜索空间，其允许为网络的不同层采用各种关注操作。为了提取全局特征，提出了一种使用上下文自动回归来发现全部关注架构的自我监督的搜索算法。为了验证所提出的方法的功效，我们对各种学习任务进行了广泛的实验，包括图像分类，细粒度的图像识别和零拍摄图像检索。经验结果表明，我们的方法能够发现高性能，全面关注架构，同时保证所需的搜索效率。

旨在自动进行工程增强政策的自动数据扩展最近引起了不断增长的研究兴趣。许多以前的自动启发方法通过评估测试时间增强性能来评估策略，利用了密度匹配策略。在本文中，我们从理论上和经验上证明了火车和小规模医学图像数据集的验证集之间的不一致，称为内域采样偏差。接下来，我们证明了域中采样偏置可能导致密度匹配的效率低下。为了解决这个问题，提出了一种改进的增强搜索策略，称为增强密度匹配，是通过从先前的培训分布中随机采样策略提出的。此外，提出了有效的自动机器学习（AUTOML）算法，通过统一数据增强和神经体系结构的搜索来提出。实验结果表明，所提出的方法优于MedMnist的最先进方法，MedMnist是一种开拓性的基准测试，旨在在医学图像分析中进行自动。

Yolov7在5 fps到160 fps的速度和准确性上都超过了所有已知对象探测器，并且在GPU V100上具有30 fps或更高的所有已知实时对象探测器中，精度最高的56.8％AP。YOLOV7-E6对象检测器（56 fps v100，55.9％AP）优于两个基于变压器的检测器SWIN-L-CASCADE MAKS R-CNN（9.2 fps A100，53.9％AP）的速度和2％的准确性和2％基于卷积的检测器Convnext-XL级联膜面罩R-CNN（8.6 fps a100，55.2％AP）的速度为551％，精度为0.7％AP，Yolov7优于：Yolor，Yolox，Yolox，Scaled-Yolov4，Yolov4，Yolov5，Yolov5，Yolov5，Yolov5，Yolov5，Yolov5，Yolov5，Yolov5，Yolov5，DETR，可变形的DETR，DINO-5SCALE-R50，VIT-ADAPTER-B和许多其他对象探测器的速度和准确性。此外，我们仅在不使用任何其他数据集或预先训练的权重的情况下从头开始训练Yolov7。源代码在https://github.com/wongkinyiu/yolov7中发布。