在卫星布局设计中，热源布局优化（HSLO）是一种有效的技术，可降低最高温度并改善整个系统的热量管理。最近，已经提出了深度学习的替代辅助HSLO，该辅助辅助HSLO从布局到相应的温度场进行了映射，以便在优化过程中替换仿真以大大降低计算成本。但是，它面临两个主要挑战：1）特定任务的神经网络代理通常是手动设计的，这是复杂的，需要丰富的调试经验，这对工程领域的设计师来说是具有挑战性的； 2）现有的HSLO算法只能在单个优化中获得几乎最佳的解决方案，并且很容易被捕获以局部最佳限制。为了应对第一个挑战，考虑减少总参数编号并确保相似的准确性以及与特征金字塔网络（FPN）框架相结合的神经体系结构搜索（NAS）方法，以实现自动搜索小型搜索的目的深度学习的替代模型。为了应对第二项挑战，提出了一种基于多模式搜索的布局优化算法（MNSLO），该算法（MNSLO）可以单一优化同时获得更多，更好的近似最佳设计方案。最后，利用了两个典型的二维热传导优化问题来证明该方法的有效性。具有相似的精度，NAS找到了比原始FPN的参数少80％，拖失板少64％和36％的模型。此外，在自动搜索的深度学习代理人的帮助下，MNSLO可以同时实现多个接近最佳的设计方案，以为设计师提供更多的设计多样性。

Recently, Neural architecture search has achieved great success on classification tasks for mobile devices. The backbone network for object detection is usually obtained on the image classification task. However, the architecture which is searched through the classification task is sub-optimal because of the gap between the task of image and object detection. As while work focuses on backbone network architecture search for mobile device object detection is limited, mainly because the backbone always requires expensive ImageNet pre-training. Accordingly, it is necessary to study the approach of network architecture search for mobile device object detection without expensive pre-training. In this work, we propose a mobile object detection backbone network architecture search algorithm which is a kind of evolutionary optimized method based on non-dominated sorting for NAS scenarios. It can quickly search to obtain the backbone network architecture within certain constraints. It better solves the problem of suboptimal linear combination accuracy and computational cost. The proposed approach can search the backbone networks with different depths, widths, or expansion sizes via a technique of weight mapping, making it possible to use NAS for mobile devices detection tasks a lot more efficiently. In our experiments, we verify the effectiveness of the proposed approach on YoloX-Lite, a lightweight version of the target detection framework. Under similar computational complexity, the accuracy of the backbone network architecture we search for is 2.0% mAP higher than MobileDet. Our improved backbone network can reduce the computational effort while improving the accuracy of the object detection network. To prove its effectiveness, a series of ablation studies have been carried out and the working mechanism has been analyzed in detail.

在变异场景中已经揭示了对抗性实例的现象。最近的研究表明，精心设计的对抗性防御策略可以改善深度学习模型针对对抗性例子的鲁棒性。但是，随着国防技术的快速发展，由于现有手动设计的对抗性攻击的性能较弱，因此很难评估防御模型的鲁棒性。为了应对挑战，鉴于防御模型，需要进一步利用有效的对抗性攻击，较少的计算负担和较低的健壮精度。因此，我们提出了一种用于自动对抗攻击优化设计的多目标模因算法，该算法实现了对近乎最佳的对抗性攻击对防御模型的近乎最佳的对抗性攻击。首先，构建了自动对抗攻击优化设计的更通用的数学模型，其中搜索空间不仅包括攻击者操作，大小，迭代号和损失功能，还包括多个对抗性攻击的连接方式。此外，我们开发了一种组合NSGA-II和本地搜索以解决优化问题的多目标模因算法。最后，为了降低搜索过程中的评估成本，我们根据模型输出的每个图像的跨熵损失值的排序提出了代表性的数据选择策略。关于CIFAR10，CIFAR100和Imagenet数据集的实验显示了我们提出的方法的有效性。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

已经发现深层神经网络容易受到对抗攻击的影响，从而引起了对安全敏感的环境的潜在关注。为了解决这个问题，最近的研究从建筑的角度研究了深神经网络的对抗性鲁棒性。但是，搜索深神经网络的体系结构在计算上是昂贵的，尤其是当与对抗性训练过程相结合时。为了应对上述挑战，本文提出了双重主体神经体系结构搜索方法。首先，我们制定了NAS问题，以增强深度神经网络的对抗性鲁棒性为多目标优化问题。具体而言，除了低保真绩效预测器作为第一个目标外，我们还利用辅助目标 - 其值是经过高保真评估训练的替代模型的输出。其次，我们通过结合三种性能估计方法，即参数共享，低保真评估和基于替代的预测指标来降低计算成本。在CIFAR-10，CIFAR-100和SVHN数据集上进行的广泛实验证实了所提出的方法的有效性。

Temperature monitoring during the life time of heat source components in engineering systems becomes essential to guarantee the normal work and the working life of these components. However, prior methods, which mainly use the interpolate estimation to reconstruct the temperature field from limited monitoring points, require large amounts of temperature tensors for an accurate estimation. This may decrease the availability and reliability of the system and sharply increase the monitoring cost. To solve this problem, this work develops a novel physics-informed deep reversible regression models for temperature field reconstruction of heat-source systems (TFR-HSS), which can better reconstruct the temperature field with limited monitoring points unsupervisedly. First, we define the TFR-HSS task mathematically, and numerically model the task, and hence transform the task as an image-to-image regression problem. Then this work develops the deep reversible regression model which can better learn the physical information, especially over the boundary. Finally, considering the physical characteristics of heat conduction as well as the boundary conditions, this work proposes the physics-informed reconstruction loss including four training losses and jointly learns the deep surrogate model with these losses unsupervisedly. Experimental studies have conducted over typical two-dimensional heat-source systems to demonstrate the effectiveness of the proposed method.

最近，已经成功地应用于各种遥感图像（RSI）识别任务的大量基于深度学习的方法。然而，RSI字段中深度学习方法的大多数现有进步严重依赖于手动设计的骨干网络提取的特征，这严重阻碍了由于RSI的复杂性以及先前知识的限制而受到深度学习模型的潜力。在本文中，我们研究了RSI识别任务中的骨干架构的新设计范式，包括场景分类，陆地覆盖分类和对象检测。提出了一种基于权重共享策略和进化算法的一拍架构搜索框架，称为RSBNet，其中包括三个阶段：首先，在层面搜索空间中构造的超空网是在自组装的大型中预先磨削 - 基于集合单路径培训策略进行缩放RSI数据集。接下来，预先培训的SuperNet通过可切换识别模块配备不同的识别头，并分别在目标数据集上进行微调，以获取特定于任务特定的超网络。最后，我们根据没有任何网络训练的进化算法，搜索最佳骨干架构进行不同识别任务。对于不同识别任务的五个基准数据集进行了广泛的实验，结果显示了所提出的搜索范例的有效性，并证明搜索后的骨干能够灵活地调整不同的RSI识别任务并实现令人印象深刻的性能。

深度神经网络中的建筑进步导致了跨越一系列计算机视觉任务的巨大飞跃。神经建筑搜索（NAS）并没有依靠人类的专业知识，而是成为自动化建筑设计的有前途的途径。尽管图像分类的最新成就提出了机会，但NAS的承诺尚未对更具挑战性的语义细分任务进行彻底评估。将NAS应用于语义分割的主要挑战来自两个方面：（i）要处理的高分辨率图像； （ii）针对自动驾驶等应用的实时推理速度（即实时语义细分）的其他要求。为了应对此类挑战，我们在本文中提出了一种替代辅助的多目标方法。通过一系列自定义预测模型，我们的方法有效地将原始的NAS任务转换为普通的多目标优化问题。然后是用于填充选择的层次预筛选标准，我们的方法逐渐实现了一组有效的体系结构在细分精度和推理速度之间进行交易。对三个基准数据集的经验评估以及使用华为地图集200 dk的应用程序的实证评估表明，我们的方法可以识别架构明显优于人类专家手动设计和通过其他NAS方法自动设计的现有最先进的体系结构。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

Explicitly accounting for uncertainties is paramount to the safety of engineering structures. Optimization which is often carried out at the early stage of the structural design offers an ideal framework for this task. When the uncertainties are mainly affecting the objective function, robust design optimization is traditionally considered. This work further assumes the existence of multiple and competing objective functions that need to be dealt with simultaneously. The optimization problem is formulated by considering quantiles of the objective functions which allows for the combination of both optimality and robustness in a single metric. By introducing the concept of common random numbers, the resulting nested optimization problem may be solved using a general-purpose solver, herein the non-dominated sorting genetic algorithm (NSGA-II). The computational cost of such an approach is however a serious hurdle to its application in real-world problems. We therefore propose a surrogate-assisted approach using Kriging as an inexpensive approximation of the associated computational model. The proposed approach consists of sequentially carrying out NSGA-II while using an adaptively built Kriging model to estimate the quantiles. Finally, the methodology is adapted to account for mixed categorical-continuous parameters as the applications involve the selection of qualitative design parameters as well. The methodology is first applied to two analytical examples showing its efficiency. The third application relates to the selection of optimal renovation scenarios of a building considering both its life cycle cost and environmental impact. It shows that when it comes to renovation, the heating system replacement should be the priority.

An enhanced geothermal system is essential to provide sustainable and long-term geothermal energy supplies and reduce carbon emissions. Optimal well-control scheme for effective heat extraction and improved heat sweep efficiency plays a significant role in geothermal development. However, the optimization performance of most existing optimization algorithms deteriorates as dimension increases. To solve this issue, a novel surrogate-assisted level-based learning evolutionary search algorithm (SLLES) is proposed for heat extraction optimization of enhanced geothermal system. SLLES consists of classifier-assisted level-based learning pre-screen part and local evolutionary search part. The cooperation of the two parts has realized the balance between the exploration and exploitation during the optimization process. After iteratively sampling from the design space, the robustness and effectiveness of the algorithm are proven to be improved significantly. To the best of our knowledge, the proposed algorithm holds state-of-the-art simulation-involved optimization framework. Comparative experiments have been conducted on benchmark functions, a two-dimensional fractured reservoir and a three-dimensional enhanced geothermal system. The proposed algorithm outperforms other five state-of-the-art surrogate-assisted algorithms on all selected benchmark functions. The results on the two heat extraction cases also demonstrate that SLLES can achieve superior optimization performance compared with traditional evolutionary algorithm and other surrogate-assisted algorithms. This work lays a solid basis for efficient geothermal extraction of enhanced geothermal system and sheds light on the model management strategies of data-driven optimization in the areas of energy exploitation.

近年来，行业和学术界的深度学习（DL）迅速发展。但是，找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题，进化计算（EC）作为一种强大的启发式搜索方法显示出在DL模型的自动设计中，所谓的进化深度学习（EDL）具有重要优势。本文旨在从自动化机器学习（AUTOML）的角度分析EDL。具体来说，我们首先从机器学习和EC阐明EDL，并将EDL视为优化问题。根据DL管道的说法，我们系统地介绍了EDL方法，从功能工程，模型生成到具有新的分类法的模型部署（即，什么以及如何发展/优化），专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后，提出了关键的应用程序，开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展，并为EDL的开发提供了有见地的指南。

由于计算成本和能耗有限，部署在移动设备中的大多数神经网络模型都很小。然而，微小的神经网络通常很容易攻击。目前的研究证明，较大的模型规模可以提高鲁棒性，但很少的研究侧重于如何增强微小神经网络的稳健性。我们的工作侧重于如何改善微小神经网络的稳健性，而不会严重恶化移动级资源下的清洁准确性。为此，我们提出了一种多目标oneShot网络架构搜索（NAS）算法，以便在对抗准确度，清洁精度和模型尺寸方面获得最佳权衡网络。具体而言，我们基于新的微小块和通道设计一种新的搜索空间，以平衡模型大小和对抗性能。此外，由于SUPERNET显着影响了我们NAS算法中子网的性能，因此我们揭示了对SuperNet如何有助于获得白盒对抗攻击下最好的子网的洞察力。具体地，我们通过分析对抗性可转移性，超空网的宽度以及从头划痕和微调训练子网之间的差异来探索新的对抗性培训范式。最后，我们对第一个非主导的前沿的某些块和通道的层面组合进行了统计分析，这可以作为设计微小神经网络架构以实现对抗性扰动的指导。

网络体系结构设计的持续进步导致了各种具有挑战性的计算机视觉任务的深入学习取得的显着成就。同时，神经体系结构搜索（NAS）的开发提供了有前途的方法来自动化网络体系结构的设计，从而获得较低的预测错误。最近，深入学习的新兴应用程序方案提高了考虑多个设计标准的网络体系结构的更高需求：参数/浮点操作的数量以及推理延迟等。从优化的角度来看，涉及多个设计标准的NAS任务是本质上多目标优化问题。因此，采用进化的多目标优化（EMO）算法来解决它们是合理的。尽管如此，仍然存在一个明显的差距，将相关研究沿着这一途径限制：一方面，从优化的角度出发，缺乏NAS任务的一般问题。另一方面，在NAS任务上对EMO算法进行基准评估存在挑战。弥合差距：（i）我们将NAS任务制定为一般的多目标优化问题，并从优化的角度分析复杂特征； （ii）我们提出了一条端到端管道，称为$ \ texttt {evoxbench} $，以生成Emo算法的基准测试问题，以有效运行 - 无需GPU或Pytorch/tensorflow； （iii）我们实例化了两个测试套件，全面涵盖了两个数据集，七个搜索空间和三个硬件设备，最多涉及八个目标。基于上述内容，我们使用六种代表性的EMO算法验证了提出的测试套件，并提供了一些经验分析。 $ \ texttt {evoxBench} $的代码可从$ \ href {https://github.com/emi-group/evoxbench} {\ rm {there}} $。

Temperature field reconstruction of heat source systems (TFR-HSS) with limited monitoring sensors occurred in thermal management plays an important role in real time health detection system of electronic equipment in engineering. However, prior methods with common interpolations usually cannot provide accurate reconstruction performance as required. In addition, there exists no public dataset for widely research of reconstruction methods to further boost the reconstruction performance and engineering applications. To overcome this problem, this work develops a machine learning modelling benchmark for TFR-HSS task. First, the TFR-HSS task is mathematically modelled from real-world engineering problem and four types of numerically modellings have been constructed to transform the problem into discrete mapping forms. Then, this work proposes a set of machine learning modelling methods, including the general machine learning methods and the deep learning methods, to advance the state-of-the-art methods over temperature field reconstruction. More importantly, this work develops a novel benchmark dataset, namely Temperature Field Reconstruction Dataset (TFRD), to evaluate these machine learning modelling methods for the TFR-HSS task. Finally, a performance analysis of typical methods is given on TFRD, which can be served as the baseline results on this benchmark.

深度学习的巨大进步导致了跨越众多领域的前所未有的成就。虽然深度神经网络的性能是可培制的，但这种模型的架构设计和可解释性是非竞争的。已经引入了通过神经结构搜索（NAS）自动化神经网络架构的设计。最近的进展通过利用分布式计算和新颖的优化算法，这些方法更加务实。但是，在优化架构以获得可解释性的情况下几乎没有作用。为此，我们提出了一种多目标分布式NAS框架，可针对任务性能和内省进行优化。我们利用非主导的分类遗传算法（NSGA-II）并说明可以通过人类更好地理解的造成架构的AI（XAI）技术。框架在几个图像分类数据集上进行评估。我们展示了对内省能力和任务错误的联合优化，导致更具脱屑的体系结构，可在可容忍的错误中执行。

神经结构搜索（NAS）引起了日益增长的兴趣。为了降低搜索成本，最近的工作已经探讨了模型的重量分享，并在单枪NAS进行了重大进展。然而，已经观察到，单次模型精度较高的模型并不一定在独立培训时更好地执行更好。为了解决这个问题，本文提出了搜索空间的逐步自动设计，名为Pad-NAS。与超字幕中的所有层共享相同操作搜索空间的先前方法不同，我们根据操作修剪制定逐行搜索策略，并构建层面操作搜索空间。通过这种方式，Pad-NAS可以自动设计每层的操作，并在搜索空间质量和模型分集之间实现权衡。在搜索过程中，我们还考虑了高效神经网络模型部署的硬件平台约束。关于Imagenet的广泛实验表明我们的方法可以实现最先进的性能。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

传感器节点（SNS）的部署总是在无线传感器网络（WSN）的系统性能中起决定性作用。在这项工作中，我们提出了一种实用异构WSN的最佳部署方法，该方法可以深入了解可靠性和部署成本之间的权衡。具体而言，这项工作旨在提供SNS的最佳部署，以最大程度地提高覆盖率和连接学位，同时最大程度地减少整体部署成本。此外，这项工作充分考虑了SNS的异质性（即差异化的传感范围和部署成本）和三维（3-D）部署方案。这是一个多目标优化问题，非凸，多模态和NP-HARD。为了解决它，我们开发了一种新型的基于群体的多目标优化算法，称为竞争性多目标海洋掠食者算法（CMOMPA），其性能通过与十种其他多个多目标优化的全面比较实验验证算法。计算结果表明，在收敛性和准确性方面，CMOMPA优于他人，并且在多模式多目标优化问题上表现出卓越的性能。还进行了足够的模拟来评估基于CMOMPA的最佳SNS部署方法的有效性。结果表明，优化的部署可以平衡部署成本，感知可靠性和网络可靠性之间的权衡平衡。源代码可在https://github.com/inet-wzu/cmompa上找到。

大多数对象检测框架都使用最初设计用于图像分类的主链体系结构，通常在Imagenet上具有预训练的参数。但是，图像分类和对象检测本质上是不同的任务，并且不能保证分类的最佳主链也适用于对象检测。最近的神经体系结构搜索（NAS）研究表明，自动设计专门用于对象检测的骨干有助于提高整体准确性。在本文中，我们引入了一种神经体系结构适应方法，该方法可以优化给定的主链以进行检测目的，同时仍允许使用预训练的参数。我们建议除了每个块的输出通道尺寸外，还通过搜索特定操作和层数来调整微体系结构。重要的是要找到最佳的通道深度，因为它极大地影响了特征表示功能和计算成本。我们使用搜索的主链进行对象检测进行实验，并证明我们的主链在可可数据集上的手动设计和搜索的最新骨干均优于手动设计和搜索的骨干。