深度学习（DL）逆技术增加了人工电磁材料（AEM）设计的速度，提高了所得装置的质量。许多DL逆技术在多个AEM设计任务中成功地成功，但要比较，对比度和评估各种技术，澄清逆问题的潜在弊端是至关重要的。在这里，我们审查最先进的方法，并对深度学习逆方法进行全面调查，对AEM设计进行深度学习逆方法和可逆和有条件可逆的神经网络。我们可以轻松访问和快速可实现的AEM设计基准，该基准提供了一种有效地确定最适合解决不同设计挑战的DL技术的方法。我们的方法是通过对重复模拟的限制和易于集成度量的限制，我们提出的是任何AEM设计问题的相对弊端。我们表明，由于问题变得越来越弊，无论模拟约束如何，带有边界损耗（NA）的神经伴随都会产生更好的解决方案。在简单的AEM设计任务中，当模拟有限时，直接神经网络（NN）更好，而混合密度网络（MDN）和条件变化自动编码器（VAE）预测的几何形状可以通过持续的采样和重新模拟来改进。

近年来，合成（或模拟）数据用于培训机器学习模型已迅速增长。通常，合成数据可以比其现实世界中的对应物更快，更便宜。但是，使用合成图像的一个挑战是场景设计：例如，内容及其特征和空间布置的选择。为了有效，该设计不仅必须现实，而且适合目标域，而目标域（通过假设）是未标记的。在这项工作中，我们提出了一种方法，可以自动根据未标记的现实世界图像选择合成图像的设计。我们的方法被称为神经 - 异位元模拟（NAM），建立在开创性的元模拟方法上。与当前的最新方法相反，我们的方法可以在离线后进行预训练，然后为新目标图像提供快速的设计推断。使用合成和现实世界中的问题，我们表明，NAMS不符合符合内域和室外目标成像的合成设计，并且具有NAMS设计的图像的训练分割模型与NA \ \ na \'相比，结果均优异。 IVE随机设计和最先进的元模拟方法。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

In the scope of "AI for Science", solving inverse problems is a longstanding challenge in materials and drug discovery, where the goal is to determine the hidden structures given a set of desirable properties. Deep generative models are recently proposed to solve inverse problems, but these currently use expensive forward operators and struggle in precisely localizing the exact solutions and fully exploring the parameter spaces without missing solutions. In this work, we propose a novel approach (called iPage) to accelerate the inverse learning process by leveraging probabilistic inference from deep invertible models and deterministic optimization via fast gradient descent. Given a target property, the learned invertible model provides a posterior over the parameter space; we identify these posterior samples as an intelligent prior initialization which enables us to narrow down the search space. We then perform gradient descent to calibrate the inverse solutions within a local region. Meanwhile, a space-filling sampling is imposed on the latent space to better explore and capture all possible solutions. We evaluate our approach on three benchmark tasks and two created datasets with real-world applications from quantum chemistry and additive manufacturing, and find our method achieves superior performance compared to several state-of-the-art baseline methods. The iPage code is available at https://github.com/jxzhangjhu/MatDesINNe.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

估计河床型材，也称为沐浴型，在许多应用中起着至关重要的作用，例如安全有效的内陆导航，对银行侵蚀，地面沉降和洪水风险管理的预测。直接沐浴术调查的高成本和复杂物流，即深度成像，鼓励使用间接测量，例如表面流速。然而，从间接测量估计高分辨率的沐浴族是可以计算地具有挑战性的逆问题。在这里，我们提出了一种基于阶的模型（ROM）的方法，其利用变形的自动化器（VAE），一系列深神经网络，中间具有窄层，以压缩沐浴族和流速信息并加速沐浴逆问题流速测量。在我们的应用中，浅水方程（SWE）具有适当的边界条件（BCS），例如排出和/或自由表面升高，构成前向问题，以预测流速。然后，通过变分编码器在低维度的非线性歧管上构造SWES的ROM。利用不确定性量化（UQ）的估计在贝叶斯环境中的低维潜空间上执行。我们已经在美国萨凡纳河的一英里接触到美国，测试了我们的反转方法。一旦培训了神经网络（离线阶段），所提出的技术就可以比通常基于线性投影的传统反转方法更快地执行幅度的反转操作级，例如主成分分析（PCA）或主要成分地质统计方法（PCGA）。此外，即使具有稀疏的流速测量，测试也可以估计算法估计良好的精度均匀的浴权。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

传统上，信号处理，通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理，先验信息和其他领域知识的数学公式。简单的经典模型有用，但对不准确性敏感，当真实系统显示复杂或动态行为时，可能会导致性能差。另一方面，随着数据集变得丰富，现代深度学习管道的力量增加，纯粹的数据驱动的方法越来越流行。深度神经网络（DNNS）使用通用体系结构，这些架构学会从数据中运行，并表现出出色的性能，尤其是针对受监督的问题。但是，DNN通常需要大量的数据和巨大的计算资源，从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣，以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中，我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集，这些系统结合了两个领域的优势。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

电磁（EM）成像广泛用于感应安全性，生物医学，地球物理学和各种行业。这是一个不当的逆问题，其解决方案通常在计算上昂贵。机器学习（ML）技术，尤其是深度学习（DL）在快速准确的成像中显示出潜力。但是，纯粹的数据驱动方法的高性能依赖于构建与实用方案一致的训练集，而在EM成像任务中通常不可能。因此，普遍性成为主要问题。另一方面，物理原理是EM现象的基础，并为当前的成像技术提供了基准。为了从大数据中的先验知识和物理定律的理论约束中受益，物理学嵌入的ML成像方法已成为近期大量工作的重点。本文调查了各种方案，以将物理学纳入基于学习的EM成像中。我们首先介绍有关逆问题的EM成像和基本公式的背景。然后，我们专注于将物理和ML进行线性和非线性成像组合的三种类型的策略，并讨论它们的优势和局限性。最后，我们在这个快速发展的领域中以公开的挑战和可能的前进方式得出结论。我们的目的是促进将有效，可解释和可控制的智能EM成像方法的研究。

远期操作员的计算成本和选择适当的先前分布的计算成本挑战了贝叶斯对高维逆问题的推断。摊销的变异推理解决了这些挑战，在这些挑战中，训练神经网络以近似于现有模型和数据对的后验分布。如果以前看不见的数据和正态分布的潜在样品作为输入，则预处理的深神经网络（在我们的情况下是有条件的正常化流量）几乎没有成本的后验样品。然而，这种方法的准确性取决于高保真训练数据的可用性，由于地球的异质结构，由于地球物理逆问题很少存在。此外，准确的摊销变异推断需要从训练数据分布中汲取观察到的数据。因此，我们建议通过基于物理学的校正对有条件的归一化流量分布来提高摊销变异推断的弹性。为了实现这一目标，我们不是标准的高斯潜在分布，我们通过具有未知平均值和对角线协方差的高斯分布来对潜在分布进行参数化。然后，通过最小化校正后分布和真实后验分布之间的kullback-leibler差异来估算这些未知数量。尽管通用和适用于其他反问题，但通过地震成像示例，我们表明我们的校正步骤可提高摊销变异推理的鲁棒性，以相对于源实验数量的变化，噪声方差以及先前分布的变化。这种方法提供了伪像有限的地震图像，并评估其不确定性，其成本大致与五个反度迁移相同。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

逆设计，将设备或过程参数匹配以展示所需性能的过程，在许多学科中都应用，从化学过程的材料设计到工程。机器学习已成为一种有前途的方法，以克服参数空间和多模式参数分布的维度施加的当前局限性。大多数传统的优化例程都假设设计参数与目标性能之间可逆的一对一映射。但是，可以通过不同的设计来实现可比性甚至相同的性能，从而使可能的逆设计问题的多模式分布混淆了优化算法。在这里，我们展示了基于可逆神经网络的生成建模方法如何为逆设计问题提供可能的解决方案的完整分布，并解决具有多模态分布的纳米电视逆设计问题的歧义。我们实施了条件可逆的神经网络（CINN），并将其应用于原则纳米光子问题，包括定制由亚波长度凹痕铣削的金属膜的传输光谱。我们将方法与常用的条件变异自动编码器（CVAE）框架进行了比较，并在处理多模式设备分布时显示了提议的CINN的卓越灵活性和准确性。我们的工作表明，可逆的神经网络为纳米科学和纳米技术的逆设计提供了一个有价值且通用的工具包。