计算模型是系统的定量表示。通过分析和比较此类模型的输出，可以更好地了解系统本身。但是，随着模型输出的复杂性的增加，将模拟彼此比较变得越来越困难。虽然只能比较多个模拟的一些特定模型输出是很简单的，但是能够比较整个模型仿真是更有用的。但是，很难以公正的方式整体比较模型模拟。为了解决这些局限性，我们使用暹罗神经网络将模型模拟与单个值进行比较，而神经网络捕获了模型输出之间的关系。我们为模型模拟培训暹罗网络提供了一种方法，并显示如何使用训练有素的网络来提供模型输出的整体比较。该方法可以应用于广泛的模型类型，提供了分析计算模型复杂输出的定量方法。

Agent-based modeling (ABM) is a well-established paradigm for simulating complex systems via interactions between constituent entities. Machine learning (ML) refers to approaches whereby statistical algorithms 'learn' from data on their own, without imposing a priori theories of system behavior. Biological systems -- from molecules, to cells, to entire organisms -- consist of vast numbers of entities, governed by complex webs of interactions that span many spatiotemporal scales and exhibit nonlinearity, stochasticity and intricate coupling between entities. The macroscopic properties and collective dynamics of such systems are difficult to capture via continuum modelling and mean-field formalisms. ABM takes a 'bottom-up' approach that obviates these difficulties by enabling one to easily propose and test a set of well-defined 'rules' to be applied to the individual entities (agents) in a system. Evaluating a system and propagating its state over discrete time-steps effectively simulates the system, allowing observables to be computed and system properties to be analyzed. Because the rules that govern an ABM can be difficult to abstract and formulate from experimental data, there is an opportunity to use ML to help infer optimal, system-specific ABM rules. Once such rule-sets are devised, ABM calculations can generate a wealth of data, and ML can be applied there too -- e.g., to probe statistical measures that meaningfully describe a system's stochastic properties. As an example of synergy in the other direction (from ABM to ML), ABM simulations can generate realistic datasets for training ML algorithms (e.g., for regularization, to mitigate overfitting). In these ways, one can envision various synergistic ABM$\rightleftharpoons$ML loops. This review summarizes how ABM and ML have been integrated in contexts that span spatiotemporal scales, from cellular to population-level epidemiology.

投影技术经常用于可视化高维数据，使用户能够更好地理解在2D屏幕上的多维空间的总体结构。尽管存在着许多这样的方法，相当小的工作已经逆投影的普及方法来完成 - 绘制投影点，或者更一般的过程中，投影空间回到原来的高维空间。在本文中我们提出NNInv，用近似的任何突起或映射的逆的能力的深学习技术。 NNInv学会重建上的二维投影空间从任意点高维数据，给用户在视觉分析系统所学习的高维表示的能力进行交互。我们提供NNInv的参数空间的分析，并在选择这些参数提供指导。我们通过一系列定量和定性分析的延长NNInv的有效性验证。交互式实例中插值，分级协议，梯度可视化：然后，我们把它应用到三个可视化任务，验证了该方法的效用。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

在解决问题的过程中，通往解决方案的道路可以看作是一系列决策。人类或计算机做出的决定通过问题的高维表示空间来描述轨迹。通过降低维度，可以在较低维空间中可视化这些轨迹。此类嵌入式轨迹先前已应用于各种数据，但是分析几乎完全集中在单轨迹的自相似性上。相比之下，我们描述了在相同的嵌入空间中绘制许多轨迹（对于不同初始条件，终端状态和解决方案策略）而出现的模式。我们认为，可以通过解释这些模式来制定有关解决问题的任务和解决策略的一般性陈述。我们探索并描述了由人类和机器制定的各种应用领域中的决策产生的轨迹中的这种模式：逻辑难题（魔术片），策略游戏（国际象棋）和优化问题（神经网络培训）。 We also discuss the importance of suitably chosen representation spaces and similarity metrics for the embedding.

基因组工程正在进行前所未有的发展，现在已广泛可用。为确保负责任的生物技术创新并减少滥用工程DNA序列，为识别工程型质粒的起源实验室来说是至关重要的。基因工程归因（GEA），制定序列实验室协会的能力将支持这一过程中的法医专家。在这里，我们提出了一种基于度量学习的方法，该方法将最可能的原产实验室排名，同时为质粒序列和实验室产生嵌入。这些嵌入物可用于执行各种下游任务，例如聚类DNA序列和实验室，以及在机器学习模型中使用它们作为特征。我们的方法采用了循环转移增强方法，能够在前10个预测中正确地将原产于原产的90亿美元的时间排列 - 优于所有最新的最先进的方法。我们还证明我们可以使用只需10次\％$ 10 \％$ of序列进行几次拍摄学习并获得76±10美元的准确性。这意味着，我们仅使用第十个数据表达先前的CNN方法。我们还证明我们能够在特定实验室中提取质粒序列中的关键签名，允许对模型的产出进行可解释的检查。

虽然注意力成为深度学习的重要机制，但仍然有限的直觉，为什么它工作得很好。在这里，我们表明，在某些数据条件下，变压器注意力与Kanerva稀疏分布式内存（SDM）的某些数据条件密切相关，一种生物合理的关联内存模型。我们确认在预先培训的GPT2变压器模型中满足这些条件。我们讨论了注意力SDM地图的影响，并提供了对关注的新计算和生物学解释。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

社会和自然中的极端事件，例如大流行尖峰，流氓波浪或结构性失败，可能会带来灾难性的后果。极端的表征很困难，因为它们很少出现，这似乎是由良性的条件引起的，并且属于复杂且通常是未知的无限维系统。这种挑战使他们将其描述为“毫无意义”。我们通过将贝叶斯实验设计（BED）中的新型训练方案与深神经操作员（DNOS）合奏结合在一起来解决这些困难。这个模型不足的框架配对了一个床方案，该床方案积极选择数据以用近似于无限二二维非线性运算符的DNO集合来量化极端事件。我们发现，这个框架不仅清楚地击败了高斯流程（GPS），而且只有两个成员的浅色合奏表现最好； 2）无论初始数据的状态如何（即有或没有极端），都会发现极端； 3）我们的方法消除了“双研究”现象； 4）与逐步全球Optima相比，使用次优的采集点的使用不会阻碍床的性能； 5）蒙特卡洛的获取优于高量级的标准优化器。这些结论共同构成了AI辅助实验基础设施的基础，该基础设施可以有效地推断并查明从物理到社会系统的许多领域的关键情况。

我们考虑基于活动的运输模拟器的校准和不确定性分析问题。基于活动的模型（ABM）依靠单个旅行者行为的统计模型来预测大都市地区的高阶旅行模式。输入参数通常是使用最大似然从旅行者调查中估算的。我们开发了一种使用高斯工艺模拟器使用流量流数据校准这些参数的方法。我们的方法扩展了传统的模拟器，以处理运输模拟器的高维和非平稳性。我们介绍了一个深度学习维度降低模型，该模型与高斯工艺模型共同估计以近似模拟器。我们使用几个模拟示例以及校准伊利诺伊州布卢明顿的关键参数来证明方法。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

在各种机器学习应用中，表示学习已被证明是一种强大的方法。然而，对于大气动力学，迄今为止尚未考虑它，这可以说是由于缺乏可用于培训的大型，标记的数据集。在这项工作中，我们表明困难是良性的，并引入了一项自我监督的学习任务，该任务定义了各种未标记的大气数据集的绝对损失。具体而言，我们在简单而复杂的任务上训练神经网络，即预测与不同但附近的大气场之间的时间距离。我们证明，对ERA5重新分析进行此任务的培训会导致内部表示，从而捕获了大气动态的内在方面。我们通过为大气状态引入数据驱动的距离度量来做到这一点。当在其他机器学习应用程序中用作损失功能时，与经典$ \ ell_2 $ -loss相比，该ATMODIST距离会改善结果。例如，对于缩小缩放，一个人获得了更高的分辨率字段，该字段比以前的方法更接近真正的统计信息，而对于缺失或遮挡数据的插值，ATMODIST距离导致的结果导致包含更真实的精细规模特征的结果。由于它来自观察数据，因此Atmodist还提供了关于大气可预测性的新观点。

Different machine learning (ML) models are trained on SCADA and meteorological data collected at an onshore wind farm and then assessed in terms of fidelity and accuracy for predictions of wind speed, turbulence intensity, and power capture at the turbine and wind farm levels for different wind and atmospheric conditions. ML methods for data quality control and pre-processing are applied to the data set under investigation and found to outperform standard statistical methods. A hybrid model, comprised of a linear interpolation model, Gaussian process, deep neural network (DNN), and support vector machine, paired with a DNN filter, is found to achieve high accuracy for modeling wind turbine power capture. Modifications of the incoming freestream wind speed and turbulence intensity, $TI$, due to the evolution of the wind field over the wind farm and effects associated with operating turbines are also captured using DNN models. Thus, turbine-level modeling is achieved using models for predicting power capture while farm-level modeling is achieved by combining models predicting wind speed and $TI$ at each turbine location from freestream conditions with models predicting power capture. Combining these models provides results consistent with expected power capture performance and holds promise for future endeavors in wind farm modeling and diagnostics. Though training ML models is computationally expensive, using the trained models to simulate the entire wind farm takes only a few seconds on a typical modern laptop computer, and the total computational cost is still lower than other available mid-fidelity simulation approaches.

目前，由精确的径向速度（RV）观察结果受到恒星活性引入的虚假RV信号的限制。我们表明，诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号（由于星形/张图引起的）。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号（例如Haywood等人，2014年）。取而代之的是，我们仅使用对光谱线平均形状的更改进行系统地删除活动信号，也没有有关收集观测值的信息。我们对模拟数据（使用SOAP 2.0软件生成； Dumusque等人，2014年生成）和从Harps-N太阳能望远镜（Dumusque等，2015; Phillips等人2015; 2016; Collier训练）培训了机器学习模型。 Cameron等人2019）。我们发现，这些技术可以从模拟数据（将RV散射从82 cm/s提高到3 cm/s）以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动（将RV散射从82 cm/s提高到3 cm/s）。 （将RV散射从1.753 m/s提高到1.039 m/s，提高了约1.7倍）。将来，这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号，并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。

特征提取方法有助于降低维度并捕获相关信息。在时间序列预测（TSF）中，功能可以用作辅助信息，以实现更好的准确性。传统上，TSF中使用的功能是手工制作的，需要域知识和重要的数据工程工作。在这项研究中，我们首先介绍了静态和动态功能的概念，然后使我们能够开发自主功能，以检索不需要域知识的静态特征（FRAN）的自动回归网络（FRAN）。该方法基于CNN分类器，该分类器经过训练，可以为每个系列创建一个集体和独特的类表示，要么是从该系列的部分中或（如果可以使用的类标签），从一组同一类中。它允许以相似的行为区分序列，但要从不同的类别中进行区分，并使从分类器提取的特征具有最大歧视性。我们探讨了我们功能的解释性，并评估预测元学习环境中该方法的预测能力。我们的结果表明，在大多数情况下，我们的功能会提高准确性。一旦训练，我们的方法就会创建比统计方法快的阶数级级。

我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器（PAE），以学习IA型超新星（SNE IA）的内在多样性。 PAE是一个两阶段的生成模型，由自动编码器（AE）组成，该模型在使用归一化流（NF）训练后概率地解释。我们证明，PAE学习了一个低维的潜在空间，该空间可捕获人口内存在的非线性特征范围，并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络，我们表明可以在训练期间分离内在和外在的可变性模式，从而消除了需要进行额外标准化的其他模型。然后，我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析，包括自动检测SN Outliers，与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现，与以前的研究相一致的最佳固有模型参数数量似乎是三个，并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本，该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。

Cataloging the complex behaviors of dynamical systems can be challenging, even when they are well-described by a simple mechanistic model. If such a system is of limited analytical tractability, brute force simulation is often the only resort. We present an alternative, optimization-driven approach using tools from machine learning. We apply this approach to a novel, fully-optimizable, reaction-diffusion model which incorporates complex chemical reaction networks (termed "Dense Reaction-Diffusion Network" or "Dense RDN"). This allows us to systematically identify new states and behaviors, including pattern formation, dissipation-maximizing nonequilibrium states, and replication-like dynamical structures.