We introduce hp-greedy, a refinement approach for building gravitational wave surrogates as an extension of the standard reduced basis framework. Our proposal is data-driven, with a domain decomposition of the parameter space, local reduced basis, and a binary tree as the resulting structure, which are obtained in an automated way. When compared to the standard global reduced basis approach, the numerical simulations of our proposal show three salient features: i) representations of lower dimension with no loss of accuracy, ii) a significantly higher accuracy for a fixed maximum dimensionality of the basis, in some cases by orders of magnitude, and iii) results that depend on the reduced basis seed choice used by the refinement algorithm. We first illustrate the key parts of our approach with a toy model and then present a more realistic use case of gravitational waves emitted by the collision of two spinning, non-precessing black holes. We discuss performance aspects of hp-greedy, such as overfitting with respect to the depth of the tree structure, and other hyperparameter dependences. As two direct applications of the proposed hp-greedy refinement, we envision: i) a further acceleration of statistical inference, which might be complementary to focused reduced-order quadratures, and ii) the search of gravitational waves through clustering and nearest neighbors.

Parameter space reduction has been proved to be a crucial tool to speed-up the execution of many numerical tasks such as optimization, inverse problems, sensitivity analysis, and surrogate models' design, especially when in presence of high-dimensional parametrized systems. In this work we propose a new method called local active subspaces (LAS), which explores the synergies of active subspaces with supervised clustering techniques in order to carry out a more efficient dimension reduction in the parameter space. The clustering is performed without losing the input-output relations by introducing a distance metric induced by the global active subspace. We present two possible clustering algorithms: K-medoids and a hierarchical top-down approach, which is able to impose a variety of subdivision criteria specifically tailored for parameter space reduction tasks. This method is particularly useful for the community working on surrogate modelling. Frequently, the parameter space presents subdomains where the objective function of interest varies less on average along different directions. So, it could be approximated more accurately if restricted to those subdomains and studied separately. We tested the new method over several numerical experiments of increasing complexity, we show how to deal with vectorial outputs, and how to classify the different regions with respect to the local active subspace dimension. Employing this classification technique as a preprocessing step in the parameter space, or output space in case of vectorial outputs, brings remarkable results for the purpose of surrogate modelling.

This paper presents a surrogate modelling technique based on domain partitioning for Bayesian parameter inference of highly nonlinear engineering models. In order to alleviate the computational burden typically involved in Bayesian inference applications, a multielement Polynomial Chaos Expansion based Kriging metamodel is proposed. The developed surrogate model combines in a piecewise function an array of local Polynomial Chaos based Kriging metamodels constructed on a finite set of non-overlapping subdomains of the stochastic input space. Therewith, the presence of non-smoothness in the response of the forward model (e.g.~ nonlinearities and sparseness) can be reproduced by the proposed metamodel with minimum computational costs owing to its local adaptation capabilities. The model parameter inference is conducted through a Markov chain Monte Carlo approach comprising adaptive exploration and delayed rejection. The efficiency and accuracy of the proposed approach are validated through two case studies, including an analytical benchmark and a numerical case study. The latter relates the partial differential equation governing the hydrogen diffusion phenomenon of metallic materials in Thermal Desorption Spectroscopy tests.

低维和计算较低的降低订购模型（ROM）已被广泛用于捕获高维系统的主要行为。可以使用众所周知的正交分解（POD）来获得ROM，通过将全阶模型投影到以模态基准模式跨越的子空间中，这些模式从实验，模拟或观察性数据（即训练数据）中学到。但是，最佳基础可以随参数设置而变化。当将使用从训练数据获得的POD基础构建的ROM应用于新的参数设置时，该模型通常缺乏鲁棒性，因为设计，控制和其他实时操作问题中的参数更改。本文提议在格拉曼（Grassmann）歧管上使用回归树，以了解跨越投影全阶模型的低维子空间的参数和POD碱基之间的映射。由于可以将豆荚跨越的子空间视为Grassmann歧管中的一个点，我们提议通过反复分裂树节点来最大化两个子空间之间的riemannian距离，从而将树生长为Grassmann歧管中的一个事实。在左右女儿节点。提出了五个数值示例，以全面证明该方法的性能，并将基于树的方法与现有的插值方法进行比较，以进行POD和使用全局POD。结果表明，所提出的基于树的方法能够在参数和POD碱基之间建立映射，从而使ROM适应新参数。

我们介绍了第一个机器学习引力波搜索模拟数据挑战（MLGWSC-1）的结果。在这一挑战中，参与的小组必须从二进制黑洞合并中识别出复杂性和持续时间逐渐嵌入在逐渐更现实的噪声中的引力波信号。 4个提供的数据集中的决赛包含O3A观察的真实噪声，并发出了20秒的持续时间，其中包含进动效应和高阶模式。我们介绍了在提交前从参与者未知的1个月的测试数据中得出的6个输入算法的平均灵敏度距离和运行时。其中4个是机器学习算法。我们发现，最好的基于机器学习的算法能够以每月1个的错误警报率（FAR）的速度（FAR）实现基于匹配过滤的生产分析的敏感距离的95％。相反，对于真实的噪音，领先的机器学习搜索获得了70％。为了更高的范围，敏感距离缩小的差异缩小到某些数据集上选择机器学习提交的范围$ \ geq 200 $以优于传统搜索算法的程度。我们的结果表明，当前的机器学习搜索算法可能已经在有限的参数区域中对某些生产设置有用。为了改善最新的技术，机器学习算法需要降低他们能够检测信号并将其有效性扩展到参数空间区域的虚假警报率，在这些区域中，建模的搜索在计算上很昂贵。根据我们的发现，我们汇编了我们认为，将机器学习搜索提升到重力波信号检测中的宝贵工具，我们认为这是最重要的研究领域。

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

我们提出了一种基于错误的神经模型模型，用于在级别集方法中近似二维曲率。我们的主要贡献是重新设计的混合求解器[Larios-C \'Ardenas和Gibou，J。Comput。物理。 （2022年5月），10.1016/j.jcp.2022.111291]依靠数值方案来按需启用机器学习操作。特别是，我们的常规特征是双重预测对线束曲率对称不变性，以支持精度和稳定性。该求解器的核心是在圆形和正弦式接口样品上训练的多层感知器。它的作用是量化数值曲率近似值中的误差，并沿自由边界发射校正的校正估计值。这些校正是针对预处理上下文级别，曲率和梯度数据而产生的。为了促进神经能力，我们采用了样品阴性屈肌的归一化，重新定位和基于反射的增强。以相同的方式，我们的系统结合了降低，平衡性良好和正则化，以最大程度地减少外围影响。我们的训练方法同样可以跨网格尺寸扩展。为此，我们在数据生产过程中引入了无量纲的参数化和概率子采样。总之，所有这些元素都提高了分辨不足区域周围曲率计算的准确性和效率。在大多数实验中，我们的策略的表现优于数值基线，是重新涉及步骤数的两倍，同时仅需要一小部分成本。

我们提出了一种从有限的训练数据学习高维参数映射的解析替代框架。在许多需要重复查询复杂计算模型的许多应用中出现了对参数代理的需求。这些应用包括贝叶斯逆问题，最佳实验设计和不确定度的最佳设计和控制等“外环”问题，以及实时推理和控制问题。许多高维参数映射承认低维结构，这可以通过映射信息的输入和输出的绘图信息的减少基础来利用。利用此属性，我们通过自适应地构造其输入和输出的缩小基础之间的Reset近似来制定用于学习这些地图的低维度近似的框架。最近的近似近似理论作为控制流的离散化，我们证明了我们所提出的自适应投影Reset框架的普遍近似性，这激励了Resnet构造的相关迭代算法。该策略代表了近似理论和算法的汇合，因为两者都使用顺序最小化流量。在数值例子中，我们表明，在训练数据少量的培训数据中，能够实现显着高精度，使其能够实现培训数据生成的最小计算投资的理想代理策略。

这项研究的目的是评估历史匹配的潜力（HM），以调整具有多尺度动力学的气候系统。通过考虑玩具气候模型，即两尺度的Lorenz96模型并在完美模型设置中生产实验，我们详细探讨了如何需要仔细测试几种内置选择。我们还展示了在参数范围内引入物理专业知识的重要性，这是运行HM的先验性。最后，我们重新审视气候模型调整中的经典过程，该程序包括分别调整慢速和快速组件。通过在Lorenz96模型中这样做，我们说明了合理参数的非唯一性，并突出了从耦合中出现的指标的特异性。本文也有助于弥合不确定性量化，机器学习和气候建模的社区，这是通过在每个社区使用的术语之间建立相同概念的术语并提出有希望的合作途径，从而使气候建模研究受益。

我们为级别集方法提出了一个数据驱动的均值曲线求解器。这项工作是我们在[arxiv：2201.12342] [1]和[doi：10.1016/j.jcp.2022.1111291] [arxiv：2201.12342] [1]中的二维策略的$ \ mathbb {r}^3 $的自然扩展。 ]。但是，与[1,2]建立了依赖分辨率的神经网络词典相比，在这里，我们在$ \ mathbb {r}^3 $中开发了两对模型，而不管网格大小如何。我们的前馈网络摄入的水平集，梯度和曲率数据转换为固定接口节点的数值均值曲率近似值。为了降低问题的复杂性，我们使用高斯曲率对模板进行了分类，并将模型分别适合于非堆肥和鞍模式。非插图模板更容易处理，因为它们表现出以单调性和对称性为特征的曲率误差分布。尽管后者允许我们仅在平均曲面频谱的一半上进行训练，但前者帮助我们将数据驱动的融合并在平坦区域附近无缝地融合了基线估计。另一方面，鞍形图案误差结构不太清楚。因此，我们没有利用超出已知信息的潜在信息。在这方面，我们不仅在球形和正弦和双曲线抛物面斑块上训练了我们的模型。我们构建他们的数据集的方法是系统的，但是随机收集样品，同时确保均衡度。我们还诉诸于标准化和降低尺寸，作为预处理步骤和集成正则化以最大程度地减少异常值。此外，我们利用曲率旋转/反射不变性在推理时提高精度。几项实验证实，与现代粒子的界面重建和水平设定方案相比，我们提出的系统可以产生更准确的均值曲线估计。

二进制恒星经历各种相互作用和进化阶段，对于预测和解释观察到的特性至关重要。具有完整恒星结构和进化模拟的二元种群合成在计算上需要大量的质量转移序列。最近开发的二元种群综合代码Posydon结合了梅萨二元星模拟的网格，然后将其插值以模拟大型大型二进制文件。计算高密度直线网格的传统方法对于高维网格，不可扩展，这是一系列金属性，旋转和偏心率的范围。我们提出了一种新的活跃学习算法PSY-CRI，该算法使用数据收集过程中的机器学习来适应和迭代选择目标模拟以运行，从而导致自定义，高性能的训练集。我们在玩具问题上测试PSY-CRIS，发现所得的训练集比常规或随机采样网格所需的模拟更少以进行准确的分类和回归。我们进一步将psy-cris应用于构建Mesa模拟动态网格的目标问题，我们证明，即使没有微调，仅$ \ sim 1/4 $的模拟集也足以足以达到相同的分类精度。当针对目标应用程序优化算法参数时，我们预计将进一步增益。我们发现，仅对分类进行优化可能会导致回归中的绩效损失，反之亦然。降低产生网格的计算成本将使Posydon的未来版本涵盖更多的输入参数，同时保留插值精度。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

Function estimation/approximation is viewed from the perspective of numerical optimization in function space, rather than parameter space. A connection is made between stagewise additive expansions and steepestdescent minimization. A general gradient descent "boosting" paradigm is developed for additive expansions based on any fitting criterion. Specific algorithms are presented for least-squares, least absolute deviation, and Huber-M loss functions for regression, and multiclass logistic likelihood for classification. Special enhancements are derived for the particular case where the individual additive components are regression trees, and tools for interpreting such "TreeBoost" models are presented. Gradient boosting of regression trees produces competitive, highly robust, interpretable procedures for both regression and classification, especially appropriate for mining less than clean data. Connections between this approach and the boosting methods of Freund and Shapire and Friedman, Hastie and Tibshirani are discussed.

This paper proposes a new tree-based ensemble method for supervised classification and regression problems. It essentially consists of randomizing strongly both attribute and cut-point choice while splitting a tree node. In the extreme case, it builds totally randomized trees whose structures are independent of the output values of the learning sample. The strength of the randomization can be tuned to problem specifics by the appropriate choice of a parameter. We evaluate the robustness of the default choice of this parameter, and we also provide insight on how to adjust it in particular situations. Besides accuracy, the main strength of the resulting algorithm is computational efficiency. A bias/variance analysis of the Extra-Trees algorithm is also provided as well as a geometrical and a kernel characterization of the models induced.

本文介绍了在高斯过程回归/克里格替代建模技术中选择/设计内核的算法。我们在临时功能空间中采用内核方法解决方案的设置，即繁殖内核希尔伯特空间（RKHS），以解决在观察到它的观察值的情况下近似定期目标函数的问题，即监督学习。第一类算法是内核流，该算法是在机器学习中的分类中引入的。它可以看作是一个交叉验证过程，因此选择了“最佳”内核，从而最小化了通过删除数据集的某些部分（通常为一半）而产生的准确性损失。第二类算法称为光谱内核脊回归，旨在选择“最佳”核，以便在相关的RKHS中，要近似的函数的范围很小。在Mercer定理框架内，我们就目标函数的主要特征来获得该“最佳”内核的明确结构。从数据中学习内核的两种方法均通过有关合成测试功能的数值示例，以及在湍流建模验证二维机翼的湍流模型验证中的经典测试用例。

贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择，采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战，因此是理想的测试床，以了解贝叶斯优化的性能，并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中，包括流体动力学的知识，这些知识是未知的。这项调查的结果表明，要做出的选择与相对简单的功能不相关，而乐观的采集功能（例如上限限制）应首选更复杂的目标函数。此外，蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下，多点方法提供了更快的替代方法，但它可能需要进行更多的客观函数评估。

我们提出了一种基于机器学习的方法来解决运输过程的研究，在连续力学中无处不在，特别关注那些由复杂的微物理学统治的那些现象，对理论调查不切实际，但表现出由闭合的数学表达可以描述的紧急行为。我们的机器学习模型，使用简单组件建造以及若干知名实践，能够学习运输过程的潜在表示，从标称误差表征数据的标称误差导致声音泛化属性，可以比预期更接近地面真理。通过对融合和宇宙等离子体相关的热通量抑制的长期问题的理想研究来证明这一点。 Our analysis shows that the result applies beyond those case specific assumptions and that, in particular, the accuracy of the learned representation is controllable through knowledge of the data quality (error properties) and a suitable choice of the dataset size.虽然学习的表示可以用作数值建模目的的插件，但是也可以利用上述误差分析来获得描述传输机制和理论值的可靠的数学表达式。

本文涉及使用多项式的有限样品的平滑，高维函数的近似。这项任务是计算科学和工程中许多应用的核心 - 尤其是由参数建模和不确定性量化引起的。通常在此类应用中使用蒙特卡洛（MC）采样，以免屈服于维度的诅咒。但是，众所周知，这种策略在理论上是最佳的。尺寸$ n $有许多多项式空间，样品复杂度尺度划分为$ n $。这种有据可查的现象导致了一致的努力，以设计改进的，实际上是近乎最佳的策略，其样本复杂性是线性的，甚至线性地缩小了$ n $。自相矛盾的是，在这项工作中，我们表明MC实际上是高维度中的一个非常好的策略。我们首先通过几个数值示例记录了这种现象。接下来，我们提出一个理论分析，该分析能够解决这种悖论，以实现无限多变量的全体形态功能。我们表明，基于$ M $ MC样本的最小二乘方案，其错误衰减为$ m/\ log（m）$，其速率与最佳$ n $ term的速率相同多项式近似。该结果是非构造性的，因为它假定了进行近似的合适多项式空间的知识。接下来，我们提出了一个基于压缩感应的方案，该方案达到了相同的速率，除了较大的聚类因子。该方案是实用的，并且在数值上，它的性能和比知名的自适应最小二乘方案的性能和更好。总体而言，我们的发现表明，当尺寸足够高时，MC采样非常适合平滑功能近似。因此，改进的采样策略的好处通常仅限于较低维度的设置。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

无监督的离散化是许多知识发现任务中的关键步骤。使用最小描述长度（MDL）原理局部自适应直方图的一维数据的最先进方法，但研究多维情况的研究要少得多：当前方法一次考虑一个尺寸（如果不是独立的），这导致基于自适应大小的矩形细胞的离散化。不幸的是，这种方法无法充分表征维度之间的依赖性和/或结果，包括由更多的单元（或垃圾箱）组成的离散化。为了解决这个问题，我们提出了一个表达模型类，该类别允许对二维数据进行更灵活的分区。我们扩展了一维情况的艺术状态，以基于归一化最大似然的形式获得模型选择问题。由于我们的模型类的灵活性是以巨大的搜索空间为代价的，因此我们引入了一种名为Palm的启发式算法，该算法将每个维度交替划分，然后使用MDL原理合并相邻区域。合成数据的实验表明，棕榈1）准确地揭示了模型类（即搜索空间）内的地面真相分区，给定的样本量足够大； 2）近似模型类外的各种分区； 3）收敛，与最先进的多元离散方法IPD相比。最后，我们将算法应用于三个空间数据集，我们证明，与内核密度估计（KDE）相比，我们的算法不仅揭示了更详细的密度变化，而且还可以更好地拟合看不见的数据，如日志流利性。