本文的主要目标是概述一个理论框架，以在不确定性下表征人类的决策策略，特别是在黑匣子优化任务和信息收集之间的交易（勘探）和奖励之间的交易（剥削） 。人类根据这两个目标做出的决定可以在帕累托合理性方面进行建模。如果决策集包含帕累托有效的策略，则理性决策者应始终通过其占主导地位的替代方案选择主导战略。距离帕累托前沿的距离决定了选择是帕累托的理性。要收集有关人类策略的数据，我们使用了显示游戏领域的游戏应用程序，以前的决定和观察以及获得的分数。本文中的关键要素是人类学习者的行为模式作为离散概率分布的表现。这将人类行为的表征映射到其元素是由直方图之间的距离构成的概率分布的空间的问题，即Wassersein距离（WST）。分布分析对人类搜索策略的新见解及其与帕累托合理性的偏差。由于不确定性是定义帕累托前沿的两个目标之一，因此已经进行了三种不同的不确定性量化措施，以确定哪个更好地解释普通的行为模式。除了对单个模式的分析，WST还支持计算重心和WST K-MERIAL聚类的全局分析。决策树已经进行了进一步的分析，以涉及非帕氏人的行为，其特征在于恼怒的利用，以奖励寻求过程的演变的动态。

可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。

Gaussian Process regression is a kernel method successfully adopted in many real-life applications. Recently, there is a growing interest on extending this method to non-Euclidean input spaces, like the one considered in this paper, consisting of probability measures. Although a Positive Definite kernel can be defined by using a suitable distance -- the Wasserstein distance -- the common procedure for learning the Gaussian Process model can fail due to numerical issues, arising earlier and more frequently than in the case of an Euclidean input space and, as demonstrated in this paper, that cannot be avoided by adding artificial noise (nugget effect) as usually done. This paper uncovers the main reason of these issues, that is a non-stationarity relationship between the Wasserstein-based squared exponential kernel and its Euclidean-based counterpart. As a relevant result, the Gaussian Process model is learned by assuming the input space as Euclidean and then an algebraic transformation, based on the uncovered relation, is used to transform it into a non-stationary and Wasserstein-based Gaussian Process model over probability measures. This algebraic transformation is simpler than log-exp maps used in the case of data belonging to Riemannian manifolds and recently extended to consider the pseudo-Riemannian structure of an input space equipped with the Wasserstein distance.

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

本文重点介绍了具有高输出方差的随机模拟器的多目标优化，其中输入空间是有限的，并且目标函数的评估昂贵。我们依靠贝叶斯优化算法，这些算法使用概率模型来对要优化的功能进行预测。所提出的方法是用于估计帕累托最佳溶液的帕累托主动学习（PAL）算法的扩展，该算法使其适合随机环境。我们将其命名为随机模拟器（PAL）的Pareto主动学习。通过数值实验对一组双维，双目标测试问题进行数值实验评估了PAL的表现。与其他基于标量的和随机搜索的方法相比，PAL表现出卓越的性能。

由于强烈的非线性系统行为和多个竞争目标，能源系统优化问题很复杂，例如，经济增益与环境影响。此外，大量输入变量和不同的变量类型，例如，连续和分类，是现实世界应用中常见的挑战。在某些情况下，提出的最佳解决方案需要遵守与物理性质或安全关键操作条件相关的显式输入限制。本文提出了一种新的数据驱动策略，使用树集合用于对黑匣子问题的约束多目标优化，与模型或未知的基础系统动态太复杂的异构变量空间。在由合成基准和相关能源应用组成的广泛案例研究中，我们展示了与其他最先进的工具相比，所提出的算法的竞争性能和采样效率，使其成为一个有用的全能解决方案 - 世界申请有限评价预算。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

黑框模型的鲁棒性研究被认为是基于结构方程和从数据中学到的预测模型的数值模型的必要任务。这些研究必须评估模型的鲁棒性，以实现其输入的可能错误指定（例如，协变量转移）。通过不确定性定量（UQ）的棱镜对黑盒模型的研究通常基于涉及输入上施加的概率结构的灵敏度分析，而ML模型仅由观察到的数据构建。我们的工作旨在通过为这两个范式提供相关且易于使用的工具来统一UQ和ML可解释性方法。为了为鲁棒性研究提供一个通用且易于理解的框架，我们定义了依赖于概率指标之间的瓦斯汀距离的分位数约束和投影的输入信息的扰动，同时保留其依赖性结构。我们表明，可以通过分析解决这个扰动问题。通过等渗多项式近似确保规律性约束会导致更平滑的扰动，这在实践中可能更适合。从UQ和ML领域进行的实际案例研究的数值实验突出了此类研究的计算可行性，并提供了对黑盒模型鲁棒性的局部和全球见解，以输入扰动。

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

贝叶斯优化（BO）算法在涉及昂贵的黑盒功能的应用中表现出了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过采集函数和先前的功能（例如高斯过程）来估计查询点的实用性。然而，最近，通过密度比率估计（BORE）对BO进行重新制定允许将采集函数重新诠释为概率二进制分类器，从而消除了对函数的显式先验和提高可伸缩性的需求。在本文中，我们介绍了对孔的遗憾和算法扩展的理论分析，并提高了不确定性估计。我们还表明，通过将问题重新提交为近似贝叶斯推断，可以自然地扩展到批处理优化设置。所得算法配备了理论性能保证，并在一系列实验中对其他批处理基本线进行了评估。

贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

贝叶斯优化已被证明是优化昂贵至尊评估系统的有效方法。然而，根据单一观察的成本，一个或多个目标的多维优化可能仍然是昂贵的。多保真优化通过包括多个更便宜的信息来源，例如数值模拟中的低分辨率近似来解决这个问题。用于多保真优化的采集功能通常基于勘探重算法，这些算法难以与多种目标的优化结合。在这里，我们认为预期的超越改善政策可以在许多情况下作为合适的替代品起作用。我们通过两步评估或在单个采集函数内纳入评估成本，额外的保真相关目标。这允许同时多目标和多保真优化，这允许以分数成本准确地建立帕累托集和前部。基准显示成本降低了一个数量级或更多的顺序。因此，我们的方法允许极其膨胀的黑盒功能进行静态优化。在现有的优化贝叶斯优化框架中实现了本方法简单且直接，可以立即扩展到批量优化。该技术还可用于组合不同的连续和/或离散保真度尺寸，这使得它们特别相关地与等离子体物理，流体动力学和许多科学计算分支中的模拟问题相关。