自动化机器学习（AUTOML）比以往任何时候都多，以支持用户确定有效的超参数，神经体系结构，甚至是完整的机器学习管道。但是，由于缺乏透明度，用户倾向于不信任优化过程及其结果，因此手动调整仍然广泛。我们介绍了DeepCave，这是一个交互式框架，可轻松和临时分析和监视最新的优化程序。通过旨在实现完全且可访问的透明度，DeepCave在用户和Automl之间建立了桥梁，并有助于建立信任。我们的框架模块化且易于扩展的自然可以为用户提供自动生成的文本，表和图形可视化。我们显示了DeepCave在示例性检测的示例用例中的价值，在该示例性用途中，我们的框架使您易于识别问题，比较多个运行并解释优化过程。该软件包可在github https://github.com/automl/deepcave上免费获得。
translated by 谷歌翻译
比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
近年来，自动化机器学习（AUTOML），尤其是自动化深度学习（AUTODL）系统的效率得到了极大提高，但最近的工作着重于表格，图像或NLP任务。到目前为止，尽管在将不同的新颖体系结构应用于此类任务方面取得了巨大的成功，但对时间序列预测的一般自动编号框架几乎没有关注。在本文中，我们提出了一种有效的方法，用于对时间序列预测的整个数据处理管道的神经结构和超参数的联合优化。与常见的NAS搜索空间相反，我们设计了一个新型的神经体系结构搜索空间，涵盖了各种最新的架构，从而可以对不同的DL方法进行有效的宏观搜索。为了在如此大的配置空间中有效搜索，我们将贝叶斯优化使用多保真优化。我们从经验上研究了几种不同的预算类型，可在不同的预测数据集上进行有效的多保真优化。此外，我们将所得的系统（称为\ System）与几个已建立的基线进行了比较，并表明它在几个数据集中大大优于所有基准。
translated by 谷歌翻译
黑匣子优化（BBO）具有广泛的应用，包括自动机器学习，工程，物理和实验设计。但是，在适用性，性能和效率方面，用户对用户将BBO方法应用于现有软件包的问题仍有挑战。在本文中，我们构建了OpenBox，开源和通用BBO服务，具有改进的可用性。OpenBox后面的模块化设计还有助于灵活的抽象和优化在其他现有系统中常见的基本BBO组件。OpenBox分布，容错和可扩展。为了提高效率，OpenBox进一步利用“算法不可知”并行化和转移学习。我们的实验结果表明，与现有系统相比，OpenBox的有效性和效率。
translated by 谷歌翻译
As a result of the ever increasing complexity of configuring and fine-tuning machine learning models, the field of automated machine learning (AutoML) has emerged over the past decade. However, software implementations like Auto-WEKA and Auto-sklearn typically focus on classical machine learning (ML) tasks such as classification and regression. Our work can be seen as the first attempt at offering a single AutoML framework for most problem settings that fall under the umbrella of multi-target prediction, which includes popular ML settings such as multi-label classification, multivariate regression, multi-task learning, dyadic prediction, matrix completion, and zero-shot learning. Automated problem selection and model configuration are achieved by extending DeepMTP, a general deep learning framework for MTP problem settings, with popular hyperparameter optimization (HPO) methods. Our extensive benchmarking across different datasets and MTP problem settings identifies cases where specific HPO methods outperform others.
translated by 谷歌翻译
为了实现峰值预测性能，封路计优化（HPO）是机器学习的重要组成部分及其应用。在过去几年中，HPO的有效算法和工具的数量大幅增加。与此同时，社区仍缺乏现实，多样化，计算廉价和标准化的基准。这是多保真HPO方法的情况。为了缩短这个差距，我们提出了HPoBench，其中包括7个现有和5个新的基准家庭，共有100多个多保真基准问题。 HPobench允许以可重复的方式运行该可扩展的多保真HPO基准，通过隔离和包装容器中的各个基准。它还提供了用于计算实惠且统计数据的评估的代理和表格基准。为了展示HPoBench与各种优化工具的广泛兼容性，以及其有用性，我们开展了一个来自6个优化工具的13个优化器的示例性大规模研究。我们在这里提供HPobench：https://github.com/automl/hpobench。
translated by 谷歌翻译
自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。
translated by 谷歌翻译
域和部署设置的机器学习模型的快速增殖使各种社区（例如行业从业人员）引起，该社区寻求跨个人价值的任务和目标的基准模型。不幸的是，这些用户不能使用标准基准导致执行如传统基准的价值驱动的比较，因为传统的基准在单个目标（例如平均精度）上评估模型，并且无法促进控制混淆变量（例如计算预算）的标准化训练框架（例如计算预算），使公平比较困难。为解决这些挑战，我们介绍了开源Ludwig基准测试工具包（LBT），一个个性化基准工具包，用于运行端到端的基准研究（从超级计量优化到评估），跨易于扩展的任务，深度学习模型，数据集和评估指标。 LBT提供了一种可配置的界面，用于控制培训和定制评估，是消除混淆变量的标准化培训框架，以及支持多目标评估。我们展示LBT如何用于创建个性化基准研究，具有7个模型和9个数据集的文本分类的大规模比较分析。我们探讨推理延迟和性能之间的权衡，数据集属性和性能之间的关系，以及预先介绍对融合和鲁棒性的影响，展示了LBT如何用于满足各种基准测试目标。
translated by 谷歌翻译
在过去几年中，自动化机器学习（AUTOML）工具的普及有所增加。机器学习（ML）从业人员使用自动工具来自动化和优化功能工程，模型培训和超参数优化的过程。最近的工作对从业人员使用汽车工具的经验进行了定性研究，并根据其性能和提供的功能比较了不同的汽车工具，但是现有的工作都没有研究在大规模实际项目中使用Automl工具的实践。因此，我们进行了一项实证研究，以了解ML从业者如何在其项目中使用汽车工具。为此，我们在GitHub上托管的大量开源项目存储库中研究了最常用的十大汽车工具及其各自的用法。我们研究的结果表明1）ML从业人员主要使用哪种汽车工具，以及2）使用这些汽车工具的存储库的特征。此外，我们确定了使用Automl工具的目的（例如，模型参数采样，搜索空间管理，模型评估/错误分析，数据/功能转换和数据标记）以及ML管道的阶段（例如功能工程）使用工具。最后，我们报告在同一源代码文件中使用Automl工具的频率。我们希望我们的结果可以帮助ML从业人员了解不同的汽车工具及其使用情况，以便他们可以为其目的选择正确的工具。此外，Automl工具开发人员可以从我们的发现中受益，以深入了解其工具的用法并改善其工具以更好地适合用户的用法和需求。
translated by 谷歌翻译
算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译
基准和性能分析在理解迭代优化启发式（IOHS）的行为中发挥着重要作用，例如本地搜索算法，遗传和进化算法，贝叶斯优化算法等。然而，这项任务涉及手动设置，执行和分析实验单独的基础，这是艰苦的，可以通过通用和设计精心设计的平台来缓解。为此，我们提出了Iohanalyzer，一种用于分析，比较和可视化IOH的性能数据的新用户友好的工具。在R和C ++中实现，Iohanalyzer是完全开源的。它可以在Cran和GitHub上获得。 Iohanalyzer提供有关固定目标运行时间的详细统计信息以及具有实际值的Codomain，单目标优化任务的基准算法的固定预算性能。例如，在多个基准问题上的性能聚合是可能的，例如以经验累积分布函数的形式。 Iohanalyzer在其他性能分析包上的主要优点是其高度交互式设计，允许用户指定对其实验最有用的性能测量，范围和粒度，以及不仅分析性能迹线，还可以分析演变动态状态参数。 Iohanalyzer可以直接从主基准平台处理性能数据，包括Coco平台，JOVERRAD，SOS平台和iohExperenter。提供R编程接口，供用户更倾向于对实现的功能进行更精细的控制。
translated by 谷歌翻译
我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。
translated by 谷歌翻译
过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。
translated by 谷歌翻译
Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.
translated by 谷歌翻译
装袋和升压是在机器学习（ml）中的两个流行的集合方法，产生许多单独的决策树。由于这些方法的固有组合特性，它们通常以预测性能更优于单决定树或其他ML模型。然而，为每个决策树生成许多决定路径，增加了模型的整体复杂性，并阻碍了其在需要值得信赖和可解释的决策的域中的域，例如金融，社会护理和保健。因此，随着决策的数量升高，袋装和升降算法（例如随机森林和自适应升压）的解释性降低。在本文中，我们提出了一种视觉分析工具，该工具旨在帮助用户通过彻底的视觉检查工作流程从这种ML模型中提取决策，包括选择一套鲁棒和不同的模型（源自不同的集合学习算法），选择重要的功能根据他们的全球贡献，决定哪些决定对于全球解释（或本地，具体案件）是必不可少的。结果是基于多个模型的协议和用户出口的探索手动决策的最终决定。最后，我们通过用例，使用场景和用户学习评估患者的适用性和有效性。
translated by 谷歌翻译
自动化机器学习（Automl）努力自动配置机器学习算法及其组合的整体（软件）解决方案 - 机器学习管道 - 针对手头的学习任务（数据集）量身定制。在过去十年中，Automl已成为具有数百个贡献的热门研究课题。虽然Automl提供了许多前景，但也称它也是相当资源密集的，这是其主要批评的主要观点之一。高资源消耗的主要原因是许多方法依赖于许多ML管道的（昂贵）评估，同时寻找良好的候选者。由于使用许多数据集和方法进行了大规模实验，因此在Automl方法研究的背景下放大了这个问题，每个数据都是用几种重复来排除随机效应的几个重复的实验。本文阐述了最近的绿色AI的精神，是为了提高对问题的自动化研究人员的意识，并详细阐述可能的补救措施。为此，我们确定了四类行动，社区可能采取更加可持续的自动化计划，即接近设计，基准，研究激励和透明度。
translated by 谷歌翻译
贝叶斯优化已被证明是优化昂贵至尊评估系统的有效方法。然而，根据单一观察的成本，一个或多个目标的多维优化可能仍然是昂贵的。多保真优化通过包括多个更便宜的信息来源，例如数值模拟中的低分辨率近似来解决这个问题。用于多保真优化的采集功能通常基于勘探重算法，这些算法难以与多种目标的优化结合。在这里，我们认为预期的超越改善政策可以在许多情况下作为合适的替代品起作用。我们通过两步评估或在单个采集函数内纳入评估成本，额外的保真相关目标。这允许同时多目标和多保真优化，这允许以分数成本准确地建立帕累托集和前部。基准显示成本降低了一个数量级或更多的顺序。因此，我们的方法允许极其膨胀的黑盒功能进行静态优化。在现有的优化贝叶斯优化框架中实现了本方法简单且直接，可以立即扩展到批量优化。该技术还可用于组合不同的连续和/或离散保真度尺寸，这使得它们特别相关地与等离子体物理，流体动力学和许多科学计算分支中的模拟问题相关。
translated by 谷歌翻译
尽管自动超参数优化（HPO）的所有好处，但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置，减少对HPO的信任，从而阻碍其广泛采用的决策过程。在这里，我们研究了HPO与可解释的机器学习（IML）方法（例如部分依赖图）的组合。但是，如果将这种方法天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法，该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明我们的方法返回对基础黑盒的更可靠的解释，而不会损失优化性能。
translated by 谷歌翻译