比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
在开发和分析新的高参数优化方法时，在经过良好策划的基准套件上进行经验评估和比较至关重要。在这项工作中，我们提出了一套新的具有挑战性和相关的基准问题，这些问题是由此类基准测试的理想属性和要求所激发的。我们新的基于替代物的基准集合包含14个方案，这些方案总共构成了700多个多保体超参数优化问题，所有这些方案都可以实现多目标超参数优化。此外，我们从经验上将基于替代物的基准测试与更广泛的表格基准进行了比较，并证明后者可能会在HPO方法的性能排名中产生不忠实的结果。我们检查并比较了根据定义要求的基准收集，并提出了一个单目标和多目标基准套件，我们在基准实验中比较了7个单目标和7个多目标优化器。我们的软件可从[https://github.com/slds-lmu/yahpo_gym]获得。
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。
translated by 谷歌翻译
机器学习研究取决于客观解释，可比和可重复的算法基准。我们倡导使用策划，全面套房的机器学习任务，以标准化基准的设置，执行和报告。我们通过帮助创建和利用这些基准套件的软件工具来实现这一目标。这些无缝集成到OpenML平台中，并通过Python，Java和R. OpenML基准套件（A）的接口访问，易于使用标准化的数据格式，API和客户端库; （b）附带的数据集具有广泛的元信息; （c）允许在未来的研究中共享和重复使用基准。然后，我们为分类提供了一个仔细的策划和实用的基准测试套件：OpenML策划分类基准测试套件2018（OpenML-CC18）。最后，我们讨论了使用案例和应用程序，这些案例和应用程序尤其展示了OpenML基准套件和OpenML-CC18的有用性。
translated by 谷歌翻译
为了实现峰值预测性能，封路计优化（HPO）是机器学习的重要组成部分及其应用。在过去几年中，HPO的有效算法和工具的数量大幅增加。与此同时，社区仍缺乏现实，多样化，计算廉价和标准化的基准。这是多保真HPO方法的情况。为了缩短这个差距，我们提出了HPoBench，其中包括7个现有和5个新的基准家庭，共有100多个多保真基准问题。 HPobench允许以可重复的方式运行该可扩展的多保真HPO基准，通过隔离和包装容器中的各个基准。它还提供了用于计算实惠且统计数据的评估的代理和表格基准。为了展示HPoBench与各种优化工具的广泛兼容性，以及其有用性，我们开展了一个来自6个优化工具的13个优化器的示例性大规模研究。我们在这里提供HPobench：https://github.com/automl/hpobench。
translated by 谷歌翻译
我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。
translated by 谷歌翻译
自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。
translated by 谷歌翻译
我们提出了TABPFN，这是一种与小型表格数据集上的最新技术竞争性的自动化方法，而更快的速度超过1,000美元。我们的方法非常简单：它完全符合单个神经网络的权重，而单个正向通行证直接产生了对新数据集的预测。我们的AutoML方法是使用基于变压器的先验数据拟合网络（PFN）体系结构进行元学习的，并近似贝叶斯推断，其先验是基于简单性和因果结构的假设。先验包含庞大的结构性因果模型和贝叶斯神经网络，其偏见是小体系结构，因此复杂性较低。此外，我们扩展了PFN方法以在实际数据上校准Prior的超参数。通过这样做，我们将抽象先前的假设与对真实数据的启发式校准分开。之后，修复了校准的超参数，并在按钮按钮时可以将TABPFN应用于任何新的表格数据集。最后，在OpenML-CC18套件的30个数据集上，我们表明我们的方法优于树木，并与复杂的最新Automl系统相同，并且在不到一秒钟内产生的预测。我们在补充材料中提供所有代码和最终训练的TABPFN。
translated by 谷歌翻译
无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。
translated by 谷歌翻译
机器学习（ML）提供了在具有较大特征空间和复杂关联的数据中通常在数据中检测和建模关联的强大方法。已经开发了许多有用的工具/软件包（例如Scikit-learn），以使数据处理，处理，建模和解释的各种要素可访问。但是，对于大多数研究人员来说，将这些元素组装成严格，可复制，无偏见和有效的数据分析管道并不是微不足道的。自动化机器学习（AUTOML）试图通过简化所有人的ML分析过程来解决这些问题。在这里，我们介绍了一个简单，透明的端到端汽车管道，设计为一个框架，以轻松进行严格的ML建模和分析（最初限于二进制分类）。 Streamline专门设计用于比较数据集，ML算法和其他AutoML工具之间的性能。通过使用精心设计的一系列管道元素，通过提供完全透明且一致的比较基线，它是独特的，包括：（1）探索性分析，（2）基本数据清洁，（3）交叉验证分区，（4）数据缩放和插补，（5）基于滤波器的特征重要性估计，（6）集体特征选择，（7）通过15个已建立算法的“ Optuna”超参数优化的ML建模（包括较不知名的基因编程和基于规则的ML ），（8）跨16个分类指标的评估，（9）模型特征重要性估计，（10）统计显着性比较，以及（11）自动导出所有结果，图，PDF摘要报告以及可以轻松应用于复制数据。
translated by 谷歌翻译
自动化机器学习（Automl）努力自动配置机器学习算法及其组合的整体（软件）解决方案 - 机器学习管道 - 针对手头的学习任务（数据集）量身定制。在过去十年中，Automl已成为具有数百个贡献的热门研究课题。虽然Automl提供了许多前景，但也称它也是相当资源密集的，这是其主要批评的主要观点之一。高资源消耗的主要原因是许多方法依赖于许多ML管道的（昂贵）评估，同时寻找良好的候选者。由于使用许多数据集和方法进行了大规模实验，因此在Automl方法研究的背景下放大了这个问题，每个数据都是用几种重复来排除随机效应的几个重复的实验。本文阐述了最近的绿色AI的精神，是为了提高对问题的自动化研究人员的意识，并详细阐述可能的补救措施。为此，我们确定了四类行动，社区可能采取更加可持续的自动化计划，即接近设计，基准，研究激励和透明度。
translated by 谷歌翻译
本文报告了Chalearn的Autodl挑战系列的结果和后攻击分析，这有助于对自动学习（DL）进行分类，以便在各种环境中引入的深度学习（DL），但缺乏公平的比较。格式化所有输入数据模型（时间序列，图像，视频，文本，表格）作为张量，所有任务都是多标签分类问题。代码提交已在隐藏的任务上执行，具有限制时间和计算资源，推动快速获取结果的解决方案。在此设置中，DL方法占主导地位，但流行的神经结构搜索（NAS）是不切实际的。解决方案依赖于微调预培训的网络，架构匹配数据模块。挑战后测试没有透露超出强加时间限制的改进。虽然没有组件尤其原始或新颖，但是一个高级模块化组织出现了“Meta-Learner”，“数据摄入”，“模型选择器”，“模型/学习者”和“评估员”。这种模块化使得消融研究，揭示了（离坡）元学习，合奏和高效数据管理的重要性。异构模块组合的实验进一步证实了获胜解决方案的（本地）最优性。我们的挑战队遗产包括一个持久的基准（http://utodl.chalearn.org），获胜者的开放源代码，以及免费的“autodl自助服务”。
translated by 谷歌翻译
自动化机器学习（AutomL）的基本任务是在给定数据集中自动查找流量的流水线的问题。此问题已通过贝叶斯优化，语法族遗传算法和树搜索算法等复杂的黑盒优化技术来解决了这个问题。大多数当前方法都是通过假设优化分离的管道的组分可以产生次优效果。我们展示了天真的Automl，这一方法确实如此：它可以在隔离中优化预定义的流水线方案的不同算法。最后返回的管道通过仅采用每个插槽的最佳算法获得。孤立的优化导致大幅减少的搜索空间，并且令人惊讶地，这种方法产生比目前最先进的优化器的相当且有时更好的性能。
translated by 谷歌翻译
端到端的Automl吸引了学术界和行业的密集兴趣，它们在功能工程，算法/模型选择和超参数调整引起的空间中自动搜索ML管道。但是，现有的Automl系统在适用于具有较大高维搜索空间的应用程序域时会遇到可伸缩性问题。我们提出了火山洛（Volcanoml），这是一个可扩展且可扩展的框架，可促进对大型汽车搜索空间的系统探索。 Volcanoml引入并实施了将大型搜索空间分解为较小的基本构建块，并允许用户利用这些构建块来制定手头上的汽车问题的执行计划。 Volcanoml进一步支持火山风格的执行模型（类似于现代数据库系统支持的模型）来执行构建的计划。我们的评估表明，不仅火山团提高了汽车中搜索空间分解的表达水平，还导致了分解策略的实际发现，这些发现比先进的自动符号系统所采用的策略更有效率地更加有效。作为自动滑雪。
translated by 谷歌翻译
异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。
translated by 谷歌翻译
如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。
translated by 谷歌翻译
本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。
translated by 谷歌翻译
算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译