Vizier是Google的DeCACTO BlackBox和Hyper参数优化服务，它优化了Google一些最大的产品和研究工作。为了按照调整数千个用户的关键系统的规模运行，Google Vizier在提供多个不同的功能方面解决了关键的设计挑战，同时保持完全容忍。在本文中，我们介绍了基于Google内部Vizier基础架构和框架的基于Python的独立界面开源（OSS）Vizier。 OSS Vizier提供了一个能够定义和解决各种优化问题的API，包括多样性，早期停止，转移学习和条件搜索。此外，它被设计为可确保可靠性的分布式系统，并允许对用户的目标函数进行多次平行评估。基于RPC的灵活基础架构使用户可以从任何语言编写的二进制文件中访问OSS Vizier。 OSS Vizier还提供了一个后端（“ Pythia”）API，该API为算法作者提供了一种与Core OSS Vizier系统接口新算法的方法。 OSS Vizier可从https://github.com/google/vizier获得。
translated by 谷歌翻译
在开发和分析新的高参数优化方法时，在经过良好策划的基准套件上进行经验评估和比较至关重要。在这项工作中，我们提出了一套新的具有挑战性和相关的基准问题，这些问题是由此类基准测试的理想属性和要求所激发的。我们新的基于替代物的基准集合包含14个方案，这些方案总共构成了700多个多保体超参数优化问题，所有这些方案都可以实现多目标超参数优化。此外，我们从经验上将基于替代物的基准测试与更广泛的表格基准进行了比较，并证明后者可能会在HPO方法的性能排名中产生不忠实的结果。我们检查并比较了根据定义要求的基准收集，并提出了一个单目标和多目标基准套件，我们在基准实验中比较了7个单目标和7个多目标优化器。我们的软件可从[https://github.com/slds-lmu/yahpo_gym]获得。
translated by 谷歌翻译
黑匣子优化（BBO）具有广泛的应用，包括自动机器学习，工程，物理和实验设计。但是，在适用性，性能和效率方面，用户对用户将BBO方法应用于现有软件包的问题仍有挑战。在本文中，我们构建了OpenBox，开源和通用BBO服务，具有改进的可用性。OpenBox后面的模块化设计还有助于灵活的抽象和优化在其他现有系统中常见的基本BBO组件。OpenBox分布，容错和可扩展。为了提高效率，OpenBox进一步利用“算法不可知”并行化和转移学习。我们的实验结果表明，与现有系统相比，OpenBox的有效性和效率。
translated by 谷歌翻译
研究过程自动化 - 对科学仪器，计算机，数据存储和其他资源的可靠，高效和可重复执行的可靠，高效和可重复执行，这是现代科学的基本要素。我们在此处报告Globus研究数据管理平台内的新服务，该服务可以将各种研究过程的规范作为可重复使用的动作集，流量以及在异质研究环境中执行此类流动的集合。为了以广泛的空间范围（例如，从科学仪器到远程数据中心）和时间范围（从几秒钟到几周），这些Globus自动化服务功能：1）云托管以可靠地执行长期持久的流量，尽管零星的失败，但这些Globus自动化服务功能：1） ; 2）声明性符号和可扩展的异步行动提供商API，用于定义和执行涉及任意资源的各种行动和流动规范； 3）授权授权机制，用于安全调用动作。这些服务允许研究人员将广泛的研究任务的管理外包和自动化为可靠，可扩展和安全的云平台。我们向Globus自动化服务提供用例
translated by 谷歌翻译
超参数优化（HPO）和神经体系结构搜索（NAS）是获得一流的机器学习模型的选择，但实际上，它们的运行成本很高。当在大型数据集上培训模型时，即使采用了有效的多志愿方法，对从业者进行HPO或NAS的调整迅速昂贵。我们提出了一种方法，以应对在具有有限计算资源的大型数据集上培训的调整机器学习模型的挑战。我们的方法名为Pasha，能够根据需要动态分配最大资源为调整过程。实验比较表明，Pasha识别出良好的超参数配置和体系结构，同时消耗的计算资源明显少于ASHA等解决方案。
translated by 谷歌翻译
The purpose of this study is to introduce new design-criteria for next-generation hyperparameter optimization software. The criteria we propose include (1) define-by-run API that allows users to construct the parameter search space dynamically, (2) efficient implementation of both searching and pruning strategies, and (3) easy-to-setup, versatile architecture that can be deployed for various purposes, ranging from scalable distributed computing to light-weight experiment conducted via interactive interface. In order to prove our point, we will introduce Optuna, an optimization software which is a culmination of our effort in the development of a next generation optimization software. As an optimization software designed with define-by-run principle, Optuna is particularly the first of its kind. We will present the design-techniques that became necessary in the development of the software that meets the above criteria, and demonstrate the power of our new design through experimental results and real world applications. Our software is available under the MIT license (https://github.com/pfnet/optuna/).
translated by 谷歌翻译
传统的深度学习方法（DL）需要在中央服务器上收集和处理的培训数据，这些中央服务器通常在保健等隐私敏感域中挑战。为此，提出了一种新的学习范式，称为联合学习（FL），在解决隐私和数据所有权问题的同时将DL的潜力带到了这些域。 FL使远程客户端能够在保持数据本地时学习共享ML模型。然而，传统的FL系统面临多种挑战，例如可扩展性，复杂的基础设施管理，并且由于空闲客户端而被浪费的计算和产生的成本。 FL系统的这些挑战与无服务器计算和功能 - AS-Service（FAAS）平台旨在解决的核心问题密切对齐。这些包括快速可扩展性，无基础设施管理，自动缩放为空闲客户端，以及每次使用付费计费模型。为此，我们为无服务器FL展示了一个新颖的系统和框架，称为不发烟。我们的系统支持多个商业和自主主机的FAAS提供商，可以在机构数据中心和边缘设备上部署在云端，内部部署。据我们所知，我们是第一个能够在一大面料的异构FAAS提供商中启用FL，同时提供安全性和差异隐私等重要功能。我们展示了全面的实验，即使用我们的系统可以成功地培训多达200个客户功能的不同任务，更容易实现。此外，我们通过将其与传统的FL系统进行比较来证明我们的方法的实际可行性，并表明它可以更便宜，更资源效率更便宜。
translated by 谷歌翻译
比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。
translated by 谷歌翻译
现代软件系统和产品越来越依赖机器学习模型，以基于与用户和系统的交互进行数据驱动的决策，例如计算基础架构。对于更广泛的采用，这种做法必须（i）容纳没有ML背景的软件工程师，并提供（ii）提供优化产品目标的机制。在这项工作中，我们描述了一般原则和特定的端到端毫升平台，为决策和反馈集合提供易于使用的API。循环仪支持从在线数据收集到模拟培训，部署，推理的完整端到端ML生命周期，并扩展支持和调整产品目标的评估和调整。我们概述了平台架构和生产部署的整体影响 - 循环仪当前托管700毫升型号，每秒达到600万决定。我们还描述了学习曲线并总结了平台采用者的经验。
translated by 谷歌翻译
TensorFlow is a machine learning system that operates at large scale and in heterogeneous environments. Tensor-Flow uses dataflow graphs to represent computation, shared state, and the operations that mutate that state. It maps the nodes of a dataflow graph across many machines in a cluster, and within a machine across multiple computational devices, including multicore CPUs, generalpurpose GPUs, and custom-designed ASICs known as Tensor Processing Units (TPUs). This architecture gives flexibility to the application developer: whereas in previous "parameter server" designs the management of shared state is built into the system, TensorFlow enables developers to experiment with novel optimizations and training algorithms. TensorFlow supports a variety of applications, with a focus on training and inference on deep neural networks. Several Google services use TensorFlow in production, we have released it as an open-source project, and it has become widely used for machine learning research. In this paper, we describe the TensorFlow dataflow model and demonstrate the compelling performance that Tensor-Flow achieves for several real-world applications.
translated by 谷歌翻译
数据库中的部署机学习（ML）算法是由于现代ML算法的不同计算脚印和多数数据库技术的挑战，每个数据库技术都具有自己的限制性语法。我们介绍了一个基于Apache Spark的微服务编排框架，其扩展了数据库操作以包含Web服务基元。我们的系统可以协调数百台机器的Web服务，并充分利用群集，线程和异步并行性。使用此框架，我们为智能服务提供大规模客户端，如语音，视觉，搜索，异常检测和文本分析。这允许用户将随意使用的智能集成到具有Apache Spark连接器的任何数据存储器中。为了消除网络通信的大多数开销，我们还引入了我们架构的低延迟集装箱版本。最后，我们证明我们调查的服务在各种基准上具有竞争力，并在此框架中展示了两个应用程序来创建智能搜索引擎和实时自动竞赛分析系统。
translated by 谷歌翻译
我们为AI驱动数据库提供了一个SYSML框架。使用Baihe，可能会改装现有的关系数据库系统以使用学习组件进行查询优化或其他常见任务，例如例如，学习索引结构。为确保Baihe的实用性和现实世界适用性，其高级架构基于以下要求：与核心系统的分离，最小的第三方依赖，鲁棒性，稳定性和容错，以及稳定性和可配置性。基于高级架构，我们将描述Baihe的具体实现PostgreSQL，并为学习查询优化器提供了实例使用情况。为了服务于从业者，以及DB和AI4DB社区的研究人员将在开源许可下发布PostgreSQL的Baihe。
translated by 谷歌翻译
上下文：大数据的有效处理是SQL和NOSQL数据库的一项具有挑战性的任务，在这种数据库中，有效的软件体系结构起着至关重要的作用。 SQL数据库设计用于构建数据和支持垂直可扩展性。相反，水平可伸缩性由NOSQL数据库支持，并且可以有效地处理较大的非结构化数据。可以根据组织的需求选择正确的范式；但是，做出正确的选择通常可能具有挑战性。 SQL和NOSQL数据库遵循不同的体系结构。同样，混合模型之后是NOSQL数据库的每个类别。因此，对于多个云服务提供商（CSP）的云消费者来说，数据移动变得困难。此外，每个云平台IAAS，PAAS，SaaS和DBAAS还监视各种范式。目的：该系统文献综述（SLR）旨在研究与SQL和NOSQL数据库软件体系结构相关的相关文章，并解决各种云平台之间的数据可移植性和互操作性。最新的状态通过观察缩放，性能，可用性，一致性和分片特性，介绍了SQL和NOSQL数据库的许多性能比较研究。根据研究研究，NOSQL数据库设计的结构可以是大数据分析的正确选择，而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据流动相关的方法。开发了基于平台的API，这使用户的数据移动变得困难。因此，在跨多个CSP的数据移动期间发现了数据可移植性和互操作性问题。为了最大程度地减少开发人员的努力和互操作性，要求统一的API使数据移动在各种云平台之间相对易于访问。
translated by 谷歌翻译
尽管加权套索回归具有吸引力的统计保障，但由于其复杂的搜索空间，通常避免了已有数千个Quand参与的。另一方面，具有用于黑盒功能的高维HPO方法的最新进展表明，高维应用确实可以有效地优化。尽管这一初步成功，但高维HPO方法通常应用于具有适度数量的合成问题，这些尺寸限制了其对科学和工程应用的影响。为了解决这一限制，我们提出了一个新的基准套件，这是一个在卢赛社区中的一个重要的开放研究主题量身定制的，这是加权套索回归。 Lassobench由受良好控制的合成设置（样本，SNR，环境和有效维度以及多维保真度）和现实世界数据集组成的基准，这使得能够利用许多HPO算法来改进和扩展到高维设置。我们评估了5种最先进的HPO方法和3个基线，并表明贝叶斯优化可以改善通常用于稀疏回归的方法，同时突出显示这些框架在非常高的框架中的限制。值得注意的是，贝叶斯优化分别将60,100,300和1000个尺寸问题的卢斯基线分别改善了45.7％，19.2％，19.7％和15.5％。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
该项目旨在使用称为KubeFlow [1]的开源工具（端到端ML堆栈编排工具包）探索在Kubernetes上部署机器学习模型的过程。我们以管道形式创建端到端的机器学习模型，并分析各个点，包括设置，部署模型，性能，限制，限制和功能。我们希望我们的项目几乎像一个研讨会/入门报告一样，可以帮助Vanilla Cloud/Kubernetes用户对KubeFlow的零知识使用KubeFlow来部署ML模型。从不同的云上的设置到通过互联网提供训练有素的模型 - 我们提供详细信息和指标，详细介绍KubeFlow的性能。
translated by 谷歌翻译
机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。
translated by 谷歌翻译
Federated Learning is a distributed machine learning approach which enables model training on a large corpus of decentralized data. We have built a scalable production system for Federated Learning in the domain of mobile devices, based on TensorFlow. In this paper, we describe the resulting high-level design, sketch some of the challenges and their solutions, and touch upon the open problems and future directions.
translated by 谷歌翻译
联合学习（FL）作为边缘设备的有希望的技术，以协作学习共享预测模型，同时保持其训练数据，从而解耦了从需要存储云中的数据的机器学习的能力。然而，在规模和系统异质性方面，FL难以现实地实现。虽然有许多用于模拟FL算法的研究框架，但它们不支持在异构边缘设备上进行可扩展的流程。在本文中，我们呈现花 - 一种全面的FL框架，通过提供新的设施来执行大规模的FL实验并考虑丰富的异构流程来区分现有平台。我们的实验表明花卉可以仅使用一对高端GPU在客户尺寸下进行FL实验。然后，研究人员可以将实验无缝地迁移到真实设备中以检查设计空间的其他部分。我们认为花卉为社区提供了一个批判性的新工具，用于研究和发展。
translated by 谷歌翻译
由于机器学习（ML）技术和应用正在迅速改变许多计算领域，以及与ML相关的安全问题也在出现。在系统安全领域中，已经进行了许多努力，以确保ML模型和数据机密性。ML计算通常不可避免地在不受信任的环境中执行，并因此需要复杂的多方安全要求。因此，研究人员利用可信任的执行环境（TEES）来构建机密ML计算系统。本文通过在不受信任的环境中分类攻击向量和缓解攻击载体和缓解来进行系统和全面的调查，分析多方ML安全要求，并讨论相关工程挑战。
translated by 谷歌翻译