我们展示IohexPerimener，Iohprofiler项目的实验模块，旨在为基准测试迭代优化启发式提供易于使用和高度可定制的工具箱，例如进化和遗传算法，本地搜索算法，贝叶斯优化技术等。Iohexperimenter可以用作独立工具或作为基准管道的一部分，用于使用IOHPOFILER（如IOHANALYZER）的其他组件，该模块用于交互式性能分析​​和可视化。 iohExperimenter在优化问题和求解器之间提供了有效的接口，同时允许优化过程的粒度测井。这些日志与现有的交互式数据分析工具完全兼容，这显着加快了基准管道的部署。 iohexperimener的主要组成部分是构建定制的问题套件和各种日志记录选项的环境，允许用户转向数据记录的粒度。

基准和性能分析在理解迭代优化启发式（IOHS）的行为中发挥着重要作用，例如本地搜索算法，遗传和进化算法，贝叶斯优化算法等。然而，这项任务涉及手动设置，执行和分析实验单独的基础，这是艰苦的，可以通过通用和设计精心设计的平台来缓解。为此，我们提出了Iohanalyzer，一种用于分析，比较和可视化IOH的性能数据的新用户友好的工具。在R和C ++中实现，Iohanalyzer是完全开源的。它可以在Cran和GitHub上获得。 Iohanalyzer提供有关固定目标运行时间的详细统计信息以及具有实际值的Codomain，单目标优化任务的基准算法的固定预算性能。例如，在多个基准问题上的性能聚合是可能的，例如以经验累积分布函数的形式。 Iohanalyzer在其他性能分析包上的主要优点是其高度交互式设计，允许用户指定对其实验最有用的性能测量，范围和粒度，以及不仅分析性能迹线，还可以分析演变动态状态参数。 Iohanalyzer可以直接从主基准平台处理性能数据，包括Coco平台，JOVERRAD，SOS平台和iohExperenter。提供R编程接口，供用户更倾向于对实现的功能进行更精细的控制。

机器学习研究取决于客观解释，可比和可重复的算法基准。我们倡导使用策划，全面套房的机器学习任务，以标准化基准的设置，执行和报告。我们通过帮助创建和利用这些基准套件的软件工具来实现这一目标。这些无缝集成到OpenML平台中，并通过Python，Java和R. OpenML基准套件（A）的接口访问，易于使用标准化的数据格式，API和客户端库; （b）附带的数据集具有广泛的元信息; （c）允许在未来的研究中共享和重复使用基准。然后，我们为分类提供了一个仔细的策划和实用的基准测试套件：OpenML策划分类基准测试套件2018（OpenML-CC18）。最后，我们讨论了使用案例和应用程序，这些案例和应用程序尤其展示了OpenML基准套件和OpenML-CC18的有用性。

比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。

RobowFlex是一个用于工业和研究应用程序机器人运动计划的软件库，利用流行的MoveIt库和机器人操作系统（ROS）中间件。 RobowFlex提供了一个增强的API，用于在单个程序中进行制作和操纵运动计划查询，从而使MoveIt的运动计划变得容易。 RobowFlex的高级API简化了许多常见的用例，同时仍可以在需要时提供对MoveIt库的低级访问。 RobOwFlex对于1）制定新运动计划者，2）评估运动计划者以及3）使用运动计划作为子例程（例如任务和运动计划）的复杂问题。 RobOwFlex还提供可视化功能，其他机器人库（例如Dart和Tesseract）的集成，并与其他机器人包互补。在我们的库中，用户无需成为ROS或MoveIT的专家即可设置运动计划查询，从结果中提取信息以及直接与各种软件组件接口。我们通过几个示例用例证明了它的功效。

This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

自动化机器学习（AUTOML）比以往任何时候都多，以支持用户确定有效的超参数，神经体系结构，甚至是完整的机器学习管道。但是，由于缺乏透明度，用户倾向于不信任优化过程及其结果，因此手动调整仍然广泛。我们介绍了DeepCave，这是一个交互式框架，可轻松和临时分析和监视最新的优化程序。通过旨在实现完全且可访问的透明度，DeepCave在用户和Automl之间建立了桥梁，并有助于建立信任。我们的框架模块化且易于扩展的自然可以为用户提供自动生成的文本，表和图形可视化。我们显示了DeepCave在示例性检测的示例用例中的价值，在该示例性用途中，我们的框架使您易于识别问题，比较多个运行并解释优化过程。该软件包可在github https://github.com/automl/deepcave上免费获得。

我们提出了Caisar，这是一个正在积极开发的开源平台，以表征AI Systems的鲁棒性和安全性。Caisar提供了一个统一的入口点，用于使用WhyML（Why3验证平台的成熟和表达语言）来定义验证问题。此外，Caisar协调并创建了最先进的机器学习验证工具，该工具单独无法有效地处理所有问题，但总体可以涵盖越来越多的属性。我们的目的是一方面，通过减少选择针对给定验证问题量身定制的方法的负担来协助V \＆v流程，另一方面描述一个平台。CAISAR很快将在https://git.frama-c.com/pub/caisar提供。

Vizier是Google的DeCACTO BlackBox和Hyper参数优化服务，它优化了Google一些最大的产品和研究工作。为了按照调整数千个用户的关键系统的规模运行，Google Vizier在提供多个不同的功能方面解决了关键的设计挑战，同时保持完全容忍。在本文中，我们介绍了基于Google内部Vizier基础架构和框架的基于Python的独立界面开源（OSS）Vizier。 OSS Vizier提供了一个能够定义和解决各种优化问题的API，包括多样性，早期停止，转移学习和条件搜索。此外，它被设计为可确保可靠性的分布式系统，并允许对用户的目标函数进行多次平行评估。基于RPC的灵活基础架构使用户可以从任何语言编写的二进制文件中访问OSS Vizier。 OSS Vizier还提供了一个后端（“ Pythia”）API，该API为算法作者提供了一种与Core OSS Vizier系统接口新算法的方法。 OSS Vizier可从https://github.com/google/vizier获得。

科学研究社区正在采用基于AI的解决方案，以针对可牵引的科学任务并改善研究工作流程。但是，这种解决方案的开发和评估分散在多个学科之间。我们正式化了科学AI基准测试的问题，并提出了一个名为Saibench的系统，希望统一努力并实现新学科的低分配。该系统以SAIL（一种特定于领域的语言）将研究问题，AI模型，排名标准以及软件/硬件配置分解为可重复使用的模块。我们表明，这种方法是灵活的，可以适应以不同角度定义的问题，AI模型和评估方法。项目主页是https://www.computercouncil.org/saibench

scikit-learn is an increasingly popular machine learning library. Written in Python, it is designed to be simple and efficient, accessible to non-experts, and reusable in various contexts. In this paper, we present and discuss our design choices for the application programming interface (API) of the project. In particular, we describe the simple and elegant interface shared by all learning and processing units in the library and then discuss its advantages in terms of composition and reusability. The paper also comments on implementation details specific to the Python ecosystem and analyzes obstacles faced by users and developers of the library.

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

随着社会越来越多的机器学习（ML）和深度学习（DL）进行各种智能解决方案，它将在普通开发实践和资源下规范ML / DL型号的ML / DL型号的常见措施变得越来越迫切。人们可以在共同的地面上基准和比较模型质量和性能。 MLCommons最近出现了来自工业和学术界的推动力，以协调这种努力。尽管其广泛采用作为标准化基准，但MLCommons推断只包括有限数量的ML / DL模型（实际上总共七种型号）。这显着限制了MLCommons推论的基准测试结果的一般性，因为研究界有更多的新颖ML / DL模型，解决了不同输入和输出方式的广泛问题。为了解决这种限制，我们提出了MLHARNESS，用于MLCommons推断的可扩展基准线束系统，具有三种独特的特点：（1）它根据MLCommons推理定义的标准基准过程，包括模型，数据集，DL框架和软件和硬件系统; （2）它为模型开发人员提供了一种简单且声明的方法，使其模型和数据集贡献到MLCommons推断; （3）它包括具有不同输入/输出模态的各种模型的支持，以便我们可以在不同的数据集，框架和硬件系统上缩放这些模型。该线束系统是在MLModelscope系统的顶部开发的，并将开放到社区。我们的实验结果表明，对于MLCommons推理基准测试，这种线束系统的卓越灵活性和可扩展性。

我们认为，利用公共，跨平台，语言 - 不可止结的包管理器和jupyter紧密地耦合广泛使用的机器人操作系统，这是有益的，这是一种提供科学计算的基于网络的互动计算环境。我们为公务员提供新的ROS套餐，可以轻松地安装ROS沿着数据科学和机器学习套件。多个ROS版本（目前ROS1 Melodic和Neatic以及ROS2 Foxy和Galactic）可以同时在一台机器上运行，具有适用于Linux，Windows和OSX的预编译二进制文件，以及ARM架构（例如Raspberry PI和新的苹果硅）。要处理ROS生态系统的大尺寸，我们通过重写C ++的关键零件来显着提高公共求解器和构建系统的速度。我们进一步为ROS提供了一系列jupyterlab扩展，包括用于实时绘图，调试和机器人控制的插件，以及与ZETHU的紧密集成，RVIZ如可视化工具。罗布斯特克在一起结合了最好的数据科学和机器人世界，帮助研究人员和开发人员为学术和工业项目建立定制解决方案。

我们介绍RLDS（强化学习数据集），一个生态系统，用于在连续决策（SDM）的上下文中记录，重播，操纵，注释和共享数据，包括加强学习（RL），从演示，离线RL或I模仿学习学习。 RLDS不仅能够再现现有的研究和轻松生成新数据集，而且还加速了新的研究。通过提供标准和无损的数据集格式，它可以在更广泛的任务中快速测试新的算法。 RLDS生态系统使数据集很容易在没有任何信息丢失的情况下共享数据集，并且在将各种数据处理管道应用于大集的数据集时，在底层原始格式不可知。此外，RLD提供了用于收集由合成代理或人类生成的数据的工具，以及检查和操纵收集的数据。最终，与TFD的集成有助于与研究界共享RL数据集。

预测系统，特别是机器学习算法，可以对我们的日常生活做出重要的，有时甚至具有法律约束力的决定。但是，在大多数情况下，这些系统和决策既没有受到监管也不经过认证。鉴于这些算法可能造成的潜在伤害，因此公平，问责制和透明度（FAT）等质量至关重要。为了确保高质量，公平，透明和可靠的预测系统，我们开发了一个名为Fat Forensics的开源Python软件包。它可以检查预测算法的重要公平，问责制和透明度方面，以自动并客观地将其报告给此类系统的工程师和用户。我们的工具箱可以评估预测管道的所有元素：数据（及其功能），模型和预测。根据BSD 3范围的开源许可发布，Fat Forensics供个人和商业用法开放。

随着机器学习系统的计算要求以及机器学习框架的规模和复杂性的增加，基本框架创新变得具有挑战性。尽管计算需求驱动了最近的编译器，网络和硬件的进步，但通过机器学习工具对这些进步的利用却以较慢的速度发生。这部分是由于与现有框架原型制作新的计算范式有关的困难。大型框架将机器学习研究人员和从业人员作为最终用户的优先级优先，并且很少关注能够向前推动框架的系统研究人员 - 我们认为两者都是同等重要的利益相关者。我们介绍了手电筒，这是一个开源库，旨在通过优先考虑开放式，模块化，可定制的内部设备以及最新的，可用于研究的模型和培训设置，以刺激机器学习工具和系统的创新。手电筒使系统研究人员能够快速原型并尝试机器学习计算中的新思想，并且开销低，与其他流行的机器学习框架竞争并经常超过其他流行的机器学习框架。我们将手电筒视为一种工具，可以使可以使广泛使用的图书馆受益，并使机器学习和系统研究人员更加紧密地结合在一起。手电筒可从https://github.com/flashlight/flashlight获得。

Healthcare Ai持有增加患者安全性，增强效率和改善患者结果的潜力，但研究通常受到数据访问，队列策划和分析工具的限制。电子健康记录数据，实时数据和实时高分辨率设备数据的集合和翻译可能是具有挑战性和耗时的。现实世界AI工具的发展需要克服数据采集，稀缺医院资源和数据治疗需求的挑战。这些瓶颈可能导致资源沉重的需求和AI系统的研究和开发延迟。我们提供了一种系统和方法，可加速数据采集，数据集开发和分析和AI模型开发。我们创建了一个依赖于可扩展的微服务后端的交互式平台。该系统可以每小时摄取15,000名患者记录，其中每个记录代表数千个多式数级测量，文本备注和高分辨率数据。统称，这些记录可以接近数据的数据。该系统可以在2-5分钟内进一步执行队列和初步数据集分析。因此，多个用户可以在实时同时协作以迭代数据集和模型。我们预计这种方法将推动现实世界的AI模型开发，并且在长期运行中，有意义地改善医疗保健交付。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。