背景。机器学习（ML）应用程序的迅速流行已导致对MLOP的兴趣越来越多，即ML启用ML的系统的连续集成和部署（CI/CD）的实践。目标。由于更改不仅可能影响代码，还会影响ML模型参数和数据本身，因此需要扩展传统CI/CD的自动化以管理生产中的模型再培训。方法。在本文中，我们对从GitHub检索的一组启用ML的系统中实施的MLOP实践进行了初步研究，重点是GitHub Action和CML，这是两种解决开发工作流程的解决方案。结果。我们的初步结果表明，在开源GitHub项目中采用MLOPS工作流程目前相当有限。结论。还确定了问题，可以指导未来的研究工作。

在过去几年中，自动化机器学习（AUTOML）工具的普及有所增加。机器学习（ML）从业人员使用自动工具来自动化和优化功能工程，模型培训和超参数优化的过程。最近的工作对从业人员使用汽车工具的经验进行了定性研究，并根据其性能和提供的功能比较了不同的汽车工具，但是现有的工作都没有研究在大规模实际项目中使用Automl工具的实践。因此，我们进行了一项实证研究，以了解ML从业者如何在其项目中使用汽车工具。为此，我们在GitHub上托管的大量开源项目存储库中研究了最常用的十大汽车工具及其各自的用法。我们研究的结果表明1）ML从业人员主要使用哪种汽车工具，以及2）使用这些汽车工具的存储库的特征。此外，我们确定了使用Automl工具的目的（例如，模型参数采样，搜索空间管理，模型评估/错误分析，数据/功能转换和数据标记）以及ML管道的阶段（例如功能工程）使用工具。最后，我们报告在同一源代码文件中使用Automl工具的频率。我们希望我们的结果可以帮助ML从业人员了解不同的汽车工具及其使用情况，以便他们可以为其目的选择正确的工具。此外，Automl工具开发人员可以从我们的发现中受益，以深入了解其工具的用法并改善其工具以更好地适合用户的用法和需求。

机器学习（ML）研究出版物通常在GitHub上提供开源实现，使他们的受众可以复制，验证甚至扩展机器学习算法，数据集和元数据。但是，到目前为止，关于此类ML研究存储库的协作活动程度知之甚少，特别是（1）此类存储库从叉子获得贡献的程度，（2）此类贡献的性质（即类型，变化），以及（3）变更的性质，这些变化未归还给叉子，这可能代表了错过的机会。在本文中，我们对1,346毫升研究存储库及其67,369叉进行了验证，无论是定量还是定性（通过Hindle等人的构建代码更改的开创性分类法）。我们发现，尽管ML研究存储库是大量分叉的，但只有9％的叉子对叉子存储库进行了修改。后者的42％发送给家长存储库的更改，其中一半（52％）被父家存储库接受。我们对539个贡献的定性分析和378个本地（仅叉）变化，扩展了Hindle等人的分类法，其中一个与ML（数据）相关的新顶级变更类别和15个新的子类别，包括9个ML--特定的（输入数据，输出数据，程序数据，共享，变更评估，参数调整，性能，预处理，模型培训）。虽然没有由叉子造成的更改主要是涉及域特定于域的定制和本地实验（例如，参数调整），但原点ML存储库确实错过了不可忽视的15.4％文档更改的13.6％的功能更改，而功能更改的13.6％和11.4％的错误修复更改。本文中的发现将对从业者，研究人员，工具匠和教育者有用。

Recent advances in deep learning (dl) have led to the release of several dl software libraries such as pytorch, Caffe, and TensorFlow, in order to assist machine learning (ml) practitioners in developing and deploying state-of-the-art deep neural networks (DNN), but they are not able to properly cope with limitations in the dl libraries such as testing or data processing. In this paper, we present a qualitative and quantitative analysis of the most frequent dl libraries combination, the distribution of dl library dependencies across the ml workflow, and formulate a set of recommendations to (i) hardware builders for more optimized accelerators and (ii) library builder for more refined future releases. Our study is based on 1,484 open-source dl projects with 46,110 contributors selected based on their reputation. First, we found an increasing trend in the usage of deep learning libraries. Second, we highlight several usage patterns of deep learning libraries. In addition, we identify dependencies between dl libraries and the most frequent combination where we discover that pytorch and Scikit-learn and, Keras and TensorFlow are the most frequent combination in 18% and 14% of the projects. The developer uses two or three dl libraries in the same projects and tends to use different multiple dl libraries in both the same function and the same files. The developer shows patterns in using various deep-learning libraries and prefers simple functions with fewer arguments and straightforward goals. Finally, we present the implications of our findings for researchers, library maintainers, and hardware vendors.

在各个域中应用机器学习（ML）的快速升级导致更多关注ML组件的质量。然后，旨在提高ML组件质量并安全地将其集成到基于ML的系统中的技术和工具的增长。尽管这些工具中的大多数都使用Bugs的生命周期，但没有标准的错误来评估其性能，比较它们并讨论其优势和弱点。在这项研究中，我们首先研究了基于ML的系统中错误的可重复性和可验证性，并显示了每个错误的最重要因素。然后，我们探索在基于ML的软件系统中生成错误基准的挑战，并提供一个错误基准缺陷4ML，该缺陷4ML满足标准基准的所有标准，即相关性，可重复性，公平性，可验证性和可用性。该故障负载基准测试包含ML开发人员在GitHub和堆栈溢出上报告的113个错误，使用两个最受欢迎的ML框架：TensorFlow和Keras。缺陷4ML还解决了基于ML的软件系统软件可靠性工程的重要挑战，例如：1）框架的快速变化，通过为不同版本的框架提供各种错误，2）代码便携性，通过在不同的ML框架中提供相似的错误，3 ）错误可重复性，通过提供有关所需依赖关系和数据的完整信息，以及4）通过介绍指向错误的起源的链接来提供有关所需依赖性和数据的完整信息。基于ML的系统从业人员和研究人员可以评估其测试工具和技术的缺陷4ML。

GitHub是Internet上最大的开源软件主机。这个大型，可自由访问的数据库吸引了从业人员和研究人员的注意。但是，随着Github的增长的继续，越来越难以导航遍布广泛领域的大量存储库。过去的工作表明，考虑到应用程序域对于预测存储库的普及以及有关项目质量的推理的任务至关重要。在这项工作中，我们建立在先前注释的5,000个GitHub存储库的数据集上，以设计自动分类器，以通过其应用程序域对存储库进行分类。分类器使用最先进的自然语言处理技术和机器学习，根据五个应用程序域从多个数据源和目录存储库中学习。我们用（1）自动分类器贡献，该分类器可以将流行的存储库分配给每个应用程序域，至少具有70％的精度，（2）对该方法在不流行的存储库中的性能进行调查，以及（3）这种方法对这种方法的实际应用程序，用于回答软件工程实践的采用如何在应用程序域之间有何不同。我们的工作旨在帮助GitHub社区确定感兴趣的存储库，并为未来的工作开放有希望的途径，以调查来自不同应用领域的存储库之间的差异。

拉力请求是当今协作软件开发和代码审核过程的关键部分。但是，当审阅者或作者不积极参与拉动请求时，拉动请求也可以减慢软件开发过程。在这项工作中，我们设计了一项端到端服务，以提醒作者或审阅者与他们的逾期拉动请求互动，以加速逾期拉动请求。首先，我们根据努力估算和机器学习使用模型来预测给定拉的请求的完成时间。其次，我们使用活动检测来滤除可能逾期的拉请请求，但仍在采取足够的动作。最后，我们使用演员身份证来了解拉动请求的阻止者是谁，并推动适当的演员（作者或审稿人）。轻推的主要新颖性是它成功地减少了拉动请求解决时间，同时确保开发人员认为发送的通知在成千上万的存储库中是有用的。在Microsoft使用的147个存储库的随机试验中，Nudge能够将拉的请求分辨率时间减少60％，而与Nudge未发送通知的逾期拉动请求相比，该请求的8,500次拉。此外，收到推动通知的开发人员将这些通知的73％置于正面。我们观察到在Microsoft的8,000个存储库中扩展Nudge的部署时，我们观察到了类似的结果，在整整一年中，Nudge发送了210,000个通知。这表明了Nudge可以扩展到数千个存储库的能力。最后，我们对选择通知的定性分析指示了未来研究的领域，例如在拉动请求和开发人员的可用性中考虑依赖性。

研究过程自动化 - 对科学仪器，计算机，数据存储和其他资源的可靠，高效和可重复执行的可靠，高效和可重复执行，这是现代科学的基本要素。我们在此处报告Globus研究数据管理平台内的新服务，该服务可以将各种研究过程的规范作为可重复使用的动作集，流量以及在异质研究环境中执行此类流动的集合。为了以广泛的空间范围（例如，从科学仪器到远程数据中心）和时间范围（从几秒钟到几周），这些Globus自动化服务功能：1）云托管以可靠地执行长期持久的流量，尽管零星的失败，但这些Globus自动化服务功能：1） ; 2）声明性符号和可扩展的异步行动提供商API，用于定义和执行涉及任意资源的各种行动和流动规范； 3）授权授权机制，用于安全调用动作。这些服务允许研究人员将广泛的研究任务的管理外包和自动化为可靠，可扩展和安全的云平台。我们向Globus自动化服务提供用例

自主机器人结合了各种技能，形成越来越复杂的行为，称为任务。尽管这些技能通常以相对较低的抽象级别进行编程，但它们的协调是建筑分离的，并且经常以高级语言或框架表达。几十年来，州机器一直是首选的语言，但是最近，行为树的语言在机器人主义者中引起了人们的关注。行为树最初是为计算机游戏设计的，用于建模自主参与者，提供了基于树木的可扩展的使命表示，并受到支持支持模块化设计和代码的重复使用。但是，尽管使用了该语言的几种实现，但对现实世界中的用法和范围知之甚少。行为树提供的概念与传统语言（例如州机器）有何关系？应用程序中如何使用行为树和状态机概念？我们介绍了对行为树中关键语言概念的研究及其在现实世界机器人应用中的使用。我们识别行为树语言，并将其语义与机器人技术中最著名的行为建模语言进行比较。我们为使用这些语言的机器人应用程序挖掘开源存储库并分析此用法。我们发现两种行为建模语言在语言设计及其在开源项目中的用法之间的相似性方面，以满足机器人域的需求。我们为现实世界行为模型的数据集提供了贡献，希望激发社区使用和进一步开发这种语言，相关的工具和分析技术。

Following the development of digitization, a growing number of large Original Equipment Manufacturers (OEMs) are adapting computer vision or natural language processing in a wide range of applications such as anomaly detection and quality inspection in plants. Deployment of such a system is becoming an extremely important topic. Our work starts with the least-automated deployment technologies of machine learning systems includes several iterations of updates, and ends with a comparison of automated deployment techniques. The objective is, on the one hand, to compare the advantages and disadvantages of various technologies in theory and practice, so as to facilitate later adopters to avoid making the generalized mistakes when implementing actual use cases, and thereby choose a better strategy for their own enterprises. On the other hand, to raise awareness of the evaluation framework for the deployment of machine learning systems, to have more comprehensive and useful evaluation metrics (e.g. table 2), rather than only focusing on a single factor (e.g. company cost). This is especially important for decision-makers in the industry.

背景：机器学习（ML）系统依靠数据来做出预测，与传统软件系统（例如数据处理管道，服务管道和模型培训）相比，该系统具有许多添加的组件。现有关于软件维护的研究研究了针对不同类型的问题（例如绩效和安全问题）的问题报告需求和解决过程。但是，ML系统具有特定的故障类别，报告ML问题需要特定于域的信息。由于ML和传统软件工程系统之间的特征不同，我们不知道报告需求在多大程度上不同，并且这些差异在多大程度上影响了问题解决过程。目的：我们的目标是调查ML和非ML问题之间分辨率时间的分布以及某些ML问题的分配时间是否存在差异。我们进一步研究了ML问题和非ML问题的修复大小。方法：我们在GitHub的最新活动应用ML项目中提取问题报告，提取请求和代码文件，并使用自动方法过滤ML和非ML问题。我们使用已知的深度学习错误分类法手动标记这些问题。我们测量了受控样本上ML和非ML问题的解决方案的分辨率时间和大小，并比较每个类别的分布。

通过机器学习的人工智能越来越多地用于数字社会。基于机器学习的解决方案带来了巨大的机会，从而创造了“软件2.0”，而且为工程界提供了巨大的挑战。由于数据科学家使用的实验方法在开发机器学习模型时，敏捷是一个重要的特征。在这个主题演讲中，我们讨论了两种当代开发现象，这是机器学习开发的基础，即笔记本界面和MLOPS。首先，我们提出了一种解决方案，可以通过支持对集成开发环境的简单过渡来解决笔记本电脑中工作的一些内在弱点。其次，我们通过在MLOPS语境中引入隐喻障碍和钢筋来提出AI系统的加强工程。基于机器学习的解决方案是动态的本质上，我们认为强化连续工程是质量保证明天可信赖的AI系统。

我们认为，利用公共，跨平台，语言 - 不可止结的包管理器和jupyter紧密地耦合广泛使用的机器人操作系统，这是有益的，这是一种提供科学计算的基于网络的互动计算环境。我们为公务员提供新的ROS套餐，可以轻松地安装ROS沿着数据科学和机器学习套件。多个ROS版本（目前ROS1 Melodic和Neatic以及ROS2 Foxy和Galactic）可以同时在一台机器上运行，具有适用于Linux，Windows和OSX的预编译二进制文件，以及ARM架构（例如Raspberry PI和新的苹果硅）。要处理ROS生态系统的大尺寸，我们通过重写C ++的关键零件来显着提高公共求解器和构建系统的速度。我们进一步为ROS提供了一系列jupyterlab扩展，包括用于实时绘图，调试和机器人控制的插件，以及与ZETHU的紧密集成，RVIZ如可视化工具。罗布斯特克在一起结合了最好的数据科学和机器人世界，帮助研究人员和开发人员为学术和工业项目建立定制解决方案。

该项目旨在使用称为KubeFlow [1]的开源工具（端到端ML堆栈编排工具包）探索在Kubernetes上部署机器学习模型的过程。我们以管道形式创建端到端的机器学习模型，并分析各个点，包括设置，部署模型，性能，限制，限制和功能。我们希望我们的项目几乎像一个研讨会/入门报告一样，可以帮助Vanilla Cloud/Kubernetes用户对KubeFlow的零知识使用KubeFlow来部署ML模型。从不同的云上的设置到通过互联网提供训练有素的模型 - 我们提供详细信息和指标，详细介绍KubeFlow的性能。

评论是源代码的重要组成部分，是文档的主要来源。这引起了人们对使用大量注释的兴趣训练或评估消耗或生产它们的工具，例如生成甲骨文，甚至是从注释中生成代码，或自动生成代码摘要。这项工作大部分对评论的结构和质量做出了强烈的假设，例如假设它们主要由适当的英语句子组成。但是，我们对这些用例的现有评论的实际质量知之甚少。评论通常包含在其他类型的文本中看不到的独特结构和元素，并且从中过滤或提取信息需要额外的谨慎。本文探讨了来自GitHub的840个最受欢迎的开源项目和Srilab数据集的8422个项目的Python评论的内容和质量，并且Na \“ Ive vs.深入过滤的影响都可以使用现有注释来用于使用现有注释。培训和评估产生评论的系统。

社交媒体有可能提供有关紧急情况和突然事件的及时信息。但是，在每天发布的数百万帖子中找到相关信息可能很困难，并且开发数据分析项目通常需要时间和技术技能。这项研究提出了一种为分析社交媒体的灵活支持的方法，尤其是在紧急情况下。引入了可以采用社交媒体分析的不同用例，并讨论了从大量帖子中检索信息的挑战。重点是分析社交媒体帖子中包含的图像和文本，以及一组自动数据处理工具，用于过滤，分类和使用人类的方法来支持数据分析师的内容。这种支持包括配置自动化工具的反馈和建议，以及众包收集公民的投入。通过讨论Crowd4SDG H2020欧洲项目中开发的三个案例研究来验证结果。

深度学习（DL）框架现在被广泛使用，简化了复杂模型的创建以及它们对各种应用的集成甚至到非DL专家。但是，就像任何其他程序一样，他们容易发生错误。本文与命名静默错误的错误分类：它们会导致错误的行为，但它们不会导致系统崩溃或挂起，也不会向用户显示错误消息。这种错误在DL应用程序和框架中更危险，因为系统的“黑匣子”和系统的随机性质（最终用户无法理解模型如何做出决定）。本文介绍了Keras和Tensorflow Silent错误的第一个实证研究，以及它们对用户节目的影响。从Tensorflow Github存储库中提取与KERA相关的封闭问题。在我们收集的1,168个问题中，77个影响了影响用户程序的可重复静音错误。我们根据“用户程序的影响”和“发生问题”的“发生问题的组件”归类错误。然后，我们根据用户程序的影响，我们为每个问题派生威胁级别。为了评估所确定的类别和影响规模的相关性，我们使用103个DL开发人员进行了在线调查。参与者普遍同意DL库中静音错误的重大影响，并承认了我们的研究结果（即，沉默错误的类别和拟议的影响量表）。最后，利用我们的分析，我们提供了一套指导方针，以促进对DL框架中的这些错误的保护。

模型用于软件工程（SE）和人工智能（AI）。 SE模型可以在不同抽象层次的架构中指定架构，并从早期概念化和设计，从软件开发生命周期的各个阶段解决不同的问题，以验证，实施，测试和演化。然而，AI模型可以提供智能能力，例如预测和决策支持。例如，在机器学习（ml）中，这是目前是AI的最受欢迎的子学科，数学模型可能会在观察到的数据中学习有用的模式，并且可以成为能够进行预测。这项工作的目标是通过将在所述社区的模型聚集在一起并提出一种需要ML的智能系统的模型驱动软件开发的整体方法来创建协同作用。我们说明了软件模型如何能够以无缝方式创建和处理ML模型。主要焦点位于事物互联网（物联网）的领域，其中ML和模型驱动的SE都发挥着关键作用。在需要采取有针对性架构的网络物理系统的系统视角下，SE和ML子系统的集成设计环境将最能支持所得系统实现的优化和整体效率。特别是，我们实现了基于INTOMML的CL-Quadrat的所提出的方法，并使用来自物联网域的案例研究以及经验用户评估来验证它。它归还所提出的方法不仅是可行的，而且还可能有助于与IOT连接的智能网络物理系统（CPS）的软件开发的性能飞跃，以及增强的使用者的用户体验建议的建模解决方案。

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

在我们不断变化的气候中，使用模型来评估天气和气候对社会和企业的后续后果的风险及其后续后果至关重要。这种模型的操作在历史上是定制的，并限制在特定的计算基础架构，驱动数据集和预定义的配置上。这些约束通过缩放模型运行并将模型掌握在感兴趣的用户手中。在这里，我们提出了一个基于云的模块化框架，用于部署和操作地理空间模型，最初应用于气候影响。气候冲击建模框架（CIMF）可以以动态和灵活的方式部署模块化工作流程。用户可以以简化的方式指定工作流程组件，然后可以轻松地将这些组件组织成不同的配置，以以不同的方式和不同的尺度评估风险。这还可以使不同的模型（物理模拟或机器学习模型）和工作流程连接以产生合并的风险评估。洪水建模被用作端到端的示例，以证明CIMF的操作。