基础培训数据的质量对于建立具有更广泛的Generalizabilty的表演机器学习模型非常重要。但是，当前机器学习（ML）工具缺乏简化的流程，用于提高数据质量。因此，获取数据质量见解并迭代地修剪以获取最大代表下游使用情况的数据集的错误仍然是Ad-hoc手动过程。我们的工作解决了这种数据工具差距，需要纯粹通过以数据为中心的技术构建改进的ML工作流程。更具体地说，我们介绍了（1）在数据集中找到嘈杂或错误标记的样本的系统框架，（2）识别最具信息丰富的样本，当包含在训练中时，该样本将提供最大的模型性能提升。我们展示了我们在公共场合的框架以及两家财富500强公司的私营企业数据集的效果，并确信这项工作将形成ML团队执行更智能的数据发现和修剪的基础。

机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

以数据为中心的AI是AI社区的一个新的和令人兴奋的研究主题，但许多组织已经构建并维护了各种“以数据为中心的”应用程序，其目标是产生高质量数据。这些范围从传统的业务数据处理应用程序（例如，我们本月每个客户收费多少份数？“）向生产发动机等生产ML系统。近年来，数据和ML工程的领域是为了管理这些应用程序，而且都包括许多有趣的新颖工具和流程。在本文中，我们根据我们的体验数据和ML平台讨论了可能有趣的数据和ML工程，这些课程可以很有趣地应用于数据中心为中心的AI。

组织依靠机器学习工程师（MLE）来操作ML，即部署和维护生产中的ML管道。操作ML或MLOP的过程包括（i）数据收集和标记的连续循环，（ii）实验以改善ML性能，（iii）在多阶段部署过程中评估，以及（iv）监视（iv）性能下降。当一起考虑这些责任似乎令人震惊 - 任何人如何进行MLOP，没有解决的挑战，对工具制造商有什么影响？我们对在包括聊天机器人，自动驾驶汽车和金融在内的许多应用程序中工作的18个MLE进行了半结构化的民族志访谈。我们的访谈暴露了三个变量，这些变量控制了生产ML部署的成功：速度，验证和版本。我们总结了成功实验，部署和维持生产绩效的共同实践。最后，我们讨论了受访者的痛点和反图案，对工具设计产生了影响。

我们提出了一种整体方法，用于构建一个可实现的自然语言分类系统，以实现现实世界中的内容适度。这样一个系统的成功依赖于一系列精心设计和执行的步骤，包括内容分类法和标签说明的设计，数据质量控制，主动学习管道以捕获罕见事件以及使模型可靠的各种方法并避免过度拟合。我们的审核系统经过培训，可以检测一系列不希望的内容，包括性内容，可恨的内容，暴力，自我伤害和骚扰。这种方法概括为各种不同的内容分类法，可用于创建优于现成模型的高质量内容分类器。

软件2.0是软件工程的根本班次，机器学习成为新软件，由大数据和计算基础设施供电。因此，需要重新考虑软件工程，其中数据成为与代码相提并论的一流公民。一个引人注目的观察是，80-90％的机器学习过程都花在数据准备上。没有良好的数据，即使是最好的机器学习算法也不能表现良好。结果，以数据为中心的AI实践现在成为主流。不幸的是，现实世界中的许多数据集是小，肮脏，偏见，甚至中毒。在本调查中，我们研究了数据收集和数据质量的研究景观，主要用于深度学习应用。数据收集很重要，因为对于最近的深度学习方法，功能工程较小，而且需要大量数据。对于数据质量，我们研究数据验证和数据清洁技术。即使数据无法完全清洁，我们仍然可以应对模型培训期间的不完美数据，其中使用鲁棒模型培训技术。此外，虽然在传统数据管理研究中较少研究偏见和公平性，但这些问题成为现代机器学习应用中的重要主题。因此，我们研究了可以在模型培训之前，期间或之后应用的公平措施和不公平的缓解技术。我们相信数据管理界很好地解决了这些方向上的问题。

机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。

尽管与专家标签相比，众包平台通常用于收集用于培训机器学习模型的数据集，尽管标签不正确。有两种常见的策略来管理这种噪音的影响。第一个涉及汇总冗余注释，但以较少的例子为代价。其次，先前的作品还考虑使用整个注释预算来标记尽可能多的示例，然后应用Denoising算法来隐式清洁数据集。我们找到了一个中间立场，并提出了一种方法，该方法保留了一小部分注释，以明确清理高度可能的错误样本以优化注释过程。特别是，我们分配了标签预算的很大一部分，以形成用于训练模型的初始数据集。然后，该模型用于确定最有可能是不正确的特定示例，我们将剩余预算用于重新标记。在三个模型变化和四个自然语言处理任务上进行的实验表明，当分配相同的有限注释预算时，旨在处理嘈杂标签的标签聚合和高级denoising方法均优于标签聚合或匹配。

While there have been a number of remarkable breakthroughs in machine learning (ML), much of the focus has been placed on model development. However, to truly realize the potential of machine learning in real-world settings, additional aspects must be considered across the ML pipeline. Data-centric AI is emerging as a unifying paradigm that could enable such reliable end-to-end pipelines. However, this remains a nascent area with no standardized framework to guide practitioners to the necessary data-centric considerations or to communicate the design of data-centric driven ML systems. To address this gap, we propose DC-Check, an actionable checklist-style framework to elicit data-centric considerations at different stages of the ML pipeline: Data, Training, Testing, and Deployment. This data-centric lens on development aims to promote thoughtfulness and transparency prior to system development. Additionally, we highlight specific data-centric AI challenges and research opportunities. DC-Check is aimed at both practitioners and researchers to guide day-to-day development. As such, to easily engage with and use DC-Check and associated resources, we provide a DC-Check companion website (https://www.vanderschaar-lab.com/dc-check/). The website will also serve as an updated resource as methods and tooling evolve over time.

预测模型越来越多地用于在医疗保健，金融和政策等高风险领域中做出各种结果决策。确保这些模型做出准确的预测，对数据的变化，不依赖虚假特征，并且不会过分区分少数群体，这变得至关重要。为此，最近的文献提出了几种涵盖各个领域的方法，例如解释性，公平性和鲁棒性。当这种方法迎合对用户对模型的理解时，需要以人为本。但是，一旦部署了监测机器学习的需求和挑战，就存在研究差距。为了填补这一差距，我们对13位从业人员进行了访谈研究，他们在部署ML模型并与跨越领域的客户互动，例如金融服务，医疗保健，招聘，在线零售，计算广告和对话助理等领域。我们确定了在现实世界应用中对模型监控的各种挑战和要求。具体而言，我们发现了模型监视系统的需求和挑战，以阐明监测观察结果对结果的影响。此外，此类见解必须是可行的，可靠的，可针对特定于域的用例定制，并认知考虑以避免信息超负荷。

当今AI应用程序的成功不仅需要模型培训（以模型为中心），还需要数据工程（以数据为中心）。在以数据为中心的AI中，主动学习（AL）起着至关重要的作用，但是当前的AL工具无法有效执行AL任务。为此，本文介绍了一个有效的MLOPS系统，该系统名为Alaas（主动学习-AS-A-Service）。具体而言，ALAAS采用服务器客户架构来支持AL管道并实现阶段级并行性以提高效率。同时，使用缓存和批处理技术进一步加速了AL过程。除效率外，ALAAS还可以借助于配置的设计理念，以确保可访问性。它还将AL过程抽象到多个组件，并为高级用户提供丰富的API，以将系统扩展到新方案。广泛的实验表明，在潜伏期和吞吐量方面，ALAAS优于所有其他基线。进一步的消融研究证明了我们的设计和Alaas易于使用的有效性。我们的代码可在\ url {https://github.com/mlsysops/alaas}中获得。

深层神经网络（DNN）越来越多地用于软件工程和代码智能任务。这些是强大的工具，能够通过数百万参数从大型数据集中学习高度概括的模式。同时，它们的大容量可以使他们容易记住数据点。最近的工作表明，当训练数据集嘈杂，涉及许多模棱两可或可疑的样本时，记忆风险特别强烈表现出来，而记忆是唯一的追索权。本文的目的是评估和比较神经代码智能模型中的记忆和概括程度。它旨在提供有关记忆如何影响神经模型在代码智能系统中的学习行为的见解。为了观察模型中的记忆程度，我们为原始训练数据集增加了随机噪声，并使用各种指标来量化噪声对训练和测试各个方面的影响。我们根据Java，Python和Ruby Codebase评估了几种最先进的神经代码智能模型和基准。我们的结果突出了重要的风险：数百万可训练的参数允许神经网络记住任何包括嘈杂数据，并提供错误的概括感。我们观察到所有模型都表现出某些形式的记忆。在大多数代码智能任务中，这可能会很麻烦，因为它们依赖于相当容易发生噪声和重复性数据源，例如GitHub的代码。据我们所知，我们提供了第一个研究，以量化软件工程和代码智能系统领域的记忆效应。这项工作提高了人们的意识，并为训练神经模型的重要问题提供了新的见解，这些问题通常被软件工程研究人员忽略。

基于机器学习（ML）的系统的制作需要在其生命周期中进行统计控制。仔细量化业务需求和识别影响业务需求的关键因素降低了项目故障的风险。业务需求的量化导致随机变量的定义，表示通过统计实验需要分析的系统关键性能指标。此外，可提供的培训和实验结果产生影响系统的设计。开发系统后，测试并不断监控，以确保其符合其业务需求。这是通过持续应用统计实验来分析和控制关键绩效指标来完成的。本书教授制作和开发基于ML的系统的艺术。它倡导“首先”方法，强调从项目生命周期开始定义统计实验的需要。它还详细讨论了如何在整个生命周期中对基于ML的系统进行统计控制。

我们查看模型可解释性的特定方面：模型通常需要限制在大小上才能被认为是可解释的，例如，深度5的决策树比深度50中的一个更容易解释。但是，较小的模型也倾向于高偏见。这表明可解释性和准确性之间的权衡。我们提出了一种模型不可知论技术，以最大程度地减少这种权衡。我们的策略是首先学习甲骨文，这是培训数据上高度准确的概率模型。 Oracle预测的不确定性用于学习培训数据的抽样分布。然后，对使用此分布获得的数据样本进行了可解释的模型，通常会导致精确度明显更高。我们将抽样策略作为优化问题。我们的解决方案1具有以下关键的有利属性：（1）它使用固定数量的七个优化变量，而与数据的维度（2）无关，它是模型不可知的 - 因为可解释的模型和甲骨文都可能属于任意性模型家族（3）它具有模型大小的灵活概念，并且可以容纳向量大小（4）它是一个框架，使其能够从优化领域的进度中受益。我们还提出了以下有趣的观察结果：（a）通常，小型模型大小的最佳训练分布与测试分布不同； （b）即使可解释的模型和甲骨文来自高度截然不同的模型家族，也存在这种效果：我们通过使用封闭的复发单位网络作为甲骨文来提高决策树的序列分类精度，从而在文本分类任务上显示此效果。使用字符n-grams； （c）对于模型，我们的技术可用于确定给定样本量的最佳训练样本。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

尽管机器学习取得了巨大进步（ML），但数据不平衡的培训仍然在许多现实世界中构成挑战。在解决此问题的一系列不同技术中，采样算法被视为有效的解决方案。但是，问题更为根本，许多作品强调了实例硬度的重要性。这个问题是指管理不安全或可能嘈杂的实例的重要性，这些实例更可能被错误分类并作为分类绩效不佳的根本原因。本文介绍了Hardvis，这是一种视觉分析系统，旨在处理实例硬度，主要在分类场景中。我们提出的系统协助用户在视觉上比较数据类型的不同分布，根据局部特征选择实例类型，这些实例后来将受主动采样方法的影响，并验证来自底漆或过采样技术的建议对ML模型有益。此外，我们允许用户找到和采样轻松且难以对所有课程的培训实例进行分类，而不是统一地采样/过采样。用户可以从不同角度探索数据子集以决定所有这些参数，而HardVis则跟踪其步骤并评估模型在测试集中分别评估模型的预测性能。最终结果是一个均衡的数据集，可增强ML模型的预测能力。通过假设使用情况和用例证明了Hardvis的功效和有效性。最后，我们还研究了系统的有用，基于我们从ML专家那里收到的反馈。

主动学习允许使用更少的标签培训机器学习模型，同时保持与传统监督学习相似的性能。活跃的学习者选择最有用的数据点，请求其标签并进行重新训练。尽管这种方法很有希望，但它提出了一个问题，即如何确定模型何时“足够好”，而没有传统评估所需的其他标签。以前，已经提出了不同的停止标准，以确定最佳的停止点。然而，最优性只能表示为准确性和标签数量之间的域依赖性权衡，并且在所有应用中，没有任何标准均优越。作为进一步的并发症，对特定现实世界应用程序的标准进行比较将要求从业者收集其目标的其他标记数据，以避免使用主动学习。这项工作使从业人员可以通过提供可行的建议来采用积极的学习，以便为给定的现实世界中最好的停止标准。我们对基于池的主动学习的停止标准进行了第一个大规模比较，使用成本度量来量化我们评估的所有停止标准的准确性/标签权衡，公开实施以及评估停止停止的开源框架标准。我们的研究使从业人员能够利用最适合其领域的停止标准，从而大大降低标签成本。

机器学习方法实现文本识别的高精度，因此越来越多地用于手写历史来源的转录。然而，在生产中使用机器学习需要简化的端到端管道，该流程将扩展到数据集大小和模型，该模型具有几个手动转录的高精度。还必须验证模型结果的正确性。本文介绍了我们的经验教训，从挪威1950年人口普查中译码了开发，调整和使用互联端到端机器学习管道。我们为自动转录的代码达到97％的准确性，我们向3％的码发送了手动验证。我们核实我们的结果中发现的职业码分布与我们的培训数据中发现的分布相匹配，这应该是整个人口普查的代表。我们相信我们的方法和经验教训可能对计划在生产中使用机器学习的其他转录项目有用。源代码可用于：https://github.com/uit-hdl/rhd-codes