在工业环境中越来越越来越多地部署,如事物互联网(IOT)设备和网络物理系统(CPS)正在使制造域中的机器学习(ML)算法的生产使用。随着ML应用从研究超越真实工业环境中的高效,所以发生了可靠性问题。由于大多数ML型号在静态数据集上培训和评估,因此需要连续在线监测其性能来构建可靠的系统。此外,概念和传感器漂移可以随着时间的推移导致算法的准确性降低,从而损害了安全性,接受和经济学,如果未被发现,无法正确解决。在这项工作中,我们示例性地突出了在36个月的课程中记录的公开工业数据集的问题的严重性,并解释了可能的漂移来源。我们评估了制造和展示中常用的ML算法的稳健性,并且随着所有测试算法的越来越高,精度强烈地下降。我们进一步调查了如何利用不确定性估计来用于在线性能估计以及漂移检测作为朝着不断学习应用程序的第一步。结果表明,与随机森林等集合算法表现出漂移下的置信度校准的最小衰减。
translated by 谷歌翻译
部署的机器学习模型面临着随着时间的流逝而改变数据的问题,这一现象也称为概念漂移。尽管现有的概念漂移检测方法已经显示出令人信服的结果,但它们需要真正的标签作为成功漂移检测的先决条件。尤其是在许多实际应用程序场景中,这种工作真实标签中涵盖的情况很少,而且它们的收购价格昂贵。因此,我们引入了一种用于漂移检测,不确定性漂移检测(UDD)的新算法,该算法能够检测到漂移而无需访问真正的标签。我们的方法基于深层神经网络与蒙特卡洛辍学的不确定性估计。通过将ADWIN技术应用于不确定性估计值,并检测到漂移触发预测模型的重新验证,可以检测到随时间变化的结构变化。与基于输入数据的漂移检测相反,我们的方法考虑了当前输入数据对预测模型属性的影响,而不是仅检测输入数据的变化(这可能导致不必要的重新培训)。我们表明,UDD在两个合成和十个现实世界数据集的回归和分类任务方面优于其他最先进的策略。
translated by 谷歌翻译
近年来,随着传感器和智能设备的广泛传播,物联网(IoT)系统的数据生成速度已大大增加。在物联网系统中,必须经常处理,转换和分析大量数据,以实现各种物联网服务和功能。机器学习(ML)方法已显示出其物联网数据分析的能力。但是,将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战,特别是有效的模型选择,设计/调整和更新,这给经验丰富的数据科学家带来了巨大的需求。此外,物联网数据的动态性质可能引入概念漂移问题,从而导致模型性能降解。为了减少人类的努力,自动化机器学习(AUTOML)已成为一个流行的领域,旨在自动选择,构建,调整和更新机器学习模型,以在指定任务上实现最佳性能。在本文中,我们对Automl区域中模型选择,调整和更新过程中的现有方法进行了审查,以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法,在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后,我们讨论并分类了该领域的挑战和研究方向。
translated by 谷歌翻译
Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.
translated by 谷歌翻译
Concept drift describes unforeseeable changes in the underlying distribution of streaming data over time. Concept drift research involves the development of methodologies and techniques for drift detection, understanding and adaptation. Data analysis has revealed that machine learning in a concept drift environment will result in poor learning results if the drift is not addressed. To help researchers identify which research topics are significant and how to apply related techniques in data analysis tasks, it is necessary that a high quality, instructive review of current research developments and trends in the concept drift field is conducted. In addition, due to the rapid development of concept drift in recent years, the methodologies of learning under concept drift have become noticeably systematic, unveiling a framework which has not been mentioned in literature. This paper reviews over 130 high quality publications in concept drift related research areas, analyzes up-to-date developments in methodologies and techniques, and establishes a framework of learning under concept drift including three main components: concept drift detection, concept drift understanding, and concept drift adaptation. This paper lists and discusses 10 popular synthetic datasets and 14 publicly available benchmark datasets used for evaluating the performance of learning algorithms aiming at handling concept drift. Also, concept drift related research directions are covered and discussed. By providing state-of-the-art knowledge, this survey will directly support researchers in their understanding of research developments in the field of learning under concept drift.
translated by 谷歌翻译
In the past years, deep learning has seen an increase of usage in the domain of histopathological applications. However, while these approaches have shown great potential, in high-risk environments deep learning models need to be able to judge their own uncertainty and be able to reject inputs when there is a significant chance of misclassification. In this work, we conduct a rigorous evaluation of the most commonly used uncertainty and robustness methods for the classification of Whole-Slide-Images under domain shift using the H\&E stained Camelyon17 breast cancer dataset. Although it is known that histopathological data can be subject to strong domain shift and label noise, to our knowledge this is the first work that compares the most common methods for uncertainty estimation under these aspects. In our experiments, we compare Stochastic Variational Inference, Monte-Carlo Dropout, Deep Ensembles, Test-Time Data Augmentation as well as combinations thereof. We observe that ensembles of methods generally lead to higher accuracies and better calibration and that Test-Time Data Augmentation can be a promising alternative when choosing an appropriate set of augmentations. Across methods, a rejection of the most uncertain tiles leads to a significant increase in classification accuracy on both in-distribution as well as out-of-distribution data. Furthermore, we conduct experiments comparing these methods under varying conditions of label noise. We observe that the border regions of the Camelyon17 dataset are subject to label noise and evaluate the robustness of the included methods against different noise levels. Lastly, we publish our code framework to facilitate further research on uncertainty estimation on histopathological data.
translated by 谷歌翻译
机器学习(ML)是指根据大量数据预测有意义的输出或对复杂系统进行分类的计算机算法。 ML应用于各个领域,包括自然科学,工程,太空探索甚至游戏开发。本文的重点是在化学和生物海洋学领域使用机器学习。在预测全球固定氮水平,部分二氧化碳压力和其他化学特性时,ML的应用是一种有前途的工具。机器学习还用于生物海洋学领域,可从各种图像(即显微镜,流车和视频记录器),光谱仪和其他信号处理技术中检测浮游形式。此外,ML使用其声学成功地对哺乳动物进行了分类,在特定的环境中检测到濒临灭绝的哺乳动物和鱼类。最重要的是,使用环境数据,ML被证明是预测缺氧条件和有害藻华事件的有效方法,这是对环境监测的重要测量。此外,机器学习被用来为各种物种构建许多对其他研究人员有用的数据库,而创建新算法将帮助海洋研究界更好地理解海洋的化学和生物学。
translated by 谷歌翻译
作为行业4.0时代的一项新兴技术,数字双胞胎因其承诺进一步优化流程设计,质量控制,健康监测,决策和政策制定等,通过全面对物理世界进行建模,以进一步优化流程设计,质量控制,健康监测,决策和政策,因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中,我们研究了不同建模技术,孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述,重点是不确定性量化,优化方法,开源数据集和工具,主要发现,挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法,以及如何在数字双胞胎的不同维度中应用它们。此外,本文介绍了一个案例研究,其中构建和测试了电池数字双胞胎,以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。
translated by 谷歌翻译
如今,预测机器学习模型通常以无状态和昂贵的方式进行更新。想要建立基于机器学习的应用程序和系统的公司的两个主要未来趋势是实时推理和持续更新。不幸的是,这两种趋势都需要一个成熟的基础设施,这很难实现本地人。本文定义了一种新颖的软件服务和模型交付基础架构,称为连续学习 - 服务(CLAAS)来解决这些问题。具体而言,它包含持续的机器学习和连续的集成技术。它为数据科学家提供了模型更新和验证工具的支持,而无需进行本地解决方案,并且以高效,陈述和易于使用的方式提供了支持。最后,此CL模型服务易于封装在任何机器学习基础架构或云系统中。本文介绍了在两种现实世界中评估的CLAAS实例化的设计和实现。前者是使用core50数据集的机器人对象识别设置,而后者是命名类别,并且使用时尚域中的deepfashion-c数据集属性预测。我们的初步结果表明,无论计算在Continuum Edge-Cloud中的何处,连续学习模型服务的可用性和效率以及解决方案在解决现实世界用例中的有效性。
translated by 谷歌翻译
While there have been a number of remarkable breakthroughs in machine learning (ML), much of the focus has been placed on model development. However, to truly realize the potential of machine learning in real-world settings, additional aspects must be considered across the ML pipeline. Data-centric AI is emerging as a unifying paradigm that could enable such reliable end-to-end pipelines. However, this remains a nascent area with no standardized framework to guide practitioners to the necessary data-centric considerations or to communicate the design of data-centric driven ML systems. To address this gap, we propose DC-Check, an actionable checklist-style framework to elicit data-centric considerations at different stages of the ML pipeline: Data, Training, Testing, and Deployment. This data-centric lens on development aims to promote thoughtfulness and transparency prior to system development. Additionally, we highlight specific data-centric AI challenges and research opportunities. DC-Check is aimed at both practitioners and researchers to guide day-to-day development. As such, to easily engage with and use DC-Check and associated resources, we provide a DC-Check companion website (https://www.vanderschaar-lab.com/dc-check/). The website will also serve as an updated resource as methods and tooling evolve over time.
translated by 谷歌翻译
背景信息:在过去几年中,机器学习(ML)一直是许多创新的核心。然而,包括在所谓的“安全关键”系统中,例如汽车或航空的系统已经被证明是非常具有挑战性的,因为ML的范式转变为ML带来完全改变传统认证方法。目的:本文旨在阐明与ML为基础的安全关键系统认证有关的挑战,以及文献中提出的解决方案,以解决它们,回答问题的问题如何证明基于机器学习的安全关键系统?'方法:我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述(SLR),涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题,被认为是ML认证的主要支柱:鲁棒性,不确定性,解释性,验证,安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题,并提取了提取的论文的总结。结果:单反结果突出了社区对该主题的热情,以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系,以加深域名研究。最后,它还说明了必须在上面提到的主要支柱之间建立连接的必要性,这些主要柱主要主要研究。结论:我们强调了目前部署的努力,以实现ML基于ML的软件系统,并讨论了一些未来的研究方向。
translated by 谷歌翻译
质量控制是制造业企业进行的至关重要的活动,以确保其产品符合质量标准并避免对品牌声誉的潜在损害。传感器成本下降和连接性使制造业数字化增加。此外,人工智能可实现更高的自动化程度,减少缺陷检查所需的总体成本和时间。这项研究将三种活跃的学习方法(与单一和多个牙齿)与视觉检查进行了比较。我们提出了一种新颖的方法,用于对分类模型的概率校准和两个新的指标,以评估校准的性能而无需地面真相。我们对飞利浦消费者生活方式BV提供的现实数据进行了实验。我们的结果表明,考虑到p = 0.95的阈值,探索的主动学习设置可以将数据标签的工作减少3%至4%,而不会损害总体质量目标。此外,我们表明所提出的指标成功捕获了相关信息,否则仅通过地面真实数据最适合使用的指标可用。因此,所提出的指标可用于估计模型概率校准的质量,而无需进行标签努力以获取地面真相数据。
translated by 谷歌翻译
分配转移或培训数据和部署数据之间的不匹配是在高风险工业应用中使用机器学习的重要障碍,例如自动驾驶和医学。这需要能够评估ML模型的推广以及其不确定性估计的质量。标准ML基线数据集不允许评估这些属性,因为培训,验证和测试数据通常相同分布。最近,已经出现了一系列专用基准测试,其中包括分布匹配和转移的数据。在这些基准测试中,数据集在任务的多样性以及其功能的数据模式方面脱颖而出。虽然大多数基准测试由2D图像分类任务主导,但Shifts包含表格天气预测,机器翻译和车辆运动预测任务。这使得可以评估模型的鲁棒性属性,并可以得出多种工业规模的任务以及通用或直接适用的特定任务结论。在本文中,我们扩展了偏移数据集,其中两个数据集来自具有高社会重要性的工业高风险应用程序。具体而言,我们考虑了3D磁共振脑图像中白质多发性硬化病变的分割任务以及海洋货物容器中功耗的估计。两项任务均具有无处不在的分配变化和由于错误成本而构成严格的安全要求。这些新数据集将使研究人员能够进一步探索新情况下的强大概括和不确定性估计。在这项工作中,我们提供了两个任务的数据集和基线结果的描述。
translated by 谷歌翻译
机器学习〜(ML)近年来在不同的应用和域上提供了令人鼓舞的结果。但是,在许多情况下,需要确保可靠性甚至安全性等质量。为此,一个重要方面是确定是否在适合其应用程序范围的情况下部署了ML组件。对于其环境开放且可变的组件,例如在自动驾驶汽车中发现的组件,因此,重要的是要监视其操作情况,以确定其与ML组件训练有素的范围的距离。如果认为该距离太大,则应用程序可以选择考虑ML组件结果不可靠并切换到替代方案,例如改用人类操作员输入。 SAFEML是一种基于培训和操作数据集的统计测试的距离测量,用于执行此类监视的模型无形方法。正确设置Safeml的限制包括缺乏用于确定给定应用程序的系统方法,需要多少个操作样本来产生可靠的距离信息以及确定适当的距离阈值。在这项工作中,我们通过提供实用方法来解决这些限制,并证明其在众所周知的交通标志识别问题中的用途,并在一个使用Carla开源汽车模拟器的示例中解决了这些局限性。
translated by 谷歌翻译
近年来,机器学习(ML),深度学习(DL)和人工智能(AI)的普及已急剧上升。尽管受欢迎程度激增,但ML和DL算法的内部运作被认为是不透明的,并且它们与经典数据分析工具的关系仍然存在争议。通常认为ML和DL主要在做出预测方面出色。但是,最近,它们越来越多地用于传统上统计模型涵盖的经典分析任务。此外,最近对ML的评论专门针对DL,缺少综合具有不同优势和一般原则的ML算法财富。在这里,我们提供了ML和DL领域的全面概述,从其历史发展,现有算法家庭,与传统统计工具的差异以及通用ML原则的差异。然后,我们讨论为什么以及何时ML和DL模型在预测任务上表现出色,以及它们可以为推理提供传统统计方法的替代方法,从而突出了当前和新兴的生态问题应用程序。最后,我们总结了新兴趋势,例如科学和因果ML,可解释的AI以及负责的AI,这些AI可能会在未来显着影响生态数据分析。
translated by 谷歌翻译
在过去几十年中,已经提出了各种方法,用于估计回归设置中的预测间隔,包括贝叶斯方法,集合方法,直接间隔估计方法和保形预测方法。重要问题是这些方法的校准:生成的预测间隔应该具有预定义的覆盖水平,而不会过于保守。在这项工作中,我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
无法假定数据驱动AI模型的结果总是正确的。为了估算这些结果中的不确定性,已经提出了不确定性包装框架,其考虑了与模型适合,输入质量和范围合规相关的不确定性。不确定性包装器使用决策树方法来群集输入质量相关的不确定性,严格分配输入到不同的不确定性集群。因此,仅一个特征的略有变化可能导致群集分配,具有显着不同的不确定性。我们的目标是用一种方法取代这一点,这种方法可以在保留解释性,运行时复杂度和预测性能的同时减轻这些作业的硬决策界限。选择五种方法作为候选人并集成到不确定性包装框架中。对于基于Brier评分的评估,使用Carla Simulator和Yolov3生成用于行人检测用例的数据集。所有综合方法都达到了不确定估计的软化,即平滑。然而,与决策树相比,它们并不是那么容易解释并具有更高的运行时复杂性。此外,雷恩分数的一些组成部分损害,而其他部分则改善。关于Brier得分的最有前途是随机森林。总之,软化硬决策树边界似乎是一个权衡决定。
translated by 谷歌翻译
随着现代世界中对高度安全和可靠的轻质系统的需求增加,物理上无统治的功能(PUF)继续承诺可轻巧的高成本加密技术和安全钥匙存储。虽然PUF承诺的安全功能对安全系统设计师具有很高的吸引力,但已证明它们容易受到各种复杂攻击的攻击 - 最著名的是基于机器的建模攻击(ML -MA),这些攻击(ML -MA)试图以数字方式克隆PUF行为因此破坏了他们的安全。最新的ML-MA甚至还利用了PUF误差校正所需的公开辅助数据,以预测PUF响应而无需了解响应数据。为此,与传统的PUF储存技术和比较的PUF技术相反,研究开始研究PUF设备的身份验证,并进行了著名的挑战 - 响应对(CRP)的比较。在本文中,我们基于新颖的“ PUF - 表型”概念提出了一个使用ML的分类系统,以准确识别起点并确定得出的噪声记忆(DRAM)PUF响应的有效性作为助手数据依赖数据的Denoisis技术的替代方法。据我们所知,我们是第一个每个模型对多个设备进行分类的人,以实现基于组的PUF身份验证方案。我们使用修改后的深卷积神经网络(CNN)最多达到98 \%的分类精度,并与几个完善的分类器结合使用特征提取。我们还在实验中验证了在Raspberry Pi设备上模型的性能,以确定在资源约束环境中部署我们所提出的模型的适用性。
translated by 谷歌翻译
机器学习(ML)系统的开发和部署可以用现代工具轻松执行,但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务,范围蠕变和未对准的目标,模型滥用和失败,以及昂贵的后果。另一方面,工程系统遵循明确定义的流程和测试标准,以简化高质量,可靠的结果的开发。极端是航天器系统,其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验(通过域名通过产品的研究),我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”(MLTRL)框架定义了一个原则的过程,以确保强大,可靠和负责的系统,同时为ML工作流程流线型,包括来自传统软件工程的关键区别。 MLTRL甚至更多,MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里,我们描述了通过生产化和部署在医学诊断,消费者计算机视觉,卫星图像和粒子物理学等领域,以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。
translated by 谷歌翻译
When testing conditions differ from those represented in training data, so-called out-of-distribution (OOD) inputs can mar the reliability of black-box learned components in the modern robot autonomy stack. Therefore, coping with OOD data is an important challenge on the path towards trustworthy learning-enabled open-world autonomy. In this paper, we aim to demystify the topic of OOD data and its associated challenges in the context of data-driven robotic systems, drawing connections to emerging paradigms in the ML community that study the effect of OOD data on learned models in isolation. We argue that as roboticists, we should reason about the overall system-level competence of a robot as it performs tasks in OOD conditions. We highlight key research questions around this system-level view of OOD problems to guide future research toward safe and reliable learning-enabled autonomy.
translated by 谷歌翻译