成像,散射和光谱是理解和发现新功能材料的基础。自动化和实验技术的当代创新导致这些测量更快,分辨率更高,从而产生了大量的分析数据。这些创新在用户设施和同步射击光源时特别明显。机器学习(ML)方法经常开发用于实时地处理和解释大型数据集。然而,仍然存在概念障碍,进入设施一般用户社区,通常缺乏ML的专业知识,以及部署ML模型的技术障碍。在此,我们展示了各种原型ML模型,用于在国家同步光源II(NSLS-II)的多个波束线上在飞行分析。我们谨慎地描述这些示例,专注于将模型集成到现有的实验工作流程中,使得读者可以容易地将它们自己的ML技术与具有普通基础设施的NSLS-II或设施的实验中的实验。此处介绍的框架展示了几乎没有努力,多样化的ML型号通过集成到实验编程和数据管理的现有Blueske套件中与反馈回路一起运行。
translated by 谷歌翻译
异常和异常值检测是机器学习中的长期问题。在某些情况下,异常检测容易,例如当从诸如高斯的良好特征的分布中抽出数据时。但是,当数据占据高维空间时,异常检测变得更加困难。我们呈现蛤蜊(聚类学习近似歧管),是任何度量空间中的歧管映射技术。 CLAM以快速分层聚类技术开始,然后根据使用多个几何和拓扑功能所选择的重叠群集,从群集树中引导图表。使用这些图形,我们实现了Chaoda(群集分层异常和异常值检测算法),探索了图形的各种属性及其组成集群以查找异常值。 Chaoda采用了一种基于培训数据集的转移学习形式,并将这些知识应用于不同基数,维度和域的单独测试集。在24个公开可用的数据集上,我们将Chaoda(按衡量ROC AUC)与各种最先进的无监督异常检测算法进行比较。六个数据集用于培训。 Chaoda优于16个剩余的18个数据集的其他方法。 CLAM和Chaoda规模大,高维“大数据”异常检测问题,并贯穿数据集和距离函数。克拉姆和Chaoda的源代码在github上自由地提供https://github.com/uri-abd/clam。
translated by 谷歌翻译
给定传感器读数随着时间的推移从电网上,我们如何在发生异常时准确地检测?实现这一目标的关键部分是使用电网传感器网络在电网上实时地在实时检测到自然故障或恶意的任何不寻常的事件。行业中现有的坏数据探测器缺乏鲁布布利地检测广泛类型的异常,特别是由于新兴网络攻击而造成的复杂性,因为它们一次在网格的单个测量快照上运行。新的ML方法更广泛适用,但通常不会考虑拓扑变化对传感器测量的影响,因此无法适应历史数据中的定期拓扑调整。因此,我们向DynWatch,基于域知识和拓扑知识算法用于使用动态网格上的传感器进行异常检测。我们的方法准确,优于实验中的现有方法20%以上(F-Measure);快速,在60K +分支机用中的每次传感器上平均运行小于1.7ms,使用笔记本电脑,并在图表的大小上线性缩放。
translated by 谷歌翻译
开放式识别通过将测试样本分类为来自训练或“未知”的已知类之一来概括分类任务。作为一种新的癌症药物鸡尾酒,不断发现改善治疗,预测癌症治疗可以在开放式识别问题方面自然地配制。由于在训练期间建模未知样品,因此从医疗开放式学习中的先前工作的直接实现产生了缺点。因此,我们重新确定问题方法,并应用最近的现有高斯混合变分性AutoEncoder模型,其实现了图像数据集的最新结果,乳腺癌患者数据。与最近的方法相比,我们不仅获得了更准确和稳健的分类结果,平均F1增加了24.5%,但我们还在部署到临床环境方面重新审视开放式识别。
translated by 谷歌翻译
异常的可视化和检测异常(异常值)对许多领域,特别是网络安全的重要性至关重要。在这些领域提出了几种方法,但我们的知识迄今为止,它们都不是在一个相干框架中同时或合作地满足了两个目标。引入了这些方法的可视化方法,用于解释检测算法的输出,而不是用于促进独立视觉检测的数据探测。这是我们的出发点:未经避免,不审视和非分析方法,对Vission(人类流程)和检测(算法)的异常值,分配不变的异常分数(标准化为$ [0,1] $) ,而不是硬二元决定。 Novely的新颖性的主要方面是它将数据转换为新的空间,该空间是在本文中引入的作为邻域累积密度函数(NCDF),其中进行了可视化和检测。在该空间中,异常值非常明显可区分,因此检测算法分配的异常分数在ROC曲线(AUC)下实现了高区域。我们在模拟和最近公布的网络安全数据集中评估了不避免,并将其与其中的三种最成功的异常检测方法进行比较:LOF,IF和FABOD。就AUC而言,不避免几乎是整体胜利者。这篇文章通过提供了对未避免的新理论和实际途径的预测来了解。其中包括设计一种可视化辅助异常检测(Vaad),一种软件通过提供不避免的检测算法(在后发动机中运行),NCDF可视化空间(呈现为绘图)以及其他传统方法在原始特征空间中的可视化,所有这些都在一个交互环境中链接。
translated by 谷歌翻译
考虑一个结构化的特征数据集,例如$ \ {\ textrm {sex},\ textrm {compy},\ textrm {race},\ textrm {shore} \} $。用户可能希望在特征空间观测中集中在哪里,并且它稀疏或空的位置。大稀疏或空区域的存在可以提供软或硬特征约束的域知识(例如,典型的收入范围是什么,或者在几年的工作经验中可能不太可能拥有高收入)。此外,这些可以建议用户对稀疏或空区域中的数据输入的机器学习(ML)模型预测可能是不可靠的。可解释的区域是一个超矩形,例如$ \ {\ textrm {rame} \ in \ {\ textrm {black},\ textrm {white} \} \} \} \&$ $ \ {10 \ leq \ :\ textrm {体验} \:\ leq 13 \} $,包含满足约束的所有观察;通常,这些区域由少量特征定义。我们的方法构造了在数据集中观察到的特征空间的基于观察密度的分区。它与其他人具有许多优点,因为它适用于原始域中的混合类型(数字或分类)的特征,也可以分开空区域。从可视化可以看出,所产生的分区符合人眼可能识别的空间分组;因此,结果应延伸到更高的尺寸。我们还向其他数据分析任务展示了一些应用程序,例如推断M1模型误差,测量高尺寸密度可变性以及治疗效果的因果推理。通过分区区域的超矩形形式可以实现许多这些应用。
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
异常检测是识别数据集中异常实例或事件的过程,这些情况偏离了规范。在本研究中,我们提出了一种基于机器学习算法的签名,以检测给定数据集的稀有或意外项目。我们将签名或随机签名的应用作为异常检测算法的特征提取器;此外,我们为随机签名构建提供了简单的,表示的理论理由。我们的第一个申请基于合成数据,旨在区分股票价格的实际和假轨迹,这是通过目视检查无法区分的。我们还通过使用加密货币市场的交易数据来显示实际应用程序。在这种情况下,我们能够通过无监督的学习算法识别在社交网络上组织的泵和转储尝试,该算法高达88%,从而实现了靠近现场最先进的结果基于监督学习。
translated by 谷歌翻译
该行业许多领域的自动化越来越多地要求为检测异常事件设计有效的机器学习解决方案。随着传感器的普遍存在传感器监测几乎连续地区的复杂基础设施的健康,异常检测现在可以依赖于以非常高的频率进行采样的测量,从而提供了在监视下的现象的非常丰富的代表性。为了充分利用如此收集的信息,观察不能再被视为多变量数据,并且需要一个功能分析方法。本文的目的是探讨近期对实际数据集的功能设置中异常检测技术的性能。在概述最先进的和视觉描述性研究之后,比较各种异常检测方法。虽然功能设置中的异常分类(例如,形状,位置)在文献中记录,但为所识别的异常分配特定类型似乎是一个具有挑战性的任务。因此,鉴于模拟研究中的这些突出显示类型,现有方法的强度和弱点是基准测试。接下来在两个数据集上评估异常检测方法,与飞行中的直升机监测和建筑材料的光谱相同有关。基准分析由从业者的建议指导结束。
translated by 谷歌翻译
监视网络流量数据以检测异常的任何隐藏模式是一个具有挑战性和耗时的任务,需要高计算资源。为此,适当的摘要技术非常重要,在那里它可以是原始数据的替代品。但是,总结数据受到异常的威胁。因此,创建一个可以将与原始数据相同的模式的摘要至关重要。因此,在本文中,我们提出了一种智能摘要方法,用于识别隐藏的异常,称为innident。建议的方法保证了将原始数据分布保持在总结数据。我们的方法是一种基于聚类的算法,它通过每个群集中的本地加权功能动态地将原始要素空间映射到新的特征空间。因此,在新的特征空间中,类似的样本更近,因此,异常值更为可检测。此外,基于簇大小的选择代表与总结数据中的原始数据保持相同的分发。在执行异常检测算法和异常检测算法之前,可以使用载体作为预处理方法。基准数据集的实验结果证明了数据的摘要可以是异常检测任务中的原始数据的替代品。
translated by 谷歌翻译
为了允许机器学习算法从原始数据中提取知识,必须首先清除,转换,并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择,其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中,不同事件的实例通常是不平衡的,这意味着某些正常事件被超出,而其他罕见事件非常有限。通常,这些罕见的事件具有特殊的兴趣,因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例,从而积极影响特征选择过程。在这项工作过程中,我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集,所产生的性能增加仅为百分点,但对于其他数据集,我们能够实现高达16%的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神,提高了我们的研究领域的透明度,我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。
translated by 谷歌翻译
在M维数据点的云中,我们将如何发现,以及排名,单点和群体 - 异常?我们是第一个概括了两个维度的异常检测:第一维度是我们在统一的观点下处理点异常,以及组异常 - 我们将把它们称为广义异常。第二维度不仅可以检测到,而且还可以在可疑顺序中排名,但也排名,异常。异常检测和排名具有许多应用:例如,在癫痫患者的脑电图中,异常可能表明癫痫发作;在计算机网络流量数据中,它可能表示电源故障或DOS / DDOS攻击。我们首先设置一些合理的公理;令人惊讶的是,早期的方法都没有通过所有公理。我们的主要贡献是Gen2Out算法,具有以下理想的性质:(a)所指的原理和声音异常评分,使得探测器的公理组合,(b)倍增,在其检测到,以及排名的级别点和组异常,(c)可扩展,它是快速且可伸缩的,线性输入大小。 (d)有效,关于现实世界癫痫记录(200GB)的实验证明了临床医生证实Gen2Out的有效性。在27个现实世界基准数据集上的实验表明,GEN2OUT检测到准确性的地面真理组,匹配或优于点异常基线基线算法,没有对组异常的竞争,并且在储运机上需要大约2分钟的数据点。
translated by 谷歌翻译
基于机器学习(ML)的系统的制作需要在其生命周期中进行统计控制。仔细量化业务需求和识别影响业务需求的关键因素降低了项目故障的风险。业务需求的量化导致随机变量的定义,表示通过统计实验需要分析的系统关键性能指标。此外,可提供的培训和实验结果产生影响系统的设计。开发系统后,测试并不断监控,以确保其符合其业务需求。这是通过持续应用统计实验来分析和控制关键绩效指标来完成的。本书教授制作和开发基于ML的系统的艺术。它倡导“首先”方法,强调从项目生命周期开始定义统计实验的需要。它还详细讨论了如何在整个生命周期中对基于ML的系统进行统计控制。
translated by 谷歌翻译
隔离林或“IFOREST”是一种直观且广泛使用的异常检测算法,其遵循一个简单而有效的想法:在给定的数据分布中,如果在某种变量和数据的范围内随机地均匀选择阈值(分割点)根据它们是否更大或小于此阈值,异常值更可能在较小的分区中最终或较小分区划分点。原始程序建议选择变量以在每个步骤中随机均匀地完成变量的变量,但本文表明“集群化”不同的异常值 - 通常比其他人更有趣的异常值 - 可以更多通过应用非均匀 - 随机的变量和/或阈值来容易地识别。比较不同的分割指导标准,发现一些结果导致某些异常值的明显差异更好。
translated by 谷歌翻译
新的纳米级技术的出现对辐射环境中的可靠电子系统造成了重大挑战。少数种类的辐射等全电离剂量(TID)效应通常导致在这种纳米级电子设备上的永久性损坏,以及当前最先进的技术,以使用昂贵的辐射硬化装置。本文重点介绍了一种新颖且不同的方法:在消费者电子级现场可编程门阵列(FPGA)上使用机器学习算法来解决TID效果并在停止工作之前监控它们替换。这种情况有一个研究挑战,以期待电路板因TID效应而导致总失效。我们观察到γ辐射下FPGA板的内部测量,并使用了三种不同的异常检测机学习(ML)算法来检测伽马辐射环境中的传感器测量中的异常。统计结果表明伽马辐射曝光水平与板测量之间的高度显着关系。此外,我们的异常检测结果表明,具有径向基函数内核的单级支持向量机的平均召回得分为0.95。此外,在电路板停止工作之前,可以检测到所有异常。
translated by 谷歌翻译
最先进的语义或实例分割深度神经网络(DNN)通常在封闭的语义类上培训。因此,它们的装备不适用于处理以前的未持续的对象。然而,检测和定位这些物体对于安全关键应用至关重要,例如对自动驾驶的感知,特别是如果它们出现在前方的道路上。虽然某些方法已经解决了异常或分发的对象分割的任务,但由于缺乏固体基准,在很大程度上存在进展仍然缓慢;现有数据集由合成数据组成,或遭受标签不一致。在本文中,我们通过介绍“SegmentMeifyOUCAN”基准来弥合这个差距。我们的基准解决了两个任务:异常对象分割,这将考虑任何以前的未持续的对象类别;和道路障碍分割,它侧重于道路上的任何物体,可能是已知的或未知的。我们将两个相应的数据集与执行深入方法分析的测试套件一起提供,考虑到已建立的像素 - 明智的性能度量和最近的组件 - 明智的,这对对象尺寸不敏感。我们凭经验评估了多种最先进的基线方法,包括使用我们的测试套件在我们的数据集和公共数据上专门为异常/障碍分割而设计的多种型号。异常和障碍分割结果表明,我们的数据集有助于数据景观的多样性和难度。
translated by 谷歌翻译
集成不同学科的数据集很难,因为数据通常在含义,规模和可靠性中的定性不同。当两个数据集描述相同的实体时,许多科学问题可以围绕这种不同数据保守的(DIS)是否保守。我们的方法,清晰度,量化数据集的一致性,识别出现不一致的地方,并辅助其解释。我们使用三种不同的比较来说明这一点:基因甲基化与表达,语言的演变声音与单词使用,以及国家级经济指标与文化信仰。非参数方法对噪声和缩放的差异很强大,并且只有关于如何生成数据的弱假设。它通过将相似性分解为两个组件:类似于聚类的“结构”组件,以及这些结构之间的底层的“关系”。这允许使用从“结构”的可预测性的两个相似性矩阵之间的“结构比较”。在适合每个数据集的重新采样的帮助下评估重要性。本软件清晰度,可作为来自https://github.com/danjlawson/trarity的R包。
translated by 谷歌翻译
分析序列数据通常导致有趣模式的发现,然后是异常检测。近年来,已经提出了许多框架和方法来发现序列数据中有趣的模式以及检测异常行为。然而,现有的算法主要专注于频率驱动的分析,并且它们是在现实世界的环境中应用的具有挑战性。在这项工作中,我们展示了一个名为Duos的新的异常检测框架,可以从一组序列中发现实用程序感知异常顺序规则。在基于模式的异常检测算法中,我们纳入了一个组的异常度和实用程序,然后介绍了实用程序感知异常序列规则(UOSR)的概念。我们表明这是一种检测异常的更有意义的方式。此外,我们提出了一些有效的修剪策略w.r.t.用于挖掘UOSR的上限,以及异常检测。在若干现实世界数据集上进行了广泛的实验研究表明,所提出的Duos算法具有更好的有效性和效率。最后,DUOS优于基线算法,具有合适的可扩展性。
translated by 谷歌翻译
目的:我们研究使用机器学习(ML)模型的可解释的累入预测,并在预测能力,稀疏性和公平性方面分析性能。与以前的作品不同,本研究列举了输出概率而不是二进制预测的可解释模型,并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法:我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较,以预测审前常规率:Arnold PSA和Compas。我们评估了所有模型的预测性能,可以在两次跨越两次预测六种不同类型犯罪的模型。结果:几种可解释的ML模型可以预测常规和黑盒ML模型,比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA,这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训,以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论:可解释的机器学习模型可以在预测准确性和公平性方面表现,也可以表现,也可以表现,也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训,可以更准确地进行不同的位置,并保持最新。
translated by 谷歌翻译
特征选择是数据科学流水线的重要步骤,以减少与大型数据集相关的复杂性。虽然对本主题的研究侧重于优化预测性能,但很少研究在特征选择过程的上下文中调查稳定性。在这项研究中,我们介绍了重复的弹性网技术(租金)进行特色选择。租金使用具有弹性净正常化的广义线性模型的集合,每个训练都培训了训练数据的不同子集。该特征选择基于三个标准评估所有基本模型的重量分布。这一事实导致选择具有高稳定性的特征,从而提高最终模型的稳健性。此外,与已建立的特征选择器不同,租金提供了有关在训练期间难以预测的数据中难以预测的对象的模型解释的有价值信息。在我们的实验中,我们在八个多变量数据集中对六个已建立的特征选择器进行基准测试,用于二进制分类和回归。在实验比较中,租金在预测性能和稳定之间展示了均衡的权衡。最后,我们强调了租金的额外解释价值与医疗保健数据集的探索性后HOC分析。
translated by 谷歌翻译