Clustering analysis of sequence data continues to address many applications in engineering design, aided with the rapid growth of machine learning in applied science. This paper presents an unsupervised machine learning algorithm to extract defining characteristics of earthquake ground-motion records, also called latent features, to aid in ground-motion clustering and selection. In this context, a latent feature is a low dimensional machine-discovered spectral characteristic learned through nonlinear relationships of a neural network autoencoder. Clustering can be performed on the latent features and used to select a representative archetypal subgroup from a large ground-motion suite. The objective of efficient ground-motion selection is to choose records representative of what the structure will probabilistically experience in its lifetime. Three examples are presented to validate this approach, including a synthetic spectral dataset and spectra from field recorded ground-motion records. Deep embedding clustering of ground motion spectra improves on the results of static feature extraction, utilizing characteristics that represent the sparse spectral content of ground motions.
translated by 谷歌翻译
时间序列形状是最近发现对时间序列聚类有效（TSC）有效的歧视子序列。形状方便地解释簇。因此，TSC的主要挑战是发现高质量的可变长度形状以区分不同的簇。在本文中，我们提出了一种新型的自动编码器窗帘方法（AutoShape），这是第一次利用自动编码器和塑形器以不受欢迎的方式确定形状的研究。自动编码器的专门设计用于学习高质量的形状。更具体地说，为了指导潜在的表示学习，我们采用了最新的自我监督损失来学习不同变量的可变长度塑形塑形（时间序列子序列）的统一嵌入，并提出多样性损失，以选择歧视嵌入的嵌入方式统一空间。我们介绍了重建损失，以在原始时间序列空间中恢复形状，以进行聚类。最后，我们采用Davies Bouldin指数（DBI），将学习过程中的聚类性能告知AutoShape。我们介绍了有关自动赛的广泛实验。为了评估单变量时间序列（UTS）的聚类性能，我们将AutoShape与使用UCR存档数据集的15种代表性方法进行比较。为了研究多元时间序列（MTS）的性能，我们使用5种竞争方法评估了30个UEA档案数据集的AutoShape。结果证明了AutoShape是所有比较的方法中最好的。我们用形状来解释簇，并可以在三个UTS案例研究和一个MTS案例研究中获得有关簇的有趣直觉。
translated by 谷歌翻译
通过有限元（FE）模型对工程需求参数（EDP）的计算昂贵估计，同时考虑地震和参数不确定性限制了基于性能的地震工程框架的使用。已经尝试用替代模型代替FE模型，但是，这些模型中的大多数仅是构建参数的函数。这需要重新训练替代物以前未见地震。在本文中，作者提出了一个基于机器学习的替代模型框架，该框架考虑了这两种不确定性，以预测看不见的地震。因此，地震的特征在于使用代表性地面运动套件的SVD计算的正顺序基础。这使人们能够通过随机采样这些权重并将其乘以基础来产生大量的地震。权重以及本构参数作为用EDP作为所需输出的机器学习模型的输入。测试了四个竞争机器学习模型，并观察到一个深神经网络（DNN）给出了最准确的预测。该框架通过使用它成功预测了使用棒模型代表的一层楼和三层建筑的峰值响应来验证该框架，并受到看不见的远场地面运动。
translated by 谷歌翻译
由于几个原因，很难聚集艺术品。一方面，识别基于领域知识和视觉感知的有意义的模式非常困难。另一方面，将传统的聚类和功能还原技术应用于高度尺寸的像素空间可能是无效的。为了解决这些问题，在本文中，我们提出了Delius：一种深入学习视觉艺术的深度学习方法。该方法使用预训练的卷积网络提取功能，然后将这些功能馈送到深层嵌入聚类模型中，在此，将输入数据映射到潜在空间的任务是通过在找到一组集群质心的任务，以在此任务进行优化。这个潜在空间。定量和定性实验结果表明了该方法的有效性。Delius对于与艺术分析有关的多个任务很有用，特别是在绘画数据集中发现的视觉链接检索和历史知识发现。
translated by 谷歌翻译
我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器（PAE），以学习IA型超新星（SNE IA）的内在多样性。 PAE是一个两阶段的生成模型，由自动编码器（AE）组成，该模型在使用归一化流（NF）训练后概率地解释。我们证明，PAE学习了一个低维的潜在空间，该空间可捕获人口内存在的非线性特征范围，并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络，我们表明可以在训练期间分离内在和外在的可变性模式，从而消除了需要进行额外标准化的其他模型。然后，我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析，包括自动检测SN Outliers，与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现，与以前的研究相一致的最佳固有模型参数数量似乎是三个，并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本，该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布
translated by 谷歌翻译
被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。
translated by 谷歌翻译
TimeSeries Partitioning是大多数机器学习驱动的传感器的IOT应用程序的重要步骤。本文介绍了一种采样效率，鲁棒，时序分割模型和算法。我们表明，通过基于最大平均差异（MMD）的分割目标来学习特定于分割目标的表示，我们的算法可以鲁布布地检测不同应用程序的时间序列事件。我们的损耗功能允许我们推断是否从相同的分布（空假设）中绘制了连续的样本序列，并确定拒绝零假设的对之间的变化点（即，来自不同的分布）。我们展示了其在基于环境传感的活动识别的实际IOT部署中的适用性。此外，虽然文献中存在许多关于变更点检测的作品，但我们的模型明显更简单，匹配或优于最先进的方法。我们可以平均地在9-93秒内完全培训我们的模型，而在不同应用程序上的数据的差异很小。
translated by 谷歌翻译
特征提取方法有助于降低维度并捕获相关信息。在时间序列预测（TSF）中，功能可以用作辅助信息，以实现更好的准确性。传统上，TSF中使用的功能是手工制作的，需要域知识和重要的数据工程工作。在这项研究中，我们首先介绍了静态和动态功能的概念，然后使我们能够开发自主功能，以检索不需要域知识的静态特征（FRAN）的自动回归网络（FRAN）。该方法基于CNN分类器，该分类器经过训练，可以为每个系列创建一个集体和独特的类表示，要么是从该系列的部分中或（如果可以使用的类标签），从一组同一类中。它允许以相似的行为区分序列，但要从不同的类别中进行区分，并使从分类器提取的特征具有最大歧视性。我们探讨了我们功能的解释性，并评估预测元学习环境中该方法的预测能力。我们的结果表明，在大多数情况下，我们的功能会提高准确性。一旦训练，我们的方法就会创建比统计方法快的阶数级级。
translated by 谷歌翻译
评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。
translated by 谷歌翻译
大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。
translated by 谷歌翻译
不同光谱系统的相互不兼容是激光诱导的分解光谱法（LIBS）的最大因素之一。由于需要广泛的校准，与设置新的Libs系统有关的成本增加了。解决该问题将实现实验室间参考测量和共享光谱库，这对于其他光谱技术至关重要。在这项工作中，我们研究了该挑战的简化版本，其中LIBS系统仅在使用的光谱仪和收集光学方面有所不同，但共享设备的所有其他部分，并同时从相同的等离子体羽流中收集光谱。用作异质标本的高光谱图像测量的广泛数据集用于训练可以在系统之间传递光谱的机器学习模型。转移是由由变量自动编码器（VAE）和完全连接的人工神经网络（ANN）组成的管道实现的。在第一步中，我们获得了在初级系统上测量的光谱的潜在表示（通过使用VAE）。在第二步中，我们将光谱从二级系统映射到潜在空间中的相应位置（ANN）。最后，从潜在空间重建二级系统光谱到主要系统的空间。通过几个优点（欧几里得和余弦距离，都在空间上解析； k-均值的转移光谱聚类）来评估转移。将该方法与几种基线方法进行比较。
translated by 谷歌翻译
纵向电子健康记录（EHR）数据的可用性增加导致改善对疾病的理解和新颖表型的发现。大多数聚类算法仅关注患者轨迹，但具有类似轨迹的患者可能具有不同的结果。寻找不同轨迹和结果的患者亚组可以引导未来的药物开发，改善临床试验的招募。我们使用可以加权的重建，结果和聚类损耗开发经常性神经网络自动拓群体以群集EHR数据，以查找不同类型的患者群集。我们展示我们的模型能够从数据偏差和结果差异中发现已知的集群，表现优于基线模型。我们展示了29,222,229美元糖尿病患者的模型性能，显示出发现患有不同轨迹和不同结果的患者的簇，可用于帮助临床决策。
translated by 谷歌翻译
聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。
translated by 谷歌翻译
本文介绍了一个集成预测方法，通过减少特征和模型选择假设来显示M4Competitiation数据集的强劲结果，称为甜甜圈（不利用人为假设）。我们的假设减少，主要由自动生成的功能和更多样化的集合模型组成，显着优于Montero-Manso等人的统计特征的集合方法FForma。 （2020）。此外，我们用长短期内存网络（LSTM）AutoEncoder调查特征提取，并发现此类特征包含传统统计特征方法未捕获的重要信息。合奏加权模型使用LSTM功能和统计功能准确地结合模型。特征重要性和交互的分析表明，单独的统计数据的LSTM特征略有优势。聚类分析表明，不同的基本LSTM功能与大多数统计特征不同。我们还发现，通过使用新模型增强合奏来增加加权模型的解决方案空间是加权模型学习使用的东西，解释了准确性的一部分。最后，我们为集合的最佳组合和选择提供了正式的前后事实分析，通过M4数据集的线性优化量化差异。我们还包括一个简短的证据，模型组合优于模型选择，后者。
translated by 谷歌翻译
地震数据处理在很大程度上取决于物理驱动的反问题的解决方案。在存在不利的数据采集条件下（例如，源和/或接收器的规则或不规则的粗略采样），基本的反问题变得非常不适，需要先进的信息才能获得令人满意的解决方案。刺激性反演，再加上固定基础的稀疏转换，代表了许多处理任务的首选方法，因为其实施简单性并在各种采集方案中都成功地应用了成功应用。利用深神经网络找到复杂的多维矢量空间的紧凑表示的能力，我们建议训练自动编码器网络，以了解输入地震数据和代表性潜流歧管之间的直接映射。随后，训练有素的解码器被用作手头物理驱动的逆问题的非线性预处理。提供了各种地震处理任务的合成数据和现场数据，并且所提出的非线性，学习的转换被证明超过了固定基本的转换，并更快地收敛到所寻求的解决方案。
translated by 谷歌翻译
动态模型是我们理解和预测自然系统行为的能力。无论是从第一原理推导还是从观察数据开发的动力模型，它们都基于我们选择状态变量。状态变量的选择是由便利性和直觉驱动的，在数据驱动的情况下，观察到的变量通常被选择为状态变量。这些变量的维度（以及动态模型）可以任意大，从而掩盖了系统的基本行为。实际上，这些变量通常是高度冗余的，并且该系统是由一组潜在的内在变量集驱动的。在这项研究中，我们将流形的数学理论与神经网络的代表能力相结合，以开发一种方法，该方法直接从时间序列数据中学习了系统的内在状态变量，还可以学习其动力学的预测模型。我们方法的区别在于，它有能力将数据减少到其居住的非线性流形的固有维度。从流形理论中的图表和地图集的概念可以实现这种能力，从而使歧管由缝制在一起的贴片的集合表示，这是获得内在维度的必要表示。我们在几个具有低维行为的高维系统上证明了这种方法。最终的框架提供了开发最低维度的动态模型的能力，从而捕获了系统的本质。
translated by 谷歌翻译
我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。
translated by 谷歌翻译
基于深度学习的潜在表示已被广泛用于众多科学可视化应用，例如等法相似性分析，音量渲染，流场合成和数据减少，仅举几例。但是，现有的潜在表示主要以无监督的方式从原始数据生成，这使得很难合并域兴趣以控制潜在表示的大小和重建数据的质量。在本文中，我们提出了一种新颖的重要性驱动的潜在表示，以促进领域利益引导的科学数据可视化和分析。我们利用空间重要性图来代表各种科学利益，并将它们作为特征转化网络的输入来指导潜在的生成。我们通过与自动编码器一起训练的无损熵编码算法，进一步降低了潜在尺寸，从而提高了存储和存储效率。我们通过多个科学可视化应用程序的数据进行定性和定量评估我们方法产生的潜图的有效性和效率。
translated by 谷歌翻译
紧凑和节能的可穿戴传感器的发展导致生物信号的可用性增加。为了分析这些连续记录的，通常是多维的时间序列，能够进行有意义的无监督数据分割是一个吉祥的目标。实现这一目标的一种常见方法是将时间序列中的变更点确定为分割基础。但是，传统的更改点检测算法通常带有缺点，从而限制了其现实世界的适用性。值得注意的是，他们通常依靠完整的时间序列可用，因此不能用于实时应用程序。另一个常见的限制是，它们处理多维时间序列的分割（或无法）。因此，这项工作的主要贡献是提出一种新型的无监督分段算法，用于多维时间序列，名为潜在空间无监督的语义细分（LS-USS），该算法旨在轻松地与在线和批处理数据一起使用。在将LS-USS与其他最先进的更改点检测算法进行比较时，在各种现实世界数据集上，在离线和实时设置中，LS-USS在PAR或更好的性能上都可以系统地实现。
translated by 谷歌翻译
We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.
translated by 谷歌翻译