在本文中,我们介绍了一种新颖的时空连续模式,称为收缩的时空顺序(CSTS)模式,并彻底分析了它们的性质。我们证明了CSTS模式的集合是可以在给定数据集中发现的所有时空连续模式的简明表示。为了测量发现的CSTS模式的重要性,我们适应参与指标措施。我们还提供CSTS-Miner:一种在事件数据中发现所有参与索引强的CST模式的算法。我们通过两种犯罪相关的数据集进行了实验评估了所提出的算法:匹兹堡警察局博客数据集和波士顿犯罪事件报告数据集。在实验中,CSTS-Miner算法与其他四种最先进的算法进行比较:STS-Miner,CSTPM,STBFM和CST-Spminer。随着实验结果表明,所提出的算法发现比其他所选择的算法更少的模式。最后,我们提供了所提出的CSTS-Miner算法发现的有趣犯罪相关模式的例子。
translated by 谷歌翻译
High-utility sequential pattern mining (HUSPM) has emerged as an important topic due to its wide application and considerable popularity. However, due to the combinatorial explosion of the search space when the HUSPM problem encounters a low utility threshold or large-scale data, it may be time-consuming and memory-costly to address the HUSPM problem. Several algorithms have been proposed for addressing this problem, but they still cost a lot in terms of running time and memory usage. In this paper, to further solve this problem efficiently, we design a compact structure called sequence projection (seqPro) and propose an efficient algorithm, namely discovering high-utility sequential patterns with the seqPro structure (HUSP-SP). HUSP-SP utilizes the compact seq-array to store the necessary information in a sequence database. The seqPro structure is designed to efficiently calculate candidate patterns' utilities and upper bound values. Furthermore, a new upper bound on utility, namely tighter reduced sequence utility (TRSU) and two pruning strategies in search space, are utilized to improve the mining performance of HUSP-SP. Experimental results on both synthetic and real-life datasets show that HUSP-SP can significantly outperform the state-of-the-art algorithms in terms of running time, memory usage, search space pruning efficiency, and scalability.
translated by 谷歌翻译
High utility pattern mining is an interesting yet challenging problem. The intrinsic computational cost of the problem will impose further challenges if efficiency in addition to the efficacy of a solution is sought. Recently, this problem was studied on interval-based event sequences with a constraint on the length and size of the patterns. However, the proposed solution lacks adequate efficiency. To address this issue, we propose a projected upper bound on the utility of the patterns discovered from sequences of interval-based events. To show its effectiveness, the upper bound is utilized by a pruning strategy employed by the HUIPMiner algorithm. Experimental results show that the new upper bound improves HUIPMiner performance in terms of both execution time and memory usage.
translated by 谷歌翻译
The discovery of utility-driven patterns is a useful and difficult research topic. It can extract significant and interesting information from specific and varied databases, increasing the value of the services provided. In practice, the measure of utility is often used to demonstrate the importance, profit, or risk of an object or a pattern. In the database, although utility is a flexible criterion for each pattern, it is a more absolute criterion due to the neglect of utility sharing. This leads to the derived patterns only exploring partial and local knowledge from a database. Utility occupancy is a recently proposed model that considers the problem of mining with high utility but low occupancy. However, existing studies are concentrated on itemsets that do not reveal the temporal relationship of object occurrences. Therefore, this paper towards sequence utility maximization. We first define utility occupancy on sequence data and raise the problem of High Utility-Occupancy Sequential Pattern Mining (HUOSPM). Three dimensions, including frequency, utility, and occupancy, are comprehensively evaluated in HUOSPM. An algorithm called Sequence Utility Maximization with Utility occupancy measure (SUMU) is proposed. Furthermore, two data structures for storing related information about a pattern, Utility-Occupancy-List-Chain (UOL-Chain) and Utility-Occupancy-Table (UO-Table) with six associated upper bounds, are designed to improve efficiency. Empirical experiments are carried out to evaluate the novel algorithm's efficiency and effectiveness. The influence of different upper bounds and pruning strategies is analyzed and discussed. The comprehensive results suggest that the work of our algorithm is intelligent and effective.
translated by 谷歌翻译
高实用项目集挖掘方法从大量时间数据中发现隐藏的模式。但是,高实用性项目集挖掘的一个不可避免的问题是,其发现的结果隐藏了模式的数量,这会导致可解释性差。结果仅反映了客户的购物趋势,这无法帮助决策者量化收集的信息。用语言术语,计算机使用精确形式化的数学或编程语言,但是人类使用的语言总是模棱两可的。在本文中,我们提出了一种新型的一相时间模糊实用程序集挖掘方法,称为TFUM。它修改了时间模糊列表,以减少有关内存中潜在的高时间模糊实用程序集的重要信息,然后在短时间内发现一套完整的真正有趣模式。特别是,其余的度量是本文的时间模糊实用程序项目集挖掘域中首次采用的措施。剩余的最大时间模糊效用比以前所采用的研究更紧密,更强。因此,它在修剪TFUM的搜索空间中起着重要作用。最后,我们还评估了TFUM对各种数据集的效率和有效性。广泛的实验结果表明,在运行时成本,内存使用和可扩展性方面,TFUM优于最先进的算法。此外,实验证明,其余的措施可以在采矿过程中显着修剪不必要的候选人。
translated by 谷歌翻译
在许多实际应用程序中,顺序规则挖掘(SRM)可以为各种服务提供预测和建议功能。这是模式挖掘的重要技术,可以发现所有属于高频和高信顺序规则的有价值的规则。尽管提出了一些SRM的算法来解决各种实际问题,但没有关于目标顺序规则的研究。有针对性的顺序规则挖掘旨在挖掘用户关注的有趣的顺序规则,从而避免产生其他无效和不必要的规则。这种方法可以进一步提高用户在分析规则和减少数据资源消耗方面的效率。在本文中,我们提供了目标顺序规则的相关定义,并制定了目标顺序规则挖掘的问题。此外,我们提出了一种有效的算法,称为靶向顺序规则挖掘(TASRM)。引入了几种修剪策略和优化,以提高TASRM的效率。最后,在不同的基准测试上进行了大量实验,我们根据其运行时间,内存消耗和可扩展性以及具有不同查询规则的查询情况分析结果。结果表明,与现有的基线算法相比,新型算法TASRM及其变体可以实现更好的实验性能。
translated by 谷歌翻译
高效用顺序模式采矿(HUSPM)是具有许多真实世界应用的知识发现和数据分析中的重要活动。在某些情况下,HUSPM无法提供出色的措施来预测会发生什么。高效用顺序规则挖掘(HUSRM)发现了高实用性和高置信顺序规则,从而使其可以解决HUSPM中的问题。所有现有的HUSRM算法旨在找到与现实不一致的,可能会产生假的HUSRS的高级序列顺序规则(HUSRS)。因此,在本文中,我们制定了高公用事业完全订购的顺序规则挖掘的问题,并提出了两种称为petalsr和totalsr+的新型算法,旨在识别所有高实用性完全订购的顺序规则(HTSRS)。 TotalSR创建了一个实用表,该表可以有效地计算前提支持和一个效用前缀总和列表,该列表可以计算序列中O(1)时间中的剩余实用程序。我们还引入了左侧的扩展策略,该策略可以利用反单调性属性来使用信心修剪策略。 TotalSr还可以在实用程序上限的修剪策略的帮助下大大减少搜索空间,从而避免更加有意义的计算。此外,TotalSr+使用辅助前期记录表来更有效地发现HTSR。最后,在真实和合成数据集上都有许多实验结果,表明topalsR比较少的修剪策略的算法要高得多,并且在运行时间和可伸缩性方面,topalsr+效率更高。
translated by 谷歌翻译
基于分析数据采矿领域的支持交易中的效用比例,高效占用模式挖掘(Huopm)最近引起了广泛的关注。与高实用图案挖掘(HUPM)不同,涉及高实用程序(例如,有利可图)模式的枚举,Huopm旨在找到代表现有交易集合的模式。然而,在实际应用中,并非所有模式都使用或有价值。例如,模式可能包含太多项目,即模式可能太具体,因此对现实生活中的用户缺乏值。为了实现具有灵活长度的合格模式,我们在采矿过程中限制了最小和最大长度,并为灵活的高公用事业占用模式进行了新颖的算法。我们的算法称为Huopm +。为了确保图案的灵活性并拧紧公用事业占用的上限,提出了一种称为长度上限(LUB)的策略以修剪搜索空间。此外,使用实用程序占用列表(UO-NLIST)和频率实用占用表(FUO-TABLE)来避免数据库的多个扫描。随后的实验的评估结果证实,该算法可以有效地控制衍生模式的长度,用于现实世界和合成数据集。此外,它可以降低执行时间和存储器消耗。
translated by 谷歌翻译
如今,用于行业4.0和物联网(IoT)的智能系统的环境正在经历快速的工业升级。开发了设计制造,事件检测和分类等大数据技术,以帮助制造组织实现智能系统。通过应用数据分析,可以最大化富数据的潜在值,从而帮助制造组织完成另一轮升级。在本文中,我们针对大数据分析提出了两种新算法,即UFC $ _ {gen} $和UFC $ _ {fast} $。两种算法旨在收集三种类型的模式,以帮助人们确定不同产品组合的市场位置。我们将这些算法在各种类型的数据集上进行比较,包括真实和合成。实验结果表明,这两种算法都可以通过基于用户指定的实用程序和频率阈值来利用所有候选模式的三种不同类型的有趣模式来成功实现模式分类。此外,就执行时间和内存消耗而言,基于列表的UFC $ _ {fast} $算法优于基于级别的UFC $ _ {gen} $算法。
translated by 谷歌翻译
GSPAN是一种频繁的子图的流行算法。CGSPAN(基于图形的基于图形的子结构模式挖掘)是仅用于填充封闭子图的GSPAN扩展。如果没有与G.具有相同的G.CGSPAN将早期终止修剪方法添加到GSPAN修剪方法中,同时将原始GSPAN步骤保持不变。CGSPAN还检测和处理不应用早期终止的情况。据我们所知,CGSPAN是第一个公开的封闭图挖掘实施
translated by 谷歌翻译
公用事业驱动的挖掘是数据科学中的重要任务,在现实生活中有许多应用。高实用程序顺序模式采矿(HUSPM)是一种公用事业驱动挖掘。 HUSPM旨在发现具有高效的所有连续模式。然而,HUSPM的现有算法无法提供处理某些预测或推荐的某些方案的准确概率。提出了高实用序列规则挖掘(HusRM)以发现具有高效用和高信心的所有连续规则。仅针对Husrm提出的一种算法,这是不够高效的。在本文中,我们提出了一种更快的算法,称为美国规则,以有效地挖掘高实用程序顺序规则。它利用规则估计的公用事业共同发生修剪策略(REUCP)来避免无意义的计算。为了提高密集和长序列数据集的效率,提出了四个更严格的上限(LEEU,REEU,LERSU,REREU)及其相应的修剪策略(Leeup,Reeup,Lersup,Rersup)。此外,美国规则提出了规则估计的实用程序重新计算修剪策略(REURP)来处理稀疏数据集。最后,与最先进的算法相比,不同数据集的大量实验表明,在执行时间,内存消耗和可扩展性方面,可以实现更好的性能。
translated by 谷歌翻译
现成的实用工具采矿(OSUM)是数据挖掘的新兴研究方向。它的目的是发现在销售时间内具有相对效用的物品集。与传统的公用事业开采相比,Osum可以在现实生活中找到更多实用和有意义的模式。但是,传统Osum有一个主要的缺点。对于普通用户而言,很难定义最低阈值细节,以挖掘适量的货架上的高实用物品集。一方面,如果设置阈值太高,则图案的数量将不够。另一方面,如果设定阈值太低,则会发现太多模式,并导致不必要的时间和记忆消耗。为了解决此问题,用户通常直接指定一个参数k,其中仅考虑顶级相对实用项目集。因此,在本文中,我们提出了一种通用算法TOIT,用于挖掘Top-K On-Shelf高耗时模式来解决此问题。 TOIT采用了一种新颖的策略来根据架子上的数据集提高细节。此外,还采用了两种名为Subtree实用程序的新型上限策略,并应用了本地实用程序来修剪搜索空间。通过采用上述策略,TOIT算法可以尽早缩小搜索空间,提高采矿效率并降低记忆消耗,从而比其他算法获得更好的性能。在具有不同样式的真实数据集上进行了一系列实验,以将效果与最新的Koshu算法进行比较。实验结果表明,TOIT在运行时间和内存消耗中都优于Koshu。
translated by 谷歌翻译
图主直觉是一个短时间序列,在较大的时间序列中重复自身大致相同。这样的主题通常代表隐藏的结构,例如心电图记录中的心跳或脑电图中的睡眠纺锤体。主题发现(MD)是在给定输入系列中找到此类主题的任务。由于有不同的定义,因此存在许多算法。作为中心参数,它们都采用了基序的长度L和图案发生之间的最大距离R。但是,实际上,R的合适值很难确定前期,并且发现的图案显示出很高的可变性。设置错误的输入值将导致一个与噪声无法区分的主题。因此,使用这些方法找到一个有趣的主题需要广泛的试用和错误。我们对MD问题提出了不同的方法。我们将k- motiflet定义为长度为l的基序的精确k出现,其最大成对距离是最小的。这将MD问题颠倒了:我们的中心参数不是距离阈值r,而是主题集的所需尺寸K,我们显示的更直观且易于设置。基于此定义,我们提出了用于查找K-单体并分析其复杂性的精确和近似算法。为了进一步缓解我们的方法的使用,我们描述了扩展,以自动确定其输入参数的正确/合适值。因此,第一次提取有意义的主题集在没有任何A-Priori知识的情况下变得可行。通过评估现实世界的用例并将其与4种最先进的MD算法进行比较,我们表明我们提出的算法在定量上是(a)较高的,在较高的相似性上找到较大的基序集,(b)在质量上更好,导致,导致更清晰,更易于解释主题,(c)的运行时间最低。
translated by 谷歌翻译
过程发现是一种技术系列,有助于从其数据足迹中理解流程。然而,随着过程随着时间的变化而变化,它们的相应模型也应导致模型不足或过度陈酿的行为。我们提出了一种发现算法,该算法将声明过程从事件流中提取为动态条件响应(DCR)图。监视流以生成过程的时间表示,后来处理以生成声明模型。我们通过定量和定性评估验证了该技术。对于定量评估,我们采用了扩展的JACCARD相似性度量,以说明声明环境中的过程变化。对于定性评估,我们展示了该技术确定的变化如何对应于现有过程中的实际变化。可以在线获得测试的技术和数据。
translated by 谷歌翻译
我们介绍了强大的子组发现的问题,即,找到一个关于一个或多个目标属性的脱颖而出的子集的一组可解释的描述,2)是统计上的鲁棒,并且3)非冗余。许多尝试已经挖掘了局部强壮的子组或解决模式爆炸,但我们是第一个从全球建模角度同时解决这两个挑战的爆炸。首先,我们制定广泛的模型类别的子组列表,即订购的子组,可以组成的单次组和多变量目标,该目标可以由标称或数字变量组成,并且包括其定义中的传统Top-1子组发现。这种新颖的模型类允许我们使用最小描述长度(MDL)原理来形式地形化最佳强大的子组发现,在那里我们分别为标称和数字目标的最佳归一化最大可能性和贝叶斯编码而度假。其次,正如查找最佳子组列表都是NP-Hard,我们提出了SSD ++,一个贪婪的启发式,找到了很好的子组列表,并保证了根据MDL标准的最重要的子组在每次迭代中添加,这被显示为等同于贝叶斯一个样本比例,多项式或子组之间的多项式或T检验,以及数据集边际目标分布以及多假设检测罚款。我们经验上显示了54个数据集,即SSD ++优于先前的子组设置发现方法和子组列表大小。
translated by 谷歌翻译
对比模式挖掘(CPM)是数据挖掘的重要且流行的子场。传统的顺序模式无法描述不同类别数据之间的对比度信息,而涉及对比概念的对比模式可以描述不同对比条件下数据集之间的显着差异。根据该领域发表的论文数量,我们发现研究人员对CPM的兴趣仍然活跃。由于CPM有许多研究问题和研究方法。该领域的新研究人员很难在短时间内了解该领域的一般状况。因此,本文的目的是为对比模式挖掘的研究方向提供最新的全面概述。首先,我们对CPM提出了深入的理解,包括评估歧视能力的基本概念,类型,采矿策略和指标。然后,我们根据CPM方法根据其特征分类为基于边界的算法,基于树的算法,基于进化模糊的系统算法,基于决策树的算法和其他算法。此外,我们列出了这些方法的经典算法,并讨论它们的优势和缺点。提出了CPM中的高级主题。最后,我们通过讨论该领域的挑战和机遇来结束调查。
translated by 谷歌翻译
Nowadays, with the rapid development of the Internet, the era of big data has come. The Internet generates huge amounts of data every day. However, extracting meaningful information from massive data is like looking for a needle in a haystack. Data mining techniques can provide various feasible methods to solve this problem. At present, many sequential rule mining (SRM) algorithms are presented to find sequential rules in databases with sequential characteristics. These rules help people extract a lot of meaningful information from massive amounts of data. How can we achieve compression of mined results and reduce data size to save storage space and transmission time? Until now, there has been little research on the compression of SRM. In this paper, combined with the Minimum Description Length (MDL) principle and under the two metrics (support and confidence), we introduce the problem of compression of SRM and also propose a solution named ComSR for MDL-based compressing of sequential rules based on the designed sequential rule coding scheme. To our knowledge, we are the first to use sequential rules to encode an entire database. A heuristic method is proposed to find a set of compact and meaningful sequential rules as much as possible. ComSR has two trade-off algorithms, ComSR_non and ComSR_ful, based on whether the database can be completely compressed. Experiments done on a real dataset with different thresholds show that a set of compact and meaningful sequential rules can be found. This shows that the proposed method works.
translated by 谷歌翻译
分析序列数据通常导致有趣模式的发现,然后是异常检测。近年来,已经提出了许多框架和方法来发现序列数据中有趣的模式以及检测异常行为。然而,现有的算法主要专注于频率驱动的分析,并且它们是在现实世界的环境中应用的具有挑战性。在这项工作中,我们展示了一个名为Duos的新的异常检测框架,可以从一组序列中发现实用程序感知异常顺序规则。在基于模式的异常检测算法中,我们纳入了一个组的异常度和实用程序,然后介绍了实用程序感知异常序列规则(UOSR)的概念。我们表明这是一种检测异常的更有意义的方式。此外,我们提出了一些有效的修剪策略w.r.t.用于挖掘UOSR的上限,以及异常检测。在若干现实世界数据集上进行了广泛的实验研究表明,所提出的Duos算法具有更好的有效性和效率。最后,DUOS优于基线算法,具有合适的可扩展性。
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用,但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式,或数据集中的异质,分层或完全缺少的数据片段,因此很难应用此类方法。作为解决方案,我们提出了一个用于样本表示,模型定义和培训的多功能,统一的框架,称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲,为HMILL的关键组件的设计合理,我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论,该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性,它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外,我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张,我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中,我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中,基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
We are interested in understanding the underlying generation process for long sequences of symbolic events. To do so, we propose COSSU, an algorithm to mine small and meaningful sets of sequential rules. The rules are selected using an MDL-inspired criterion that favors compactness and relies on a novel rule-based encoding scheme for sequences. Our evaluation shows that COSSU can successfully retrieve relevant sets of closed sequential rules from a long sequence. Such rules constitute an interpretable model that exhibits competitive accuracy for the tasks of next-element prediction and classification.
translated by 谷歌翻译