High-utility sequential pattern mining (HUSPM) has emerged as an important topic due to its wide application and considerable popularity. However, due to the combinatorial explosion of the search space when the HUSPM problem encounters a low utility threshold or large-scale data, it may be time-consuming and memory-costly to address the HUSPM problem. Several algorithms have been proposed for addressing this problem, but they still cost a lot in terms of running time and memory usage. In this paper, to further solve this problem efficiently, we design a compact structure called sequence projection (seqPro) and propose an efficient algorithm, namely discovering high-utility sequential patterns with the seqPro structure (HUSP-SP). HUSP-SP utilizes the compact seq-array to store the necessary information in a sequence database. The seqPro structure is designed to efficiently calculate candidate patterns' utilities and upper bound values. Furthermore, a new upper bound on utility, namely tighter reduced sequence utility (TRSU) and two pruning strategies in search space, are utilized to improve the mining performance of HUSP-SP. Experimental results on both synthetic and real-life datasets show that HUSP-SP can significantly outperform the state-of-the-art algorithms in terms of running time, memory usage, search space pruning efficiency, and scalability.
translated by 谷歌翻译
The discovery of utility-driven patterns is a useful and difficult research topic. It can extract significant and interesting information from specific and varied databases, increasing the value of the services provided. In practice, the measure of utility is often used to demonstrate the importance, profit, or risk of an object or a pattern. In the database, although utility is a flexible criterion for each pattern, it is a more absolute criterion due to the neglect of utility sharing. This leads to the derived patterns only exploring partial and local knowledge from a database. Utility occupancy is a recently proposed model that considers the problem of mining with high utility but low occupancy. However, existing studies are concentrated on itemsets that do not reveal the temporal relationship of object occurrences. Therefore, this paper towards sequence utility maximization. We first define utility occupancy on sequence data and raise the problem of High Utility-Occupancy Sequential Pattern Mining (HUOSPM). Three dimensions, including frequency, utility, and occupancy, are comprehensively evaluated in HUOSPM. An algorithm called Sequence Utility Maximization with Utility occupancy measure (SUMU) is proposed. Furthermore, two data structures for storing related information about a pattern, Utility-Occupancy-List-Chain (UOL-Chain) and Utility-Occupancy-Table (UO-Table) with six associated upper bounds, are designed to improve efficiency. Empirical experiments are carried out to evaluate the novel algorithm's efficiency and effectiveness. The influence of different upper bounds and pruning strategies is analyzed and discussed. The comprehensive results suggest that the work of our algorithm is intelligent and effective.
translated by 谷歌翻译
高效用顺序模式采矿(HUSPM)是具有许多真实世界应用的知识发现和数据分析中的重要活动。在某些情况下,HUSPM无法提供出色的措施来预测会发生什么。高效用顺序规则挖掘(HUSRM)发现了高实用性和高置信顺序规则,从而使其可以解决HUSPM中的问题。所有现有的HUSRM算法旨在找到与现实不一致的,可能会产生假的HUSRS的高级序列顺序规则(HUSRS)。因此,在本文中,我们制定了高公用事业完全订购的顺序规则挖掘的问题,并提出了两种称为petalsr和totalsr+的新型算法,旨在识别所有高实用性完全订购的顺序规则(HTSRS)。 TotalSR创建了一个实用表,该表可以有效地计算前提支持和一个效用前缀总和列表,该列表可以计算序列中O(1)时间中的剩余实用程序。我们还引入了左侧的扩展策略,该策略可以利用反单调性属性来使用信心修剪策略。 TotalSr还可以在实用程序上限的修剪策略的帮助下大大减少搜索空间,从而避免更加有意义的计算。此外,TotalSr+使用辅助前期记录表来更有效地发现HTSR。最后,在真实和合成数据集上都有许多实验结果,表明topalsR比较少的修剪策略的算法要高得多,并且在运行时间和可伸缩性方面,topalsr+效率更高。
translated by 谷歌翻译
作为重要的数据挖掘技术,高公用事业项目集挖掘(HUIM)用于找出有趣但隐藏的信息(例如,利润和风险)。 HUIM已广泛应用于许多应用程序方案,例如市场分析,医疗检测和网络点击流分析。但是,大多数以前的HUIM方法通常忽略项目集中项目之间的关系。因此,在Huim中发现了许多无关的组合(例如,\ {Gold,Apple \}和\ {笔记本,书籍\})。为了解决这一限制,已经提出了许多算法来开采相关的高公用事业项目集(Cohuis)。在本文中,我们提出了一种新型算法,称为Itemset实用性最大化,相关度量(COIUM),该算法既考虑较强的相关性,又考虑了项目的有利可图。此外,新型算法采用数据库投影机制来降低数据库扫描的成本。此外,利用了两种上限和四种修剪策略来有效修剪搜索空间。并使用一个名为“实用程序”的简洁阵列结构来计算和存储在线性时间和空间中所采用的上限。最后,对密集和稀疏数据集的广泛实验结果表明,在运行时和内存消耗方面,COIUM显着优于最新算法。
translated by 谷歌翻译
现成的实用工具采矿(OSUM)是数据挖掘的新兴研究方向。它的目的是发现在销售时间内具有相对效用的物品集。与传统的公用事业开采相比,Osum可以在现实生活中找到更多实用和有意义的模式。但是,传统Osum有一个主要的缺点。对于普通用户而言,很难定义最低阈值细节,以挖掘适量的货架上的高实用物品集。一方面,如果设置阈值太高,则图案的数量将不够。另一方面,如果设定阈值太低,则会发现太多模式,并导致不必要的时间和记忆消耗。为了解决此问题,用户通常直接指定一个参数k,其中仅考虑顶级相对实用项目集。因此,在本文中,我们提出了一种通用算法TOIT,用于挖掘Top-K On-Shelf高耗时模式来解决此问题。 TOIT采用了一种新颖的策略来根据架子上的数据集提高细节。此外,还采用了两种名为Subtree实用程序的新型上限策略,并应用了本地实用程序来修剪搜索空间。通过采用上述策略,TOIT算法可以尽早缩小搜索空间,提高采矿效率并降低记忆消耗,从而比其他算法获得更好的性能。在具有不同样式的真实数据集上进行了一系列实验,以将效果与最新的Koshu算法进行比较。实验结果表明,TOIT在运行时间和内存消耗中都优于Koshu。
translated by 谷歌翻译
公用事业驱动的挖掘是数据科学中的重要任务,在现实生活中有许多应用。高实用程序顺序模式采矿(HUSPM)是一种公用事业驱动挖掘。 HUSPM旨在发现具有高效的所有连续模式。然而,HUSPM的现有算法无法提供处理某些预测或推荐的某些方案的准确概率。提出了高实用序列规则挖掘(HusRM)以发现具有高效用和高信心的所有连续规则。仅针对Husrm提出的一种算法,这是不够高效的。在本文中,我们提出了一种更快的算法,称为美国规则,以有效地挖掘高实用程序顺序规则。它利用规则估计的公用事业共同发生修剪策略(REUCP)来避免无意义的计算。为了提高密集和长序列数据集的效率,提出了四个更严格的上限(LEEU,REEU,LERSU,REREU)及其相应的修剪策略(Leeup,Reeup,Lersup,Rersup)。此外,美国规则提出了规则估计的实用程序重新计算修剪策略(REURP)来处理稀疏数据集。最后,与最先进的算法相比,不同数据集的大量实验表明,在执行时间,内存消耗和可扩展性方面,可以实现更好的性能。
translated by 谷歌翻译
对于应用智能,公用事业驱动的模式发现算法可以识别数据库中有见地和有用的模式。但是,在这些用于模式发现的技术中,模式的数量可能很大,并且用户通常只对其中一些模式感兴趣。因此,有针对性的高实数项目集挖掘已成为一个关键的研究主题,其目的是找到符合目标模式约束而不是所有模式的模式的子集。这是一项具有挑战性的任务,因为在非常大的搜索空间中有效找到量身定制的模式需要有针对性的采矿算法。已经提出了一种称为Targetum的第一种算法,该算法采用了类似于使用树结构进行后处理的方法,但是在许多情况下,运行时间和内存消耗都不令人满意。在本文中,我们通过提出一种带有模式匹配机制的新型基于列表的算法(名为Thuim(有针对性的高实用项目集挖掘))来解决此问题,该机制可以在挖掘过程中迅速匹配高实用项,以选择目标模式。在不同的数据集上进行了广泛的实验,以将所提出算法的性能与最新算法进行比较。结果表明,THUIM在运行时和内存消耗方面表现良好,并且与Targetum相比具有良好的可扩展性。
translated by 谷歌翻译
基于分析数据采矿领域的支持交易中的效用比例,高效占用模式挖掘(Huopm)最近引起了广泛的关注。与高实用图案挖掘(HUPM)不同,涉及高实用程序(例如,有利可图)模式的枚举,Huopm旨在找到代表现有交易集合的模式。然而,在实际应用中,并非所有模式都使用或有价值。例如,模式可能包含太多项目,即模式可能太具体,因此对现实生活中的用户缺乏值。为了实现具有灵活长度的合格模式,我们在采矿过程中限制了最小和最大长度,并为灵活的高公用事业占用模式进行了新颖的算法。我们的算法称为Huopm +。为了确保图案的灵活性并拧紧公用事业占用的上限,提出了一种称为长度上限(LUB)的策略以修剪搜索空间。此外,使用实用程序占用列表(UO-NLIST)和频率实用占用表(FUO-TABLE)来避免数据库的多个扫描。随后的实验的评估结果证实,该算法可以有效地控制衍生模式的长度,用于现实世界和合成数据集。此外,它可以降低执行时间和存储器消耗。
translated by 谷歌翻译
如今,用于行业4.0和物联网(IoT)的智能系统的环境正在经历快速的工业升级。开发了设计制造,事件检测和分类等大数据技术,以帮助制造组织实现智能系统。通过应用数据分析,可以最大化富数据的潜在值,从而帮助制造组织完成另一轮升级。在本文中,我们针对大数据分析提出了两种新算法,即UFC $ _ {gen} $和UFC $ _ {fast} $。两种算法旨在收集三种类型的模式,以帮助人们确定不同产品组合的市场位置。我们将这些算法在各种类型的数据集上进行比较,包括真实和合成。实验结果表明,这两种算法都可以通过基于用户指定的实用程序和频率阈值来利用所有候选模式的三种不同类型的有趣模式来成功实现模式分类。此外,就执行时间和内存消耗而言,基于列表的UFC $ _ {fast} $算法优于基于级别的UFC $ _ {gen} $算法。
translated by 谷歌翻译
高实用项目集挖掘方法从大量时间数据中发现隐藏的模式。但是,高实用性项目集挖掘的一个不可避免的问题是,其发现的结果隐藏了模式的数量,这会导致可解释性差。结果仅反映了客户的购物趋势,这无法帮助决策者量化收集的信息。用语言术语,计算机使用精确形式化的数学或编程语言,但是人类使用的语言总是模棱两可的。在本文中,我们提出了一种新型的一相时间模糊实用程序集挖掘方法,称为TFUM。它修改了时间模糊列表,以减少有关内存中潜在的高时间模糊实用程序集的重要信息,然后在短时间内发现一套完整的真正有趣模式。特别是,其余的度量是本文的时间模糊实用程序项目集挖掘域中首次采用的措施。剩余的最大时间模糊效用比以前所采用的研究更紧密,更强。因此,它在修剪TFUM的搜索空间中起着重要作用。最后,我们还评估了TFUM对各种数据集的效率和有效性。广泛的实验结果表明,在运行时成本,内存使用和可扩展性方面,TFUM优于最先进的算法。此外,实验证明,其余的措施可以在采矿过程中显着修剪不必要的候选人。
translated by 谷歌翻译
分析序列数据通常导致有趣模式的发现,然后是异常检测。近年来,已经提出了许多框架和方法来发现序列数据中有趣的模式以及检测异常行为。然而,现有的算法主要专注于频率驱动的分析,并且它们是在现实世界的环境中应用的具有挑战性。在这项工作中,我们展示了一个名为Duos的新的异常检测框架,可以从一组序列中发现实用程序感知异常顺序规则。在基于模式的异常检测算法中,我们纳入了一个组的异常度和实用程序,然后介绍了实用程序感知异常序列规则(UOSR)的概念。我们表明这是一种检测异常的更有意义的方式。此外,我们提出了一些有效的修剪策略w.r.t.用于挖掘UOSR的上限,以及异常检测。在若干现实世界数据集上进行了广泛的实验研究表明,所提出的Duos算法具有更好的有效性和效率。最后,DUOS优于基线算法,具有合适的可扩展性。
translated by 谷歌翻译
在许多实际应用程序中,顺序规则挖掘(SRM)可以为各种服务提供预测和建议功能。这是模式挖掘的重要技术,可以发现所有属于高频和高信顺序规则的有价值的规则。尽管提出了一些SRM的算法来解决各种实际问题,但没有关于目标顺序规则的研究。有针对性的顺序规则挖掘旨在挖掘用户关注的有趣的顺序规则,从而避免产生其他无效和不必要的规则。这种方法可以进一步提高用户在分析规则和减少数据资源消耗方面的效率。在本文中,我们提供了目标顺序规则的相关定义,并制定了目标顺序规则挖掘的问题。此外,我们提出了一种有效的算法,称为靶向顺序规则挖掘(TASRM)。引入了几种修剪策略和优化,以提高TASRM的效率。最后,在不同的基准测试上进行了大量实验,我们根据其运行时间,内存消耗和可扩展性以及具有不同查询规则的查询情况分析结果。结果表明,与现有的基线算法相比,新型算法TASRM及其变体可以实现更好的实验性能。
translated by 谷歌翻译
High utility pattern mining is an interesting yet challenging problem. The intrinsic computational cost of the problem will impose further challenges if efficiency in addition to the efficacy of a solution is sought. Recently, this problem was studied on interval-based event sequences with a constraint on the length and size of the patterns. However, the proposed solution lacks adequate efficiency. To address this issue, we propose a projected upper bound on the utility of the patterns discovered from sequences of interval-based events. To show its effectiveness, the upper bound is utilized by a pruning strategy employed by the HUIPMiner algorithm. Experimental results show that the new upper bound improves HUIPMiner performance in terms of both execution time and memory usage.
translated by 谷歌翻译
Nowadays, with the rapid development of the Internet, the era of big data has come. The Internet generates huge amounts of data every day. However, extracting meaningful information from massive data is like looking for a needle in a haystack. Data mining techniques can provide various feasible methods to solve this problem. At present, many sequential rule mining (SRM) algorithms are presented to find sequential rules in databases with sequential characteristics. These rules help people extract a lot of meaningful information from massive amounts of data. How can we achieve compression of mined results and reduce data size to save storage space and transmission time? Until now, there has been little research on the compression of SRM. In this paper, combined with the Minimum Description Length (MDL) principle and under the two metrics (support and confidence), we introduce the problem of compression of SRM and also propose a solution named ComSR for MDL-based compressing of sequential rules based on the designed sequential rule coding scheme. To our knowledge, we are the first to use sequential rules to encode an entire database. A heuristic method is proposed to find a set of compact and meaningful sequential rules as much as possible. ComSR has two trade-off algorithms, ComSR_non and ComSR_ful, based on whether the database can be completely compressed. Experiments done on a real dataset with different thresholds show that a set of compact and meaningful sequential rules can be found. This shows that the proposed method works.
translated by 谷歌翻译
对比模式挖掘(CPM)是数据挖掘的重要且流行的子场。传统的顺序模式无法描述不同类别数据之间的对比度信息,而涉及对比概念的对比模式可以描述不同对比条件下数据集之间的显着差异。根据该领域发表的论文数量,我们发现研究人员对CPM的兴趣仍然活跃。由于CPM有许多研究问题和研究方法。该领域的新研究人员很难在短时间内了解该领域的一般状况。因此,本文的目的是为对比模式挖掘的研究方向提供最新的全面概述。首先,我们对CPM提出了深入的理解,包括评估歧视能力的基本概念,类型,采矿策略和指标。然后,我们根据CPM方法根据其特征分类为基于边界的算法,基于树的算法,基于进化模糊的系统算法,基于决策树的算法和其他算法。此外,我们列出了这些方法的经典算法,并讨论它们的优势和缺点。提出了CPM中的高级主题。最后,我们通过讨论该领域的挑战和机遇来结束调查。
translated by 谷歌翻译
\ textit {约束路径发现}的经典问题是一个经过充分研究但充满挑战的主题,在各个领域,例如沟通和运输等各个领域的应用。权重限制了最短路径问题(WCSPP),作为仅具有一个侧面约束的约束路径查找的基本形式,旨在计划成本最佳路径,其权重/资源使用受到限制。鉴于问题的双标准性质(即处理路径的成本和权重),解决WCSPP的方法具有一些带有双目标搜索的共同属性。本文在约束路径查找和双目标搜索中利用了最新的基于A*的最新技术,并为WCSPP提供了两种精确的解决方案方法,两者都可以在非常大的图表上解决硬性问题实例。我们从经验上评估了算法在新的大型和现实的问题实例上的性能,并在时空指标中显示出它们比最新算法的优势。本文还调查了优先级队列在被a*的约束搜索中的重要性。我们通过对逼真的和随机图进行了广泛的实验来展示,基于桶的队列没有打破打盘的方式可以有效地改善详尽的双标准搜索的算法性能。
translated by 谷歌翻译
提出了一个新的框架,用于处理纵向,多元,异质临床数据的建模和分析的复杂任务。该方法使用时间抽象将数据转换为更合适的形式,用于建模,时间模式挖掘,以发现复杂,纵向数据和生存分析的机器学习模型中的模式,以选择发现的模式。该方法应用于阿尔茨海默氏病(AD)的现实世界研究,这是一种无法治愈的进行性神经退行性疾病。在生存分析模型中,发现的模式可预测AD的一致性指数高达0.8。这是使用AD的时间数据收集对AD数据进行生存分析的第一项工作。可视化模块还清楚地描绘了发现的模式,以易于解释。
translated by 谷歌翻译
在本文中,我们介绍了一种新颖的时空连续模式,称为收缩的时空顺序(CSTS)模式,并彻底分析了它们的性质。我们证明了CSTS模式的集合是可以在给定数据集中发现的所有时空连续模式的简明表示。为了测量发现的CSTS模式的重要性,我们适应参与指标措施。我们还提供CSTS-Miner:一种在事件数据中发现所有参与索引强的CST模式的算法。我们通过两种犯罪相关的数据集进行了实验评估了所提出的算法:匹兹堡警察局博客数据集和波士顿犯罪事件报告数据集。在实验中,CSTS-Miner算法与其他四种最先进的算法进行比较:STS-Miner,CSTPM,STBFM和CST-Spminer。随着实验结果表明,所提出的算法发现比其他所选择的算法更少的模式。最后,我们提供了所提出的CSTS-Miner算法发现的有趣犯罪相关模式的例子。
translated by 谷歌翻译
决策树学习是机器学习中广泛使用的方法,在需要简洁明了的模型的应用中受到青睐。传统上,启发式方法用于快速生产具有相当高准确性的模型。然而,一个普遍的批评是,从精度和大小方面,所产生的树可能不一定是数据的最佳表示。近年来,这激发了最佳分类树算法的发展,这些算法与执行一系列本地最佳决策的启发式方法相比,在全球范围内优化决策树。我们遵循这一工作线,并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术,这些技术利用了分类树独有的属性。传统上,最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性,但我们在一项详细的实验研究中表明,我们的方法仅使用最先进的时间所需的时间,并且可以处理数十个数据集的数据集在数千个实例中,提供了几个数量级的改进,并特别有助于实现最佳决策树的实现。
translated by 谷歌翻译
逐渐的模式提取是数据库中(KDD)知识发现中的一个字段,该领域将数据集的属性之间的相关性映射为逐渐依赖性。逐渐的依赖性可以采用“较高的属性k,较小的属性L”的形式。在本文中,我们提出了一种使用概率方法来学习和提取频繁逐渐模式的蚂蚁菌落优化技术。通过对现实世界数据集的计算实验,我们将基于蚂蚁的算法的性能与现有的渐进项目集提取算法进行了比较,我们发现我们的算法表现优于后期,尤其是在处理大型数据集时。
translated by 谷歌翻译