机器学习算法广泛用于恶意软件检测区域。随着样本量的增长,分类算法的培训变得越来越昂贵。此外,培训数据集可能包含冗余或嘈杂的实例。要解决的问题是如何从大型训练数据集中选择代表性实例,而无需降低准确性。这项工作提出了一种新的并行实例选择算法,称为并行实例过滤(PIF)。该算法的主要思想是将数据集拆分为涵盖整个数据集的实例的非重叠子集,并为每个子集应用一个过滤过程。每个子集由具有相同敌人的实例组成。结果,PIF算法很快,因为使用并行计算将子集彼此独立处理。我们将PIF算法与500,000个恶意和良性样本的大型数据集中的几种最新实例选择算法进行了比较。使用静态分析提取功能集,其中包括从便携式可执行文件格式中的元数据。我们的实验结果表明,所提出的实例选择算法可大大减少训练数据集的大小,而精度却略有降低。就平均分类精度和存储百分比之间的比率而言,PIF算法的表现优于实验中使用的现有实例选择方法。
translated by 谷歌翻译
为了允许机器学习算法从原始数据中提取知识,必须首先清除,转换,并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择,其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中,不同事件的实例通常是不平衡的,这意味着某些正常事件被超出,而其他罕见事件非常有限。通常,这些罕见的事件具有特殊的兴趣,因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例,从而积极影响特征选择过程。在这项工作过程中,我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集,所产生的性能增加仅为百分点,但对于其他数据集,我们能够实现高达16%的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神,提高了我们的研究领域的透明度,我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。
translated by 谷歌翻译
网络犯罪是本世纪的主要数字威胁之一。尤其是,勒索软件攻击已大大增加,导致全球损失成本数十亿美元。在本文中,我们训练和测试不同的机器学习和深度学习模型,以进行恶意软件检测,恶意软件分类和勒索软件检测。我们介绍了一种新颖而灵活的勒索软件检测模型,该模型结合了两个优化的模型。我们在有限数据集上的检测结果表明了良好的准确性和F1分数。
translated by 谷歌翻译
通过越来越多的恶意软件和网络攻击,需要“正交”网络防御方法,其通过检测不被其他方法预测的唯一恶意软件样本来互补。在本文中,我们提出了一种新颖和正交的恶意软件检测(OMD)方法来使用音频描述符,图像相似性描述符和其他静态/统计特征的组合来识别恶意软件。首先,我们展示当恶意软件二进制文件表示为音频信号时,如何如何在分类恶意软件系列方面有效。然后,我们表明对音频描述符的预测与对图像相似性描述符和其他静态特征的预测正交。此外,我们开发了一个错误分析的框架和度量标准,以量化正交的新功能集(或类型)是关于其他特征集的方式。这允许我们为我们的整体框架添加新功能和检测方法。恶意软件数据集的实验结果表明,我们的方法为正交恶意软件检测提供了一种强大的框架。
translated by 谷歌翻译
恶意PDF文件对需要现代威胁情报平台的各种安全组织提出了严重威胁,以有效分析和表征PDF恶意软件的身份和行为。最先进的方法使用机器学习(ml)来学习特征PDF恶意软件的功能。然而,ML模型通常很容易受到逃避攻击的影响,其中对手会使恶意软件代码禁止以避免被防病毒检测到。在本文中,我们推出了一种简单而有效的整体方法,用于PDF恶意软件检测,利用了恶意软件二进制文件的信号和统计分析。这包括组合来自各种静态和动态恶意软件检测方法的正交特征空间模型,以便在面对代码混淆时启用广泛的鲁棒性。使用包含恶意软件和良性示例的近30,000个PDF文件的数据集,我们表明我们的整体方法维持了高检测率(99.92%)的PDF恶意软件,甚至可以检测通过简单方法创建的新的恶意文件,以删除恶意软件所进行的混淆作者隐藏他们的恶意软件,这些恶意软件被大多数杀毒失真。
translated by 谷歌翻译
恶意软件系列的分类对于全面了解他们如何感染设备,计算机或系统的全面了解至关重要。因此,恶意软件识别使安全研究人员和事件响应者能够采取防止恶意软件的预防措施并加速缓解。由于这些序列代表恶意软件的行为,恶意软件由恶意软件制作的API呼叫序列是广泛利用的机器和深度学习模型的特征。但是,传统的机器和深度学习模型仍然无法捕获API呼叫之间的序列关系。另一方面,基于变压器的模型作为整体过程序列,并且由于多针注意机制和位置嵌入而学习API调用之间的关系。我们的实验表明,具有一个变压器块层的变压器模型超越了广泛使用的基础架构,LSTM。此外,伯特或犬,预先训练的变压器模型,在根据评估指标,F1分数和AUC分数分类高度不平衡恶意软件系列方面表现优于分类高度不平衡的恶意软件系列。此外,拟议的基于袋的随机变压器森林(RTF),伯特或犬的集合,已经达到了四个数据集中的三个,特别是最先进的F1 - 在一个常用的基准数据集中得分为0.6149。
translated by 谷歌翻译
Pawlak粗糙集和邻居粗糙集是两个最常见的粗糙设置理论模型。 Pawlawk可以使用等价类来表示知识,但无法处理连续数据;邻域粗糙集可以处理连续数据,但它失去了使用等价类代表知识的能力。为此,本文介绍了基于格兰拉球计算的粒状粗糙集。颗粒球粗糙集可以同时代表佩皮克粗集,以及邻域粗糙集,以实现两者的统一表示。这使得粒度球粗糙集不仅可以处理连续数据,而且可以使用对知识表示的等价类。此外,我们提出了一种颗粒球粗糙集的实现算法。基准数据集的实验符合证明,由于颗粒球计算的鲁棒性和适应性的组合,与Pawlak粗糙集和传统的邻居粗糙相比,粒状球粗糙集的学习准确性得到了大大提高放。颗粒球粗糙集也优于九流行或最先进的特征选择方法。
translated by 谷歌翻译
恶意软件检测在网络安全中起着至关重要的作用,随着恶意软件增长的增加和网络攻击的进步。以前看不见的恶意软件不是由安全供应商确定的,这些恶意软件通常在这些攻击中使用,并且不可避免地要找到可以从未标记的样本数据中自学习的解决方案。本文介绍了Sherlock,这是一种基于自学的深度学习模型,可根据视觉变压器(VIT)体系结构检测恶意软件。 Sherlock是一种新颖的恶意软件检测方法,它可以通过使用基于图像的二进制表示形式来学习独特的功能,以区分恶意软件和良性程序。在47种类型和696个家庭的层次结构中使用120万个Android应用的实验结果表明,自我监督的学习可以达到97%的恶意软件分类,而恶意软件的二进制分类比现有的最新技术更高。我们提出的模型还能够胜过针对多级恶意软件类型和家庭的最先进技术,分别为.497和.491。
translated by 谷歌翻译
KNN分类是一种即兴的学习模式,其中仅当预测测试数据设置适当的K值并从整个训练样本空间搜索K最近邻居时,将它们引用到KNN分类的惰性部分。这一懒散的部分是应用KNN分类的瓶颈问题,因为完全搜索了K最近邻居。在本文中,提出了一步计算来取代KNN分类的惰性部分。一步计算实际上将惰性部分转换为矩阵计算,如下所示。考虑到测试数据,首先应用训练样本以将测试数据与最小二乘损耗功能拟合。然后,通过根据它们对测试数据的影响来加权所有训练样本来生成关系矩阵。最后,采用一个组套索来对关系矩阵进行稀疏学习。以这种方式,设置k值和搜索k最近邻居都集成到统一的计算。此外,提出了一种新的分类规则来改善单步核武器分类的性能。提出的方法是通过实验评估的,并证明了一步核武器分类是有效和有前途的
translated by 谷歌翻译
可提供许多开源和商业恶意软件探测器。然而,这些工具的功效受到新的对抗性攻击的威胁,由此恶意软件试图使用例如机器学习技术来逃避检测。在这项工作中,我们设计了依赖于特征空间和问题空间操纵的对抗逃避攻击。它使用可扩展性导向特征选择来最大限度地通过识别影响检测的最关键的特征来最大限度地逃避。然后,我们将此攻击用作评估若干最先进的恶意软件探测器的基准。我们发现(i)最先进的恶意软件探测器容易受到简单的逃避策略,并且可以使用现成的技术轻松欺骗; (ii)特征空间操纵和问题空间混淆可以组合起来,以便在不需要对探测器的白色盒子理解的情况下实现逃避; (iii)我们可以使用解释性方法(例如,Shap)来指导特征操纵并解释攻击如何跨多个检测器传输。我们的调查结果阐明了当前恶意软件探测器的弱点,以及如何改善它们。
translated by 谷歌翻译
随着信息时代的蓬勃发展,日常生成大量数据。由于这些数据的大规模和高维度,通常很难在实际应用中实现更好的决策。因此,迫切需要一种有效的大数据分析方法。对于功能工程,功能选择似乎是一个重要的研究内容,预计可以从候选人中选择“出色”功能。可以通过特征选择来实现不同的功能,例如降低维度,模型效应改进和模型性能改进。在许多分类任务中,研究人员发现,如果数据来自同一类,通常它们似乎彼此接近。因此,局部紧凑性对于评估功能至关重要。在此手稿中,我们提出了一种快速无监督的特征选择方法,称为紧凑型评分(CSUFS),以选择所需的功能。为了证明效率和准确性,通过进行广泛的实验选择了几个数据集。后来,通过解决聚类任务来揭示我们方法的有效性和优势。在这里,性能由几个众所周知的评估指标表示,而效率则由相应的运行时间反映。正如模拟结果所揭示的那样,与现有算法相比,我们提出的算法似乎更准确和有效。
translated by 谷歌翻译
我们研究了如何修改可执行文件以欺骗恶意软件分类系统。这项工作的主要贡献是一种方法,可以随机注入恶意软件文件,并将其用作攻击以降低分类准确性,也可以作为防御方法,从而增加可用于培训的数据。它尊重操作系统文件格式,以确保在注射后仍将执行恶意软件,并且不会改变其行为。我们重现了五种最先进的恶意软件分类方法来评估我们的注射方案:一种基于GIST+KNN,三个CNN变体和一种封闭式CNN。我们在公共数据集上进行了实验,其中有25个不同家庭的9,339个恶意软件样本。我们的结果表明,恶意软件的大小增加了7%,导致恶意软件家庭分类的准确度下降了25%至40%。他们表明,自动恶意软件分类系统可能不像文献中最初报道的那样值得信赖。我们还使用修改后的麦芽脂肪剂以及原始恶核评估,以提高网络的鲁棒性,以防止上述攻击。结果表明,重新排序恶意软件部分和注入随机数据的组合可以改善分类的整体性能。代码可在https://github.com/adeilsonsilva/malware-injection中找到。
translated by 谷歌翻译
Label noise is an important issue in classification, with many potential negative consequences. For example, the accuracy of predictions may decrease, whereas the complexity of inferred models and the number of necessary training samples may increase. Many works in the literature have been devoted to the study of label noise and the development of techniques to deal with label noise. However, the field lacks a comprehensive survey on the different types of label noise, their consequences and the algorithms that consider label noise. This paper proposes to fill this gap. First, the definitions and sources of label noise are considered and a taxonomy of the types of label noise is proposed. Second, the potential consequences of label noise are discussed. Third, label noise-robust, label noise cleansing, and label noise-tolerant algorithms are reviewed. For each category of approaches, a short discussion is proposed to help the practitioner to choose the most suitable technique in its own particular field of application. Eventually, the design of experiments is also discussed, what may interest the researchers who would like to test their own algorithms. In this paper, label noise consists of mislabeled instances: no additional information is assumed to be available like e.g. confidences on labels.
translated by 谷歌翻译
不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响,例如类不平衡问题,类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来,已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠,删除难以区分的多数实例,提高算法分类精度。然而,Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时,取样效果不令人满意,分类模型的性能改善并不明显。因此,在Tomek-Link的基础上,提出了一种多粒度重新标记的取样算法(MGRU)。该算法完全考虑了本地粒度子空间中的数据集的本地信息,并检测数据集中的本地潜在重叠实例。然后,根据全局重新标记的索引值消除重叠的多数实例,这有效地扩展了Tomek-Link的检测范围。仿真结果表明,当我们选择欠采样的最佳全局重新标记索引值时,所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。
translated by 谷歌翻译
To date, a large number of research papers have been written on the classification of malware, its identification, classification into different families and the distinction between malware and goodware. These works have been based on captured malware samples and have attempted to analyse malware and goodware using various techniques, including techniques from the field of artificial intelligence. For example, neural networks have played a significant role in these classification methods. Some of this work also deals with analysing malware using its visualisation. These works usually convert malware samples capturing the structure of malware into image structures, which are then the object of image processing. In this paper, we propose a very unconventional and novel approach to malware visualisation based on dynamic behaviour analysis, with the idea that the images, which are visually very interesting, are then used to classify malware concerning goodware. Our approach opens an extensive topic for future discussion and provides many new directions for research in malware analysis and classification, as discussed in conclusion. The results of the presented experiments are based on a database of 6 589 997 goodware, 827 853 potentially unwanted applications and 4 174 203 malware samples provided by ESET and selected experimental data (images, generating polynomial formulas and software generating images) are available on GitHub for interested readers. Thus, this paper is not a comprehensive compact study that reports the results obtained from comparative experiments but rather attempts to show a new direction in the field of visualisation with possible applications in malware analysis.
translated by 谷歌翻译
Network intrusion detection systems (NIDSs) play an important role in computer network security. There are several detection mechanisms where anomaly-based automated detection outperforms others significantly. Amid the sophistication and growing number of attacks, dealing with large amounts of data is a recognized issue in the development of anomaly-based NIDS. However, do current models meet the needs of today's networks in terms of required accuracy and dependability? In this research, we propose a new hybrid model that combines machine learning and deep learning to increase detection rates while securing dependability. Our proposed method ensures efficient pre-processing by combining SMOTE for data balancing and XGBoost for feature selection. We compared our developed method to various machine learning and deep learning algorithms to find a more efficient algorithm to implement in the pipeline. Furthermore, we chose the most effective model for network intrusion based on a set of benchmarked performance analysis criteria. Our method produces excellent results when tested on two datasets, KDDCUP'99 and CIC-MalMem-2022, with an accuracy of 99.99% and 100% for KDDCUP'99 and CIC-MalMem-2022, respectively, and no overfitting or Type-1 and Type-2 issues.
translated by 谷歌翻译
深度神经网络(DNN)越来越多地应用于恶意软件检测中,其鲁棒性已广泛争论。传统上,对抗性示例生成方案依赖于详细的模型信息(基于梯度的方法)或许多样本来训练替代模型,在大多数情况下都无法使用。我们提出了基于实例的攻击的概念。我们的方案是可解释的,可以在黑箱环境中起作用。给定一个特定的二进制示例和恶意软件分类器,我们使用数据增强策略来生成足够的数据,我们可以从中训练一个简单的可解释模型。我们通过显示特定二进制的不同部分的重量来解释检测模型。通过分析解释,我们发现数据小节在Windows PE恶意软件检测中起重要作用。我们提出了一个新函数,以保存可以应用于数据子分校的转换算法。通过采用我们提出的二进制多样化技术,我们消除了最加权零件对产生对抗性例子的影响。在某些情况下,我们的算法可以欺骗DNN,成功率接近100 \%。我们的方法的表现优于最新方法。最重要的方面是我们的方法在黑框设置中运行,并且可以通过域知识来验证结果。我们的分析模型可以帮助人们改善恶意软件探测器的鲁棒性。
translated by 谷歌翻译
In this paper, we explore the use of metric learning to embed Windows PE files in a low-dimensional vector space for downstream use in a variety of applications, including malware detection, family classification, and malware attribute tagging. Specifically, we enrich labeling on malicious and benign PE files using computationally expensive, disassembly-based malicious capabilities. Using these capabilities, we derive several different types of metric embeddings utilizing an embedding neural network trained via contrastive loss, Spearman rank correlation, and combinations thereof. We then examine performance on a variety of transfer tasks performed on the EMBER and SOREL datasets, demonstrating that for several tasks, low-dimensional, computationally efficient metric embeddings maintain performance with little decay, which offers the potential to quickly retrain for a variety of transfer tasks at significantly reduced storage overhead. We conclude with an examination of practical considerations for the use of our proposed embedding approach, such as robustness to adversarial evasion and introduction of task-specific auxiliary objectives to improve performance on mission critical tasks.
translated by 谷歌翻译
阶级失衡是一种以使学习对分类模型更具挑战性的特征,因为它们可能最终会偏向多数级别。在不平衡学习的背景下,基于整体的方法中的一种有希望的方法是动态选择(DS)。 DS技术根据整体中的分类器的一个子集,根据其在查询周围区域中的估计能力标记每个给定的样本。由于在选择方案中只考虑了一个小区域,因此全球类别不成比例可能对系统的性能产生较小的影响。但是,本地类重叠的存在可能会严重阻碍DS技术的性能,而不是分布不平衡,因为它不仅加剧了代表不足的影响,而且还引入了能力估计过程中模棱两可且可能不可靠的样本。因此,在这项工作中,我们提出了一种DS技术,该技术试图最大程度地减少分类器选择过程中本地类别重叠的影响。所提出的方法迭代从目标区域中删除了实例被认为是最难分类的实例,直到分类器被认为有能力标记查询样品为止。使用实例硬度度量量化本地类重叠的实例硬度度量来表征已知样品。实验结果表明,该提出的技术可以显着胜过基线以及其他几种DS技术,这表明其适合处理类别不足的班级和重叠的适用性。此外,当使用标记的集合的重新采样,重叠版本较少的版本时,该技术仍会产生竞争结果,特别是在重叠区域中少数少数族类样本的问题上。可在https://github.com/marianaasouza/lords上找到代码。
translated by 谷歌翻译
颗粒球计算是一种有效,坚固,可扩展,可扩展和粒度计算的学习方法。颗粒球计算的基础是颗粒球产生方法。本文提出了一种使用该划分加速粒度球的方法来代替$ k $ -means。它可以大大提高颗粒球生成的效率,同时确保与现有方法类似的准确性。此外,考虑粒子球的重叠消除和一些其他因素,提出了一种新的颗粒球生成的新自适应方法。这使得在真实意义上的无参数和完全自适应的颗粒球生成过程。此外,本文首先为颗粒球覆盖物提供了数学模型。一些真实数据集的实验结果表明,所提出的两个颗粒球生成方法具有与现有方法相似的准确性,而实现适应性或加速度。
translated by 谷歌翻译