随着基于图像的二进制表示,计算机视觉在自动化恶意软件检测中起着越来越重要的作用。这些二进制图像快速生成,不需要功能工程,并且对流行的混淆方法有弹性。但是,在该领域进行了重大研究,但是它仅限于仅少数行业实验室和研究团队可以使用的小型或私人数据集。这种缺乏可用性阻碍了对现有工作的研究,新研究的发展以及思想的传播。我们发布了最大的公共网络安全图像数据库Malnet-Image,比现有数据库多24倍的图像和70倍的类别(可在https://mal-net.org上获得)。 Malnet-图像包含超过120万张恶意软件图像 - 遍及47种类型和696个家庭 - 通过使研究人员和实践者能够评估以前在礼节环境中报道的技术来使基于图像的恶意软件能力民主化。我们在二进制图像上报告了第一个百万尺度的恶意软件检测结果。 MALNET-IMAGE解锁了新的独特机会,可以推进机器学习的前沿,从而使新的研究方向可以进入基于视觉的网络防御,多类不平衡分类和可解释的安全性。
translated by 谷歌翻译
随着图形表示学习的快速出现,新的大规模数据集的构建是区分模型能力,并准确评估每种技术的优点和弱点。通过仔细分析现有的图形数据库,我们确定了3个关键组件,对于推进图形表示学习领域迄今为止,没有单图数据库提供所有这些所需的属性。我们介绍了Malnet,是有史以来的最大的公共图表数据库,代表了恶意软件功能调用图的大规模本体。 MALNET包含超过120万个图表,平均超过15k节点和35k边缘,横跨47种类型和696个系列的层次结构。与流行的Reddit-12K数据库相比,MARNET提供了105倍的图表,平均较大的图39倍,课程更多63倍。我们对Malnet进行了详细的分析,讨论了其性质和出处,以及最先进的机器学习和图形神经网络技术的评估。 MARNET的前所未有的规模和多样性提供了令人兴奋的机会,推动图形表示学习的前沿 - 使新发现和研究进入不平衡的分类,解释性和阶级硬度的影响。数据库在www.mal-net.org上公开提供。
translated by 谷歌翻译
恶意软件检测在网络安全中起着至关重要的作用,随着恶意软件增长的增加和网络攻击的进步。以前看不见的恶意软件不是由安全供应商确定的,这些恶意软件通常在这些攻击中使用,并且不可避免地要找到可以从未标记的样本数据中自学习的解决方案。本文介绍了Sherlock,这是一种基于自学的深度学习模型,可根据视觉变压器(VIT)体系结构检测恶意软件。 Sherlock是一种新颖的恶意软件检测方法,它可以通过使用基于图像的二进制表示形式来学习独特的功能,以区分恶意软件和良性程序。在47种类型和696个家庭的层次结构中使用120万个Android应用的实验结果表明,自我监督的学习可以达到97%的恶意软件分类,而恶意软件的二进制分类比现有的最新技术更高。我们提出的模型还能够胜过针对多级恶意软件类型和家庭的最先进技术,分别为.497和.491。
translated by 谷歌翻译
恶意应用程序(尤其是针对Android平台的应用程序)对开发人员和最终用户构成了严重威胁。许多研究工作都致力于开发有效的方法来防御Android恶意软件。但是,鉴于Android恶意软件的爆炸性增长以及恶意逃避技术(如混淆和反思)的持续发展,基于手动规则或传统机器学习的Android恶意软件防御方法可能无效。近年来,具有强大功能抽象能力的主要研究领域称为“深度学习”(DL),在各个领域表现出了令人信服和有希望的表现,例如自然语言处理和计算机视觉。为此,采用深度学习技术来阻止Android恶意软件攻击,最近引起了广泛的研究关注。然而,没有系统的文献综述着重于针对Android恶意软件防御的深度学习方法。在本文中,我们进行了系统的文献综述,以搜索和分析在Android环境中恶意软件防御的背景下采用了如何应用的。结果,确定了涵盖2014 - 2021年期间的132项研究。我们的调查表明,尽管大多数这些来源主要考虑基于Android恶意软件检测的基于DL,但基于其他方案的53项主要研究(40.1%)设计防御方法。这篇综述还讨论了基于DL的Android恶意软件防御措施中的研究趋势,研究重点,挑战和未来的研究方向。
translated by 谷歌翻译
网络犯罪是本世纪的主要数字威胁之一。尤其是,勒索软件攻击已大大增加,导致全球损失成本数十亿美元。在本文中,我们训练和测试不同的机器学习和深度学习模型,以进行恶意软件检测,恶意软件分类和勒索软件检测。我们介绍了一种新颖而灵活的勒索软件检测模型,该模型结合了两个优化的模型。我们在有限数据集上的检测结果表明了良好的准确性和F1分数。
translated by 谷歌翻译
恶意软件系列的分类对于全面了解他们如何感染设备,计算机或系统的全面了解至关重要。因此,恶意软件识别使安全研究人员和事件响应者能够采取防止恶意软件的预防措施并加速缓解。由于这些序列代表恶意软件的行为,恶意软件由恶意软件制作的API呼叫序列是广泛利用的机器和深度学习模型的特征。但是,传统的机器和深度学习模型仍然无法捕获API呼叫之间的序列关系。另一方面,基于变压器的模型作为整体过程序列,并且由于多针注意机制和位置嵌入而学习API调用之间的关系。我们的实验表明,具有一个变压器块层的变压器模型超越了广泛使用的基础架构,LSTM。此外,伯特或犬,预先训练的变压器模型,在根据评估指标,F1分数和AUC分数分类高度不平衡恶意软件系列方面表现优于分类高度不平衡的恶意软件系列。此外,拟议的基于袋的随机变压器森林(RTF),伯特或犬的集合,已经达到了四个数据集中的三个,特别是最先进的F1 - 在一个常用的基准数据集中得分为0.6149。
translated by 谷歌翻译
The number of malware is constantly on the rise. Though most new malware are modifications of existing ones, their sheer number is quite overwhelming. In this paper, we present a novel system to visualize and map millions of malware to points in a 2-dimensional (2D) spatial grid. This enables visualizing relationships within large malware datasets that can be used to develop triage solutions to screen different malware rapidly and provide situational awareness. Our approach links two visualizations within an interactive display. Our first view is a spatial point-based visualization of similarity among the samples based on a reduced dimensional projection of binary feature representations of malware. Our second spatial grid-based view provides a better insight into similarities and differences between selected malware samples in terms of the binary-based visual representations they share. We also provide a case study where the effect of packing on the malware data is correlated with the complexity of the packing algorithm.
translated by 谷歌翻译
Security issues are threatened in various types of networks, especially in the Internet of Things (IoT) environment that requires early detection. IoT is the network of real-time devices like home automation systems and can be controlled by open-source android devices, which can be an open ground for attackers. Attackers can access the network, initiate a different kind of security breach, and compromises network control. Therefore, timely detecting the increasing number of sophisticated malware attacks is the challenge to ensure the credibility of network protection. In this regard, we have developed a new malware detection framework, Deep Squeezed-Boosted and Ensemble Learning (DSBEL), comprised of novel Squeezed-Boosted Boundary-Region Split-Transform-Merge (SB-BR-STM) CNN and ensemble learning. The proposed S.T.M. block employs multi-path dilated convolutional, Boundary, and regional operations to capture the homogenous and heterogeneous global malicious patterns. Moreover, diverse feature maps are achieved using transfer learning and multi-path-based squeezing and boosting at initial and final levels to learn minute pattern variations. Finally, the boosted discriminative features are extracted from the developed deep SB-BR-STM CNN and provided to the ensemble classifiers (SVM, M.L.P., and AdaboostM1) to improve the hybrid learning generalization. The performance analysis of the proposed DSBEL framework and SB-BR-STM CNN against the existing techniques have been evaluated by the IOT_Malware dataset on standard performance measures. Evaluation results show progressive performance as 98.50% accuracy, 97.12% F1-Score, 91.91% MCC, 95.97 % Recall, and 98.42 % Precision. The proposed malware analysis framework is helpful for the timely detection of malicious activity and suggests future strategies.
translated by 谷歌翻译
内幕威胁是昂贵的,难以检测,不幸的是发生在发生。寻求改善检测此类威胁,我们开发了新颖的技术,使我们能够提取强大的特征,产生高质量的图像编码,以及增加攻击向量,以获得更大的分类功率。结合,它们形成计算机视觉用户和实体行为分析,一种从地上设计的检测系统,以提高学术界的进步,并减轻防止工业先进模型的问题。该拟议的系统击败了学术界和工业中使用的最先进方法。
translated by 谷歌翻译
恶意软件家庭分类是具有公共安全的重要问题,并通过专家标签的高成本受到阻碍的重要问题。绝大多数公司使用嘈杂的标签方法,阻碍了结果的定量量化和更深的相互作用。为了提供进一步前进所需的数据,我们创建了恶意软件开源威胁情报族(图案)数据集。 MOTIF包含来自454个家庭的3,095个恶意软件样本,使其成为最大,最多样化的公共恶意软件数据集,迄今为止,比以前的Windows恶意软件语料库大于任何先前的专家标记的语料库,近3倍。 MOTIF还附带了从恶意软件样本到威胁报告的映射,以信誉良好的行业来源发布,这两者都验证了标签,并打开了将不透明的恶意软件样本连接到人类可读描述的新的研究机会。这使得重要的评估通常是不可行的,由于行业的非标准化报告。例如,我们提供用于描述相同恶意软件系列的不同名称的别名,允许我们在从不同源获得名称时,为您的第一次准确性进行基准测试。使用MOTIF数据集获得的评估结果表明现有任务具有重要的改进空间,抗病毒多数投票的准确性仅以62.10%和众所周知的高度精度测量。我们的调查结果表明,由于在所考虑的样品中可能无法清楚的类别,因此,恶意软件家庭分类与大多数ML文献中的研究不同的标记噪声遭受任何类型的标记噪声。
translated by 谷歌翻译
恶意软件开发人员使用诸如压缩,加密和混淆等技术的组合来绕过反病毒软件。使用抗分析技术的恶意软件可以绕过基于AI的防病毒软件和恶意软件分析工具。因此,对包装文件进行分类是最大的挑战之一。如果恶意软件分类器学习包装工的功能,而不是恶意软件的功能,就会出现问题。用意外错误的数据训练模型变成中毒攻击,对抗攻击和逃避攻击。因此,研究人员应考虑包装以构建适当的恶意软件分类器模型。在本文中,我们提出了一个多步框架,用于分类和识别包装样本,其中包括伪最佳的功能选择,基于机器学习的分类器和Packer识别步骤。在第一步中,我们使用购物车算法和置换重要性来预选重要的20个功能。在第二步中,每个模型都会学习20个预选功能,以分类具有最高性能的包装文件。结果,XGBoost以置换重要性了解了XGBoost预先选择的功能,其精度为99.67%,F1得分为99.46%,并且在曲线下的F1分数表现出最高的性能(f1)。 AUC)为99.98%。在第三步中,我们提出了一种新方法,该方法只能识别包装工,仅针对被分类为众所周知的包装的样品。
translated by 谷歌翻译
如今,恶意软件和恶意软件事件日常增加,即使具有各种防病毒系统和恶意软件检测或分类方法。已经提出了许多静态,动态和混合技术来检测恶意软件并将其分类为恶意软件系列。动态和混合恶意软件分类方法通过高效的静态恶意软件分类方法具有优势。由于难以在执行恶意软件行为的同时执行恶意软件行为,而不是在静态恶意软件分类中的基础代码,因此机器学习技术是安全专家检测恶意软件并动态确定其家庭的主要焦点。恶意软件的快速增长还带来了最近和更新的恶意软件数据集的必要性。我们在这项工作中介绍了两个新的更新数据集:一个有9,795个样本,从virussamples和virusshare的样品中编制了一个。本文还通过使用基于直方图的渐变升压,随机林,支持向量机和XGBoost模型与基于API呼叫的动态恶意软件分类进行分析了这两个数据集的平衡和不平衡版本的多级恶意软件分类性能。结果表明,支持向量机,在不平衡的virysample数据集中实现了94%的最高分,而相同的型号在平衡的virussample数据集中具有91%的精度。虽然xgboost是基于渐变的渐变促进的型号之一,但最高得分为90%和80%。在Virusshare数据集的两个版本中。本文还通过使用动态恶意软件分类文献中的四种最广泛的机器学习技术介绍了VirusShare和VirusSample Datasets的基线结果。我们认为这两个数据集和基线结果使得该领域的研究人员能够测试和验证其方法和方法。
translated by 谷歌翻译
随着计算系统的不断增长的加工能力和大规模数据集的可用性的增加,机器学习算法导致了许多不同区域的重大突破。此开发影响了计算机安全性,在基于学习的安全系统中产生了一系列工作,例如用于恶意软件检测,漏洞发现和二进制代码分析。尽管潜力巨大,但安全性的机器学习易于细微缺陷,以破坏其性能,并使基于学习的系统可能不适合安全任务和实际部署。在本文中,我们用临界眼睛看这个问题。首先,我们确定基于学习的安全系统的设计,实现和评估中的常见缺陷。我们在过去的10年内,从顶层安全会议中进行了一项研究,确认这些陷阱在目前的安全文献中普遍存在。在一个实证分析中,我们进一步展示了个体陷阱如何导致不切实际的表现和解释,阻碍了对手的安全问题的理解。作为补救措施,我们提出了可行的建议,以支持研究人员在可能的情况下避免或减轻陷阱。此外,我们在将机器学习应用于安全性并提供进一步研究方向时确定打开问题。
translated by 谷歌翻译
互联网流量分类在网络可见性,服务质量(QoS),入侵检测,经验质量(QOE)和交通趋势分析中起关键作用。为了提高隐私,完整性,机密性和协议混淆,当前的流量基于加密协议,例如SSL/TLS。随着文献中机器学习(ML)和深度学习(DL)模型的使用增加,由于缺乏标准化的框架,不同模型和方法之间的比较变得繁琐且困难。在本文中,我们提出了一个名为OSF-EIMTC的开源框架,该框架可以提供学习过程的完整管道。从著名的数据集到提取新的和知名的功能,它提供了著名的ML和DL模型(来自交通分类文献)的实现以及评估。这样的框架可以促进交通分类域的研究,从而使其更可重复,可重复,更易于执行,并可以更准确地比较知名和新颖的功能和新颖的功能和模型。作为框架评估的一部分,我们演示了可以使用多个数据集,模型和功能集的各种情况。我们展示了公开可用数据集的分析,并邀请社区使用OSF-EIMTC参与我们的公开挑战。
translated by 谷歌翻译
在本文中,我们介绍了四种突出的恶意软件检测工具的科学评估,以帮助组织提出两个主要问题:基于ML的工具在多大程度上对以前和从未见过的文件进行了准确的分类?是否值得购买网络级恶意软件检测器?为了识别弱点,我们针对各种文件类型的总计3,536个文件(2,554或72 \%恶意,982或28 \%良性)测试了每个工具,包括数百个恶意零日,polyglots和apt-style-style style文件,在多个协议上交付。我们介绍了有关检测时间和准确性的统计结果,请考虑互补分析(一起使用多个工具),并提供了近期成本效益评估程序的两种新颖应用。尽管基于ML的工具在检测零日文件和可执行文件方面更有效,但基于签名的工具仍然是总体上更好的选择。两种基于网络的工具都与任何一种主机工具配对时都可以进行大量(模拟)节省,但两者在HTTP或SMTP以外的协议上都显示出较差的检测率。我们的结果表明,所有四个工具都具有几乎完美的精度但令人震惊的召回率,尤其是在可执行文件和Office文件以外的文件类型上 - 未检测到37%的恶意软件,包括所有Polyglot文件。给出了研究人员的优先事项,并给出了最终用户的外卖。
translated by 谷歌翻译
通过越来越多的恶意软件和网络攻击,需要“正交”网络防御方法,其通过检测不被其他方法预测的唯一恶意软件样本来互补。在本文中,我们提出了一种新颖和正交的恶意软件检测(OMD)方法来使用音频描述符,图像相似性描述符和其他静态/统计特征的组合来识别恶意软件。首先,我们展示当恶意软件二进制文件表示为音频信号时,如何如何在分类恶意软件系列方面有效。然后,我们表明对音频描述符的预测与对图像相似性描述符和其他静态特征的预测正交。此外,我们开发了一个错误分析的框架和度量标准,以量化正交的新功能集(或类型)是关于其他特征集的方式。这允许我们为我们的整体框架添加新功能和检测方法。恶意软件数据集的实验结果表明,我们的方法为正交恶意软件检测提供了一种强大的框架。
translated by 谷歌翻译
有限的公开数据可以支持恶意软件分析技术的研究。特别是,几乎没有由杜鹃/斗篷等丰富的沙盒生成的公开可用数据集。使用动态沙箱的好处是对目标机中文件执行的逼真模拟并获得该执行日志。机器可以被恶意软件感染,因此很有可能在执行日志中捕获恶意行为,从而使研究人员可以详细研究这种行为。尽管随后对日志信息的分析在工业网络安全后端被广泛介绍,但据我们所知,仅在学术界投入了有限的努力,以使用最先进的技术提高此类日志分析功能。我们使此示例数据集可用来支持设计新的机器学习方法以进行恶意软件检测,尤其是用于自动检测通用恶意行为。该数据集是在Avast软件和捷克技术大学-AI中心(AIC)之间合作的。
translated by 谷歌翻译
该项目的目的是收集和分析有关关注Microsoft Windows恶意软件的已发布结果的可比性和现实生活的数据,更具体地说是数据集大小和测试数据集不平衡对测量检测器性能的影响。一些研究人员使用较小的数据集,如果数据集大小对性能产生重大影响,则可以比较已发布的结果。研究人员还倾向于使用平衡的数据集和准确性作为测试的指标。前者并不是现实的真实代表,在这种现实中,良性样本明显超过了恶意软件,而后者的方法对于不平衡问题而言是有问题的。该项目确定了两个关键目标,以了解数据集大小是否与测量的探测器性能相关,以防止有意义地比较已发布的结果,并了解是否可以在现实世界中的部署中表现良好设想。该研究的结果表明,数据集的大小确实与测量的检测器性能相关,以防止有意义地比较已发表的结果,并且不了解训练集大小准确性曲线的性质,用于在哪种方法“更好”的方法之间得出已发表的结果结论。不应仅根据准确分数制作。结果还表明,高精度得分不一定会转化为高现实世界的性能。
translated by 谷歌翻译
恶意软件(恶意软件)分类为持续学习(CL)制度提供了独特的挑战,这是由于每天收到的新样本的数量以及恶意软件的发展以利用新漏洞。在典型的一天中,防病毒供应商将获得数十万个独特的软件,包括恶意和良性,并且在恶意软件分类器的一生中,有超过十亿个样品很容易积累。鉴于问题的规模,使用持续学习技术的顺序培训可以在减少培训和存储开销方面提供可观的好处。但是,迄今为止,还没有对CL应用于恶意软件分类任务的探索。在本文中,我们研究了11种应用于三个恶意软件任务的CL技术,涵盖了常见的增量学习方案,包括任务,类和域增量学习(IL)。具体而言,使用两个现实的大规模恶意软件数据集,我们评估了CL方法在二进制恶意软件分类(domain-il)和多类恶意软件家庭分类(Task-IL和类IL)任务上的性能。令我们惊讶的是,在几乎所有情况下,持续的学习方法显着不足以使训练数据的幼稚关节重播 - 在某些情况下,将精度降低了70个百分点以上。与关节重播相比,有选择性重播20%的存储数据的一种简单方法可以实现更好的性能,占训练时间的50%。最后,我们讨论了CL技术表现出乎意料差的潜在原因,希望它激发进一步研究在恶意软件分类域中更有效的技术。
translated by 谷歌翻译
To date, a large number of research papers have been written on the classification of malware, its identification, classification into different families and the distinction between malware and goodware. These works have been based on captured malware samples and have attempted to analyse malware and goodware using various techniques, including techniques from the field of artificial intelligence. For example, neural networks have played a significant role in these classification methods. Some of this work also deals with analysing malware using its visualisation. These works usually convert malware samples capturing the structure of malware into image structures, which are then the object of image processing. In this paper, we propose a very unconventional and novel approach to malware visualisation based on dynamic behaviour analysis, with the idea that the images, which are visually very interesting, are then used to classify malware concerning goodware. Our approach opens an extensive topic for future discussion and provides many new directions for research in malware analysis and classification, as discussed in conclusion. The results of the presented experiments are based on a database of 6 589 997 goodware, 827 853 potentially unwanted applications and 4 174 203 malware samples provided by ESET and selected experimental data (images, generating polynomial formulas and software generating images) are available on GitHub for interested readers. Thus, this paper is not a comprehensive compact study that reports the results obtained from comparative experiments but rather attempts to show a new direction in the field of visualisation with possible applications in malware analysis.
translated by 谷歌翻译