有限的公开数据可以支持恶意软件分析技术的研究。特别是,几乎没有由杜鹃/斗篷等丰富的沙盒生成的公开可用数据集。使用动态沙箱的好处是对目标机中文件执行的逼真模拟并获得该执行日志。机器可以被恶意软件感染,因此很有可能在执行日志中捕获恶意行为,从而使研究人员可以详细研究这种行为。尽管随后对日志信息的分析在工业网络安全后端被广泛介绍,但据我们所知,仅在学术界投入了有限的努力,以使用最先进的技术提高此类日志分析功能。我们使此示例数据集可用来支持设计新的机器学习方法以进行恶意软件检测,尤其是用于自动检测通用恶意行为。该数据集是在Avast软件和捷克技术大学-AI中心(AIC)之间合作的。
translated by 谷歌翻译
我们提出了一个混合机器学习体系结构,该体系结构同时采用多个深度学习模型,分析Windows便携式可执行文件的上下文和行为特征,从而根据Meta模型的决定产生最终预测。当代机器学习Windows恶意软件分类器中的检测启发式启发式基于样本的静态属性,因为通过虚拟化动态分析对于大量样本而言是挑战性的。为了超越这一限制,我们采用了Windows内核仿真,该仿真允许以最低的时间和计算成本获得大型语料库中的行为模式。我们与安全供应商合作,收集了超过100k的INT样品,这些样本类似于当代威胁景观,在执行时包含原始的PE文件和应用程序的档案。获得的数据集至少比行为恶意软件分析的相关工作中报告的十倍大。培训数据集中的文件由专业威胁情报团队标记,使用手动和自动化的反向工程工具。我们通过收集培训集的收购来估算混合分类器的运营实用程序。我们报告了提高的检测率,高于当前最新模型的功能,尤其是在低阳性要求下。此外,即使没有任何单个模型表达足够的信心来将样本标记为恶意,我们也发现了元模型在验证和测试集中识别恶意活动的能力。我们得出的结论是,元模型可以从不同分析技术产生的表示组合中学习典型的恶意样本模式。我们公开发布了预培训的模型和仿真报告的匿名数据集。
translated by 谷歌翻译
如今,恶意软件和恶意软件事件日常增加,即使具有各种防病毒系统和恶意软件检测或分类方法。已经提出了许多静态,动态和混合技术来检测恶意软件并将其分类为恶意软件系列。动态和混合恶意软件分类方法通过高效的静态恶意软件分类方法具有优势。由于难以在执行恶意软件行为的同时执行恶意软件行为,而不是在静态恶意软件分类中的基础代码,因此机器学习技术是安全专家检测恶意软件并动态确定其家庭的主要焦点。恶意软件的快速增长还带来了最近和更新的恶意软件数据集的必要性。我们在这项工作中介绍了两个新的更新数据集:一个有9,795个样本,从virussamples和virusshare的样品中编制了一个。本文还通过使用基于直方图的渐变升压,随机林,支持向量机和XGBoost模型与基于API呼叫的动态恶意软件分类进行分析了这两个数据集的平衡和不平衡版本的多级恶意软件分类性能。结果表明,支持向量机,在不平衡的virysample数据集中实现了94%的最高分,而相同的型号在平衡的virussample数据集中具有91%的精度。虽然xgboost是基于渐变的渐变促进的型号之一,但最高得分为90%和80%。在Virusshare数据集的两个版本中。本文还通过使用动态恶意软件分类文献中的四种最广泛的机器学习技术介绍了VirusShare和VirusSample Datasets的基线结果。我们认为这两个数据集和基线结果使得该领域的研究人员能够测试和验证其方法和方法。
translated by 谷歌翻译
恶意软件家庭分类是具有公共安全的重要问题,并通过专家标签的高成本受到阻碍的重要问题。绝大多数公司使用嘈杂的标签方法,阻碍了结果的定量量化和更深的相互作用。为了提供进一步前进所需的数据,我们创建了恶意软件开源威胁情报族(图案)数据集。 MOTIF包含来自454个家庭的3,095个恶意软件样本,使其成为最大,最多样化的公共恶意软件数据集,迄今为止,比以前的Windows恶意软件语料库大于任何先前的专家标记的语料库,近3倍。 MOTIF还附带了从恶意软件样本到威胁报告的映射,以信誉良好的行业来源发布,这两者都验证了标签,并打开了将不透明的恶意软件样本连接到人类可读描述的新的研究机会。这使得重要的评估通常是不可行的,由于行业的非标准化报告。例如,我们提供用于描述相同恶意软件系列的不同名称的别名,允许我们在从不同源获得名称时,为您的第一次准确性进行基准测试。使用MOTIF数据集获得的评估结果表明现有任务具有重要的改进空间,抗病毒多数投票的准确性仅以62.10%和众所周知的高度精度测量。我们的调查结果表明,由于在所考虑的样品中可能无法清楚的类别,因此,恶意软件家庭分类与大多数ML文献中的研究不同的标记噪声遭受任何类型的标记噪声。
translated by 谷歌翻译
恶意PDF文件对需要现代威胁情报平台的各种安全组织提出了严重威胁,以有效分析和表征PDF恶意软件的身份和行为。最先进的方法使用机器学习(ml)来学习特征PDF恶意软件的功能。然而,ML模型通常很容易受到逃避攻击的影响,其中对手会使恶意软件代码禁止以避免被防病毒检测到。在本文中,我们推出了一种简单而有效的整体方法,用于PDF恶意软件检测,利用了恶意软件二进制文件的信号和统计分析。这包括组合来自各种静态和动态恶意软件检测方法的正交特征空间模型,以便在面对代码混淆时启用广泛的鲁棒性。使用包含恶意软件和良性示例的近30,000个PDF文件的数据集,我们表明我们的整体方法维持了高检测率(99.92%)的PDF恶意软件,甚至可以检测通过简单方法创建的新的恶意文件,以删除恶意软件所进行的混淆作者隐藏他们的恶意软件,这些恶意软件被大多数杀毒失真。
translated by 谷歌翻译
网络犯罪是本世纪的主要数字威胁之一。尤其是,勒索软件攻击已大大增加,导致全球损失成本数十亿美元。在本文中,我们训练和测试不同的机器学习和深度学习模型,以进行恶意软件检测,恶意软件分类和勒索软件检测。我们介绍了一种新颖而灵活的勒索软件检测模型,该模型结合了两个优化的模型。我们在有限数据集上的检测结果表明了良好的准确性和F1分数。
translated by 谷歌翻译
我们考虑通过网络攻击者生成对抗性恶意软件的问题,其中攻击者的任务是在现有二进制恶意软件文件中战略性地修改某些字节,以便修改的文件能够避免恶意软件检测器,例如基于机器学习的恶意软件分类器。我们使用从单个公开可用的恶意软件数据集绘制的二进制恶意软件样本进行了评估了三个最近的对抗恶意软件生成技术,并将其进行了比较了它们的性能,以逃避称为MALCONV的基于机器学习的恶意软件分类器。我们的结果表明,在比较技术中,最有效的技术是战略性地修改二进制标题中字节的技术。我们通过讨论对对抗对抗恶意软件生成主题的经验教训和未来的研究方向来结束。
translated by 谷歌翻译
恶意软件归类是一个相对未探索的区域,它相当难以属于恶意软件和检测作者。在本文中,我们采用了恶意可执行文件的各种静态和动态特征,以基于其家庭对恶意软件进行分类。我们利用杜鹃沙箱和机器学习在这项研究中取得进展。发布分析,使用各种深度学习和机器学习算法进行分类。使用从Virustotal(静态)和杜鹃(动态)报告中收集的功能,我们将Vectorized数据与多项式天真贝叶斯,支持向量机和使用决策树作为基础估算器进行袋装。对于每个分类器,我们使用详尽的搜索方法调整了超级参数。我们的报告在恶意软件归属中非常有用。
translated by 谷歌翻译
在本文中,我们介绍了四种突出的恶意软件检测工具的科学评估,以帮助组织提出两个主要问题:基于ML的工具在多大程度上对以前和从未见过的文件进行了准确的分类?是否值得购买网络级恶意软件检测器?为了识别弱点,我们针对各种文件类型的总计3,536个文件(2,554或72 \%恶意,982或28 \%良性)测试了每个工具,包括数百个恶意零日,polyglots和apt-style-style style文件,在多个协议上交付。我们介绍了有关检测时间和准确性的统计结果,请考虑互补分析(一起使用多个工具),并提供了近期成本效益评估程序的两种新颖应用。尽管基于ML的工具在检测零日文件和可执行文件方面更有效,但基于签名的工具仍然是总体上更好的选择。两种基于网络的工具都与任何一种主机工具配对时都可以进行大量(模拟)节省,但两者在HTTP或SMTP以外的协议上都显示出较差的检测率。我们的结果表明,所有四个工具都具有几乎完美的精度但令人震惊的召回率,尤其是在可执行文件和Office文件以外的文件类型上 - 未检测到37%的恶意软件,包括所有Polyglot文件。给出了研究人员的优先事项,并给出了最终用户的外卖。
translated by 谷歌翻译
自20世纪90年代初以来,Ransomware一直是正在进行的问题。最近的时间赎金软件从传统的计算资源传播到网络物理系统和工业控制。我们设计了一系列实验,其中虚拟实例被勒索软件感染。我们通过各种指标(CPU,内存,磁盘实用程序)来介绍该实例并收集资源利用数据。我们设计一个识别赎金软件执行的变更点检测和学习方法。最后,我们评估并展示其在培训在最小的样本集上时及时地检测勒索软件的能力。我们的结果代表了辩护的一步,我们的结论是对前进路径的进一步评论。
translated by 谷歌翻译
恶意软件系列的分类对于全面了解他们如何感染设备,计算机或系统的全面了解至关重要。因此,恶意软件识别使安全研究人员和事件响应者能够采取防止恶意软件的预防措施并加速缓解。由于这些序列代表恶意软件的行为,恶意软件由恶意软件制作的API呼叫序列是广泛利用的机器和深度学习模型的特征。但是,传统的机器和深度学习模型仍然无法捕获API呼叫之间的序列关系。另一方面,基于变压器的模型作为整体过程序列,并且由于多针注意机制和位置嵌入而学习API调用之间的关系。我们的实验表明,具有一个变压器块层的变压器模型超越了广泛使用的基础架构,LSTM。此外,伯特或犬,预先训练的变压器模型,在根据评估指标,F1分数和AUC分数分类高度不平衡恶意软件系列方面表现优于分类高度不平衡的恶意软件系列。此外,拟议的基于袋的随机变压器森林(RTF),伯特或犬的集合,已经达到了四个数据集中的三个,特别是最先进的F1 - 在一个常用的基准数据集中得分为0.6149。
translated by 谷歌翻译
恶意软件是对计算机系统的主要威胁,并对网络安全构成了许多挑战。有针对性的威胁(例如勒索软件)每年造成数百万美元的损失。恶意软件感染的不断增加一直激励流行抗病毒(AV)制定专用的检测策略,其中包括精心制作的机器学习(ML)管道。但是,恶意软件开发人员不断地将样品的功能更改为绕过检测。恶意软件样品的这种恒定演变导致数据分布(即概念漂移)直接影响ML模型检测率,这是大多数文献工作中未考虑的。在这项工作中,我们评估了两个Android数据集的概念漂移对恶意软件分类器的影响:DREBIN(约130k应用程序)和Androzoo(约350K应用程序)的子集。我们使用这些数据集训练自适应随机森林(ARF)分类器以及随机梯度下降(SGD)分类器。我们还使用其Virustotal提交时间戳订购了所有数据集样品,然后使用两种算法(Word2Vec和tf-idf)从其文本属性中提取功能。然后,我们进行了实验,以比较两个特征提取器,分类器以及四个漂移检测器(DDM,EDDM,ADWIN和KSWIN),以确定真实环境的最佳方法。最后,我们比较一些减轻概念漂移的可能方法,并提出了一种新的数据流管道,该管道同时更新分类器和特征提取器。为此,我们通过(i)对9年来收集的恶意软件样本进行了纵向评估(2009- 2018年),(ii)审查概念漂移检测算法以证明其普遍性,(iii)比较不同的ML方法来减轻此问题,(iv)提出了超过文献方法的ML数据流管道。
translated by 谷歌翻译
由于技术困难以与原始数据一致的方式更改数据,因此在网络安全域中,数据扩展很少见。鉴于获得符合版权限制的良性和恶意培训数据的独特困难,这一缺陷尤其繁重,而银行和政府等机构会收到有针对性的恶意软件,这些恶意软件永远不会大量存在。我们介绍Marvolo是一种二进制突变器,该突变器以编程方式生产恶意软件(和良性)数据集,以提高ML驱动的恶意软件探测器的准确性。 Marvolo采用语义保护代码转换,模仿恶意软件作者和防御性良性开发人员通常在实践中进行的更改,从而使我们能够生成有意义的增强数据。至关重要的是,语义传播的转换也使Marvolo能够安全地将标签从原始生成的数据样本传播到,而无需规定昂贵的二进制文件的昂贵反向工程。此外,Marvolo通过最大化给定时间(或资源)预算中生成的各种数据样本的密度来最大化,使从业人员最大程度地嵌入了几种关键优化。使用广泛的商业恶意软件数据集和最近的ML驱动的恶意软件探测器进行的实验表明,Marvolo将准确性提高了5%,而仅在潜在的输入二进制文件的一小部分(15%)上运行。
translated by 谷歌翻译
通过越来越多的恶意软件和网络攻击,需要“正交”网络防御方法,其通过检测不被其他方法预测的唯一恶意软件样本来互补。在本文中,我们提出了一种新颖和正交的恶意软件检测(OMD)方法来使用音频描述符,图像相似性描述符和其他静态/统计特征的组合来识别恶意软件。首先,我们展示当恶意软件二进制文件表示为音频信号时,如何如何在分类恶意软件系列方面有效。然后,我们表明对音频描述符的预测与对图像相似性描述符和其他静态特征的预测正交。此外,我们开发了一个错误分析的框架和度量标准,以量化正交的新功能集(或类型)是关于其他特征集的方式。这允许我们为我们的整体框架添加新功能和检测方法。恶意软件数据集的实验结果表明,我们的方法为正交恶意软件检测提供了一种强大的框架。
translated by 谷歌翻译
安全字段中的数据标签通常是嘈杂,有限或偏向于人口子集的。结果,诸如准确性,精度和召回指标之类的普遍评估方法,或从标记数据集中计算的性能曲线的分析对机器学习(ML)模型的现实性能没有足够的信心。这减慢了该领域的机器学习的采用。在当今的行业中,我们依靠域专业知识和冗长的手动评估来建立此信心,然后再运送新的安全应用程序模型。在本文中,我们介绍了Firenze,这是一种使用域专业知识对ML模型的性能进行比较评估的新型框架,并编码为称为标记的可扩展功能。我们表明,在称为感兴趣的区域的样本中计算和组合的标记可以提供对其现实世界表演的强大估计。至关重要的是,我们使用统计假设检验来确保观察到的差异,因此从我们的框架中得出的结论 - 比仅噪声可观察到的更为突出。使用模拟和两个现实世界数据集用于恶意软件和域名声誉检测,我们说明了方法的有效性,局限性和见解。综上所述,我们建议Firenze作为研究人员,领域专家和企业主混合团队的快速,可解释和协作模型开发和评估的资源。
translated by 谷歌翻译
互联网流量分类在网络可见性,服务质量(QoS),入侵检测,经验质量(QOE)和交通趋势分析中起关键作用。为了提高隐私,完整性,机密性和协议混淆,当前的流量基于加密协议,例如SSL/TLS。随着文献中机器学习(ML)和深度学习(DL)模型的使用增加,由于缺乏标准化的框架,不同模型和方法之间的比较变得繁琐且困难。在本文中,我们提出了一个名为OSF-EIMTC的开源框架,该框架可以提供学习过程的完整管道。从著名的数据集到提取新的和知名的功能,它提供了著名的ML和DL模型(来自交通分类文献)的实现以及评估。这样的框架可以促进交通分类域的研究,从而使其更可重复,可重复,更易于执行,并可以更准确地比较知名和新颖的功能和新颖的功能和模型。作为框架评估的一部分,我们演示了可以使用多个数据集,模型和功能集的各种情况。我们展示了公开可用数据集的分析,并邀请社区使用OSF-EIMTC参与我们的公开挑战。
translated by 谷歌翻译
我们研究了如何修改可执行文件以欺骗恶意软件分类系统。这项工作的主要贡献是一种方法,可以随机注入恶意软件文件,并将其用作攻击以降低分类准确性,也可以作为防御方法,从而增加可用于培训的数据。它尊重操作系统文件格式,以确保在注射后仍将执行恶意软件,并且不会改变其行为。我们重现了五种最先进的恶意软件分类方法来评估我们的注射方案:一种基于GIST+KNN,三个CNN变体和一种封闭式CNN。我们在公共数据集上进行了实验,其中有25个不同家庭的9,339个恶意软件样本。我们的结果表明,恶意软件的大小增加了7%,导致恶意软件家庭分类的准确度下降了25%至40%。他们表明,自动恶意软件分类系统可能不像文献中最初报道的那样值得信赖。我们还使用修改后的麦芽脂肪剂以及原始恶核评估,以提高网络的鲁棒性,以防止上述攻击。结果表明,重新排序恶意软件部分和注入随机数据的组合可以改善分类的整体性能。代码可在https://github.com/adeilsonsilva/malware-injection中找到。
translated by 谷歌翻译
恶意软件是跨越多个操作系统和各种文件格式的计算机的最损害威胁之一。为了防止不断增长的恶意软件的威胁,已经提出了巨大的努力来提出各种恶意软件检测方法,试图有效和有效地检测恶意软件。最近的研究表明,一方面,现有的ML和DL能够卓越地检测新出现和以前看不见的恶意软件。然而,另一方面,ML和DL模型本质上易于侵犯对抗性示例形式的对抗性攻击,这通过略微仔细地扰乱了合法输入来混淆目标模型来恶意地产生。基本上,在计算机视觉领域最初广泛地研究了对抗性攻击,并且一些快速扩展到其他域,包括NLP,语音识别甚至恶意软件检测。在本文中,我们专注于Windows操作系统系列中的便携式可执行文件(PE)文件格式的恶意软件,即Windows PE恶意软件,作为在这种对抗设置中研究对抗性攻击方法的代表性案例。具体而言,我们首先首先概述基于ML / DL的Windows PE恶意软件检测的一般学习框架,随后突出了在PE恶意软件的上下文中执行对抗性攻击的三个独特挑战。然后,我们进行全面和系统的审查,以对PE恶意软件检测以及增加PE恶意软件检测的稳健性的相应防御,对近最新的对手攻击进行分类。我们首先向Windows PE恶意软件检测的其他相关攻击结束除了对抗对抗攻击之外,然后对未来的研究方向和机遇脱落。
translated by 谷歌翻译
该项目的目的是收集和分析有关关注Microsoft Windows恶意软件的已发布结果的可比性和现实生活的数据,更具体地说是数据集大小和测试数据集不平衡对测量检测器性能的影响。一些研究人员使用较小的数据集,如果数据集大小对性能产生重大影响,则可以比较已发布的结果。研究人员还倾向于使用平衡的数据集和准确性作为测试的指标。前者并不是现实的真实代表,在这种现实中,良性样本明显超过了恶意软件,而后者的方法对于不平衡问题而言是有问题的。该项目确定了两个关键目标,以了解数据集大小是否与测量的探测器性能相关,以防止有意义地比较已发布的结果,并了解是否可以在现实世界中的部署中表现良好设想。该研究的结果表明,数据集的大小确实与测量的检测器性能相关,以防止有意义地比较已发表的结果,并且不了解训练集大小准确性曲线的性质,用于在哪种方法“更好”的方法之间得出已发表的结果结论。不应仅根据准确分数制作。结果还表明,高精度得分不一定会转化为高现实世界的性能。
translated by 谷歌翻译
To date, a large number of research papers have been written on the classification of malware, its identification, classification into different families and the distinction between malware and goodware. These works have been based on captured malware samples and have attempted to analyse malware and goodware using various techniques, including techniques from the field of artificial intelligence. For example, neural networks have played a significant role in these classification methods. Some of this work also deals with analysing malware using its visualisation. These works usually convert malware samples capturing the structure of malware into image structures, which are then the object of image processing. In this paper, we propose a very unconventional and novel approach to malware visualisation based on dynamic behaviour analysis, with the idea that the images, which are visually very interesting, are then used to classify malware concerning goodware. Our approach opens an extensive topic for future discussion and provides many new directions for research in malware analysis and classification, as discussed in conclusion. The results of the presented experiments are based on a database of 6 589 997 goodware, 827 853 potentially unwanted applications and 4 174 203 malware samples provided by ESET and selected experimental data (images, generating polynomial formulas and software generating images) are available on GitHub for interested readers. Thus, this paper is not a comprehensive compact study that reports the results obtained from comparative experiments but rather attempts to show a new direction in the field of visualisation with possible applications in malware analysis.
translated by 谷歌翻译