虽然已知存在强烈相关的抗病毒发动机的组，但目前有限地了解如何或为什么这些相关性所在的理解。使用代表杀毒扫描数据十年的2500万致毒素报告的语料库，我们挑战普遍的智慧，即这些相关性主要来自“一阶”互动，例如杀毒供应商复制领先供应商标签。我们介绍时间秩-1相似性矩阵分解（R1SM-T），以研究这些相关性的起源，并模拟杀毒发动机之间的共识如何随时间变化。我们揭示了一流的相互作用，并不像以前认为杀毒相关的那么多的行为，并且杀毒发动机之间的关系具有高度挥发性。我们提出了根据我们的研究结果需要未来学习和考虑的项目的建议。

恶意软件家庭分类是具有公共安全的重要问题，并通过专家标签的高成本受到阻碍的重要问题。绝大多数公司使用嘈杂的标签方法，阻碍了结果的定量量化和更深的相互作用。为了提供进一步前进所需的数据，我们创建了恶意软件开源威胁情报族（图案）数据集。 MOTIF包含来自454个家庭的3,095个恶意软件样本，使其成为最大，最多样化的公共恶意软件数据集，迄今为止，比以前的Windows恶意软件语料库大于任何先前的专家标记的语料库，近3倍。 MOTIF还附带了从恶意软件样本到威胁报告的映射，以信誉良好的行业来源发布，这两者都验证了标签，并打开了将不透明的恶意软件样本连接到人类可读描述的新的研究机会。这使得重要的评估通常是不可行的，由于行业的非标准化报告。例如，我们提供用于描述相同恶意软件系列的不同名称的别名，允许我们在从不同源获得名称时，为您的第一次准确性进行基准测试。使用MOTIF数据集获得的评估结果表明现有任务具有重要的改进空间，抗病毒多数投票的准确性仅以62.10％和众所周知的高度精度测量。我们的调查结果表明，由于在所考虑的样品中可能无法清楚的类别，因此，恶意软件家庭分类与大多数ML文献中的研究不同的标记噪声遭受任何类型的标记噪声。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

在本文中，我们介绍了四种突出的恶意软件检测工具的科学评估，以帮助组织提出两个主要问题：基于ML的工具在多大程度上对以前和从未见过的文件进行了准确的分类？是否值得购买网络级恶意软件检测器？为了识别弱点，我们针对各种文件类型的总计3,536个文件（2,554或72 \％恶意，982或28 \％良性）测试了每个工具，包括数百个恶意零日，polyglots和apt-style-style style文件，在多个协议上交付。我们介绍了有关检测时间和准确性的统计结果，请考虑互补分析（一起使用多个工具），并提供了近期成本效益评估程序的两种新颖应用。尽管基于ML的工具在检测零日文件和可执行文件方面更有效，但基于签名的工具仍然是总体上更好的选择。两种基于网络的工具都与任何一种主机工具配对时都可以进行大量（模拟）节省，但两者在HTTP或SMTP以外的协议上都显示出较差的检测率。我们的结果表明，所有四个工具都具有几乎完美的精度但令人震惊的召回率，尤其是在可执行文件和Office文件以外的文件类型上 - 未检测到37％的恶意软件，包括所有Polyglot文件。给出了研究人员的优先事项，并给出了最终用户的外卖。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

随着计算系统的不断增长的加工能力和大规模数据集的可用性的增加，机器学习算法导致了许多不同区域的重大突破。此开发影响了计算机安全性，在基于学习的安全系统中产生了一系列工作，例如用于恶意软件检测，漏洞发现和二进制代码分析。尽管潜力巨大，但安全性的机器学习易于细微缺陷，以破坏其性能，并使基于学习的系统可能不适合安全任务和实际部署。在本文中，我们用临界眼睛看这个问题。首先，我们确定基于学习的安全系统的设计，实现和评估中的常见缺陷。我们在过去的10年内，从顶层安全会议中进行了一项研究，确认这些陷阱在目前的安全文献中普遍存在。在一个实证分析中，我们进一步展示了个体陷阱如何导致不切实际的表现和解释，阻碍了对手的安全问题的理解。作为补救措施，我们提出了可行的建议，以支持研究人员在可能的情况下避免或减轻陷阱。此外，我们在将机器学习应用于安全性并提供进一步研究方向时确定打开问题。

我们介绍了一个新型的多层加权网络模型，该模型除了本地信号外，还考虑了全局噪声。该模型类似于多层随机块模型（SBM），但关键区别在于，跨层之间的块之间的相互作用在整个系统中是常见的，我们称之为环境噪声。单个块还以这些固定的环境参数为特征，以表示不属于其他任何地方的成员。这种方法允许将块同时聚类和类型化到信号或噪声中，以便更好地理解其在整个系统中的作用，而现有块模型未考虑。我们采用了分层变异推断的新颖应用来共同检测和区分块类型。我们称此模型为多层加权网络称为随机块（具有）环境噪声模型（SBANM），并开发了相关的社区检测算法。我们将此方法应用于费城神经发育队列中的受试者，以发现与精神病有关的具有共同心理病理学的受试者社区。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

Recent years have seen a proliferation of research on adversarial machine learning. Numerous papers demonstrate powerful algorithmic attacks against a wide variety of machine learning (ML) models, and numerous other papers propose defenses that can withstand most attacks. However, abundant real-world evidence suggests that actual attackers use simple tactics to subvert ML-driven systems, and as a result security practitioners have not prioritized adversarial ML defenses. Motivated by the apparent gap between researchers and practitioners, this position paper aims to bridge the two domains. We first present three real-world case studies from which we can glean practical insights unknown or neglected in research. Next we analyze all adversarial ML papers recently published in top security conferences, highlighting positive trends and blind spots. Finally, we state positions on precise and cost-driven threat modeling, collaboration between industry and academia, and reproducible research. We believe that our positions, if adopted, will increase the real-world impact of future endeavours in adversarial ML, bringing both researchers and practitioners closer to their shared goal of improving the security of ML systems.

动量是提高梯度下降期间收敛速率的流行技术。在这项研究中，我们试验为训练隐藏的马尔可夫模型的Baum-Welch期望最大化算法增加动量。我们比较了在英语文本和恶意软件操作码数据上训练有素的离散隐藏马尔可夫模型。动量的有效性是通过测量模型得分和分类精度的变化来确定的。我们的广泛实验表明，在HMM训练期间，在Baum-Welch中添加动量可以减少初始收敛所需的迭代次数，尤其是在模型缓慢收敛的情况下。但是，动量似乎并不能以大量迭代次数改善最终模型性能。

在本文中，我们提出了一种方法，用于预测社交媒体对等体之间的信任链接，其中一个是在多识别信任建模的人工智能面积。特别是，我们提出了一种数据驱动的多面信任信任建模，该信任建模包括许多不同的特征以进行全面分析。我们专注于展示类似用户的聚类如何实现关键新功能：支持更个性化的，从而为用户提供更准确的预测。在信任感知项目推荐任务中说明，我们在大yelp数据集的上下文中评估所提出的框架。然后，我们讨论如何提高社交媒体的可信关系的检测可以帮助在最近爆发的社交网络环境中支持在线用户的违法行为和谣言的传播。我们的结论是关于一个特别易受资助的用户基础，老年人的反思，以说明关于用户组的推理价值，期望通过通过数据分析获得的洞察力集成已知偏好的一些未来方向。

信息安全团队通常会使用网络蜜饯来测量威胁格局以确保其网络。随着Honeypot开发的发展，当今的中型相互作用的蜜罐为安全团队和研究人员提供了一种部署这些主动防御工具的方式，这些工具几乎不需要维护各种协议。在这项工作中，我们在公共Internet上的五个不同协议上部署了此类蜜罐，并研究了我们观察到的攻击的意图和复杂性。然后，我们使用获得的信息来开发一种聚类方法，该方法可以识别攻击者行为中的相关性，以发现很可能由单个操作员控制的IP，这说明了将这些蜜罐用于数据收集的优势。

恶意软件是对计算机系统的主要威胁，并对网络安全构成了许多挑战。有针对性的威胁（例如勒索软件）每年造成数百万美元的损失。恶意软件感染的不断增加一直激励流行抗病毒（AV）制定专用的检测策略，其中包括精心制作的机器学习（ML）管道。但是，恶意软件开发人员不断地将样品的功能更改为绕过检测。恶意软件样品的这种恒定演变导致数据分布（即概念漂移）直接影响ML模型检测率，这是大多数文献工作中未考虑的。在这项工作中，我们评估了两个Android数据集的概念漂移对恶意软件分类器的影响：DREBIN（约130k应用程序）和Androzoo（约350K应用程序）的子集。我们使用这些数据集训练自适应随机森林（ARF）分类器以及随机梯度下降（SGD）分类器。我们还使用其Virustotal提交时间戳订购了所有数据集样品，然后使用两种算法（Word2Vec和tf-idf）从其文本属性中提取功能。然后，我们进行了实验，以比较两个特征提取器，分类器以及四个漂移检测器（DDM，EDDM，ADWIN和KSWIN），以确定真实环境的最佳方法。最后，我们比较一些减轻概念漂移的可能方法，并提出了一种新的数据流管道，该管道同时更新分类器和特征提取器。为此，我们通过（i）对9年来收集的恶意软件样本进行了纵向评估（2009- 2018年），（ii）审查概念漂移检测算法以证明其普遍性，（iii）比较不同的ML方法来减轻此问题，（iv）提出了超过文献方法的ML数据流管道。

由于技术困难以与原始数据一致的方式更改数据，因此在网络安全域中，数据扩展很少见。鉴于获得符合版权限制的良性和恶意培训数据的独特困难，这一缺陷尤其繁重，而银行和政府等机构会收到有针对性的恶意软件，这些恶意软件永远不会大量存在。我们介绍Marvolo是一种二进制突变器，该突变器以编程方式生产恶意软件（和良性）数据集，以提高ML驱动的恶意软件探测器的准确性。 Marvolo采用语义保护代码转换，模仿恶意软件作者和防御性良性开发人员通常在实践中进行的更改，从而使我们能够生成有意义的增强数据。至关重要的是，语义传播的转换也使Marvolo能够安全地将标签从原始生成的数据样本传播到，而无需规定昂贵的二进制文件的昂贵反向工程。此外，Marvolo通过最大化给定时间（或资源）预算中生成的各种数据样本的密度来最大化，使从业人员最大程度地嵌入了几种关键优化。使用广泛的商业恶意软件数据集和最近的ML驱动的恶意软件探测器进行的实验表明，Marvolo将准确性提高了5％，而仅在潜在的输入二进制文件的一小部分（15％）上运行。

安全字段中的数据标签通常是嘈杂，有限或偏向于人口子集的。结果，诸如准确性，精度和召回指标之类的普遍评估方法，或从标记数据集中计算的性能曲线的分析对机器学习（ML）模型的现实性能没有足够的信心。这减慢了该领域的机器学习的采用。在当今的行业中，我们依靠域专业知识和冗长的手动评估来建立此信心，然后再运送新的安全应用程序模型。在本文中，我们介绍了Firenze，这是一种使用域专业知识对ML模型的性能进行比较评估的新型框架，并编码为称为标记的可扩展功能。我们表明，在称为感兴趣的区域的样本中计算和组合的标记可以提供对其现实世界表演的强大估计。至关重要的是，我们使用统计假设检验来确保观察到的差异，因此从我们的框架中得出的结论 - 比仅噪声可观察到的更为突出。使用模拟和两个现实世界数据集用于恶意软件和域名声誉检测，我们说明了方法的有效性，局限性和见解。综上所述，我们建议Firenze作为研究人员，领域专家和企业主混合团队的快速，可解释和协作模型开发和评估的资源。

In this paper, we explore the use of metric learning to embed Windows PE files in a low-dimensional vector space for downstream use in a variety of applications, including malware detection, family classification, and malware attribute tagging. Specifically, we enrich labeling on malicious and benign PE files using computationally expensive, disassembly-based malicious capabilities. Using these capabilities, we derive several different types of metric embeddings utilizing an embedding neural network trained via contrastive loss, Spearman rank correlation, and combinations thereof. We then examine performance on a variety of transfer tasks performed on the EMBER and SOREL datasets, demonstrating that for several tasks, low-dimensional, computationally efficient metric embeddings maintain performance with little decay, which offers the potential to quickly retrain for a variety of transfer tasks at significantly reduced storage overhead. We conclude with an examination of practical considerations for the use of our proposed embedding approach, such as robustness to adversarial evasion and introduction of task-specific auxiliary objectives to improve performance on mission critical tasks.

可提供许多开源和商业恶意软件探测器。然而，这些工具的功效受到新的对抗性攻击的威胁，由此恶意软件试图使用例如机器学习技术来逃避检测。在这项工作中，我们设计了依赖于特征空间和问题空间操纵的对抗逃避攻击。它使用可扩展性导向特征选择来最大限度地通过识别影响检测的最关键的特征来最大限度地逃避。然后，我们将此攻击用作评估若干最先进的恶意软件探测器的基准。我们发现（i）最先进的恶意软件探测器容易受到简单的逃避策略，并且可以使用现成的技术轻松欺骗; （ii）特征空间操纵和问题空间混淆可以组合起来，以便在不需要对探测器的白色盒子理解的情况下实现逃避; （iii）我们可以使用解释性方法（例如，Shap）来指导特征操纵并解释攻击如何跨多个检测器传输。我们的调查结果阐明了当前恶意软件探测器的弱点，以及如何改善它们。

操作网络通常依靠机器学习模型来进行许多任务，包括检测异常，推断应用程序性能和预测需求。然而，不幸的是，模型精度会因概念漂移而降低，从而，由于从软件升级到季节性到用户行为的变化，功能和目标预测之间的关系会发生变化。因此，缓解概念漂移是操作机器学习模型的重要组成部分，尽管它很重要，但在网络或一般的回归模型的背景下，概念漂移并未得到广泛的探索。因此，对于当前依赖机器学习模型的许多常见网络管理任务，如何检测或减轻它并不是一件好事。不幸的是，正如我们所展示的那样，通过使用新可用的数据经常重新培训模型可以充分缓解概念漂移，甚至可以进一步降低模型的准确性。在本文中，我们表征了美国主要大都市地区的大型蜂窝网络中的概念漂移。我们发现，概念漂移发生在许多重要的关键性能指标（KPI）上，独立于模型，训练集大小和时间间隔，因此需要采用实用方法来检测，解释和减轻它。为此，我们开发了特征（叶）的局部误差近似。叶检测到漂移；解释最有助于漂移的功能和时间间隔；并使用遗忘和过度采样来减轻漂移。我们使用超过四年的蜂窝KPI数据来评估叶子与行业标准的缓解方法。在美国，我们对主要的细胞提供商进行的初步测试表明，LEAF在各种KPI和模型上都是有效的。叶子始终优于周期性，并触发重新培训，同时还要降低昂贵的重新经营操作。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

Superhuman神经网络代理如alphazero是什么？这个问题是科学和实际的兴趣。如果强神经网络的陈述与人类概念没有相似之处，我们理解他们的决定的忠实解释的能力将受到限制，最终限制了我们可以通过神经网络解释来实现的。在这项工作中，我们提供了证据表明，人类知识是由alphapero神经网络获得的，因为它在国际象棋游戏中列车。通过探究广泛的人类象棋概念，我们在alphazero网络中显示了这些概念的时间和地点。我们还提供了一种关注开放游戏的行为分析，包括来自国际象棋Grandmaster Vladimir Kramnik的定性分析。最后，我们开展了初步调查，观察alphazero的表现的低级细节，并在线提供由此产生的行为和代表性分析。