机器学习是一个人工智能（AI）的领域，对于几个关键系统来说变得至关重要，使其成为威胁参与者的良好目标。威胁参与者利用不同的策略，技术和程序（TTP），以防止机器学习（ML）系统的机密性，完整性和可用性。在ML周期期间，他们将对抗性TTP利用为毒数据和基于ML ML的系统。近年来，已经为传统系统提出了多种安全惯例，但它们不足以应对基于ML的系统的性质。在本文中，我们对针对基于ML的系统的威胁进行了实证研究，旨在了解和表征ML威胁的性质并确定常见的缓解策略。该研究基于MITER的ATLAS数据库，AI事件数据库和文献的89个现实世界ML攻击方案。从GitHub搜索和Python包装咨询数据库中的854毫升存储库，根据其声誉选择。 AI事件数据库和文献的攻击用于识别Atlas中未记录的漏洞和新类型的威胁。结果表明，卷积神经网络是攻击情景中最有针对性的模型之一。最大漏洞突出的ML存储库包括TensorFlow，OpenCV和笔记本。在本文中，我们还报告了研究的ML存储库中最常见的漏洞，最有针对性的ML阶段和模型，是ML阶段和攻击方案中最常用的TTP。对于红色/蓝色团队，该信息尤其重要，以更好地进行攻击/防御，从业人员在ML开发过程中防止威胁以及研究人员开发有效的防御机制。

Recent years have seen a proliferation of research on adversarial machine learning. Numerous papers demonstrate powerful algorithmic attacks against a wide variety of machine learning (ML) models, and numerous other papers propose defenses that can withstand most attacks. However, abundant real-world evidence suggests that actual attackers use simple tactics to subvert ML-driven systems, and as a result security practitioners have not prioritized adversarial ML defenses. Motivated by the apparent gap between researchers and practitioners, this position paper aims to bridge the two domains. We first present three real-world case studies from which we can glean practical insights unknown or neglected in research. Next we analyze all adversarial ML papers recently published in top security conferences, highlighting positive trends and blind spots. Finally, we state positions on precise and cost-driven threat modeling, collaboration between industry and academia, and reproducible research. We believe that our positions, if adopted, will increase the real-world impact of future endeavours in adversarial ML, bringing both researchers and practitioners closer to their shared goal of improving the security of ML systems.

边缘计算是一个将数据处理服务转移到生成数据的网络边缘的范式。尽管这样的架构提供了更快的处理和响应，但除其他好处外，它还提出了必须解决的关键安全问题和挑战。本文讨论了从硬件层到系统层的边缘网络体系结构出现的安全威胁和漏洞。我们进一步讨论了此类网络中的隐私和法规合规性挑战。最后，我们认为需要一种整体方法来分析边缘网络安全姿势，该姿势必须考虑每一层的知识。

窃取对受控信息的攻击，以及越来越多的信息泄漏事件，已成为近年来新兴网络安全威胁。由于蓬勃发展和部署先进的分析解决方案，新颖的窃取攻击利用机器学习（ML）算法来实现高成功率并导致大量损坏。检测和捍卫这种攻击是挑战性和紧迫的，因此政府，组织和个人应该非常重视基于ML的窃取攻击。本调查显示了这种新型攻击和相应对策的最新进展。以三类目标受控信息的视角审查了基于ML的窃取攻击，包括受控用户活动，受控ML模型相关信息和受控认证信息。最近的出版物总结了概括了总体攻击方法，并导出了基于ML的窃取攻击的限制和未来方向。此外，提出了从三个方面制定有效保护的对策 - 检测，破坏和隔离。

随着数字时代的出现，由于技术进步，每天的任务都是自动化的。但是，技术尚未为人们提供足够的工具和保障措施。随着互联网连接全球越来越多的设备，确保连接设备的问题以均匀的螺旋速率增长。数据盗窃，身份盗窃，欺诈交易，密码妥协和系统漏洞正在成为常规的日常新闻。最近的人工智能进步引起了网络攻击的激烈威胁。 AI几乎应用于不同科学和工程的每个领域。 AI的干预不仅可以使特定任务自动化，而且可以提高效率。因此，很明显，如此美味的传播对网络犯罪分子来说是非常开胃的。因此，传统的网络威胁和攻击现在是``智能威胁''。本文讨论了网络安全和网络威胁，以及传统和智能的防御方式，以防止网络攻击。最终，结束讨论，以潜在的潜在前景结束讨论AI网络安全。

积极的安全方法，例如对手仿真，利用有关威胁行为者及其技术的信息（网络威胁智能，CTI）。但是，大多数CTI仍然以非结构化的形式（即自然语言），例如事件报告和泄漏的文件。为了支持主动的安全工作，我们介绍了一项有关使用机器学习（ML）自动将非结构化CTI自动分类为攻击技术的实验研究。我们为CTI分析的两个新数据集做出了贡献，并评估了几种ML模型，包括传统和深度学习模型。我们介绍了几个课程，了解了ML在此任务中的执行方式，哪些分类器在哪些条件下（这是分类错误的主要原因）以及CTI分析的未来挑战。

随着全球人口越来越多的人口驱动世界各地的快速城市化，有很大的需要蓄意审议值得生活的未来。特别是，随着现代智能城市拥抱越来越多的数据驱动的人工智能服务，值得记住技术可以促进繁荣，福祉，城市居住能力或社会正义，而是只有当它具有正确的模拟补充时（例如竭尽全力，成熟机构，负责任治理）;这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明，各种技术商业模式和特征实际上可以有助于极端主义，极化，错误信息和互联网成瘾等社会问题。鉴于这些观察，解决了确保了诸如未来城市技术基岩的安全，安全和可解释性的哲学和道德问题，以为未来城市的技术基岩具有至关重要的。在全球范围内，有能够更加人性化和以人为本的技术。在本文中，我们分析和探索了在人以人为本的应用中成功部署AI的安全，鲁棒性，可解释性和道德（数据和算法）挑战的关键挑战，特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查，并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制，陷阱和未来研究方向，以及如何填补当前的空白并导致更好的解决方案。我们认为，这种严谨的分析将为域名的未来研究提供基准。

由于机器学习（ML）技术和应用正在迅速改变许多计算领域，以及与ML相关的安全问题也在出现。在系统安全领域中，已经进行了许多努力，以确保ML模型和数据机密性。ML计算通常不可避免地在不受信任的环境中执行，并因此需要复杂的多方安全要求。因此，研究人员利用可信任的执行环境（TEES）来构建机密ML计算系统。本文通过在不受信任的环境中分类攻击向量和缓解攻击载体和缓解来进行系统和全面的调查，分析多方ML安全要求，并讨论相关工程挑战。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

现代组织为其网络和应用程序漏洞扫描仪发现和报告的漏洞数量奋斗。因此，优先级和专注力变得至关重要，将有限的时间花在最高风险漏洞上。为此，对于这些组织而言，重要的是要了解漏洞的技术描述，而且要了解攻击者的观点。在这项工作中，我们使用机器学习和自然语言处理技术，以及几个公开可用的数据集，以提供攻击技术和威胁参与者的漏洞的可解释映射。这项工作通过预测最有可能使用哪种攻击技术来利用给定的漏洞以及哪些威胁行为者最有可能进行剥削来提供新的安全情报。缺乏标记的数据和不同的词汇使映射漏洞以规模攻击技术一个具有挑战性的问题，使用监督或无监督的（相似性搜索）学习技术无法轻松解决。为了解决这个问题，我们首先将漏洞映射到一组标准的共同弱点，然后将攻击技术的共同弱点映射到一组弱点。该方法得出的平均相互等级（MRR）为0.95，这是一种准确性，与最新系统报告的准确性相当。我们的解决方案已部署到IBM Security X-Force Red漏洞管理服务，并在生产中进行。该解决方案帮助安全从业人员帮助客户管理和优先考虑其漏洞，从演员

机器学习与服务（MLAAS）已成为广泛的范式，即使是通过例如，也是客户可用的最复杂的机器学习模型。一个按要求的原则。这使用户避免了数据收集，超参数调整和模型培训的耗时过程。但是，通过让客户访问（预测）模型，MLAAS提供商危害其知识产权，例如敏感培训数据，优化的超参数或学到的模型参数。对手可以仅使用预测标签创建模型的副本，并以（几乎）相同的行为。尽管已经描述了这种攻击的许多变体，但仅提出了零星的防御策略，以解决孤立的威胁。这增加了对模型窃取领域进行彻底系统化的必要性，以全面了解这些攻击是成功的原因，以及如何全面地捍卫它们。我们通过对模型窃取攻击，评估其性能以及探索不同设置中相应的防御技术来解决这一问题。我们为攻击和防御方法提出了分类法，并提供有关如何根据目标和可用资源选择正确的攻击或防御策略的准则。最后，我们分析了当前攻击策略使哪些防御能力降低。

恶意应用程序（尤其是针对Android平台的应用程序）对开发人员和最终用户构成了严重威胁。许多研究工作都致力于开发有效的方法来防御Android恶意软件。但是，鉴于Android恶意软件的爆炸性增长以及恶意逃避技术（如混淆和反思）的持续发展，基于手动规则或传统机器学习的Android恶意软件防御方法可能无效。近年来，具有强大功能抽象能力的主要研究领域称为“深度学习”（DL），在各个领域表现出了令人信服和有希望的表现，例如自然语言处理和计算机视觉。为此，采用深度学习技术来阻止Android恶意软件攻击，最近引起了广泛的研究关注。然而，没有系统的文献综述着重于针对Android恶意软件防御的深度学习方法。在本文中，我们进行了系统的文献综述，以搜索和分析在Android环境中恶意软件防御的背景下采用了如何应用的。结果，确定了涵盖2014 - 2021年期间的132项研究。我们的调查表明，尽管大多数这些来源主要考虑基于Android恶意软件检测的基于DL，但基于其他方案的53项主要研究（40.1％）设计防御方法。这篇综述还讨论了基于DL的Android恶意软件防御措施中的研究趋势，研究重点，挑战和未来的研究方向。

恶意软件是跨越多个操作系统和各种文件格式的计算机的最损害威胁之一。为了防止不断增长的恶意软件的威胁，已经提出了巨大的努力来提出各种恶意软件检测方法，试图有效和有效地检测恶意软件。最近的研究表明，一方面，现有的ML和DL能够卓越地检测新出现和以前看不见的恶意软件。然而，另一方面，ML和DL模型本质上易于侵犯对抗性示例形式的对抗性攻击，这通过略微仔细地扰乱了合法输入来混淆目标模型来恶意地产生。基本上，在计算机视觉领域最初广泛地研究了对抗性攻击，并且一些快速扩展到其他域，包括NLP，语音识别甚至恶意软件检测。在本文中，我们专注于Windows操作系统系列中的便携式可执行文件（PE）文件格式的恶意软件，即Windows PE恶意软件，作为在这种对抗设置中研究对抗性攻击方法的代表性案例。具体而言，我们首先首先概述基于ML / DL的Windows PE恶意软件检测的一般学习框架，随后突出了在PE恶意软件的上下文中执行对抗性攻击的三个独特挑战。然后，我们进行全面和系统的审查，以对PE恶意软件检测以及增加PE恶意软件检测的稳健性的相应防御，对近最新的对手攻击进行分类。我们首先向Windows PE恶意软件检测的其他相关攻击结束除了对抗对抗攻击之外，然后对未来的研究方向和机遇脱落。

机器学习中的隐私和安全挑战（ML）已成为ML普遍的开发以及最近对大型攻击表面的展示，已成为一个关键的话题。作为一种成熟的以系统为导向的方法，在学术界和行业中越来越多地使用机密计算来改善各种ML场景的隐私和安全性。在本文中，我们将基于机密计算辅助的ML安全性和隐私技术的发现系统化，以提供i）保密保证和ii）完整性保证。我们进一步确定了关键挑战，并提供有关ML用例现有可信赖的执行环境（TEE）系统中限制的专门分析。我们讨论了潜在的工作，包括基础隐私定义，分区的ML执行，针对ML的专用发球台设计，TEE Awawe Aware ML和ML Full Pipeline保证。这些潜在的解决方案可以帮助实现强大的TEE ML，以保证无需引入计算和系统成本。

Recent studies show that, despite being effective on numerous tasks, text processing algorithms may be vulnerable to deliberate attacks. However, the question of whether such weaknesses can directly lead to security threats is still under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL, a technique that builds natural language interfaces for databases. Empirically, we showed that the Text-to-SQL modules of two commercial black boxes (Baidu-UNIT and Codex-powered Ai2sql) can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service. This is the first demonstration of the danger of NLP models being exploited as attack vectors in the wild. Moreover, experiments involving four open-source frameworks verified that simple backdoor attacks can achieve a 100% success rate on Text-to-SQL systems with almost no prediction performance impact. By reporting these findings and suggesting practical defences, we call for immediate attention from the NLP community to the identification and remediation of software security issues.

尽管机器学习在实践中被广泛使用，但对从业者对潜在安全挑战的理解知之甚少。在这项工作中，我们缩小了这一巨大的差距，并贡献了一项定性研究，重点是开发人员的机器学习管道和潜在脆弱组件的心理模型。类似的研究在其他安全领域有助于发现根本原因或改善风险交流。我们的研究揭示了从业人员的机器学习安全性心理模型的两个方面。首先，从业人员通常将机器学习安全与与机器学习无直接相关的威胁和防御措施混淆。其次，与大多数学术研究相反，我们的参与者认为机器学习的安全性与单个模型不仅相关，而在整个工作流程中，由多个组件组成。与我们的其他发现共同，这两个方面为确定机器学习安全性的心理模型提供了基础学习安全。

最近对机器学习（ML）模型的攻击，例如逃避攻击，具有对抗性示例，并通过提取攻击窃取了一些模型，构成了几种安全性和隐私威胁。先前的工作建议使用对抗性训练从对抗性示例中保护模型，以逃避模型的分类并恶化其性能。但是，这种保护技术会影响模型的决策边界及其预测概率，因此可能会增加模型隐私风险。实际上，仅使用对模型预测输出的查询访问的恶意用户可以提取它并获得高智能和高保真替代模型。为了更大的提取，这些攻击利用了受害者模型的预测概率。实际上，所有先前关于提取攻击的工作都没有考虑到出于安全目的的培训过程中的变化。在本文中，我们提出了一个框架，以评估具有视觉数据集对对抗训练的模型的提取攻击。据我们所知，我们的工作是第一个进行此类评估的工作。通过一项广泛的实证研究，我们证明了受对抗训练的模型比在自然训练情况下获得的模型更容易受到提取攻击的影响。他们可以达到高达$ \ times1.2 $更高的准确性和同意，而疑问低于$ \ times0.75 $。我们还发现，与从自然训练的（即标准）模型中提取的DNN相比，从鲁棒模型中提取的对抗性鲁棒性能力可通过提取攻击（即从鲁棒模型提取的深神经网络（DNN）提取的深神网络（DNN））传递。

随着基于人工智能（AI）和机器学习（ML）技术的实用性的增长，对抗性攻击的威胁越来越大。有必要将这个生态系统的团队红色团结起来，以确定系统漏洞，潜在威胁，表征将增强系统鲁棒性并鼓励创造有效防御的属性。次要的需求是在不同的利益相关者，模型开发人员，用户和AI/ML安全专业人员等不同的利益相关者之间分享此AI安全威胁情报。在本文中，我们创建并描述了原型系统CTI4AI，以克服有条不紊地识别和共享AI/ML特定漏洞和威胁智能的需求。

医学事物互联网（IOMT）允许使用传感器收集生理数据，然后将其传输到远程服务器，这使医生和卫生专业人员可以连续，永久地分析这些数据，并在早期阶段检测疾病。但是，使用无线通信传输数据将其暴露于网络攻击中，并且该数据的敏感和私人性质可能代表了攻击者的主要兴趣。在存储和计算能力有限的设备上使用传统的安全方法无效。另一方面，使用机器学习进行入侵检测可以对IOMT系统的要求提供适应性的安全响应。在这种情况下，对基于机器学习（ML）的入侵检测系统如何解决IOMT系统中的安全性和隐私问题的全面调查。为此，提供了IOMT的通用三层体系结构以及IOMT系统的安全要求。然后，出现了可能影响IOMT安全性的各种威胁，并确定基于ML的每个解决方案中使用的优势，缺点，方法和数据集。最后，讨论了在IOMT的每一层中应用ML的一些挑战和局限性，这些挑战和局限性可以用作未来的研究方向。

Learning-based pattern classifiers, including deep networks, have shown impressive performance in several application domains, ranging from computer vision to cybersecurity. However, it has also been shown that adversarial input perturbations carefully crafted either at training or at test time can easily subvert their predictions. The vulnerability of machine learning to such wild patterns (also referred to as adversarial examples), along with the design of suitable countermeasures, have been investigated in the research field of adversarial machine learning. In this work, we provide a thorough overview of the evolution of this research area over the last ten years and beyond, starting from pioneering, earlier work on the security of non-deep learning algorithms up to more recent work aimed to understand the security properties of deep learning algorithms, in the context of computer vision and cybersecurity tasks. We report interesting connections between these apparently-different lines of work, highlighting common misconceptions related to the security evaluation of machine-learning algorithms. We review the main threat models and attacks defined to this end, and discuss the main limitations of current work, along with the corresponding future challenges towards the design of more secure learning algorithms.