我们建议使用两层机器学习模型的部署来防止对抗性攻击。第一层确定数据是否被篡改，而第二层解决了域特异性问题。我们探索三组功能和三个数据集变体来训练机器学习模型。我们的结果表明，聚类算法实现了有希望的结果。特别是，我们认为通过将DBSCAN算法应用于图像和白色参考图像之间计算的结构化结构相似性指数测量方法获得了最佳结果。

质量控制是制造业企业进行的至关重要的活动，以确保其产品符合质量标准并避免对品牌声誉的潜在损害。传感器成本下降和连接性使制造业数字化增加。此外，人工智能可实现更高的自动化程度，减少缺陷检查所需的总体成本和时间。这项研究将三种活跃的学习方法（与单一和多个牙齿）与视觉检查进行了比较。我们提出了一种新颖的方法，用于对分类模型的概率校准和两个新的指标，以评估校准的性能而无需地面真相。我们对飞利浦消费者生活方式BV提供的现实数据进行了实验。我们的结果表明，考虑到p = 0.95的阈值，探索的主动学习设置可以将数据标签的工作减少3％至4％，而不会损害总体质量目标。此外，我们表明所提出的指标成功捕获了相关信息，否则仅通过地面真实数据最适合使用的指标可用。因此，所提出的指标可用于估计模型概率校准的质量，而无需进行标签努力以获取地面真相数据。

质量控制是制造公司进行的关键活动，以验证产品一致性的要求和规范。标准化质量控制可确保所有产品在相同的标准下进行评估。传感器和连接成本降低，使得制造的数字化增加，提供了更大的数据可用性。这些数据可用性促使人工智能模型的开发，允许在检查产品时更高的自动化程度和减少偏差。此外，增加的检查速度降低了缺陷检查所需的总成本和时间。在这项研究中，我们比较五个流式机器学习算法，应用于利用飞利浦消费者生活方式BV提供的真实数据的视觉缺陷检查。此外，我们将它们与流在流动的主动学习背景中进行比较，这减少了真实环境中的数据标签工作。我们的研究结果表明，对于最坏情况，主动学习将数据标签努力降低了近15％，同时保持可接受的分类性能。使用机器学习模型进行自动化视野预计将加快高达40％的质量检验。

由于它们对机器学习系统部署的可靠性的影响，对抗性样本的可转移性成为严重关注的问题，因为它们发现了进入许多关键应用程序的方式。了解影响对抗性样本可转移性的因素可以帮助专家了解如何建立鲁棒和可靠的机器学习系统的明智决策。本研究的目标是通过以攻击为中心的方法提供对对抗性样本可转移性背后的机制的见解。这种攻击的视角解释了通过评估机器学习攻击的影响（在给定的输入数据集中的影响来解释对抗性样本。为实现这一目标，我们使用攻击者模型产生对抗性样本并将这些样本转移到受害者模型中。我们分析了受害者模型对抗对抗样本的行为，并概述了可能影响对抗性样本可转移性的四种因素。虽然这些因素不一定是详尽无遗的，但它们对机器学习系统的研究人员和从业者提供了有用的见解。

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.

Recent advances in artificial intelligence (AI) have significantly intensified research in the geoscience and remote sensing (RS) field. AI algorithms, especially deep learning-based ones, have been developed and applied widely to RS data analysis. The successful application of AI covers almost all aspects of Earth observation (EO) missions, from low-level vision tasks like super-resolution, denoising, and inpainting, to high-level vision tasks like scene classification, object detection, and semantic segmentation. While AI techniques enable researchers to observe and understand the Earth more accurately, the vulnerability and uncertainty of AI models deserve further attention, considering that many geoscience and RS tasks are highly safety-critical. This paper reviews the current development of AI security in the geoscience and RS field, covering the following five important aspects: adversarial attack, backdoor attack, federated learning, uncertainty, and explainability. Moreover, the potential opportunities and trends are discussed to provide insights for future research. To the best of the authors' knowledge, this paper is the first attempt to provide a systematic review of AI security-related research in the geoscience and RS community. Available code and datasets are also listed in the paper to move this vibrant field of research forward.

深度神经网络（DNN）受到对抗的示例攻击的威胁。对手可以通过将小型精心设计的扰动添加到输入来容易地改变DNN的输出。对手示例检测是基于强大的DNNS服务的基本工作。对手示例显示了人类和DNN在图像识别中的差异。从以人为本的角度来看，图像特征可以分为对人类可易于理解的主导特征，并且对人类来说是不可理解的隐性特征，但是被DNN利用。在本文中，我们揭示了难以察觉的对手实例是隐性特征误导性神经网络的乘积，并且对抗性攻击基本上是一种富集图像中的这些隐性特征的方法。对手实例的难以察觉表明扰动丰富了隐性特征，但几乎影响了主导特征。因此，对抗性实例对滤波偏离隐性特征敏感，而良性示例对这种操作免疫。受到这个想法的启发，我们提出了一种仅称为特征过滤器的标签的侵略性检测方法。功能过滤器利用离散余弦变换到占主导地位的大约单独的隐性功能，并获得默认隐性功能的突变图像。只有在输入和其突变体上进行DNN的预测标签，特征过滤器可以实时检测高精度和少量误报的难以察觉的对抗性示例。

随着全球人口越来越多的人口驱动世界各地的快速城市化，有很大的需要蓄意审议值得生活的未来。特别是，随着现代智能城市拥抱越来越多的数据驱动的人工智能服务，值得记住技术可以促进繁荣，福祉，城市居住能力或社会正义，而是只有当它具有正确的模拟补充时（例如竭尽全力，成熟机构，负责任治理）;这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明，各种技术商业模式和特征实际上可以有助于极端主义，极化，错误信息和互联网成瘾等社会问题。鉴于这些观察，解决了确保了诸如未来城市技术基岩的安全，安全和可解释性的哲学和道德问题，以为未来城市的技术基岩具有至关重要的。在全球范围内，有能够更加人性化和以人为本的技术。在本文中，我们分析和探索了在人以人为本的应用中成功部署AI的安全，鲁棒性，可解释性和道德（数据和算法）挑战的关键挑战，特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查，并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制，陷阱和未来研究方向，以及如何填补当前的空白并导致更好的解决方案。我们认为，这种严谨的分析将为域名的未来研究提供基准。

Industry 4.0 aims to optimize the manufacturing environment by leveraging new technological advances, such as new sensing capabilities and artificial intelligence. The DRAEM technique has shown state-of-the-art performance for unsupervised classification. The ability to create anomaly maps highlighting areas where defects probably lie can be leveraged to provide cues to supervised classification models and enhance their performance. Our research shows that the best performance is achieved when training a defect detection model by providing an image and the corresponding anomaly map as input. Furthermore, such a setting provides consistent performance when framing the defect detection as a binary or multiclass classification problem and is not affected by class balancing policies. We performed the experiments on three datasets with real-world data provided by Philips Consumer Lifestyle BV.

Recent years have seen a proliferation of research on adversarial machine learning. Numerous papers demonstrate powerful algorithmic attacks against a wide variety of machine learning (ML) models, and numerous other papers propose defenses that can withstand most attacks. However, abundant real-world evidence suggests that actual attackers use simple tactics to subvert ML-driven systems, and as a result security practitioners have not prioritized adversarial ML defenses. Motivated by the apparent gap between researchers and practitioners, this position paper aims to bridge the two domains. We first present three real-world case studies from which we can glean practical insights unknown or neglected in research. Next we analyze all adversarial ML papers recently published in top security conferences, highlighting positive trends and blind spots. Finally, we state positions on precise and cost-driven threat modeling, collaboration between industry and academia, and reproducible research. We believe that our positions, if adopted, will increase the real-world impact of future endeavours in adversarial ML, bringing both researchers and practitioners closer to their shared goal of improving the security of ML systems.

许多最先进的ML模型在各种任务中具有优于图像分类的人类。具有如此出色的性能，ML模型今天被广泛使用。然而，存在对抗性攻击和数据中毒攻击的真正符合ML模型的稳健性。例如，Engstrom等人。证明了最先进的图像分类器可以容易地被任意图像上的小旋转欺骗。由于ML系统越来越纳入安全性和安全敏感的应用，对抗攻击和数据中毒攻击构成了相当大的威胁。本章侧重于ML安全的两个广泛和重要的领域：对抗攻击和数据中毒攻击。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

在本文中，我们评估了基于对抗示例的深度学习的AED系统。我们测试多个安全性关键任务的稳健性，实现为CNNS分类器，以及由Google制造的现有第三方嵌套设备，该模型运行自己的黑盒深度学习模型。我们的对抗示例使用由白色和背景噪声制成的音频扰动。这种干扰易于创建，以执行和再现，并且可以访问大量潜在的攻击者，甚至是非技术精明的攻击者。我们表明，对手可以专注于音频对抗性投入，使AED系统分类，即使我们使用少量给定类型的嘈杂干扰，也能实现高成功率。例如，在枪声课堂的情况下，我们在采用少于0.05白噪声水平时达到近100％的成功率。类似于以前通过工作的工作侧重于来自图像域以及语音识别域的对抗示例。然后，我们寻求通过对策提高分类器的鲁棒性。我们雇用了对抗性培训和音频去噪。我们表明，当应用于音频输入时，这些对策可以是分离或组合的，在攻击时，可以成功地产生近50％的近50％。

随着深度神经网络（DNNS）的进步在许多关键应用中表现出前所未有的性能水平，它们的攻击脆弱性仍然是一个悬而未决的问题。我们考虑在测试时间进行逃避攻击，以防止在受约束的环境中进行深入学习，其中需要满足特征之间的依赖性。这些情况可能自然出现在表格数据中，也可能是特定应用程序域中功能工程的结果，例如网络安全中的威胁检测。我们提出了一个普通的基于迭代梯度的框架，称为围栏，用于制定逃避攻击，考虑到约束域和应用要求的细节。我们将其应用于针对两个网络安全应用培训的前馈神经网络：网络流量僵尸网络分类和恶意域分类，以生成可行的对抗性示例。我们广泛评估了攻击的成功率和绩效，比较它们对几个基线的改进，并分析影响攻击成功率的因素，包括优化目标和数据失衡。我们表明，通过最少的努力（例如，生成12个其他网络连接），攻击者可以将模型的预测从恶意类更改为良性并逃避分类器。我们表明，在具有更高失衡的数据集上训练的模型更容易受到我们的围栏攻击。最后，我们证明了在受限领域进行对抗训练的潜力，以提高针对这些逃避攻击的模型弹性。

第五代（5G）网络必须支持数十亿个异质设备，同时保证最佳服务质量（QoS）。这样的要求是不可能单独满足人类努力的，而机器学习（ML）代表了5G中的核心资产。然而，已知ML容易受到对抗例子的影响。此外，正如我们的论文所表明的那样，5G上下文暴露于另一种类型的对抗ML攻击，而现有威胁模型无法正式化。由于缺乏可用于对抗性ML研究的ML供电的5G设备，因此对此类风险的积极评估也有挑战性。为了解决这些问题，我们提出了一种新型的对抗ML威胁模型，该模型特别适合5G场景，不可知ML所解决的精确函数。与现有的ML威胁模型相反，我们的攻击不需要对目标5G系统的任何妥协，同时由于QoS保证和5G网络的开放性质仍然可行。此外，我们为基于公共数据的现实ML安全评估提供了一个原始框架。我们主动评估我们的威胁模型对5G中设想的ML的6个应用。我们的攻击会影响训练和推理阶段，可能会降低最先进的ML系统的性能，并且与以前的攻击相比，进入障碍较低。

在过去的几十年中，人工智能的兴起使我们有能力解决日常生活中最具挑战性的问题，例如癌症的预测和自主航行。但是，如果不保护对抗性攻击，这些应用程序可能不会可靠。此外，最近的作品表明，某些对抗性示例可以在不同的模型中转移。因此，至关重要的是避免通过抵抗对抗性操纵的强大模型进行这种可传递性。在本文中，我们提出了一种基于特征随机化的方法，该方法抵抗了八次针对测试阶段深度学习模型的对抗性攻击。我们的新方法包括改变目标网络分类器中的训练策略并选择随机特征样本。我们认为攻击者具有有限的知识和半知识条件，以进行最普遍的对抗性攻击。我们使用包括现实和合成攻击的众所周知的UNSW-NB15数据集评估了方法的鲁棒性。之后，我们证明我们的策略优于现有的最新方法，例如最强大的攻击，包括针对特定的对抗性攻击进行微调网络模型。最后，我们的实验结果表明，我们的方法可以确保目标网络并抵抗对抗性攻击的转移性超过60％。

由于它们在各个域中的大量成功，深入的学习技术越来越多地用于设计网络入侵检测解决方案，该解决方案检测和减轻具有高精度检测速率和最小特征工程的未知和已知的攻击。但是，已经发现，深度学习模型容易受到可以误导模型的数据实例，以使所谓的分类决策不正确（对抗示例）。此类漏洞允许攻击者通过向恶意流量添加小的狡猾扰动来逃避检测并扰乱系统的关键功能。在计算机视觉域中广泛研究了深度对抗学习的问题;但是，它仍然是网络安全应用中的开放研究领域。因此，本调查探讨了在网络入侵检测领域采用对抗机器学习的不同方面的研究，以便为潜在解决方案提供方向。首先，调查研究基于它们对产生对抗性实例的贡献来分类，评估ML的NID对逆势示例的鲁棒性，并捍卫这些模型的这种攻击。其次，我们突出了调查研究中确定的特征。此外，我们讨论了现有的通用对抗攻击对NIDS领域的适用性，启动拟议攻击在现实世界方案中的可行性以及现有缓解解决方案的局限性。

通过对数据集的样本应用小而有意的最差情况扰动可以产生对抗性输入，这导致甚至最先进的深神经网络，以高信任输出不正确的答案。因此，开发了一些对抗防御技术来提高模型的安全性和稳健性，并避免它们被攻击。逐渐，攻击者和捍卫者之间的游戏类似的竞争，其中两个玩家都会试图在最大化自己的收益的同时互相反对发挥最佳策略。为了解决游戏，每个玩家都基于对对手的战略选择的预测来选择反对对手的最佳策略。在这项工作中，我们正处于防守方面，以申请防止攻击的游戏理论方法。我们使用两个随机化方法，随机初始化和随机激活修剪，以创造网络的多样性。此外，我们使用一种去噪技术，超级分辨率，通过在攻击前预处理图像来改善模型的鲁棒性。我们的实验结果表明，这三种方法可以有效提高深度学习神经网络的鲁棒性。

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

与令人印象深刻的进步触动了我们社会的各个方面，基于深度神经网络（DNN）的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注，但是通过干扰培训过程来利用破坏DNN模型的可能性，代表了破坏训练过程的可能性，这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中，攻击者损坏了培训数据，以便在测试时间诱导错误的行为。然而，测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式，损坏的网络继续正常输入的预期工作，并且只有当攻击者决定激活网络内隐藏的后门时，才会发生恶意行为。在过去几年中，后门攻击一直是强烈的研究活动的主题，重点是新的攻击阶段的发展，以及可能对策的提议。此概述文件的目标是审查发表的作品，直到现在，分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量，以及防御者验证用于培训的数据的完整性，并监控DNN在培训和测试中的操作时间。因此，拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。