在综合电路制造过程中插入的隐形硬件木马（HTS）可以绕过关键基础架构的安全性。尽管研究人员提出了许多检测HTS的技术，但存在一些局限性，包括：（i）成功率低，（ii）高算法复杂性，以及（iii）大量的测试模式。此外，先前检测技术最相关的缺点源于不正确的评估方法，即，他们假设对手会随机插入HTS。这种不适当的对抗性假设使检测技术能够声称高HT检测准确性，从而导致“错误的安全感”。不幸的是，据我们所知，尽管关于检测在制造过程中插入的HTS的研究多了十年，但仍未进行对HT检测技术进行系统评估的协调努力。在本文中，我们扮演着现实的对手的角色，并通过使用加固学习（RL）开发自动化，可扩展和实用的攻击框架，质疑HT检测技术的功效。损耗逃避了两个HT检测类别的八种检测技术，展示了其不可知论行为。与随机插入的HTS相比，消耗量达到$ 47 \ times $ $ $ 47 \ times $ and $ 211 \ times $的平均攻击成功率。我们通过评估从广泛使用的学术套房到较大的设计（例如开源MIPS和MOR1KX处理器）到AES和AE AE和GPS模块等较大的设计，从而证明了损耗的逃避能力。此外，我们通过两个案例研究（特权升级和杀死开关）对MOR1KX处理器展示了损耗生成的HTS的影响。我们设想我们的工作以及发布的HT基准和模型，促进了更好的HT检测技术的发展。

在集成电路中插入硬件木马（HTS）是一个有害威胁。由于在罕见触发条件下激活HTS，因此使用随机逻辑模拟检测它们是不可行的。在这项工作中，我们设计了一个加固学习（RL）代理，该学习代理绕过指数搜索空间并返回最小的模式集，最有可能检测到HTS。各种基准测试的实验结果证明了我们的RL代理的功效和可扩展性，与国家相比，在维持或改善覆盖范围（$ 95.75 \％$）的同时，所需的测试模式数量显着降低（$ 169 \ times $）（$ 169 \ times $）（$ 169 \ times $）（$ 169 \ times $）（$ 95.75 \％$）。 - 艺术技术。

强化学习（RL）是一种机器学习范式，自主代理人通过与基础环境进行互动来学会做出最佳决策顺序。 RL引导的工作流在解开电子设计自动化问题中所证明的诺言鼓励硬件安全研究人员利用自动RL代理来解决特定领域的问题。从硬件安全性的角度来看，这种自主代理人可以在未知的对抗环境中产生最佳动作。另一方面，综合电路供应链的持续全球化迫使芯片制造成为离岸，不信任的实体，从而增加了对硬件安全性的担忧。此外，未知的对抗环境和增加的设计复杂性使后卫在检测攻击者（又称硬件木马）进行的微妙修改方面具有挑战性。在此简介中，我们概述了RL代理在检测硬件Trojans时的开发，这是最具挑战性的硬件安全问题之一。此外，我们概述了潜在的机会，并提出了应用RL解决硬件安全问题的挑战。

片上系统（SoC）开发人员越来越依赖于从不受信任的第三方供应商获得的预先验证的硬件知识产权（IP）块。这些IP可能包含隐藏的恶意功能或硬件特洛伊木马，以损害制造的SOC的安全性。最近，监督机器学习（ML）技术在第三方IPS（3PIPS）中识别潜在特洛伊木马网的蚊帐具有有前途的能力。但是，他们带来了几项重大挑战。首先，他们并没有引导我们最佳选择可靠地涵盖各种特洛伊木马的特点。其次，它们需要多个无特洛伊木马/可信设计来插入已知的特洛伊木马并生成培训的模型。即使一系列可靠的设计可用于培训，嫌疑IP也可能与该集合的可信设计截然不同，这可能会对验证结果产生负面影响。第三，这些技术仅识别一套需要手动干预以了解潜在威胁的嫌疑人的特洛伊木网。在本文中，我们提供了VIPR，一个系统的机器学习（ML）基于3PP的信任验证解决方案，用于消除对培训的可信设计的需求。我们介绍了一个全面的框架，相关算法，以及用于获得最佳特征的刀具流，培训目标机器学习模型，检测嫌疑网，并从嫌疑网识别特洛伊木马电路。我们评估了几种信任集线器特洛伊木马基准测试的框架，并在不同培训的型号，选择功能和后处理技术方面提供了对检测性能的比较分析。所提出的后处理算法将误报可降低至92.85％。

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

防御网络攻击的计算机网络需要及时应对警报和威胁情报。关于如何响应的决定涉及基于妥协指标的多个节点跨多个节点协调动作，同时最大限度地减少对网络操作的中断。目前，PlayBooks用于自动化响应过程的部分，但通常将复杂的决策留给人类分析师。在这项工作中，我们在大型工业控制网络中提出了一种深度增强学习方法，以便在大型工业控制网络中进行自主反应和恢复。我们提出了一种基于关注的神经结构，其在保护下灵活地灵活。要培训和评估自治防御者代理，我们提出了一个适合加强学习的工业控制网络仿真环境。实验表明，学习代理可以有效减轻在执行前几个月几个月的可观察信号的进步。所提出的深度加强学习方法优于模拟中完全自动化的Playbook方法，采取更少的破坏性动作，同时在网络上保留更多节点。学习的政策对攻击者行为的变化也比PlayBook方法更加强大。

Reinforcement learning allows machines to learn from their own experience. Nowadays, it is used in safety-critical applications, such as autonomous driving, despite being vulnerable to attacks carefully crafted to either prevent that the reinforcement learning algorithm learns an effective and reliable policy, or to induce the trained agent to make a wrong decision. The literature about the security of reinforcement learning is rapidly growing, and some surveys have been proposed to shed light on this field. However, their categorizations are insufficient for choosing an appropriate defense given the kind of system at hand. In our survey, we do not only overcome this limitation by considering a different perspective, but we also discuss the applicability of state-of-the-art attacks and defenses when reinforcement learning algorithms are used in the context of autonomous driving.

引入逻辑混淆是针对集成电路（IC）的多个硬件威胁的关键防御，包括反向工程（RE）和知识产权（IP）盗窃。逻辑混淆的有效性受到最近引入的布尔满意度（SAT）攻击及其变体的挑战。还提出了大量对策，以挫败SAT袭击。不论针对SAT攻击的实施防御，大型权力，性能和领域的开销是必不可少的。相比之下，我们提出了一种认知解决方案：基于神经网络的UNSAT子句翻译器Satconda，它会造成最小的区域和开销，同时以无法穿透的安全性保留原始功能。 SATCONDA与UNSAT子句生成器一起孵育，该生成器通过最小的扰动（例如包含一对逆变器或缓冲液）转换现有的结合性正常形式（CNF），或者根据提供的CNF添加新的轻巧UNSAT块。为了有效的Unsat子句生成，Satconda配备了多层神经网络，该网络首先了解特征（文字和条款）的依赖性，然后是一个长期 - 长期内存（LSTM）网络，以验证和回溯SAT-硬度，以更好地学习和翻译。我们拟议的Satconda在ISCAS85和ISCAS89基准上进行了评估，并被认为可以防御为硬件RE设计的多个最先进的SAT攻击。此外，我们还评估了针对Minisat，Lingeling和葡萄糖SAT求解器的拟议SATCONDAS经验性能，这些溶剂构成了许多现有的Deobfuscation SAT攻击。

综合电路（IC）供应链的全球化已将大部分设计，制造和测试过程从单一的受信任实体转移到全球各种不信任的第三方实体。使用不信任的第三方知识产权（3PIP）的风险是，对手可能会插入称为硬件木马（HTS）的恶意修改。这些HT可以损害完整性，恶化性能，拒绝服务并改变设计的功能。尽管文献中已经提出了许多HT检测方法，但HT定位的关键任务被忽略了。此外，一些现有的HT本地化方法具有多个弱点：依赖黄金参考，无法概括所有类型的HT，缺乏可扩展性，低位置分辨率以及手动功能工程/属性定义。为了克服他们的缺点，我们通过利用图形卷积网络（GCN）提出了一种新颖的，无参考的HT定位方法。在这项工作中，我们将电路设计转换为其内在数据结构，绘制并提取节点属性。之后，图形卷积对节点进行自动提取，以将节点分类为特洛伊木马或良性。我们的自动化方法不会通过手动代码审查来负担设计师的负担。它以99.6％的精度，93.1％的F1得分和假阳性速率低于0.009％的速率定位特洛伊木马信号。

互联网连接系统的规模大大增加，这些系统比以往任何时候都更接触到网络攻击。网络攻击的复杂性和动态需要保护机制响应，自适应和可扩展。机器学习，或更具体地说，深度增强学习（DRL），方法已经广泛提出以解决这些问题。通过将深入学习纳入传统的RL，DRL能够解决复杂，动态，特别是高维的网络防御问题。本文提出了对为网络安全开发的DRL方法进行了调查。我们触及不同的重要方面，包括基于DRL的网络 - 物理系统的安全方法，自主入侵检测技术和基于多元的DRL的游戏理论模拟，用于防范策略对网络攻击。还给出了对基于DRL的网络安全的广泛讨论和未来的研究方向。我们预计这一全面审查提供了基础，并促进了未来的研究，探讨了越来越复杂的网络安全问题。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

恶意软件是跨越多个操作系统和各种文件格式的计算机的最损害威胁之一。为了防止不断增长的恶意软件的威胁，已经提出了巨大的努力来提出各种恶意软件检测方法，试图有效和有效地检测恶意软件。最近的研究表明，一方面，现有的ML和DL能够卓越地检测新出现和以前看不见的恶意软件。然而，另一方面，ML和DL模型本质上易于侵犯对抗性示例形式的对抗性攻击，这通过略微仔细地扰乱了合法输入来混淆目标模型来恶意地产生。基本上，在计算机视觉领域最初广泛地研究了对抗性攻击，并且一些快速扩展到其他域，包括NLP，语音识别甚至恶意软件检测。在本文中，我们专注于Windows操作系统系列中的便携式可执行文件（PE）文件格式的恶意软件，即Windows PE恶意软件，作为在这种对抗设置中研究对抗性攻击方法的代表性案例。具体而言，我们首先首先概述基于ML / DL的Windows PE恶意软件检测的一般学习框架，随后突出了在PE恶意软件的上下文中执行对抗性攻击的三个独特挑战。然后，我们进行全面和系统的审查，以对PE恶意软件检测以及增加PE恶意软件检测的稳健性的相应防御，对近最新的对手攻击进行分类。我们首先向Windows PE恶意软件检测的其他相关攻击结束除了对抗对抗攻击之外，然后对未来的研究方向和机遇脱落。

互联网连接系统的指数增长产生了许多挑战，例如频谱短缺问题，需要有效的频谱共享（SS）解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题，需要保护机制是自适应，可靠和可扩展的。基于机器学习（ML）的方法经常提议解决这些问题。在本文中，我们对最近的基于ML的SS方法，最关键的安全问题和相应的防御机制提供了全面的调查。特别是，我们详细说明了用于提高SS通信系统的性能的最先进的方法，包括基于ML基于ML的基于的数据库辅助SS网络，ML基于基于的数据库辅助SS网络，包括基于ML的数据库辅助的SS网络，基于ML的LTE-U网络，基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题，包括主要用户仿真（PUE）攻击，频谱感测数据伪造（SSDF）攻击，干扰攻击，窃听攻击和隐私问题。最后，还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题，提供基础和促进未来的研究。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

在过去的十年中，在逻辑锁定的设计和评估方面取得了很大进展;一种维护整个电子供应链中集成电路完整性的首选技术。然而，机器学习的广泛增殖最近引入了评估逻辑锁定方案的新途径。本文总结了当代机器学习模型前沿的逻辑锁定攻击和对策的最新发展。基于所提出的工作，重点突出了关键的外卖，机会和挑战，为下一代逻辑锁定设计提供了建议。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

大多数强化学习算法隐含地假设强同步。我们提出了针对Q学习的新颖攻击，该攻击通过延迟有限时间段的奖励信号来利用该假设所带来的漏洞。我们考虑了两种类型的攻击目标：目标攻击，旨在使目标政策被学习，以及不靶向的攻击，这只是旨在诱使奖励低的政策。我们通过一系列实验评估了提出的攻击的功效。我们的第一个观察结果是，当目标仅仅是为了最大程度地减少奖励时，奖励延迟​​攻击非常有效。的确，我们发现即使是天真的基线奖励 - 延迟攻击也在最大程度地减少奖励方面也非常成功。另一方面，有针对性的攻击更具挑战性，尽管我们表明，提出的方法在实现攻击者的目标方面仍然非常有效。此外，我们引入了第二个威胁模型，该模型捕获了一种最小的缓解措施，该模型可确保不能超出顺序使用奖励。我们发现，这种缓解仍然不足以确保稳定性延迟但保留奖励的命令。

Reinforcement learning (RL) is one of the most important branches of AI. Due to its capacity for self-adaption and decision-making in dynamic environments, reinforcement learning has been widely applied in multiple areas, such as healthcare, data markets, autonomous driving, and robotics. However, some of these applications and systems have been shown to be vulnerable to security or privacy attacks, resulting in unreliable or unstable services. A large number of studies have focused on these security and privacy problems in reinforcement learning. However, few surveys have provided a systematic review and comparison of existing problems and state-of-the-art solutions to keep up with the pace of emerging threats. Accordingly, we herein present such a comprehensive review to explain and summarize the challenges associated with security and privacy in reinforcement learning from a new perspective, namely that of the Markov Decision Process (MDP). In this survey, we first introduce the key concepts related to this area. Next, we cover the security and privacy issues linked to the state, action, environment, and reward function of the MDP process, respectively. We further highlight the special characteristics of security and privacy methodologies related to reinforcement learning. Finally, we discuss the possible future research directions within this area.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

在过去的十年中，深入的强化学习（DRL）算法已经越来越多地使用，以解决各种决策问题，例如自动驾驶和机器人技术。但是，这些算法在部署在安全至关重要的环境中时面临着巨大的挑战，因为它们经常表现出错误的行为，可能导致潜在的关键错误。评估DRL代理的安全性的一种方法是测试它们，以检测可能导致执行过程中严重失败的故障。这就提出了一个问题，即我们如何有效测试DRL政策以确保其正确性和遵守安全要求。测试DRL代理的大多数现有作品都使用扰动代理的对抗性攻击。但是，这种攻击通常会导致环境的不切实际状态。他们的主要目标是测试DRL代理的鲁棒性，而不是测试代理商在要求方面的合规性。由于DRL环境的巨大状态空间，测试执行的高成本以及DRL算法的黑盒性质，因此不可能对DRL代理进行详尽的测试。在本文中，我们提出了一种基于搜索的强化学习代理（Starla）的测试方法，以通过有效地在有限的测试预算中寻找无法执行的代理执行，以测试DRL代理的策略。我们使用机器学习模型和专用的遗传算法来缩小搜索错误的搜索。我们将Starla应用于深Q学习剂，该Qualla被广泛用作基准测试，并表明它通过检测到与代理商策略相关的更多故障来大大优于随机测试。我们还研究了如何使用我们的搜索结果提取表征DRL代理的错误事件的规则。这些规则可用于了解代理失败的条件，从而评估其部署风险。