对抗性攻击，例如输入和对抗性样本的对抗扰动，对机器学习和深度学习技术构成重大挑战，包括互动推荐系统。这些技术的潜在嵌入空间使对抗性攻击难以在早期阶段检测。最近的因果关系表明，反事实也可以被认为是生成从不同分布所吸引的对抗样本作为训练样本的方法之一。我们建议探索基于强化学习的互动推荐系统的对抗性实例和攻击不可知论。我们首先通过将扰动添加到休闲因素的输入和干预来制造不同类型的对抗例。然后，我们通过基于制备数据检测基于深度学习的分类器的潜在攻击来增强推荐系统。最后，我们研究了对抗性示例的攻击强度和频率，并在具有多种制备方法的标准数据集中评估模型。我们广泛的实验表明，大多数逆势攻击都是有效的，攻击力量和攻击频率都会影响攻击性能。战略性定时攻击仅实现了比较攻击性能，只有1/3到1/2攻击频率。此外，我们的黑匣子探测器用一种制作方法培训，具有概述几种其他制备方法的泛化能力。

反事实解释通过探索项目或用户的最小变化如何影响建议决策，解释了建议机制。现有的反事实解释方法面临巨大的搜索空间，其解释是基于操作的（例如，用户点击）或基于方面的（即项目描述）。我们认为，基于项目属性的解释对用户来说更直观和有说服力，因为他们通过细粒度的项目人口统计特征（例如品牌）来解释。此外，反事实解释可以通过滤除负面项目来增强建议。在这项工作中，我们提出了一种新颖的反事实解释建议（CEREC），以生成基于项目属性的反事实解释，同时提高建议性能。我们的CEREC优化了一项在强化学习环境中统一搜索候选人反事实的解释政策。我们通过使用给定知识图的丰富上下文信息使用自适应路径采样器来减少巨大的搜索空间。我们还将解释政策部署到建议模型中以增强建议。广泛的解释性和建议评估表明，CEREC提供与用户偏好一致并维持改进建议的解释的能力。我们在https://github.com/chrystalii/cerec上发布代码。

最近的工作表明，深增强学习（DRL）政策易受对抗扰动的影响。对手可以通过扰乱药剂观察到的环境来误导DRL代理商的政策。现有攻击原则上是可行的，但在实践中面临挑战，例如通过太慢，无法实时欺骗DRL政策。我们表明，使用通用的对冲扰动（UAP）方法来计算扰动，独立于应用它们的各个输入，可以有效地欺骗DRL策略。我们描述了三种这样的攻击变体。通过使用三个Atari 2600游戏的广泛评估，我们表明我们的攻击是有效的，因为它们完全降低了三种不同的DRL代理商的性能（高达100％，即使在扰乱的$ L_ infty $绑定时也很小为0.01）。与不同DRL策略的响应时间（平均0.6ms）相比，它比不同DRL策略的响应时间（0.6ms）更快，并且比使用对抗扰动的前攻击更快（平均1.8ms）。我们还表明，我们的攻击技术是高效的，平均地产生0.027ms的在线计算成本。使用涉及机器人运动的两个进一步任务，我们确认我们的结果概括了更复杂的DRL任务。此外，我们证明了已知防御的有效性降低了普遍扰动。我们提出了一种有效的技术，可检测针对DRL政策的所有已知的对抗性扰动，包括本文呈现的所有普遍扰动。

Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.

With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.

Deep Reinforcement Learning (RL) agents are susceptible to adversarial noise in their observations that can mislead their policies and decrease their performance. However, an adversary may be interested not only in decreasing the reward, but also in modifying specific temporal logic properties of the policy. This paper presents a metric that measures the exact impact of adversarial attacks against such properties. We use this metric to craft optimal adversarial attacks. Furthermore, we introduce a model checking method that allows us to verify the robustness of RL policies against adversarial attacks. Our empirical analysis confirms (1) the quality of our metric to craft adversarial attacks against temporal logic properties, and (2) that we are able to concisely assess a system's robustness against attacks.

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

Reinforcement learning (RL) is one of the most important branches of AI. Due to its capacity for self-adaption and decision-making in dynamic environments, reinforcement learning has been widely applied in multiple areas, such as healthcare, data markets, autonomous driving, and robotics. However, some of these applications and systems have been shown to be vulnerable to security or privacy attacks, resulting in unreliable or unstable services. A large number of studies have focused on these security and privacy problems in reinforcement learning. However, few surveys have provided a systematic review and comparison of existing problems and state-of-the-art solutions to keep up with the pace of emerging threats. Accordingly, we herein present such a comprehensive review to explain and summarize the challenges associated with security and privacy in reinforcement learning from a new perspective, namely that of the Markov Decision Process (MDP). In this survey, we first introduce the key concepts related to this area. Next, we cover the security and privacy issues linked to the state, action, environment, and reward function of the MDP process, respectively. We further highlight the special characteristics of security and privacy methodologies related to reinforcement learning. Finally, we discuss the possible future research directions within this area.

本文研究了知识图的推荐系统，可以有效地解决数据稀疏和冷启动的问题。最近，已经为这个问题开发了各种方法，这通常试图根据其表示，学习用户和物品的有效陈述，然后根据其表示将项目匹配。虽然这些方法已经表现得非常有效，但它们缺乏良好的解释，这对推荐系统至关重要。在本文中，我们采取了不同的路线，并提出通过从用户到项目的有意义路径来创造建议。具体地，我们将问题作为顺序决策过程，其中目标用户被定义为初始状态，并且图中的边缘被定义为动作。我们根据现有的最先进方法塑造奖励，然后使用策略梯度方法培训策略函数。三个现实世界数据集的实验结果表明，我们的提出方法不仅提供有效的建议，还提供了良好的解释。

最近的研究表明，基于神经网络的深度推荐系统容易受到对抗性攻击的影响，攻击者可以将精心制作的虚假用户配置文件（即，伪造用户与之互动的一组项目）注入目标推荐系统，以实现恶意目的，例如促进或降低一组目标项目。由于安全性和隐私问题，在黑框设置下执行对抗性攻击更为实用，在黑框设置下，攻击者无法轻松访问目标系统的体系结构/参数和培训数据。但是，在Black-Box设置下生成高质量的假用户配置文件，对于目标系统的资源有限，这是一项挑战。为了应对这一挑战，在这项工作中，我们通过利用项目的属性信息（即项目知识图）引入了一种新颖的策略，这些信息可以公开访问并提供丰富的辅助知识来增强伪造用户配置文件的产生。更具体地说，我们提出了一项知识增强的黑框攻击框架（KGATTACK），以通过深度强化学习技术有效地学习攻击政策，其中知识图无缝集成到层次结构策略网络中，以生成伪造的用户配置文件，以表演对抗性黑色 - 黑色 - - 黑色 - 黑色 - 盒子攻击。在各种现实世界数据集上进行的全面实验证明了在黑框设置下提出的攻击框架的有效性。

深增强学习模型容易受到对抗的攻击，可以通过操纵受害者的观察来减少受害者的累积预期奖励。尽管以前的优化基于优化的方法效率，用于在监督学习中产生对抗性噪声，因此这些方法可能无法实现最低的累积奖励，因为它们通常不会探索环境动态。在本文中，我们提供了一个框架，以通过重新制定函数空间中加固学习的对抗攻击问题来更好地了解现有方法。我们的重构在有针对性攻击的功能空间中产生最佳对手，通过通用的两级框架来排斥它们。在第一阶段，我们通过黑客攻击环境来培训欺骗性政策，并发现一组轨迹路由到最低奖励或最坏情况性能。接下来，对手误导受害者通过扰乱观察来模仿欺骗性政策。与现有方法相比，我们理论上表明我们的对手在适当的噪声水平下更强大。广泛的实验展示了我们在效率和效力方面的优越性，在Atari和Mujoco环境中实现了最先进的性能。

车祸（IOV）可以促进连接车辆（CV），自动驾驶汽车（AV）和其他IOV实体之间的无缝连通性。 IOV网络的入侵检测系统（IDS）可以依靠机器学习（ML）来保护车辆内网络免受网络攻击。基于区块链的联合森林（BFF）可用于根据IOV实体的数据训练ML模型，同时保护数据的机密性并降低对数据篡改的风险。但是，以这种方式创建的ML模型仍然容易受到逃避，中毒和探索性攻击的影响。本文研究了各种可能的对抗性示例对BFF-ID的影响。我们提出了整合统计检测器来检测和提取未知的对抗样品。通过将未知检测的样品包括在检测器的数据集中，我们使用附加模型来增强BFF-ID，以检测原始已知攻击和新的对抗性输入。统计对手检测器以50和100个输入样本的样本量确信对对抗性示例。此外，增强的BFF-IDS（BFF-IDS（AUG））成功地减轻了以上96％的精度。通过这种方法，每当检测到对抗样本并随后采用BFF-ID（AUG）作为主动安全模型时，该模型将继续在沙箱中增强。因此，统计对抗检测器的拟议集成以及随后使用检测到的对抗样本对BFF-ID的增强，为对抗性例子和其他未知攻击提供了可持续的安全框架。

Adversarial robustness assessment for video recognition models has raised concerns owing to their wide applications on safety-critical tasks. Compared with images, videos have much high dimension, which brings huge computational costs when generating adversarial videos. This is especially serious for the query-based black-box attacks where gradient estimation for the threat models is usually utilized, and high dimensions will lead to a large number of queries. To mitigate this issue, we propose to simultaneously eliminate the temporal and spatial redundancy within the video to achieve an effective and efficient gradient estimation on the reduced searching space, and thus query number could decrease. To implement this idea, we design the novel Adversarial spatial-temporal Focus (AstFocus) attack on videos, which performs attacks on the simultaneously focused key frames and key regions from the inter-frames and intra-frames in the video. AstFocus attack is based on the cooperative Multi-Agent Reinforcement Learning (MARL) framework. One agent is responsible for selecting key frames, and another agent is responsible for selecting key regions. These two agents are jointly trained by the common rewards received from the black-box threat models to perform a cooperative prediction. By continuously querying, the reduced searching space composed of key frames and key regions is becoming precise, and the whole query number becomes less than that on the original video. Extensive experiments on four mainstream video recognition models and three widely used action recognition datasets demonstrate that the proposed AstFocus attack outperforms the SOTA methods, which is prevenient in fooling rate, query number, time, and perturbation magnitude at the same.

在公共场合开展业务的未受保护的未受保护的无飞机特工（UAV）的对抗性攻击的危险正在增长。采用基于AI的技术和更具体的深度学习（DL）方法来控制和指导这些无人机可能在性能方面有益，但对这些技术的安全性及其对对抗性攻击的脆弱性增加了更多的担忧，从而导致碰撞的机会增加随着代理人变得困惑。本文提出了一种基于DL方法的解释性来建立有效检测器的创新方法，该方法将保护这些DL方案，从而使它们采用它们免受潜在攻击。代理商正在采用深入的强化学习（DRL）计划进行指导和计划。它是由深层确定性政策梯度（DDPG）组成和培训的，并具有优先的经验重播（PER）DRL计划，该计划利用人工潜在领域（APF）来改善训练时间和避免障碍的绩效。对抗性攻击是通过快速梯度标志方法（FGSM）和基本迭代方法（BIM）算法产生的，并将障碍物课程的完成率从80 \％降低至35 \％。建立了无人机基于无人体DRL的计划和指导的现实合成环境，包括障碍和对抗性攻击。提出了两个对抗攻击探测器。第一个采用卷积神经网络（CNN）体系结构，并实现了80 \％的检测准确性。第二个检测器是根据长期记忆（LSTM）网络开发的，与基于CNN的检测器相比，计算时间更快地达到了91 \％的精度。

最近的研究表明，深神经网络（DNN）易受对抗的对抗性斑块，这引入了对输入的可察觉而且局部化的变化。尽管如此，现有的方法都集中在图像上产生对抗性补丁，视频中的对应于视频的探索。与图像相比，攻击视频更具挑战性，因为它不仅需要考虑空间线索，而且需要考虑时间线索。为了缩短这种差距，我们在本文中介绍了一种新的对抗性攻击，子弹屏幕评论（BSC）攻击，攻击了BSC的视频识别模型。具体地，通过增强学习（RL）框架产生对抗性BSC，其中环境被设置为目标模型，并且代理商扮演选择每个BSC的位置和透明度的作用。通过不断查询目标模型和接收反馈，代理程序逐渐调整其选择策略，以实现具有非重叠BSC的高鬼速。由于BSC可以被视为一种有意义的补丁，将它添加到清洁视频不会影响人们对视频内容的理解，也不会引起人们的怀疑。我们进行广泛的实验，以验证所提出的方法的有效性。在UCF-101和HMDB-51数据集中，我们的BSC攻击方法可以在攻击三个主流视频识别模型时达到约90 \％的愚蠢速率，同时仅在视频中封闭\无文无线8 \％区域。我们的代码可在https://github.com/kay -ck/bsc-attack获得。

在国家观察中最强/最佳的对抗性扰动下评估增强学习（RL）代理的最坏情况性能（在某些限制内）对于理解RL代理商的鲁棒性至关重要。然而，在无论我们都能找到最佳攻击以及我们如何找到它，我们都可以找到最佳的对手是具有挑战性的。对普发拉利RL的现有工作要么使用基于启发式的方法，可以找不到最强大的对手，或者通过将代理人视为环境的一部分来说，直接培训基于RL的对手，这可以找到最佳的对手，但可能会变得棘手大状态空间。本文介绍了一种新的攻击方法，通过设计函数与名为“Director”的RL为基础的学习者的设计函数之间的合作找到最佳攻击。演员工艺在给定的政策扰动方向的状态扰动，主任学会提出最好的政策扰动方向。我们所提出的算法PA-AD，比具有大状态空间的环境中的基于RL的工作，理论上是最佳的，并且明显更有效。经验结果表明，我们建议的PA-AD普遍优惠各种Atari和Mujoco环境中最先进的攻击方法。通过将PA-AD应用于对抗性培训，我们在强烈的对手下实现了多个任务的最先进的经验稳健性。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

对抗性攻击可以迫使基于CNN的模型通过巧妙地操纵人类侵犯的输入来产生不正确的输出。探索这种扰动可以帮助我们更深入地了解神经网络的脆弱性，并为反对杂项对手提供深入学习的鲁棒性。尽管大量研究着重于图像，音频和NLP的鲁棒性，但仍缺乏视觉对象跟踪的对抗示例（尤其是以黑盒方式）的作品。在本文中，我们提出了一种新颖的对抗性攻击方法，以在黑色框设置下为单个对象跟踪产生噪音，其中仅在跟踪序列的初始框架上添加了扰动，从整个视频剪辑的角度来看，这很难注意到这一点。具体而言，我们将算法分为三个组件，并利用加固学习，以精确地定位重要的框架贴片，同时减少不必要的计算查询开销。与现有技术相比，我们的方法需要在视频的初始化框架上进行更少的查询，以操纵竞争性甚至更好的攻击性能。我们在长期和短期数据集中测试我们的算法，包括OTB100，DOCT2018，UAV123和LASOT。广泛的实验证明了我们方法对三种主流类型的跟踪器类型的有效性：歧视，基于暹罗和强化学习的跟踪器。

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

异构信息网络（HIN）捕获各种实体之间的复杂关系，并已广泛用于提高各种数据挖掘任务的有效性，例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识，可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序，手工制作方法的方法太繁琐，并且容易出错。为了解决这个问题，我们提出了基于加强学习的元路径选择（RMS）框架，以选择有效的元路径，并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径，RMS列举了基于加强学习（RL）的策略网络（代理），从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型，HREC，有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案，RMS-HREC，它自动使用有效的元路径。实验对实时数据集表明，我们的算法通过自动捕获重要元路径，可以显着提高推荐模型的性能。