已经提出了多种对抗性攻击，并使用图像和音频数据进行了探索。众所周知，当攻击者可以直接操纵模型的输入时，这些攻击很容易生成，但是在现实世界中实施更加困难。在本文中，我们提出了通用的，对通用时间序列数据的通用时间不变攻击，以便该攻击具有主要由原始数据中存在的频率组成的频谱。攻击的通用性使其快速，易于实现，因为不需要将其添加到输入中，而时间不变性对于现实世界部署很有用。此外，频率约束确保攻击可以承受过滤。我们证明了攻击在两个不同领域的有效性，即语音识别和意外的辐射排放，并表明该攻击对共同的转换和能力防御管道是有力的。

随着硬件和算法的开发，ASR（自动语音识别）系统发展了很多。随着模型变得越来越简单，开发和部署的困难变得更加容易，ASR系统正越来越接近我们的生活。一方面，我们经常使用ASR的应用程序或API来生成字幕和记录会议。另一方面，智能扬声器和自动驾驶汽车依靠ASR系统来控制Aiot设备。在过去的几年中，对ASR系统的攻击攻击有很多作品。通过在波形中添加小的扰动，识别结果有很大的不同。在本文中，我们描述了ASR系统的发展，攻击的不同假设以及如何评估这些攻击。接下来，我们在两个攻击假设中介绍了有关对抗性示例攻击的当前作品：白框攻击和黑框攻击。与其他调查不同，我们更多地关注它们在ASR系统中扰动波形，这些攻击之间的关系及其实现方法之间的层。我们专注于他们作品的效果。

发言人识别系统（SRSS）最近被证明容易受到对抗攻击的影响，从而引发了重大的安全问题。在这项工作中，我们系统地研究了基于确保SRSS的基于对抗性训练的防御。根据SRSS的特征，我们提出了22种不同的转换，并使用扬声器识别的7种最新有前途的对抗攻击（4个白盒和3个Black-Box）对其进行了彻底评估。仔细考虑了国防评估中的最佳实践，我们分析了转换的强度以承受适应性攻击。我们还评估并理解它们与对抗训练相结合的自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多与图像和语音识别域中的结论是新的或不一致的，例如，可变和恒定的比特率语音压缩具有不同的性能，并且某些不可差的转换仍然有效地抗衡。当前有希望的逃避技术通常在图像域中很好地工作。我们证明，与完整的白色盒子设置中的唯一对抗性训练相比，提出的新型功能级转换与对抗训练相比是相当有效的，例如，将准确性提高了13.62％，而攻击成本则达到了两个数量级，而其他攻击成本则增加了。转型不一定会提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SpeakerGuard，以促进进一步的研究。

Video compression plays a crucial role in video streaming and classification systems by maximizing the end-user quality of experience (QoE) at a given bandwidth budget. In this paper, we conduct the first systematic study for adversarial attacks on deep learning-based video compression and downstream classification systems. Our attack framework, dubbed RoVISQ, manipulates the Rate-Distortion ($\textit{R}$-$\textit{D}$) relationship of a video compression model to achieve one or both of the following goals: (1) increasing the network bandwidth, (2) degrading the video quality for end-users. We further devise new objectives for targeted and untargeted attacks to a downstream video classification service. Finally, we design an input-invariant perturbation that universally disrupts video compression and classification systems in real time. Unlike previously proposed attacks on video classification, our adversarial perturbations are the first to withstand compression. We empirically show the resilience of RoVISQ attacks against various defenses, i.e., adversarial training, video denoising, and JPEG compression. Our extensive experimental results on various video datasets show RoVISQ attacks deteriorate peak signal-to-noise ratio by up to 5.6dB and the bit-rate by up to $\sim$ 2.4$\times$ while achieving over 90$\%$ attack success rate on a downstream classifier. Our user study further demonstrates the effect of RoVISQ attacks on users' QoE.

深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提高，该技术证明了在许多任务中与人类听力相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。但是，现有的研究表明，DNN很容易受到轻微干扰的干扰，并且会出现错误的识别，这对于由声音控制的智能语音应用非常危险。

在过去的几年里，已经表明，深度学习系统在对抗性示例的攻击中非常脆弱。基于神经网络的自动语音识别（ASR）系统也不例外。有针对性的和未确定的攻击可以以这样的方式修改音频输入信号，使得人类仍然识别相同的单词，而ASR系统被转向以预测不同的转录。在本文中，我们提出了一种防御机制，该防御机制通过在向ASR系统馈送输入之前，通过应用慢速特征分析，低通滤波器或两者来删除来自音频信号的快速变化功能。我们对在这种方式预处理的数据训练的混合ASR模型进行了实证分析。虽然所产生的模型在良性数据上表现得非常好，但它们对针对性的对抗攻击进行了更高的稳健性：我们的最终建议的模型显示了与基线模型类似的清洁数据的性能，同时具有比较强大的四倍。

我们建议使用听觉皮层的计算模型作为防范对抗对音频的对抗攻击。我们将基于白盒迭代优化的对抗攻击应用于Amazon Alexa的HW网络的实施，以及具有集成皮质表示的网络的修改版本，并显示皮质功能有助于防御普遍的对抗示例。在相同的扭曲水平时，为皮质网络发现的对手噪声总是对通用音频攻击的效果效果效果。我们在HTTPS://github.com/ilyakava/py3fst上公开提供我们的代码。

对抗商业黑匣子语音平台的对抗攻击，包括云语音API和语音控制设备，直到近年来接受了很少的关注。目前的“黑匣子”攻击所有严重依赖于预测/置信度评分的知识，以加工有效的对抗示例，这可以通过服务提供商直观地捍卫，而不返回这些消息。在本文中，我们提出了在更实用和严格的情况下提出了两种新的对抗攻击。对于商业云演讲API，我们提出了一个决定的黑匣子逆势攻击，这些攻击是唯一的最终决定。在偶变中，我们将决策的AE发电作为一个不连续的大规模全局优化问题，并通过自适应地将该复杂问题自适应地分解成一组子问题并协同优化每个问题来解决它。我们的春天是一种齐全的所有方法，它在一个广泛的流行语音和扬声器识别API，包括谷歌，阿里巴巴，微软，腾讯，达到100％的攻击攻击速度100％的攻击率。 iflytek，和景东，表现出最先进的黑箱攻击。对于商业语音控制设备，我们提出了Ni-Occam，第一个非交互式物理对手攻击，而对手不需要查询Oracle并且无法访问其内部信息和培训数据。我们将对抗性攻击与模型反演攻击相结合，从而产生具有高可转换性的物理有效的音频AE，而无需与目标设备的任何交互。我们的实验结果表明，NI-Occam可以成功欺骗苹果Siri，Microsoft Cortana，Google Assistant，Iflytek和Amazon Echo，平均SRO为52％和SNR为9.65dB，对抗语音控制设备的非交互式物理攻击。

自动语音识别系统为应用程序创建了激动人心的可能性，但是它们还为系统窃听的机会提供了机会。我们提出了一种方法来伪装一个人的声音，这些系统来自这些系统，而不会对房间里的人之间的谈话不方便。标准对策攻击在实时流动情况下无效，因为信号的特性将在执行攻击时发生变化。我们介绍了预测攻击，通过预测将来最有效的攻击预测攻击来实现实时性能。在实时约束下，我们的方法在通过字错误率通过字错误率测量的基本电咨询器中，我们的方法堵塞了37x的基线，而通过字符错误率测量。我们还展示了我们的方法在物理环境中实际上是在物理距离的现实环境中。

最近，对AutoAtack（Croce和Hein，2020B）框架对图像分类网络的对抗攻击已经引起了很多关注。虽然AutoAtactack显示了非常高的攻击成功率，但大多数防御方法都专注于网络硬化和鲁棒性增强，如对抗性培训。这样，目前最佳报告的方法可以承受约66％的CIFAR10对抗的例子。在本文中，我们研究了自动攻击的空间和频域属性，并提出了替代防御。在推理期间，我们检测到对抗性攻击而不是硬化网络，而不是硬化网络，而不是硬化网络。基于频域中的相当简单和快速的分析，我们介绍了两种不同的检测算法。首先，黑匣子检测器只在输入图像上运行，在两种情况下，在AutoAtack Cifar10基准测试中获得100％的检测精度，并且在ImageNet上为99.3％。其次，使用CNN特征图的分析的白箱检测器，在相同的基准上的检出率也为100％和98.7％。

深度神经网络（DNN）受到对抗的示例攻击的威胁。对手可以通过将小型精心设计的扰动添加到输入来容易地改变DNN的输出。对手示例检测是基于强大的DNNS服务的基本工作。对手示例显示了人类和DNN在图像识别中的差异。从以人为本的角度来看，图像特征可以分为对人类可易于理解的主导特征，并且对人类来说是不可理解的隐性特征，但是被DNN利用。在本文中，我们揭示了难以察觉的对手实例是隐性特征误导性神经网络的乘积，并且对抗性攻击基本上是一种富集图像中的这些隐性特征的方法。对手实例的难以察觉表明扰动丰富了隐性特征，但几乎影响了主导特征。因此，对抗性实例对滤波偏离隐性特征敏感，而良性示例对这种操作免疫。受到这个想法的启发，我们提出了一种仅称为特征过滤器的标签的侵略性检测方法。功能过滤器利用离散余弦变换到占主导地位的大约单独的隐性功能，并获得默认隐性功能的突变图像。只有在输入和其突变体上进行DNN的预测标签，特征过滤器可以实时检测高精度和少量误报的难以察觉的对抗性示例。

虽然已显示自动语音识别易受对抗性攻击的影响，但对这些攻击的防御仍然滞后。现有的，天真的防御可以用自适应攻击部分地破坏。在分类任务中，随机平滑范式已被证明是有效的卫生模型。然而，由于它们的复杂性和其输出的顺序性，难以将此范例应用于ASR任务。我们的论文通过利用更具增强和流动站投票的语音专用工具来设计一个对扰动强大的ASR模型来克服了一些这些挑战。我们应用了最先进的攻击的自适应版本，例如难以察觉的ASR攻击，我们的模型，并表明我们最强大的防守对所有使用听不清噪声的攻击是强大的，并且只能以非常高的扭曲破碎。

扬声器验证系统已被广泛用于智能手机和物联网设备以识别合法用户。在最近的工作中，已经表明，诸如FakeBob之类的对抗性攻击可以有效地针对说话者验证系统。本文的目的是设计一个可以将原始音频与受对抗攻击污染的音频区分开的检测器。具体而言，我们设计的检测器（称为MEH-Fest）从音频的短时傅立叶变换中计算出高频的最小能量，并将其用作检测度量。通过分析和实验，我们表明我们提出的检测器易于实施，快速处理输入音频，并有效地确定音频是否被假屁股攻击损坏。实验结果表明，检测器非常有效：在高斯混合物模型（GMM）和I-vector Speaker验证系统中检测假雄性攻击的情况接近零的假阳性和假阴性率。此外，讨论和研究了对我们提议的探测器的适应性对抗性攻击，并研究了他们的对策，展示了攻击者和后卫之间的比赛。

自动语音识别（ASR）系统普遍存在，特别是在国内电器语音导航和语音控制的应用中。 ASR的计算核心是已被证明易于对抗性扰动的深神经网络（DNN）;容易被攻击者滥用生成恶意输出。为了帮助测试ASR的正确性，我们提出了自动生成BlackBox（无关的DNN）的技术，跨ASR可移植的未标准的对抗性攻击。在对冲ASR测试的大部分工作中侧重于针对目标攻击，即给定输出文本生成音频样本。目标技术不可移植，定制到特定ASR内的DNN（白箱）的结构。相比之下，我们的方法攻击在大多数ASR中共享的ASR管道的信号处理阶段。另外，我们确保通过使用维持人类感知阈值低于人类感知阈值的信号来操纵声学信号，确保产生的对抗性音频样本没有人类的声音差异。我们使用三个流行的ASR和三个输入音频数据集使用输出文本的指标来评估我们技术的可移植性和有效性，以及不同ASR上的原始音频的相似性和攻击成功率。我们发现我们的测试技术是跨ASR的便携式携带的，并具有对原始音频的高成功率，WERS和相似性的对抗的音频样本。

最近的研究突出了对基于神经网络（DNN）的语音识别系统的无处不在的威胁。在这项工作中，我们介绍了基于U-Net的注意力模型，U-Net $ _ {at} $，以增强对抗性语音信号。具体而言，我们通过可解释的语音识别指标评估模型性能，并通过增强的对抗性培训讨论模型性能。我们的实验表明，我们提出的U-Net $ _ {AT} $将言语质量（PESQ）的感知评估从0.65到0.75，短期客观可懂度（STOI）从0.65左右提高了言语质量（PESQ），语音传输指数（STI）对对抗性言语例子的语音增强任务0.83至0.96。我们对具有对冲音频攻击的自动语音识别（ASR）任务进行实验。我们发现（i）注意网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性; （ii）通过使用添加剂对抗性数据增强施用对抗性训练，可以提高基于DNN基于ASR模型的泛化力。 Word-Error-Rates（WERS）的ASR度量标准表明，基于梯度的扰动下存在绝对的2.22 $ \％$减少，并且在进化优化的扰动下，绝对2.03 $ \％$减少，这表明我们的具有对抗性培训的增强模型可以进一步保护弹性ASR系统。

最近的工作阐明了说话者识别系统（SRSS）针对对抗性攻击的脆弱性，从而在部署SRSS时引起了严重的安全问题。但是，他们仅考虑了一些设置（例如，来源和目标扬声器的某些组合），仅在现实世界攻击方案中留下了许多有趣而重要的环境。在这项工作中，我们介绍了AS2T，这是该域中的第一次攻击，该域涵盖了所有设置，因此，对手可以使用任意源和目标扬声器来制作对抗性声音，并执行三个主要识别任务中的任何一种。由于现有的损失功能都不能应用于所有设置，因此我们探索了每种设置的许多候选损失功能，包括现有和新设计的损失功能。我们彻底评估了它们的功效，并发现某些现有的损失功能是次优的。然后，为了提高AS2T对实用的无线攻击的鲁棒性，我们研究了可能发生的扭曲发生在空中传输中，利用具有不同参数的不同转换功能来对这些扭曲进行建模，并将其整合到生成中对手的声音。我们的模拟无线评估验证了解决方案在产生强大的对抗声音方面的有效性，这些声音在各种硬件设备和各种声音环境下保持有效，具有不同的混响，环境噪声和噪声水平。最后，我们利用AS2T来执行迄今为止最大的评估，以了解14个不同SRSS之间的可转移性。可传递性分析提供了许多有趣且有用的见解，这些见解挑战了图像域中先前作品中得出的几个发现和结论。我们的研究还阐明了说话者识别域中对抗攻击的未来方向。

在过去的几年中，卷积神经网络（CNN）一直是广泛的计算机视觉任务中的主导神经架构。从图像和信号处理的角度来看，这一成功可能会令人惊讶，因为大多数CNN的固有空间金字塔设计显然违反了基本的信号处理法，即在其下采样操作中对定理进行采样。但是，由于不良的采样似乎不影响模型的准确性，因此在模型鲁棒性开始受到更多关注之前，该问题已被广泛忽略。最近的工作[17]在对抗性攻击和分布变化的背景下，毕竟表明，CNN的脆弱性与不良下降采样操作引起的混叠伪像之间存在很强的相关性。本文以这些发现为基础，并引入了一个可混合的免费下采样操作，可以轻松地插入任何CNN体系结构：频lowcut池。我们的实验表明，结合简单而快速的FGSM对抗训练，我们的超参数无操作员显着提高了模型的鲁棒性，并避免了灾难性的过度拟合。

最近，Robustbench（Croce等人2020）已成为图像分类网络的对抗鲁棒性的广泛认可的基准。在其最常见的子任务中，Robustbench评估并在Autactack（CRoce和Hein 2020b）下的Cifar10上的培训神经网络的对抗性鲁棒性与L-Inf Perturnations限制在EPS = 8/255中。对于目前最佳表演模型的主要成绩约为60％的基线，这是为了表征这项基准是非常具有挑战性的。尽管最近的文献普遍接受，我们的目标是促进讨论抢劫案作为鲁棒性的关键指标的讨论，这可能是广泛化的实际应用。我们的论证与这篇文章有两倍，并通过本文提出过多的实验支持：我们认为i）通过ICATACK与L-INF的数据交替，EPS = 8/255是不切实际的强烈的，导致完美近似甚至通过简单的检测算法和人类观察者的对抗性样本的检测速率。我们还表明，其他攻击方法更难检测，同时实现类似的成功率。 ii）在CIFAR10这样的低分辨率数据集上导致低分辨率数据集不概括到更高的分辨率图像，因为基于梯度的攻击似乎与越来越多的分辨率变得更加可检测。

通过对数据集的样本应用小而有意的最差情况扰动可以产生对抗性输入，这导致甚至最先进的深神经网络，以高信任输出不正确的答案。因此，开发了一些对抗防御技术来提高模型的安全性和稳健性，并避免它们被攻击。逐渐，攻击者和捍卫者之间的游戏类似的竞争，其中两个玩家都会试图在最大化自己的收益的同时互相反对发挥最佳策略。为了解决游戏，每个玩家都基于对对手的战略选择的预测来选择反对对手的最佳策略。在这项工作中，我们正处于防守方面，以申请防止攻击的游戏理论方法。我们使用两个随机化方法，随机初始化和随机激活修剪，以创造网络的多样性。此外，我们使用一种去噪技术，超级分辨率，通过在攻击前预处理图像来改善模型的鲁棒性。我们的实验结果表明，这三种方法可以有效提高深度学习神经网络的鲁棒性。

当系统的全面了解时然而，这种技术在灰盒设置中行动不成功，攻击者面部模板未知。在这项工作中，我们提出了一种具有新开发的目标函数的相似性的灰度逆势攻击（SGADV）技术。 SGAdv利用不同的评分来产生优化的对抗性实例，即基于相似性的对抗性攻击。这种技术适用于白盒和灰度箱攻击，针对使用不同分数确定真实或调用用户的身份验证系统。为了验证SGAdv的有效性，我们对LFW，Celeba和Celeba-HQ的面部数据集进行了广泛的实验，反对白盒和灰度箱设置的面部和洞察面的深脸识别模型。结果表明，所提出的方法显着优于灰色盒设置中的现有的对抗性攻击技术。因此，我们总结了开发对抗性示例的相似性基础方法可以令人满意地迎合去认证的灰度箱攻击场景。