随着硬件和算法的开发,ASR(自动语音识别)系统发展了很多。随着模型变得越来越简单,开发和部署的困难变得更加容易,ASR系统正越来越接近我们的生活。一方面,我们经常使用ASR的应用程序或API来生成字幕和记录会议。另一方面,智能扬声器和自动驾驶汽车依靠ASR系统来控制Aiot设备。在过去的几年中,对ASR系统的攻击攻击有很多作品。通过在波形中添加小的扰动,识别结果有很大的不同。在本文中,我们描述了ASR系统的发展,攻击的不同假设以及如何评估这些攻击。接下来,我们在两个攻击假设中介绍了有关对抗性示例攻击的当前作品:白框攻击和黑框攻击。与其他调查不同,我们更多地关注它们在ASR系统中扰动波形,这些攻击之间的关系及其实现方法之间的层。我们专注于他们作品的效果。
translated by 谷歌翻译
深度学习技术的发展极大地促进了自动语音识别(ASR)技术的性能提高,该技术证明了在许多任务中与人类听力相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。但是,现有的研究表明,DNN很容易受到轻微干扰的干扰,并且会出现错误的识别,这对于由声音控制的智能语音应用非常危险。
translated by 谷歌翻译
对抗商业黑匣子语音平台的对抗攻击,包括云语音API和语音控制设备,直到近年来接受了很少的关注。目前的“黑匣子”攻击所有严重依赖于预测/置信度评分的知识,以加工有效的对抗示例,这可以通过服务提供商直观地捍卫,而不返回这些消息。在本文中,我们提出了在更实用和严格的情况下提出了两种新的对抗攻击。对于商业云演讲API,我们提出了一个决定的黑匣子逆势攻击,这些攻击是唯一的最终决定。在偶变中,我们将决策的AE发电作为一个不连续的大规模全局优化问题,并通过自适应地将该复杂问题自适应地分解成一组子问题并协同优化每个问题来解决它。我们的春天是一种齐全的所有方法,它在一个广泛的流行语音和扬声器识别API,包括谷歌,阿里巴巴,微软,腾讯,达到100%的攻击攻击速度100%的攻击率。 iflytek,和景东,表现出最先进的黑箱攻击。对于商业语音控制设备,我们提出了Ni-Occam,第一个非交互式物理对手攻击,而对手不需要查询Oracle并且无法访问其内部信息和培训数据。我们将对抗性攻击与模型反演攻击相结合,从而产生具有高可转换性的物理有效的音频AE,而无需与目标设备的任何交互。我们的实验结果表明,NI-Occam可以成功欺骗苹果Siri,Microsoft Cortana,Google Assistant,Iflytek和Amazon Echo,平均SRO为52%和SNR为9.65dB,对抗语音控制设备的非交互式物理攻击。
translated by 谷歌翻译
自动语音识别(ASR)系统普遍存在,特别是在国内电器语音导航和语音控制的应用中。 ASR的计算核心是已被证明易于对抗性扰动的深神经网络(DNN);容易被攻击者滥用生成恶意输出。为了帮助测试ASR的正确性,我们提出了自动生成BlackBox(无关的DNN)的技术,跨ASR可移植的未标准的对抗性攻击。在对冲ASR测试的大部分工作中侧重于针对目标攻击,即给定输出文本生成音频样本。目标技术不可移植,定制到特定ASR内的DNN(白箱)的结构。相比之下,我们的方法攻击在大多数ASR中共享的ASR管道的信号处理阶段。另外,我们确保通过使用维持人类感知阈值低于人类感知阈值的信号来操纵声学信号,确保产生的对抗性音频样本没有人类的声音差异。我们使用三个流行的ASR和三个输入音频数据集使用输出文本的指标来评估我们技术的可移植性和有效性,以及不同ASR上的原始音频的相似性和攻击成功率。我们发现我们的测试技术是跨ASR的便携式携带的,并具有对原始音频的高成功率,WERS和相似性的对抗的音频样本。
translated by 谷歌翻译
发言人识别系统(SRSS)最近被证明容易受到对抗攻击的影响,从而引发了重大的安全问题。在这项工作中,我们系统地研究了基于确保SRSS的基于对抗性训练的防御。根据SRSS的特征,我们提出了22种不同的转换,并使用扬声器识别的7种最新有前途的对抗攻击(4个白盒和3个Black-Box)对其进行了彻底评估。仔细考虑了国防评估中的最佳实践,我们分析了转换的强度以承受适应性攻击。我们还评估并理解它们与对抗训练相结合的自适应攻击的有效性。我们的研究提供了许多有用的见解和发现,其中许多与图像和语音识别域中的结论是新的或不一致的,例如,可变和恒定的比特率语音压缩具有不同的性能,并且某些不可差的转换仍然有效地抗衡。当前有希望的逃避技术通常在图像域中很好地工作。我们证明,与完整的白色盒子设置中的唯一对抗性训练相比,提出的新型功能级转换与对抗训练相比是相当有效的,例如,将准确性提高了13.62%,而攻击成本则达到了两个数量级,而其他攻击成本则增加了。转型不一定会提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SpeakerGuard,以促进进一步的研究。
translated by 谷歌翻译
最近的研究突出了对基于神经网络(DNN)的语音识别系统的无处不在的威胁。在这项工作中,我们介绍了基于U-Net的注意力模型,U-Net $ _ {at} $,以增强对抗性语音信号。具体而言,我们通过可解释的语音识别指标评估模型性能,并通过增强的对抗性培训讨论模型性能。我们的实验表明,我们提出的U-Net $ _ {AT} $将言语质量(PESQ)的感知评估从0.65到0.75,短期客观可懂度(STOI)从0.65左右提高了言语质量(PESQ),语音传输指数(STI)对对抗性言语例子的语音增强任务0.83至0.96。我们对具有对冲音频攻击的自动语音识别(ASR)任务进行实验。我们发现(i)注意网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性; (ii)通过使用添加剂对抗性数据增强施用对抗性训练,可以提高基于DNN基于ASR模型的泛化力。 Word-Error-Rates(WERS)的ASR度量标准表明,基于梯度的扰动下存在绝对的2.22 $ \%$减少,并且在进化优化的扰动下,绝对2.03 $ \%$减少,这表明我们的具有对抗性培训的增强模型可以进一步保护弹性ASR系统。
translated by 谷歌翻译
已经提出了多种对抗性攻击,并使用图像和音频数据进行了探索。众所周知,当攻击者可以直接操纵模型的输入时,这些攻击很容易生成,但是在现实世界中实施更加困难。在本文中,我们提出了通用的,对通用时间序列数据的通用时间不变攻击,以便该攻击具有主要由原始数据中存在的频率组成的频谱。攻击的通用性使其快速,易于实现,因为不需要将其添加到输入中,而时间不变性对于现实世界部署很有用。此外,频率约束确保攻击可以承受过滤。我们证明了攻击在两个不同领域的有效性,即语音识别和意外的辐射排放,并表明该攻击对共同的转换和能力防御管道是有力的。
translated by 谷歌翻译
在过去的几年里,已经表明,深度学习系统在对抗性示例的攻击中非常脆弱。基于神经网络的自动语音识别(ASR)系统也不例外。有针对性的和未确定的攻击可以以这样的方式修改音频输入信号,使得人类仍然识别相同的单词,而ASR系统被转向以预测不同的转录。在本文中,我们提出了一种防御机制,该防御机制通过在向ASR系统馈送输入之前,通过应用慢速特征分析,低通滤波器或两者来删除来自音频信号的快速变化功能。我们对在这种方式预处理的数据训练的混合ASR模型进行了实证分析。虽然所产生的模型在良性数据上表现得非常好,但它们对针对性的对抗攻击进行了更高的稳健性:我们的最终建议的模型显示了与基线模型类似的清洁数据的性能,同时具有比较强大的四倍。
translated by 谷歌翻译
由于使用语音处理系统(VPS)在日常生活中继续变得更加普遍,通过增加商业语音识别设备等应用以及主要文本到语音软件,因此对这些系统的攻击越来越复杂,各种各样的,不断发展。随着VPS的用例快速发展到新的空间和目的,对隐私的潜在后果越来越危险。此外,不断增长的数量和越来越多的空中攻击的实用性使系统失败更可能。在本文中,我们将识别和分类对语音处理系统的独特攻击的安排。多年来,研究已经从专业,未标准的攻击中迁移,导致系统的故障以及拒绝服务更加普遍的目标攻击,这些攻击可以强迫对手控制的结果。目前和最常用的机器学习系统和深神经网络在现代语音处理系统的核心内部建立,重点是性能和可扩展性而不是安全性。因此,我们对我们来重新评估发展语音处理景观并确定当前攻击和防御的状态,以便我们可能会建议未来的发展和理论改进。
translated by 谷歌翻译
自动语音识别系统为应用程序创建了激动人心的可能性,但是它们还为系统窃听的机会提供了机会。我们提出了一种方法来伪装一个人的声音,这些系统来自这些系统,而不会对房间里的人之间的谈话不方便。标准对策攻击在实时流动情况下无效,因为信号的特性将在执行攻击时发生变化。我们介绍了预测攻击,通过预测将来最有效的攻击预测攻击来实现实时性能。在实时约束下,我们的方法在通过字错误率通过字错误率测量的基本电咨询器中,我们的方法堵塞了37x的基线,而通过字符错误率测量。我们还展示了我们的方法在物理环境中实际上是在物理距离的现实环境中。
translated by 谷歌翻译
最近的工作阐明了说话者识别系统(SRSS)针对对抗性攻击的脆弱性,从而在部署SRSS时引起了严重的安全问题。但是,他们仅考虑了一些设置(例如,来源和目标扬声器的某些组合),仅在现实世界攻击方案中留下了许多有趣而重要的环境。在这项工作中,我们介绍了AS2T,这是该域中的第一次攻击,该域涵盖了所有设置,因此,对手可以使用任意源和目标扬声器来制作对抗性声音,并执行三个主要识别任务中的任何一种。由于现有的损失功能都不能应用于所有设置,因此我们探索了每种设置的许多候选损失功能,包括现有和新设计的损失功能。我们彻底评估了它们的功效,并发现某些现有的损失功能是次优的。然后,为了提高AS2T对实用的无线攻击的鲁棒性,我们研究了可能发生的扭曲发生在空中传输中,利用具有不同参数的不同转换功能来对这些扭曲进行建模,并将其整合到生成中对手的声音。我们的模拟无线评估验证了解决方案在产生强大的对抗声音方面的有效性,这些声音在各种硬件设备和各种声音环境下保持有效,具有不同的混响,环境噪声和噪声水平。最后,我们利用AS2T来执行迄今为止最大的评估,以了解14个不同SRSS之间的可转移性。可传递性分析提供了许多有趣且有用的见解,这些见解挑战了图像域中先前作品中得出的几个发现和结论。我们的研究还阐明了说话者识别域中对抗攻击的未来方向。
translated by 谷歌翻译
We construct targeted audio adversarial examples on automatic speech recognition. Given any audio waveform, we can produce another that is over 99.9% similar, but transcribes as any phrase we choose (recognizing up to 50 characters per second of audio). We apply our white-box iterative optimization-based attack to Mozilla's implementation DeepSpeech end-to-end, and show it has a 100% success rate. The feasibility of this attack introduce a new domain to study adversarial examples.
translated by 谷歌翻译
With rapid progress and significant successes in a wide spectrum of applications, deep learning is being applied in many safety-critical environments. However, deep neural networks have been recently found vulnerable to well-designed input samples, called adversarial examples. Adversarial perturbations are imperceptible to human but can easily fool deep neural networks in the testing/deploying stage. The vulnerability to adversarial examples becomes one of the major risks for applying deep neural networks in safety-critical environments. Therefore, attacks and defenses on adversarial examples draw great attention. In this paper, we review recent findings on adversarial examples for deep neural networks, summarize the methods for generating adversarial examples, and propose a taxonomy of these methods. Under the taxonomy, applications for adversarial examples are investigated. We further elaborate on countermeasures for adversarial examples. In addition, three major challenges in adversarial examples and the potential solutions are discussed.
translated by 谷歌翻译
The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.
translated by 谷歌翻译
Speech-centric machine learning systems have revolutionized many leading domains ranging from transportation and healthcare to education and defense, profoundly changing how people live, work, and interact with each other. However, recent studies have demonstrated that many speech-centric ML systems may need to be considered more trustworthy for broader deployment. Specifically, concerns over privacy breaches, discriminating performance, and vulnerability to adversarial attacks have all been discovered in ML research fields. In order to address the above challenges and risks, a significant number of efforts have been made to ensure these ML systems are trustworthy, especially private, safe, and fair. In this paper, we conduct the first comprehensive survey on speech-centric trustworthy ML topics related to privacy, safety, and fairness. In addition to serving as a summary report for the research community, we point out several promising future research directions to inspire the researchers who wish to explore further in this area.
translated by 谷歌翻译
对抗性实例的有趣现象引起了机器学习中的显着关注,对社区可能更令人惊讶的是存在普遍对抗扰动(UAPS),即欺骗目标DNN的单一扰动。随着对深层分类器的关注,本调查总结了最近普遍对抗攻击的进展,讨论了攻击和防御方的挑战,以及uap存在的原因。我们的目标是将此工作扩展为动态调查,该调查将定期更新其内容,以遵循关于在广泛的域中的UAP或通用攻击的新作品,例如图像,音频,视频,文本等。将讨论相关更新:https://bit.ly/2sbqlgg。我们欢迎未来的作者在该领域的作品,联系我们,包括您的新发现。
translated by 谷歌翻译
虽然已显示自动语音识别易受对抗性攻击的影响,但对这些攻击的防御仍然滞后。现有的,天真的防御可以用自适应攻击部分地破坏。在分类任务中,随机平滑范式已被证明是有效的卫生模型。然而,由于它们的复杂性和其输出的顺序性,难以将此范例应用于ASR任务。我们的论文通过利用更具增强和流动站投票的语音专用工具来设计一个对扰动强大的ASR模型来克服了一些这些挑战。我们应用了最先进的攻击的自适应版本,例如难以察觉的ASR攻击,我们的模型,并表明我们最强大的防守对所有使用听不清噪声的攻击是强大的,并且只能以非常高的扭曲破碎。
translated by 谷歌翻译
我们建议使用听觉皮层的计算模型作为防范对抗对音频的对抗攻击。我们将基于白盒迭代优化的对抗攻击应用于Amazon Alexa的HW网络的实施,以及具有集成皮质表示的网络的修改版本,并显示皮质功能有助于防御普遍的对抗示例。在相同的扭曲水平时,为皮质网络发现的对手噪声总是对通用音频攻击的效果效果效果。我们在HTTPS://github.com/ilyakava/py3fst上公开提供我们的代码。
translated by 谷歌翻译
Deep neural networks (DNNs) are one of the most prominent technologies of our time, as they achieve state-of-the-art performance in many machine learning tasks, including but not limited to image classification, text mining, and speech processing. However, recent research on DNNs has indicated ever-increasing concern on the robustness to adversarial examples, especially for security-critical tasks such as traffic sign identification for autonomous driving. Studies have unveiled the vulnerability of a well-trained DNN by demonstrating the ability of generating barely noticeable (to both human and machines) adversarial images that lead to misclassification. Furthermore, researchers have shown that these adversarial images are highly transferable by simply training and attacking a substitute model built upon the target model, known as a black-box attack to DNNs.Similar to the setting of training substitute models, in this paper we propose an effective black-box attack that also only has access to the input (images) and the output (confidence scores) of a targeted DNN. However, different from leveraging attack transferability from substitute models, we propose zeroth order optimization (ZOO) based attacks to directly estimate the gradients of the targeted DNN for generating adversarial examples. We use zeroth order stochastic coordinate descent along with dimension reduction, hierarchical attack and importance sampling techniques to * Pin-Yu Chen and Huan Zhang contribute equally to this work.
translated by 谷歌翻译
尽管机器学习系统的效率和可扩展性,但最近的研究表明,许多分类方法,尤其是深神经网络(DNN),易受对抗的例子;即,仔细制作欺骗训练有素的分类模型的例子,同时无法区分从自然数据到人类。这使得在安全关键区域中应用DNN或相关方法可能不安全。由于这个问题是由Biggio等人确定的。 (2013)和Szegedy等人。(2014年),在这一领域已经完成了很多工作,包括开发攻击方法,以产生对抗的例子和防御技术的构建防范这些例子。本文旨在向统计界介绍这一主题及其最新发展,主要关注对抗性示例的产生和保护。在数值实验中使用的计算代码(在Python和R)公开可用于读者探讨调查的方法。本文希望提交人们将鼓励更多统计学人员在这种重要的令人兴奋的领域的产生和捍卫对抗的例子。
translated by 谷歌翻译