虽然已显示自动语音识别易受对抗性攻击的影响，但对这些攻击的防御仍然滞后。现有的，天真的防御可以用自适应攻击部分地破坏。在分类任务中，随机平滑范式已被证明是有效的卫生模型。然而，由于它们的复杂性和其输出的顺序性，难以将此范例应用于ASR任务。我们的论文通过利用更具增强和流动站投票的语音专用工具来设计一个对扰动强大的ASR模型来克服了一些这些挑战。我们应用了最先进的攻击的自适应版本，例如难以察觉的ASR攻击，我们的模型，并表明我们最强大的防守对所有使用听不清噪声的攻击是强大的，并且只能以非常高的扭曲破碎。

自动语音识别系统为应用程序创建了激动人心的可能性，但是它们还为系统窃听的机会提供了机会。我们提出了一种方法来伪装一个人的声音，这些系统来自这些系统，而不会对房间里的人之间的谈话不方便。标准对策攻击在实时流动情况下无效，因为信号的特性将在执行攻击时发生变化。我们介绍了预测攻击，通过预测将来最有效的攻击预测攻击来实现实时性能。在实时约束下，我们的方法在通过字错误率通过字错误率测量的基本电咨询器中，我们的方法堵塞了37x的基线，而通过字符错误率测量。我们还展示了我们的方法在物理环境中实际上是在物理距离的现实环境中。

对对抗性攻击的鲁棒性通常以对抗精度评估。但是，该指标太粗糙，无法正确捕获机器学习模型的所有鲁棒性。当对强烈的攻击进行评估时，许多防御能力并不能提供准确的改进，同时仍会部分贡献对抗性鲁棒性。流行的认证方法遇到了同一问题，因为它们提供了准确性的下限。为了捕获更精细的鲁棒性属性，我们提出了一个针对L2鲁棒性，对抗角稀疏性的新指标，该指标部分回答了“输入周围有多少个对抗性示例”的问题。我们通过评估“强”和“弱”的防御能力来证明其有用性。我们表明，一些最先进的防御能力具有非常相似的精度，在它们不强大的输入上可能具有截然不同的稀疏性。我们还表明，一些弱防御能力实际上会降低鲁棒性，而另一些防御能力则以无法捕获的准确性来加强它。这些差异可以预测这种防御与对抗性训练相结合时的实用性。

Adaptive attacks have (rightfully) become the de facto standard for evaluating defenses to adversarial examples. We find, however, that typical adaptive evaluations are incomplete. We demonstrate that thirteen defenses recently published at ICLR, ICML and NeurIPS-and which illustrate a diverse set of defense strategies-can be circumvented despite attempting to perform evaluations using adaptive attacks. While prior evaluation papers focused mainly on the end result-showing that a defense was ineffective-this paper focuses on laying out the methodology and the approach necessary to perform an adaptive attack. Some of our attack strategies are generalizable, but no single strategy would have been sufficient for all defenses. This underlines our key message that adaptive attacks cannot be automated and always require careful and appropriate tuning to a given defense. We hope that these analyses will serve as guidance on how to properly perform adaptive attacks against defenses to adversarial examples, and thus will allow the community to make further progress in building more robust models.

发言人识别系统（SRSS）最近被证明容易受到对抗攻击的影响，从而引发了重大的安全问题。在这项工作中，我们系统地研究了基于确保SRSS的基于对抗性训练的防御。根据SRSS的特征，我们提出了22种不同的转换，并使用扬声器识别的7种最新有前途的对抗攻击（4个白盒和3个Black-Box）对其进行了彻底评估。仔细考虑了国防评估中的最佳实践，我们分析了转换的强度以承受适应性攻击。我们还评估并理解它们与对抗训练相结合的自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多与图像和语音识别域中的结论是新的或不一致的，例如，可变和恒定的比特率语音压缩具有不同的性能，并且某些不可差的转换仍然有效地抗衡。当前有希望的逃避技术通常在图像域中很好地工作。我们证明，与完整的白色盒子设置中的唯一对抗性训练相比，提出的新型功能级转换与对抗训练相比是相当有效的，例如，将准确性提高了13.62％，而攻击成本则达到了两个数量级，而其他攻击成本则增加了。转型不一定会提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SpeakerGuard，以促进进一步的研究。

We identify obfuscated gradients, a kind of gradient masking, as a phenomenon that leads to a false sense of security in defenses against adversarial examples. While defenses that cause obfuscated gradients appear to defeat iterative optimizationbased attacks, we find defenses relying on this effect can be circumvented. We describe characteristic behaviors of defenses exhibiting the effect, and for each of the three types of obfuscated gradients we discover, we develop attack techniques to overcome it. In a case study, examining noncertified white-box-secure defenses at ICLR 2018, we find obfuscated gradients are a common occurrence, with 7 of 9 defenses relying on obfuscated gradients. Our new attacks successfully circumvent 6 completely, and 1 partially, in the original threat model each paper considers.

This paper investigates recently proposed approaches for defending against adversarial examples and evaluating adversarial robustness. We motivate adversarial risk as an objective for achieving models robust to worst-case inputs. We then frame commonly used attacks and evaluation metrics as defining a tractable surrogate objective to the true adversarial risk. This suggests that models may optimize this surrogate rather than the true adversarial risk. We formalize this notion as obscurity to an adversary, and develop tools and heuristics for identifying obscured models and designing transparent models. We demonstrate that this is a significant problem in practice by repurposing gradient-free optimization techniques into adversarial attacks, which we use to decrease the accuracy of several recently proposed defenses to near zero. Our hope is that our formulations and results will help researchers to develop more powerful defenses.

The field of defense strategies against adversarial attacks has significantly grown over the last years, but progress is hampered as the evaluation of adversarial defenses is often insufficient and thus gives a wrong impression of robustness. Many promising defenses could be broken later on, making it difficult to identify the state-of-the-art. Frequent pitfalls in the evaluation are improper tuning of hyperparameters of the attacks, gradient obfuscation or masking. In this paper we first propose two extensions of the PGD-attack overcoming failures due to suboptimal step size and problems of the objective function. We then combine our novel attacks with two complementary existing ones to form a parameter-free, computationally affordable and user-independent ensemble of attacks to test adversarial robustness. We apply our ensemble to over 50 models from papers published at recent top machine learning and computer vision venues. In all except one of the cases we achieve lower robust test accuracy than reported in these papers, often by more than 10%, identifying several broken defenses.

在测试时间进行优化的自适应防御能力有望改善对抗性鲁棒性。我们对这种自适应测试时间防御措施进行分类，解释其潜在的好处和缺点，并评估图像分类的最新自适应防御能力的代表性。不幸的是，经过我们仔细的案例研究评估时，没有任何显着改善静态防御。有些甚至削弱了基本静态模型，同时增加了推理计算。尽管这些结果令人失望，但我们仍然认为自适应测试时间防御措施是一项有希望的研究途径，因此，我们为他们的彻底评估提供了建议。我们扩展了Carlini等人的清单。（2019年）通过提供针对自适应防御的具体步骤。

Speech-centric machine learning systems have revolutionized many leading domains ranging from transportation and healthcare to education and defense, profoundly changing how people live, work, and interact with each other. However, recent studies have demonstrated that many speech-centric ML systems may need to be considered more trustworthy for broader deployment. Specifically, concerns over privacy breaches, discriminating performance, and vulnerability to adversarial attacks have all been discovered in ML research fields. In order to address the above challenges and risks, a significant number of efforts have been made to ensure these ML systems are trustworthy, especially private, safe, and fair. In this paper, we conduct the first comprehensive survey on speech-centric trustworthy ML topics related to privacy, safety, and fairness. In addition to serving as a summary report for the research community, we point out several promising future research directions to inspire the researchers who wish to explore further in this area.

随着硬件和算法的开发，ASR（自动语音识别）系统发展了很多。随着模型变得越来越简单，开发和部署的困难变得更加容易，ASR系统正越来越接近我们的生活。一方面，我们经常使用ASR的应用程序或API来生成字幕和记录会议。另一方面，智能扬声器和自动驾驶汽车依靠ASR系统来控制Aiot设备。在过去的几年中，对ASR系统的攻击攻击有很多作品。通过在波形中添加小的扰动，识别结果有很大的不同。在本文中，我们描述了ASR系统的发展，攻击的不同假设以及如何评估这些攻击。接下来，我们在两个攻击假设中介绍了有关对抗性示例攻击的当前作品：白框攻击和黑框攻击。与其他调查不同，我们更多地关注它们在ASR系统中扰动波形，这些攻击之间的关系及其实现方法之间的层。我们专注于他们作品的效果。

在过去的几年里，已经表明，深度学习系统在对抗性示例的攻击中非常脆弱。基于神经网络的自动语音识别（ASR）系统也不例外。有针对性的和未确定的攻击可以以这样的方式修改音频输入信号，使得人类仍然识别相同的单词，而ASR系统被转向以预测不同的转录。在本文中，我们提出了一种防御机制，该防御机制通过在向ASR系统馈送输入之前，通过应用慢速特征分析，低通滤波器或两者来删除来自音频信号的快速变化功能。我们对在这种方式预处理的数据训练的混合ASR模型进行了实证分析。虽然所产生的模型在良性数据上表现得非常好，但它们对针对性的对抗攻击进行了更高的稳健性：我们的最终建议的模型显示了与基线模型类似的清洁数据的性能，同时具有比较强大的四倍。

最近的研究突出了对基于神经网络（DNN）的语音识别系统的无处不在的威胁。在这项工作中，我们介绍了基于U-Net的注意力模型，U-Net $ _ {at} $，以增强对抗性语音信号。具体而言，我们通过可解释的语音识别指标评估模型性能，并通过增强的对抗性培训讨论模型性能。我们的实验表明，我们提出的U-Net $ _ {AT} $将言语质量（PESQ）的感知评估从0.65到0.75，短期客观可懂度（STOI）从0.65左右提高了言语质量（PESQ），语音传输指数（STI）对对抗性言语例子的语音增强任务0.83至0.96。我们对具有对冲音频攻击的自动语音识别（ASR）任务进行实验。我们发现（i）注意网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性; （ii）通过使用添加剂对抗性数据增强施用对抗性训练，可以提高基于DNN基于ASR模型的泛化力。 Word-Error-Rates（WERS）的ASR度量标准表明，基于梯度的扰动下存在绝对的2.22 $ \％$减少，并且在进化优化的扰动下，绝对2.03 $ \％$减少，这表明我们的具有对抗性培训的增强模型可以进一步保护弹性ASR系统。

对抗商业黑匣子语音平台的对抗攻击，包括云语音API和语音控制设备，直到近年来接受了很少的关注。目前的“黑匣子”攻击所有严重依赖于预测/置信度评分的知识，以加工有效的对抗示例，这可以通过服务提供商直观地捍卫，而不返回这些消息。在本文中，我们提出了在更实用和严格的情况下提出了两种新的对抗攻击。对于商业云演讲API，我们提出了一个决定的黑匣子逆势攻击，这些攻击是唯一的最终决定。在偶变中，我们将决策的AE发电作为一个不连续的大规模全局优化问题，并通过自适应地将该复杂问题自适应地分解成一组子问题并协同优化每个问题来解决它。我们的春天是一种齐全的所有方法，它在一个广泛的流行语音和扬声器识别API，包括谷歌，阿里巴巴，微软，腾讯，达到100％的攻击攻击速度100％的攻击率。 iflytek，和景东，表现出最先进的黑箱攻击。对于商业语音控制设备，我们提出了Ni-Occam，第一个非交互式物理对手攻击，而对手不需要查询Oracle并且无法访问其内部信息和培训数据。我们将对抗性攻击与模型反演攻击相结合，从而产生具有高可转换性的物理有效的音频AE，而无需与目标设备的任何交互。我们的实验结果表明，NI-Occam可以成功欺骗苹果Siri，Microsoft Cortana，Google Assistant，Iflytek和Amazon Echo，平均SRO为52％和SNR为9.65dB，对抗语音控制设备的非交互式物理攻击。

防御对抗例子仍然是一个空旷的问题。一个普遍的信念是，推理的随机性增加了寻找对抗性输入的成本。这种辩护的一个例子是将随机转换应用于输入之前，然后将其馈送到模型。在本文中，我们从经验和理论上研究了这种随机预处理的防御措施，并证明它们存在缺陷。首先，我们表明大多数随机防御措施比以前想象的要弱。他们缺乏足够的随机性来承受诸如投影梯度下降之类的标准攻击。这对长期以来的假设产生了怀疑，即随机防御能力无效，旨在逃避确定性的防御和迫使攻击者以整合对转型（EOT）概念的期望。其次，我们表明随机防御与对抗性鲁棒性和模型不变性之间的权衡面临。随着辩护模型获得更多的随机化不变性，它们变得不太有效。未来的工作将需要使这两种效果分解。我们的代码在补充材料中可用。

在本讨论文件中，我们调查了有关机器学习模型鲁棒性的最新研究。随着学习算法在数据驱动的控制系统中越来越流行，必须确保它们对数据不确定性的稳健性，以维持可靠的安全至关重要的操作。我们首先回顾了这种鲁棒性的共同形式主义，然后继续讨论训练健壮的机器学习模型的流行和最新技术，以及可证明这种鲁棒性的方法。从强大的机器学习的这种统一中，我们识别并讨论了该地区未来研究的迫切方向。

虽然深度神经网络在各种任务中表现出前所未有的性能，但对对抗性示例的脆弱性阻碍了他们在安全关键系统中的部署。许多研究表明，即使在黑盒设置中也可能攻击，其中攻击者无法访问目标模型的内部信息。大多数黑匣子攻击基于查询，每个都可以获得目标模型的输入输出，并且许多研究侧重于减少所需查询的数量。在本文中，我们注意了目标模型的输出完全对应于查询输入的隐含假设。如果将某些随机性引入模型中，它可以打破假设，因此，基于查询的攻击可能在梯度估计和本地搜索中具有巨大的困难，这是其攻击过程的核心。从这种动机来看，我们甚至观察到一个小的添加剂输入噪声可以中和大多数基于查询的攻击和名称这个简单但有效的方法小噪声防御（SND）。我们分析了SND如何防御基于查询的黑匣子攻击，并展示其与CIFAR-10和ImageNet数据集的八种最先进的攻击有效性。即使具有强大的防御能力，SND几乎保持了原始的分类准确性和计算速度。通过在推断下仅添加一行代码，SND很容易适用于预先训练的模型。

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

最近的研究表明，深神经网络（DNN）易受对抗性攻击的影响，包括逃避和后门（中毒）攻击。在防守方面，有密集的努力，改善了对逃避袭击的经验和可怜的稳健性;然而，对后门攻击的可稳健性仍然很大程度上是未开发的。在本文中，我们专注于认证机器学习模型稳健性，反对一般威胁模型，尤其是后门攻击。我们首先通过随机平滑技术提供统一的框架，并展示如何实例化以证明对逃避和后门攻击的鲁棒性。然后，我们提出了第一个强大的培训过程Rab，以平滑训练有素的模型，并证明其稳健性对抗后门攻击。我们派生机学习模型的稳健性突出了培训的机器学习模型，并证明我们的鲁棒性受到紧张。此外，我们表明，可以有效地训练强大的平滑模型，以适用于诸如k最近邻分类器的简单模型，并提出了一种精确的平滑训练算法，该算法消除了从这种模型的噪声分布采样采样的需要。经验上，我们对MNIST，CIFAR-10和Imagenet数据集等DNN，差异私有DNN和K-NN模型等不同机器学习（ML）型号进行了全面的实验，并为反卧系攻击提供认证稳健性的第一个基准。此外，我们在SPAMBase表格数据集上评估K-NN模型，以展示所提出的精确算法的优点。对多元化模型和数据集的综合评价既有关于普通训练时间攻击的进一步强劲学习策略的多样化模型和数据集的综合评价。

深神经网络（DNN）对不可感知的恶意扰动高度敏感，称为对抗性攻击。在实际成像和视觉应用中发现了这种脆弱性之后，相关的安全问题引起了广泛的研究关注，并且已经开发出许多防御技术。这些防御方法中的大多数都依赖于对抗性训练（AT） - 根据特定威胁模型对图像的分类网络进行训练，该模型定义了允许修改的幅度。尽管在带来有希望的结果的情况下，对特定威胁模型的培训未能推广到其他类型的扰动。一种不同的方法利用预处理步骤从受攻击的图像中删除对抗性扰动。在这项工作中，我们遵循后一条路径，并旨在开发一种技术，从而导致在威胁模型各种实现中的强大分类器。为此，我们利用了随机生成建模的最新进展，并将其利用它们用于从条件分布中进行采样。我们的辩护依赖于在受攻击的图像中添加高斯i.i.d噪声，然后进行了预验证的扩散过程 - 一种在脱氧网络上执行随机迭代过程的体系结构，从而产生了高感知质量质量的结果。通过在CIFAR-10数据集上进行的广泛实验，通过此随机预处理步骤获得的鲁棒性得到了验证，这表明我们的方法在各种威胁模型下都优于领先的防御方法。