In this paper, we propose dictionary attacks against speaker verification - a novel attack vector that aims to match a large fraction of speaker population by chance. We introduce a generic formulation of the attack that can be used with various speech representations and threat models. The attacker uses adversarial optimization to maximize raw similarity of speaker embeddings between a seed speech sample and a proxy population. The resulting master voice successfully matches a non-trivial fraction of people in an unknown population. Adversarial waveforms obtained with our approach can match on average 69% of females and 38% of males enrolled in the target system at a strict decision threshold calibrated to yield false alarm rate of 1%. By using the attack with a black-box voice cloning system, we obtain master voices that are effective in the most challenging conditions and transferable between speaker encoders. We also show that, combined with multiple attempts, this attack opens even more to serious issues on the security of these systems.

最近的工作阐明了说话者识别系统（SRSS）针对对抗性攻击的脆弱性，从而在部署SRSS时引起了严重的安全问题。但是，他们仅考虑了一些设置（例如，来源和目标扬声器的某些组合），仅在现实世界攻击方案中留下了许多有趣而重要的环境。在这项工作中，我们介绍了AS2T，这是该域中的第一次攻击，该域涵盖了所有设置，因此，对手可以使用任意源和目标扬声器来制作对抗性声音，并执行三个主要识别任务中的任何一种。由于现有的损失功能都不能应用于所有设置，因此我们探索了每种设置的许多候选损失功能，包括现有和新设计的损失功能。我们彻底评估了它们的功效，并发现某些现有的损失功能是次优的。然后，为了提高AS2T对实用的无线攻击的鲁棒性，我们研究了可能发生的扭曲发生在空中传输中，利用具有不同参数的不同转换功能来对这些扭曲进行建模，并将其整合到生成中对手的声音。我们的模拟无线评估验证了解决方案在产生强大的对抗声音方面的有效性，这些声音在各种硬件设备和各种声音环境下保持有效，具有不同的混响，环境噪声和噪声水平。最后，我们利用AS2T来执行迄今为止最大的评估，以了解14个不同SRSS之间的可转移性。可传递性分析提供了许多有趣且有用的见解，这些见解挑战了图像域中先前作品中得出的几个发现和结论。我们的研究还阐明了说话者识别域中对抗攻击的未来方向。

发言人识别系统（SRSS）最近被证明容易受到对抗攻击的影响，从而引发了重大的安全问题。在这项工作中，我们系统地研究了基于确保SRSS的基于对抗性训练的防御。根据SRSS的特征，我们提出了22种不同的转换，并使用扬声器识别的7种最新有前途的对抗攻击（4个白盒和3个Black-Box）对其进行了彻底评估。仔细考虑了国防评估中的最佳实践，我们分析了转换的强度以承受适应性攻击。我们还评估并理解它们与对抗训练相结合的自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多与图像和语音识别域中的结论是新的或不一致的，例如，可变和恒定的比特率语音压缩具有不同的性能，并且某些不可差的转换仍然有效地抗衡。当前有希望的逃避技术通常在图像域中很好地工作。我们证明，与完整的白色盒子设置中的唯一对抗性训练相比，提出的新型功能级转换与对抗训练相比是相当有效的，例如，将准确性提高了13.62％，而攻击成本则达到了两个数量级，而其他攻击成本则增加了。转型不一定会提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SpeakerGuard，以促进进一步的研究。

对抗商业黑匣子语音平台的对抗攻击，包括云语音API和语音控制设备，直到近年来接受了很少的关注。目前的“黑匣子”攻击所有严重依赖于预测/置信度评分的知识，以加工有效的对抗示例，这可以通过服务提供商直观地捍卫，而不返回这些消息。在本文中，我们提出了在更实用和严格的情况下提出了两种新的对抗攻击。对于商业云演讲API，我们提出了一个决定的黑匣子逆势攻击，这些攻击是唯一的最终决定。在偶变中，我们将决策的AE发电作为一个不连续的大规模全局优化问题，并通过自适应地将该复杂问题自适应地分解成一组子问题并协同优化每个问题来解决它。我们的春天是一种齐全的所有方法，它在一个广泛的流行语音和扬声器识别API，包括谷歌，阿里巴巴，微软，腾讯，达到100％的攻击攻击速度100％的攻击率。 iflytek，和景东，表现出最先进的黑箱攻击。对于商业语音控制设备，我们提出了Ni-Occam，第一个非交互式物理对手攻击，而对手不需要查询Oracle并且无法访问其内部信息和培训数据。我们将对抗性攻击与模型反演攻击相结合，从而产生具有高可转换性的物理有效的音频AE，而无需与目标设备的任何交互。我们的实验结果表明，NI-Occam可以成功欺骗苹果Siri，Microsoft Cortana，Google Assistant，Iflytek和Amazon Echo，平均SRO为52％和SNR为9.65dB，对抗语音控制设备的非交互式物理攻击。

深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提高，该技术证明了在许多任务中与人类听力相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。但是，现有的研究表明，DNN很容易受到轻微干扰的干扰，并且会出现错误的识别，这对于由声音控制的智能语音应用非常危险。

Speech-centric machine learning systems have revolutionized many leading domains ranging from transportation and healthcare to education and defense, profoundly changing how people live, work, and interact with each other. However, recent studies have demonstrated that many speech-centric ML systems may need to be considered more trustworthy for broader deployment. Specifically, concerns over privacy breaches, discriminating performance, and vulnerability to adversarial attacks have all been discovered in ML research fields. In order to address the above challenges and risks, a significant number of efforts have been made to ensure these ML systems are trustworthy, especially private, safe, and fair. In this paper, we conduct the first comprehensive survey on speech-centric trustworthy ML topics related to privacy, safety, and fairness. In addition to serving as a summary report for the research community, we point out several promising future research directions to inspire the researchers who wish to explore further in this area.

Faced with the threat of identity leakage during voice data publishing, users are engaged in a privacy-utility dilemma when enjoying convenient voice services. Existing studies employ direct modification or text-based re-synthesis to de-identify users' voices, but resulting in inconsistent audibility in the presence of human participants. In this paper, we propose a voice de-identification system, which uses adversarial examples to balance the privacy and utility of voice services. Instead of typical additive examples inducing perceivable distortions, we design a novel convolutional adversarial example that modulates perturbations into real-world room impulse responses. Benefit from this, our system could preserve user identity from exposure by Automatic Speaker Identification (ASI) while remaining the voice perceptual quality for non-intrusive de-identification. Moreover, our system learns a compact speaker distribution through a conditional variational auto-encoder to sample diverse target embeddings on demand. Combining diverse target generation and input-specific perturbation construction, our system enables any-to-any identify transformation for adaptive de-identification. Experimental results show that our system could achieve 98% and 79% successful de-identification on mainstream ASIs and commercial systems with an objective Mel cepstral distortion of 4.31dB and a subjective mean opinion score of 4.48.

The objective of this paper is speaker recognition under noisy and unconstrained conditions.We make two key contributions. First, we introduce a very large-scale audio-visual speaker recognition dataset collected from open-source media. Using a fully automated pipeline, we curate VoxCeleb2 which contains over a million utterances from over 6,000 speakers. This is several times larger than any publicly available speaker recognition dataset.Second, we develop and compare Convolutional Neural Network (CNN) models and training strategies that can effectively recognise identities from voice under various conditions. The models trained on the VoxCeleb2 dataset surpass the performance of previous works on a benchmark dataset by a significant margin.

以前的作品表明，自动扬声器验证（ASV）严重易受恶意欺骗攻击，例如重播，合成语音和最近出现的对抗性攻击。巨大的努力致力于捍卫ANV反击重播和合成语音;但是，只有几种方法探讨了对抗对抗攻击。所有现有的解决ASV对抗性攻击方法都需要对对抗性样本产生的知识，但是防守者知道野外攻击者应用的确切攻击算法是不切实际的。这项工作是第一个在不知道特定攻击算法的情况下对ASV进行对抗性防御。灵感来自自我监督的学习模型（SSLMS），其具有减轻输入中的浅表噪声并重建中断的浅层样本的优点，这项工作至于对噪声的对抗扰动以及SSLMS对ASV的对抗性防御。具体而言，我们建议从两种角度进行对抗性防御：1）对抗扰动纯化和2）对抗扰动检测。实验结果表明，我们的检测模块通过检测对抗性样本的精度约为80％，有效地屏蔽了ASV。此外，由于对ASV的对抗防御性能没有共同的指标，因此考虑到纯化和基于净化的方法，这项工作也将评估指标正式地进行对抗防御。我们真诚地鼓励未来的作品基于拟议的评估框架基于拟议的评估框架来基准。

Adaptive attacks have (rightfully) become the de facto standard for evaluating defenses to adversarial examples. We find, however, that typical adaptive evaluations are incomplete. We demonstrate that thirteen defenses recently published at ICLR, ICML and NeurIPS-and which illustrate a diverse set of defense strategies-can be circumvented despite attempting to perform evaluations using adaptive attacks. While prior evaluation papers focused mainly on the end result-showing that a defense was ineffective-this paper focuses on laying out the methodology and the approach necessary to perform an adaptive attack. Some of our attack strategies are generalizable, but no single strategy would have been sufficient for all defenses. This underlines our key message that adaptive attacks cannot be automated and always require careful and appropriate tuning to a given defense. We hope that these analyses will serve as guidance on how to properly perform adaptive attacks against defenses to adversarial examples, and thus will allow the community to make further progress in building more robust models.

由于使用语音处理系统（VPS）在日常生活中继续变得更加普遍，通过增加商业语音识别设备等应用以及主要文本到语音软件，因此对这些系统的攻击越来越复杂，各种各样的，不断发展。随着VPS的用例快速发展到新的空间和目的，对隐私的潜在后果越来越危险。此外，不断增长的数量和越来越多的空中攻击的实用性使系统失败更可能。在本文中，我们将识别和分类对语音处理系统的独特攻击的安排。多年来，研究已经从专业，未标准的攻击中迁移，导致系统的故障以及拒绝服务更加普遍的目标攻击，这些攻击可以强迫对手控制的结果。目前和最常用的机器学习系统和深神经网络在现代语音处理系统的核心内部建立，重点是性能和可扩展性而不是安全性。因此，我们对我们来重新评估发展语音处理景观并确定当前攻击和防御的状态，以便我们可能会建议未来的发展和理论改进。

自动说话者识别使用数据处理来通过声音来识别说话者。如今，自动化发言人的认可已在数十亿个智能设备和呼叫中心等服务中部署。尽管在面部识别和自然语言处理等相关领域中它们的范围广泛的部署和已知偏见来源，但自动说话者识别的偏见尚未被系统地研究。我们介绍了机器学习开发工作流程中的偏见的深入经验和分析研究，这是自动说话者识别的语音生物特征和核心任务。利用一个既定的框架来理解机器学习中的伤害来源，我们表明在著名的Voxceleb说话者识别挑战中的每个开发阶段都存在偏见，包括数据生成，模型构建和实施。受影响的大多数是女性演讲者和非美国国籍，他们经历了重大的绩效退化。利用我们的发现中的见解，我们提出了减轻自动说话者识别偏见的实用建议，并概述了未来的研究指示。

本文介绍了第一个致力于2020挑战的结果和分析，重点是开发语音技术的匿名解决方案。我们提供了对提交的系统和评估结果的分析，提供了挑战设计的系统概述。特别是，我们描述了用于系统开发和评估的语音匿名任务和数据集。此外，我们呈现不同的攻击模型和相关目标和主观评估指标。我们介绍了两个匿名化的基线，并提供了由挑战参与者开发的匿名化系统的摘要描述。我们向基线和提交的系统报告客观和主观评估结果。此外，我们提出了作为评估后分析的一部分开发的替代隐私度量和攻击模型的实验结果。最后，我们总结了我们的见解和观察，这将影响下一个语音普遍挑战版的设计和未来语音匿名化研究的某些方向。

深度神经网络的面部识别模型已显示出容易受到对抗例子的影响。但是，过去的许多攻击都要求对手使用梯度下降来解决输入依赖性优化问题，这使该攻击实时不切实际。这些对抗性示例也与攻击模型紧密耦合，并且在转移到不同模型方面并不那么成功。在这项工作中，我们提出了Reface，这是对基于对抗性转换网络（ATN）的面部识别模型的实时，高度转移的攻击。 ATNS模型对抗性示例生成是馈送前向神经网络。我们发现，纯U-NET ATN的白盒攻击成功率大大低于基于梯度的攻击，例如大型面部识别数据集中的PGD。因此，我们为ATN提出了一个新的架构，该架构缩小了这一差距，同时维持PGD的10000倍加速。此外，我们发现在给定的扰动幅度下，与PGD相比，我们的ATN对抗扰动在转移到新的面部识别模型方面更有效。 Reface攻击可以在转移攻击环境中成功欺骗商业面部识别服务，并将面部识别精度从AWS SearchFaces API和Azure Face验证准确性从91％降低到50.1％，从而将面部识别精度从82％降低到16.4％。

深度神经网络容易受到来自对抗性投入的攻击，并且最近，特洛伊木马误解或劫持模型的决定。我们通过探索有界抗逆性示例空间和生成的对抗网络内的自然输入空间来揭示有界面的对抗性实例 - 通用自然主义侵害贴片的兴趣类 - 我们呼叫TNT。现在，一个对手可以用一个自然主义的补丁来手臂自己，不太恶意，身体上可实现，高效 - 实现高攻击成功率和普遍性。 TNT是普遍的，因为在场景中的TNT中捕获的任何输入图像都将：i）误导网络（未确定的攻击）;或ii）迫使网络进行恶意决定（有针对性的攻击）。现在，有趣的是，一个对抗性补丁攻击者有可能发挥更大的控制水平 - 选择一个独立，自然的贴片的能力，与被限制为嘈杂的扰动的触发器 - 到目前为止只有可能与特洛伊木马攻击方法有可能干扰模型建设过程，以嵌入风险发现的后门;但是，仍然意识到在物理世界中部署的补丁。通过对大型视觉分类任务的广泛实验，想象成在其整个验证集50,000张图像中进行评估，我们展示了TNT的现实威胁和攻击的稳健性。我们展示了攻击的概括，以创建比现有最先进的方法实现更高攻击成功率的补丁。我们的结果表明，攻击对不同的视觉分类任务（CIFAR-10，GTSRB，PUBFIG）和多个最先进的深神经网络，如WieredEnet50，Inception-V3和VGG-16。

已知深度学习系统容易受到对抗例子的影响。特别是，基于查询的黑框攻击不需要深入学习模型的知识，而可以通过提交查询和检查收益来计算网络上的对抗示例。最近的工作在很大程度上提高了这些攻击的效率，证明了它们在当今的ML-AS-A-Service平台上的实用性。我们提出了Blacklight，这是针对基于查询的黑盒对抗攻击的新防御。推动我们设计的基本见解是，为了计算对抗性示例，这些攻击在网络上进行了迭代优化，从而在输入空间中产生了非常相似的图像查询。 Blacklight使用在概率内容指纹上运行的有效相似性引擎来检测高度相似的查询来检测基于查询的黑盒攻击。我们根据各种模型和图像分类任务对八次最先进的攻击进行评估。 Blacklight通常只有几次查询后，都可以识别所有这些。通过拒绝所有检测到的查询，即使攻击者在帐户禁令或查询拒绝之后持续提交查询，Blacklight也可以防止任何攻击完成。 Blacklight在几个强大的对策中也很强大，包括最佳的黑盒攻击，该攻击近似于效率的白色框攻击。最后，我们说明了黑光如何推广到其他域，例如文本分类。

随着硬件和算法的开发，ASR（自动语音识别）系统发展了很多。随着模型变得越来越简单，开发和部署的困难变得更加容易，ASR系统正越来越接近我们的生活。一方面，我们经常使用ASR的应用程序或API来生成字幕和记录会议。另一方面，智能扬声器和自动驾驶汽车依靠ASR系统来控制Aiot设备。在过去的几年中，对ASR系统的攻击攻击有很多作品。通过在波形中添加小的扰动，识别结果有很大的不同。在本文中，我们描述了ASR系统的发展，攻击的不同假设以及如何评估这些攻击。接下来，我们在两个攻击假设中介绍了有关对抗性示例攻击的当前作品：白框攻击和黑框攻击。与其他调查不同，我们更多地关注它们在ASR系统中扰动波形，这些攻击之间的关系及其实现方法之间的层。我们专注于他们作品的效果。

Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.

随着深度学习的进步，演讲者的验证取得了很高的准确性，并且在我们日常生活中的许多场景中，尤其是Web服务市场不断增长的一种生物识别验证选项，成为一种生物识别验证选项。与传统密码相比，“人声密码”更加方便，因为它们可以减轻人们记住不同密码的记忆。但是，新的机器学习攻击使这些语音身份验证系统处于危险之中。没有强大的安全保证，攻击者可以通过欺骗基于深神经网络（DNN）的语音识别模型来访问合法用户的Web帐户。在本文中，我们证明了对语音身份验证系统的易于实现的数据中毒攻击，这几乎无法通过现有的防御机制来捕获。因此，我们提出了一种更强大的防御方法，称为“卫报”，该方法是基于卷积神经网络的歧视者。监护人歧视者整合了一系列新型技术，包括减少偏见，输入增强和集成学习。我们的方法能够将约95％的攻击帐户与普通帐户区分开，这比仅准确性60％的现有方法更有效。

Audio DeepFakes are artificially generated utterances created using deep learning methods with the main aim to fool the listeners, most of such audio is highly convincing. Their quality is sufficient to pose a serious threat in terms of security and privacy, such as the reliability of news or defamation. To prevent the threats, multiple neural networks-based methods to detect generated speech have been proposed. In this work, we cover the topic of adversarial attacks, which decrease the performance of detectors by adding superficial (difficult to spot by a human) changes to input data. Our contribution contains evaluating the robustness of 3 detection architectures against adversarial attacks in two scenarios (white-box and using transferability mechanism) and enhancing it later by the use of adversarial training performed by our novel adaptive training method.