语音模型的适应对于处理服务器端代理培训数据和用户本地设备上接收到的实际数据之间的差异至关重要。通过使用联合学习（FL），我们引入了一种有效的方法，以在私人设备上连续调整神经网络语言模型（NNLMS），并具有自动语音识别（ASR）的应用。为了解决在设备培训语料库中的潜在语音转录错误，我们对比较利用令牌置信度得分的各种策略进行了实证研究，以提高FL环境中的NNLM质量。实验表明，与NO模型适应相比，所提出的方法分别在两个语音评估数据集上分别降低了相对2.6％和10.8％的单词错误率（WER）。我们还提供分析，以评估我们提出的程序的隐私保证。
translated by 谷歌翻译
联合学习（FL）是一种使用跨设备分布的数据训练模型的技术。差异隐私（DP）为敏感数据提供了正式的隐私保证。我们的目标是在使用FL和DP保护隐私的同时，在计算受限设备上训练大型神经网络语言模型（NNLM）。但是，随着模型大小的增长，引入模型的DP噪声增加，这通常会阻止收敛。我们提出了部分嵌入更新（PEU），这是一种新颖的技术，可以通过降低有效载荷大小来降低噪声。此外，我们采用低级适应（LORA）和噪声对比估计（NCE）来减少计算受限设备上大型模型的记忆需求。这种技术的组合使得可以在保留准确性和隐私的同时训练大型唱机语言模型。
translated by 谷歌翻译
在这项工作中，我们开发了新的自学习技术，具有基于注意的序列 - 序列（SEQ2Seq）模型，用于自动语音识别（ASR）。对于未筛选的语音数据，ASR系统的假设必须用作标签。然而，不完美的ASR结果使得无监督的学习难以始终如一地提高识别性能，特别是在多个强大的教师模型不可用的情况下。与传统的无监督学习方法相比，我们采用\ emph {多任务学习}（MTL）框架，其中$ N $最佳ASR假设用作每个任务的标签。通过MTL框架更新SEQ2Seq网络，以查找可以涵盖多个假设的公共表示。通过这样做，可以缓解\ emph {硬决策}错误的效果。我们首先通过在美国和英国英语演讲之间通过ASR实验证明我们的自学方法的有效性。我们的实验结果表明，与仅与美国英语数据培训的基线模型相比，我们的方法可以将英国语音数据上的WER减少14.55 \％至10.36 \％。此外，我们研究了我们提出的方法在联邦学习情景中的效果。
translated by 谷歌翻译
2022-06-06
联合学习（FL）启用了分布式系统中用户设备（客户端）上的最新自动语音识别（ASR）模型，从而阻止将原始用户数据传输到中央服务器。 ASR实用采用实践采用面临的主要挑战是在客户身上获得地面真相标签。现有的方法依靠客户手动抄录演讲，这对于获得大型培训语料库是不切实际的。一个有希望的替代方法是使用半/自制的学习方法来利用未标记的用户数据。为此，我们提出了Fednst，这是一种使用私人和未标记的用户数据训练分布式ASR模型的新颖方法。我们探索Fednst的各个方面，例如具有不同比例的标记和未标记数据的培训模型，并评估1173个模拟客户端的建议方法。在LibrisPeech上评估Fednst，其中960个小时的语音数据被平均分为服务器（标签）和客户端（未标记）数据，显示了仅对服务器数据训练的监督基线，相对单词错误率降低}（WERR）22.5％。
translated by 谷歌翻译
增量学习是一种范式，可以通过流数据大规模构建模型构建和更新。对于端到端的自动语音识别（ASR）任务，缺乏人类注释的标签，以及需要保留模型建设政策的隐私政策，这使其成为艰巨的挑战。受这些挑战的激励，在本文中，我们使用基于云的框架为生产系统展示了从隐私保存自动语音识别（ILASR）的增量学习中的见解。我们的意思是，通过保留隐私性，对没有人类注释的短暂数据使用。该系统是用于增量/持续学习的生产LevelAsASR模型的一步，该模型提供了接近实时测试床，以在云中进行端到端ASR实验，同时遵守保留隐私的政策。我们表明，即使在没有人类注释的标签的情况下，拟议的系统也可以在六个月的新时间内显着改善生产模型（3％），而在增量学习中，较弱的监督和大批量大小。在新时期，这种改进比测试集的新单词和短语相比为20％。我们在ASR的同时进一步探讨了拥有有效的教师模型和使用大批量大小的实用性的同时，以保护隐私的增量方式展示了模型构建的有效性。
translated by 谷歌翻译
语音情感识别（SER）处理语音信号以检测和表征表达的感知情绪。许多SER应用系统经常获取和传输在客户端收集的语音数据，以远程云平台进行推理和决策。然而，语音数据不仅涉及在声乐表达中传达的情绪，而且还具有其他敏感的人口特征，例如性别，年龄和语言背景。因此，塞尔系统希望能够在防止敏感和人口统计信息的意外/不正当推论的同时对情感构建进行分类的能力。联合学习（FL）是一个分布式机器学习范例，其协调客户端，以便在不共享其本地数据的情况下协同培训模型。此培训方法似乎是安全的，可以提高SER的隐私。然而，最近的作品表明，流动方法仍然容易受到重建攻击和会员推论攻击等各种隐私攻击的影响。虽然这些大部分都集中在计算机视觉应用程序上，但是使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL培训的SER系统的信息泄漏，我们提出了一个属性推理攻击框架，其分别涉及来自共享梯度或模型参数的客户端的敏感属性信息，分别对应于FEDSGD和FADAVG训练算法。作为一种用例，我们使用三个SER基准数据集来统一地评估我们预测客户的性别信息的方法：IEMocap，Crema-D和MSP-EXPLA。我们表明，使用FL培训的SER系统可实现属性推理攻击。我们进一步确定大多数信息泄漏可能来自SER模型中的第一层。
translated by 谷歌翻译
本文调查了在自动语音识别（ASR）中有效地从个性化扬声器适应的神经网络声学模型（AMS）中检索扬声器信息。这个问题在联合学习的ASR声学模型的上下文中尤为重要，其中基于从多个客户端接收的更新在服务器上学习了全局模型。我们提出了一种方法来根据所谓指示器数据集的神经网络足迹分析神经网络AMS中的信息。使用此方法，我们开发了两个攻击模型，该模型旨在从更新的个性化模型推断扬声器身份，而无需访问实际用户的语音数据。TED-Lium 3语料库的实验表明，所提出的方法非常有效，可以提供1-2％的相同错误率（eer）。
translated by 谷歌翻译
具有联合学习（FL）的自动语音识别（ASR）使得在不损害隐私的情况下利用来自多个客户的数据。基于FL的ASR质量可以通过识别性能，沟通和计算成本来衡量。当不同客户之间的数据不是独立且分布相同的（非IID）时，性能可能会大大降低。在这项工作中，我们使用个性化的FL解决了基于FL的ASR中的非IID问题，该问题为每个客户学习个性化模型。具体而言，我们提出了两种类型的ASR个性化FL方法。首先，我们将基于个性化的FL适应ASR，该层在本地保留一些层以学习个性化模型。其次，为了降低沟通和计算成本，我们提出了脱钩的联合学习（Decouplefl）。一方面，DeCoupleFL将计算负担移至服务器，从而减少了客户端的计算。另一方面，Decouplefl传达安全的高级功能而不是模型参数，从而在模型大时降低通信成本。实验表明，与FedAvg相比，两种提出的基于FL的ASR方法可以将WER降低2.3％-3.4％。其中，与FedAvg相比，Decouplefl仅具有11.4％的通信和75％的计算成本，这也明显少于基于个性化的FL。
translated by 谷歌翻译
联邦学习（FL）已成为解决消费者隐私需求的有效方法。 FL已成功应用于某些机器学习任务，例如训练智能键盘模型和关键字发现。尽管FL最初取得了成功，但许多重要的深度学习用例（例如排名和推荐任务）受到了设备学习的限制。实际采用基于DL的排名和建议所面临的主要挑战之一是现代移动系统无法满足的高度资源要求。我们建议联合合奏学习（FEL）作为解决深度学习排名和推荐任务的庞大记忆要求的解决方案。 FEL通过同时在客户端设备的分离群中训练多个模型版本，从而实现大规模排名和建议模型培训。 FEL通过拱门层将受过训练的子模型集成到服务器上托管的集合模型中。我们的实验表明，与传统的联合学习设备相比，FEL导致0.43-2.31％的模型质量改进 - 对排名和建议系统用例的重大改进。
translated by 谷歌翻译
如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。
translated by 谷歌翻译
Federated learning seeks to address the issue of isolated data islands by making clients disclose only their local training models. However, it was demonstrated that private information could still be inferred by analyzing local model parameters, such as deep neural network model weights. Recently, differential privacy has been applied to federated learning to protect data privacy, but the noise added may degrade the learning performance much. Typically, in previous work, training parameters were clipped equally and noises were added uniformly. The heterogeneity and convergence of training parameters were simply not considered. In this paper, we propose a differentially private scheme for federated learning with adaptive noise (Adap DP-FL). Specifically, due to the gradient heterogeneity, we conduct adaptive gradient clipping for different clients and different rounds; due to the gradient convergence, we add decreasing noises accordingly. Extensive experiments on real-world datasets demonstrate that our Adap DP-FL outperforms previous methods significantly.
translated by 谷歌翻译
通常利用机器学习方法并有效地将智能电表读数从家庭级别分解为设备级消耗，可以帮助分析用户的电力消耗行为并启用实用智能能源和智能网格申请。最近的研究提出了许多基于联邦深度学习（FL）的新型NILM框架。但是，缺乏综合研究，探讨了不同基于FL的NILM应用程序方案中的实用性优化方案和隐私保护方案。在本文中，我们首次尝试通过开发分布式和隐私的尼尔姆（DP2-NILM）框架来进行基于FL的NILM，重点关注实用程序优化和隐私保护，并在实用的NILM场景上进行比较实验基于现实世界的智能电表数据集。具体而言，在实用程序优化方案（即FedAvg和FedProx）中检查了两种替代联合学习策略。此外，DP2-NILM提供了不同级别的隐私保证，即联合学习的当地差异隐私学习和联合的全球差异隐私学习。在三个现实世界数据集上进行了广泛的比较实验，以评估所提出的框架。
translated by 谷歌翻译
我们使用实际用户设备上的联合学习训练了一个关键字发现模型，并在部署模型以推断电话时观察到了重大改进。为了补偿在设备培训缓存中缺少的数据域，我们采用了联合联邦中心化培训。为了在没有策划标签的设备上学习，我们根据用户反馈信号制定了置信度过滤策略，用于联合蒸馏。这些技术创建了模型，可在实时A/B实验中显着改善离线评估和用户体验指标的质量指标。
translated by 谷歌翻译
隐私和沟通效率是联邦神经网络培训中的重要挑战，并将它们组合仍然是一个公开的问题。在这项工作中，我们开发了一种统一高度压缩通信和差异隐私（DP）的方法。我们引入基于相对熵编码（REC）到联合设置的压缩技术。通过对REC进行微小的修改，我们获得了一种可怕的私立学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。
translated by 谷歌翻译
Speech-centric machine learning systems have revolutionized many leading domains ranging from transportation and healthcare to education and defense, profoundly changing how people live, work, and interact with each other. However, recent studies have demonstrated that many speech-centric ML systems may need to be considered more trustworthy for broader deployment. Specifically, concerns over privacy breaches, discriminating performance, and vulnerability to adversarial attacks have all been discovered in ML research fields. In order to address the above challenges and risks, a significant number of efforts have been made to ensure these ML systems are trustworthy, especially private, safe, and fair. In this paper, we conduct the first comprehensive survey on speech-centric trustworthy ML topics related to privacy, safety, and fairness. In addition to serving as a summary report for the research community, we point out several promising future research directions to inspire the researchers who wish to explore further in this area.
translated by 谷歌翻译
可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。
translated by 谷歌翻译
We demonstrate that it is possible to train large recurrent language models with user-level differential privacy guarantees with only a negligible cost in predictive accuracy. Our work builds on recent advances in the training of deep networks on user-partitioned data and privacy accounting for stochastic gradient descent. In particular, we add user-level privacy protection to the federated averaging algorithm, which makes "large step" updates from user-level data. Our work demonstrates that given a dataset with a sufficiently large number of users (a requirement easily met by even small internet-scale datasets), achieving differential privacy comes at the cost of increased computation, rather than in decreased utility as in most prior work. We find that our private LSTM language models are quantitatively and qualitatively similar to un-noised models when trained on a large dataset.
translated by 谷歌翻译
有效分布式参数的快速全局聚合对于联邦学习（FL）至关重要，这需要足够的带宽来进行参数通信和足够的用户数据以进行本地培训。否则，FL可能会花费过多的训练时间来收敛并产生不准确的模型。在本文中，我们提出了一个全新的FL框架，即Pressfl，该框架将联合模型培训取代联合的及时培训，即让联邦参与者培训提示而不是共享模型，以同时实现有效的全球聚合和本地培训通过以分布式方式利用基础模型（FM）的功率来利用数据不足。 ProSTERFL将现成的FM（即剪辑）运送到分布式客户端，这些客户将根据很少的本地数据进行合作培训共享的软提示。由于提示fl只需要更新提示而不是整个模型，因此本地培训和全局聚合都可以大大加速。经过大规模数据训练的FM可以通过训练有素的软提示为分布式用户任务提供强大的适应能力。我们通过广泛的实验对提示进行了经验分析，并在系统的可行性，用户隐私和性能方面表现出了优势。
translated by 谷歌翻译
在联合学习（FL）中，多个客户端协作通过中央服务器学习模型，但保持数据分散。个性化联合学习（PFL）进一步扩展了通过学习个性化模型来处理客户之间的数据异质性。在FL和PFL中，所有客户都参与培训过程，其标记数据用于培训。但是，实际上，新颖的客户端可能希望在部署后加入预测服务，从而获得自己的未标记数据的预测。在这里，我们定义了一个新的学习设置，推理时间PFL（IT-PFL），其中在一组客户端上培训的模型需要稍后在推理时间的新颖解压缩客户端上进行评估。我们提出了一种新颖的方法，它基于Hypernetwork模块和编码器模块来提出这个问题的方法IT-PFL-HN。具体来说，我们训练一个编码器网络，了解给定客户的客户端的表示。客户端表示将被馈送到一个HyperNetwork，为该客户端生成个性化模型。在四个基准数据集中进行评估，我们发现IT-PFL-HN优于当前FL和PFL方法，特别是当新颖客户端具有大域移位时。我们还分析了新颖客户端的泛化误差，展示了如何使用多任务学习和域适应的结果来界限。最后，由于小说客户没有贡献他们的数据来培训，他们可能会更好地控制他们的数据隐私;事实上，我们在分析上展示了新的客户如何为其数据应用差别隐私。
translated by 谷歌翻译
联邦学习〜（FL）最近引起了学术界和行业的越来越多的关注，其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合，以获得良好的模型，这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此，我们建议FedDM从多个本地替代功能中构建全球培训目标，这使服务器能够获得对损失格局的更全球视野。详细说明，我们在每个客户端构建了合成数据集，以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比，FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验，结果表明，在效率和模型性能方面，我们的方法可以优于其他FL的实验。此外，我们证明，FedDM可以适应使用高斯机制来保护差异隐私，并在相同的隐私预算下训练更好的模型。
translated by 谷歌翻译