We consider the straggler problem in decentralized learning over a logical ring while preserving user data privacy. Especially, we extend the recently proposed framework of differential privacy (DP) amplification by decentralization by Cyffers and Bellet to include overall training latency--comprising both computation and communication latency. Analytical results on both the convergence speed and the DP level are derived for both a skipping scheme (which ignores the stragglers after a timeout) and a baseline scheme that waits for each node to finish before the training continues. A trade-off between overall training latency, accuracy, and privacy, parameterized by the timeout of the skipping scheme, is identified and empirically validated for logistic regression on a real-world dataset.
translated by 谷歌翻译
我们提出了两种新颖的编码联合学习(FL)方案,用于减轻乐曲设备的效果。第一种方案,CodedPaddedFL,减轻了乐谱装置的效果,同时保留了传统的隐私水平。特别地,它将一次性填充与梯度码相结合,以产生对讨论设备的弹性。要将一次性填充应用于真实数据,我们的计划利用数据的定点算术表示。对于具有25个设备的场景,CodedPaddedFL与传统FL相比,CodedPaddedFL分别在MM师和时尚-MNIST数据集中获得6.6和9.2的速度增速因子为6.6和9.2。此外,与Prakash \ Emph {等人}最近提出的方案相比,它在延迟方面产生了类似的性能。没有额外的私人数据泄漏的缺点。第二个方案CodedSecagg提供落后和防止模型反转攻击的稳健性,并基于Shamir的秘密共享。 CodedSecagg优先于最先进的安全聚合方案,如6.6-14.6的加速因子,这取决于拼写设备的数量,在具有120个设备的场景的MNIST数据集上,以牺牲与CodedPaddedFL相比,延迟增加了30 \%。
translated by 谷歌翻译
CT肝图像的基于内容的图像检索(CBIR)的深度基于学习的方法是一个积极的研究领域,但受到了一些关键局限性。首先,它们非常依赖标签的数据,这可能是具有挑战性的,而且获取成本很高。其次,它们缺乏透明度和解释性,这限制了深CBIR系统的可信度。我们通过(1)提出一个自制的学习框架来解决这些局限性,该框架将领域知识纳入培训过程中,以及(2)在CT肝图像的CBIR背景下提供首次表示学习解释性分析。结果表明,与几个指标的标准自我监督方法相比,性能的提高,并且在跨数据集的概括方面得到了改善。此外,我们在CBIR的背景下进行了首次表示学习性分析,该分析揭示了对特征提取过程的新见解。最后,我们通过盘问CBIR进行了一个案例研究,该案例证明了我们提出的框架的可用性。我们认为,我们提出的框架可以在创建可信赖的深层CBIR系统中发挥至关重要的作用,这些系统可以成功利用未标记的数据。
translated by 谷歌翻译