随着机器学习技术的发展,研究的注意力已从单模式学习转变为多模式学习,因为现实世界中的数据以不同的方式存在。但是,多模式模型通常比单模式模型具有更多的信息,并且通常将其应用于敏感情况,例如医疗报告生成或疾病鉴定。与针对机器学习分类器的现有会员推断相比,我们关注的是多模式模型的输入和输出的问题,例如不同的模式,例如图像字幕。这项工作通过成员推理攻击的角度研究了多模式模型的隐私泄漏,这是确定数据记录是否涉及模型培训过程的过程。为了实现这一目标,我们提出了多种模型的成员资格推理(M^4i),分别使用两种攻击方法来推断成员身份状态,分别为基于公表示的(MB)M^4i和基于特征(FB)M^4i。更具体地说,MB M^4i在攻击时采用相似性指标来推断目标数据成员资格。 FB M^4i使用预先训练的阴影多模式提取器来通过比较提取的输入和输出功能的相似性来实现数据推理攻击的目的。广泛的实验结果表明,两种攻击方法都可以实现强大的性能。在不受限制的情况下,平均可以获得攻击成功率的72.5%和94.83%。此外,我们评估了针对我们的攻击的多种防御机制。 M^4i攻击的源代码可在https://github.com/multimodalmi/multimodal-membership-inference.git上公开获得。
translated by 谷歌翻译