模型说明为训练有素的机器学习模型的黑框行为提供了透明度，向模型构建器提供了透明度。它们表明了不同输入属性对其相应模型预测的影响。对输入的解释的依赖性引发了敏感用户数据的隐私问题。但是，当前文献对模型解释的隐私风险的讨论有限。我们专注于属性推理攻击的特定隐私风险，其中对手会在其模型解释的情况下侵犯输入的敏感属性（例如种族和性别）。我们在两个威胁模型中设计了针对模型解释的第一个属性推理攻击，其中模型构建器（a）都包含训练数据和输入中的敏感属性，或者（（b）通过不在培训数据和输入中审查敏感属性。我们评估了对四个基准数据集和四种最先进算法的拟议攻击。我们表明，对手可以准确地从两个威胁模型中的解释中成功推断出敏感属性的价值。此外，即使仅利用与敏感属性相对应的解释，攻击也是成功的。这些表明，我们的攻击有效地反对解释，并对数据隐私构成了实际威胁。在将模型预测（通过先前攻击利用的攻击表面）与解释相结合时，我们注意到攻击成功并不能改善。此外，与仅利用模型预测相比，利用模型解释的攻击成功更好。这些表明模型解释是为对手开发的强大攻击表面。
translated by 谷歌翻译
用于训练机器学习（ML）模型的数据可能是敏感的。成员推理攻击（MIS），试图确定特定数据记录是否用于培训ML模型，违反会员隐私。 ML模型建设者需要一个原则的定义，使他们能够有效地定量（a）单独培训数据记录，（b）的隐私风险，有效地。未在会员资格危险风险指标上均未达到所有这些标准。我们提出了这种公制，SHAPR，它通过抑制其对模型的实用程序的影响来量化朔芙值以量化模型的记忆。这个记忆是衡量成功MIA的可能性的衡量标准。使用十个基准数据集，我们显示ShapR是有效的（精确度：0.94 $ \ PM 0.06 $，回忆：0.88 $ \ PM 0.06 $）在估算MIAS的培训数据记录的易感性时，高效（可在几分钟内计算，较小数据集和最大数据集的约〜90分钟）。 ShapR也是多功能的，因为它可以用于评估数据集的子集的公平或分配估值的其他目的。例如，我们显示Shapr正确地捕获不同子组的不成比例漏洞到MIS。使用SHAPR，我们表明，通过去除高风险训练数据记录，不一定改善数据集的成员隐私风险，从而确认在显着扩展的设置中从事工作（在十个数据集中，最多可删除50％的数据）的观察。
translated by 谷歌翻译
嵌入式系统使用神经网络（NNS）的设备对数据处理数据（NNS）的处理，同时符合存储器，功率和计算约束，导致效率和准确性折衷。要将NNS带到边缘设备，通过修剪，量化和现成的架构进行了多种优化，例如具有高效设计的模型压缩，已被广泛采用。这些算法部署到现实世界敏感应用程序时，需要抵制推理攻击以保护用户培训数据的隐私。然而，对推理攻击的阻力不算用于为IOT设计NN模型。在这项工作中，我们分析了IOT设备NNS中的三维隐私 - 准确效率折衷，并提出了壁虎培训方法，在那里我们明确地将抵抗私人推广作为设计目标。我们优化嵌入式设备的推理时间内存，计算和功率约束作为设计NN体系结构的标准，同时还保留隐私。我们选择量化为高效和私人模型的设计选择。这种选择是由观察到的观察，压缩模型与基线模型相比泄漏更多信息，而现成的高效架构表明效率和隐私权衡差。我们展示使用壁虎方法训练的模型与在提供效率的准确性和隐私方面的对黑匣子成员攻击的事先防御。
translated by 谷歌翻译
传统的基于物理的建模是用于复杂非线性系统（如自动水下车辆（AUV））的控制设计中的耗时瓶颈。相比之下，纯粹的数据驱动模型虽然方便且迅速地获得，但需要大量的观察结果，并且缺乏针对安全至关重要系统的操作保证。利用可用的部分表征动态的数据驱动模型具有在典型的数据限制方案中为高价值复杂系统提供可靠的系统模型，从而避免了数月的数月昂贵的专家建模时间。在这项工作中，我们探索了专家模型和纯数据驱动建模之间的中间场。我们提出了面向控制的参数模型，具有不同水平的域意识，这些模型利用已知的系统结构和先前的物理知识来创建约束的深神经动力学系统模型。我们采用通用微分方程来构建AUV动力学的数据驱动的黑框和灰色框表示。此外，我们探索了一种混合制剂，该制剂明确模拟与不完美的灰色盒模型相关的残余误差。我们将学习模型的预测性能比较了初始条件和控制输入的不同分布的预测性能，以评估其准确性，概括和对控制的适用性。
translated by 谷歌翻译
在本文中，我们为通过深神经网络参数参数的离散时间动力学系统的消散性和局部渐近稳定提供了足够的条件。我们利用神经网络作为点式仿射图的表示，从而揭示其本地线性操作员并使其可以通过经典的系统分析和设计方法访问。这使我们能够通过评估其耗散性并估算其固定点和状态空间分区来“打开神经动力学系统行为的黑匣子”。我们将这些局部线性运算符的规范与耗散系统中存储的能量的规范联系起来，其供应率由其总偏差项表示。从经验上讲，我们分析了这些局部线性运算符的动力学行为和特征值光谱的差异，具有不同的权重，激活函数，偏置项和深度。
translated by 谷歌翻译