数据装配过程是量子机学习的瓶颈之一,可能会否定任何量子加速。鉴于此,必须采用更有效的数据编码策略。我们提出了一种基于光子的骨气数据编码方案,该方案使用较少的编码层嵌入经典数据点,并通过将数据点映射到高维FOCK空间中,从而规避非线性光学组件的需求。电路的表达能力可以通过输入光子的数量来控制。我们的工作阐明了量子光子学在量子机学习模型的表达能力方面提供的独特优势。通过利用光子数依赖的表达能力,我们提出了三种不同的中间尺度量子兼容二进制分类方法,其所需资源适用于不同监督分类任务。
translated by 谷歌翻译
基于深卷积神经网络(CNN)的面部识别表现出归因于提取的高判别特征的卓越精度性能。然而,经常忽略了深度学习模型(深度特征)提取的功能的安全性和隐私。本文提出了从深度功能中重建面部图像,而无需访问CNN网络配置作为约束优化问题。这种优化可最大程度地减少从原始面部图像中提取的特征与重建的面部图像之间的距离。我们没有直接解决图像空间中的优化问题,而是通过寻找GAN发电机的潜在向量来重新重新制定问题,然后使用它来生成面部图像。 GAN发电机在这个新颖的框架中起着双重作用,即优化目标和面部发电机的面部分布约束。除了新颖的优化任务之外,我们还提出了一条攻击管道,以基于生成的面部图像模拟目标用户。我们的结果表明,生成的面部图像可以达到最先进的攻击率在LFW上的最先进的攻击率在I型攻击下为0.1 \%。我们的工作阐明了生物识别部署,以符合隐私和安全政策。
translated by 谷歌翻译
KL-regularized reinforcement learning from expert demonstrations has proved successful in improving the sample efficiency of deep reinforcement learning algorithms, allowing them to be applied to challenging physical real-world tasks. However, we show that KL-regularized reinforcement learning with behavioral reference policies derived from expert demonstrations can suffer from pathological training dynamics that can lead to slow, unstable, and suboptimal online learning. We show empirically that the pathology occurs for commonly chosen behavioral policy classes and demonstrate its impact on sample efficiency and online policy performance. Finally, we show that the pathology can be remedied by non-parametric behavioral reference policies and that this allows KL-regularized reinforcement learning to significantly outperform state-of-the-art approaches on a variety of challenging locomotion and dexterous hand manipulation tasks.
translated by 谷歌翻译
Deep neural networks have strong capabilities of memorizing the underlying training data, which can be a serious privacy concern. An effective solution to this problem is to train models with differential privacy, which provides rigorous privacy guarantees by injecting random noise to the gradients. This paper focuses on the scenario where sensitive data are distributed among multiple participants, who jointly train a model through federated learning (FL), using both secure multiparty computation (MPC) to ensure the confidentiality of each gradient update, and differential privacy to avoid data leakage in the resulting model. A major challenge in this setting is that common mechanisms for enforcing DP in deep learning, which inject real-valued noise, are fundamentally incompatible with MPC, which exchanges finite-field integers among the participants. Consequently, most existing DP mechanisms require rather high noise levels, leading to poor model utility. Motivated by this, we propose Skellam mixture mechanism (SMM), an approach to enforce DP on models built via FL. Compared to existing methods, SMM eliminates the assumption that the input gradients must be integer-valued, and, thus, reduces the amount of noise injected to preserve DP. Further, SMM allows tight privacy accounting due to the nice composition and sub-sampling properties of the Skellam distribution, which are key to accurate deep learning with DP. The theoretical analysis of SMM is highly non-trivial, especially considering (i) the complicated math of differentially private deep learning in general and (ii) the fact that the mixture of two Skellam distributions is rather complex, and to our knowledge, has not been studied in the DP literature. Extensive experiments on various practical settings demonstrate that SMM consistently and significantly outperforms existing solutions in terms of the utility of the resulting model.
translated by 谷歌翻译
与常规的闭合设定识别相反,开放式识别(OSR)假设存在未知类别,在训练过程中未被视为模型。 OSR中的一种主要方法是度量学习,其中对模型进行了训练以分离已知类别数据的类间表示。 OSR中的许多作品报告说,即使模型仅通过已知类别的数据进行培训,模型也会意识到未知数,并学会将未知类表征与已知类别表示分开。本文通过观察雅各布的代表规范来分析这种新兴现象。从理论上讲,我们表明已知集中的阶层内距离最小化会减少已知类表征的雅各布式规范,同时最大化已知集合中的阶层间距离会增加未知类别的雅各布式规范。因此,封闭式度量学习通过迫使其雅各布规范值有所不同,从而将未知的未知数与已知分开。我们通过使用标准OSR数据集的大量证据来验证我们的理论框架。此外,在我们的理论框架下,我们解释了标准的深度学习技术如何有助于OSR并将框架作为指导原则来开发有效的OSR模型。
translated by 谷歌翻译
受数字孪生系统的启发,开发了一个新型的实时数字双框架,以增强机器人对地形条件的感知。基于相同的物理模型和运动控制,这项工作利用了与真实机器人同步的模拟数字双重同步,以捕获和提取两个系统之间的差异信息,这两个系统提供了多个物理数量的高维线索,以表示代表差异建模和现实世界。柔软的,非刚性的地形会导致腿部运动中常见的失败,因此,视觉感知完全不足以估计地形的这种物理特性。我们使用了数字双重来开发可折叠性的估计,这通过动态步行过程中的物理互动来解决此问题。真实机器人及其数字双重双重测量之间的感觉测量的差异用作用于地形可折叠性分析的基于学习的算法的输入。尽管仅在模拟中受过培训,但学习的模型可以在模拟和现实世界中成功执行可折叠性估计。我们对结果的评估表明,对不同方案和数字双重的优势的概括,可在地面条件下可靠地检测到细微差别。
translated by 谷歌翻译
在本文中,我们将预处理技术应用于具有不同长度的多通道时间序列数据,我们称之为对齐问题,用于下游机器学习。多种原因可能发生多种渠道时间序列数据的未对准,原因有多种原因,例如丢失的数据,变化的采样率或不一致的收集时间。我们考虑从MIT SuperCloud高性能计算(HPC)中心收集的多渠道时间序列数据,其中不同的工作开始时间和HPC作业的运行时间不同,导致数据不对准。这种未对准使得为计算工作负载分类等任务构建AI/ML方法具有挑战性。在先前使用MIT SuperCloud数据集的监督分类工作的基础上,我们通过三种宽阔的低间接空间方法解决了对齐问题:从全职系列中抽样固定子集,在全职系列上执行摘要统计信息,并对系数进行取样。从映射到频域的时间序列。我们最佳性能模型的分类精度大于95%,以先前的方法对MIT SuperCloud数据集的多通道时间序列分类的表现优于5%。这些结果表明,我们的低间接费用方法与标准机器学习技术结合使用,能够达到高水平的分类准确性,并作为解决对齐问题(例如内核方法)的未来方法的基准。
translated by 谷歌翻译
跨域多式分类是一个具有挑战性的问题,要求快速域适应以处理在永无止境和快速变化的环境中的不同但相关的流。尽管现有的多式分类器在目标流中没有标记的样品,但它们仍然会产生昂贵的标签成本,因为它们需要完全标记的源流样品。本文旨在攻击跨域多发行分类问题中极端标签短缺问题的问题,在过程运行之前,仅提供了很少的标记源流样品。我们的解决方案,即从部分地面真理(Leopard)中学习的流流过程,建立在一个灵活的深度聚类网络上,在该网络中,其隐藏的节点,层和簇被添加并在不同的数据分布方面动态删除。同时的特征学习和聚类技术为群集友好的潜在空间提供了同时的特征学习和聚类技术的基础。域的适应策略依赖于对抗域的适应技术,在该技术中,训练特征提取器以欺骗域分类器对源和目标流进行分类。我们的数值研究证明了豹子的功效,在24例中,与突出算法相比,它可以提高性能的改善。豹子的源代码在\ url {https://github.com/wengweng001/leopard.git}中共享。
translated by 谷歌翻译
这项研究受到人类行为的启发,提议使用探测策略,并将其整合到遍布性分析框架中,以解决未知的粗糙地形上的安全导航。我们的框架将可折叠信息整合到我们现有的遍历性分析中,因为仅视力和几何信息可能会被不可预测的非刚性地形(例如柔软的土壤,灌木丛或水坑)误导。通过新的遍历性分析框架,我们的机器人对不可预测的地形进行了更全面的评估,这对于其在室外环境中的安全至关重要。该管道首先使用RGB-D摄像头确定地形的几何和语义性能,并在可疑地形上探测位置。使用力传感器对这些区域进行探测,以确定机器人在其上面时崩溃的风险。该风险被称为可折叠度度量,该指标估计了不可预测的区域的地面可折叠性。此后,将可折叠性度量以及几何和语义空间数据结合在一起,并分析以产生全局和局部穿术网格图。这些遍历性网格地图告诉机器人是否可以安全地跨越地图的不同区域。然后使用网格图来生成机器人的最佳路径,以安全地导航其目标。在模拟和现实世界实验中,我们的方法已在四足动物的机器人上成功验证。
translated by 谷歌翻译
大型语言模型已经证明了能够在自然语言和编程语言文本上进行条件和生成的能力。这样的模型打开了多语言代码生成的可能性:代码生成模型是否可以将知识从一种语言推广到另一种语言?尽管当代代码生成模型可以生成语义上正确的Python代码,但对它们使用其他语言的能力知之甚少。我们通过提出Multipl-E来促进该主题的探索,这是自然语言到代码生成的第一个多语言平行基准。 Multipl-E扩展了HumaneVal基准(Chen等,2021),以支持另外18种编程语言,涵盖了一系列编程范式和受欢迎程度。我们在Multipl-E:Codex和Incoder上评估了两个最先进的代码生成模型。我们发现,在几种语言上,法典匹配,甚至超过了其在Python上的性能。在多型E中表示的编程语言范围使我们能够探索语言频率和语言功能对模型性能的影响。最后,将代码生成基准分配给新编程语言的多重方法既可扩展又可扩展。我们描述了一种通用方法,可以轻松地增加对新基准和语言的支持。
translated by 谷歌翻译