Quantum machine learning (QML) has received increasing attention due to its potential to outperform classical machine learning methods in various problems. A subclass of QML methods is quantum generative adversarial networks (QGANs) which have been studied as a quantum counterpart of classical GANs widely used in image manipulation and generation tasks. The existing work on QGANs is still limited to small-scale proof-of-concept examples based on images with significant down-scaling. Here we integrate classical and quantum techniques to propose a new hybrid quantum-classical GAN framework. We demonstrate its superior learning capabilities by generating $28 \times 28$ pixels grey-scale images without dimensionality reduction or classical pre/post-processing on multiple classes of the standard MNIST and Fashion MNIST datasets, which achieves comparable results to classical frameworks with 3 orders of magnitude less trainable generator parameters. To gain further insight into the working of our hybrid approach, we systematically explore the impact of its parameter space by varying the number of qubits, the size of image patches, the number of layers in the generator, the shape of the patches and the choice of prior distribution. Our results show that increasing the quantum generator size generally improves the learning capability of the network. The developed framework provides a foundation for future design of QGANs with optimal parameter set tailored for complex image generation tasks.
translated by 谷歌翻译
神经网络容易受到对抗性攻击的攻击:在其输入中添加精心设计,不可察觉的扰动可以改变其输出。对抗训练是针对此类攻击的训练强大模型的最有效方法之一。不幸的是,这种方法比神经网络的香草培训要慢得多,因为它需要在每次迭代时为整个培训数据构建对抗性示例。通过利用核心选择理论,我们展示了如何选择一小部分训练数据提供了一种原则性的方法来降低健壮训练的时间复杂性。为此,我们首先为对抗核心选择提供收敛保证。特别是,我们表明收敛界限直接与我们的核心在整个训练数据中计算出的梯度的距离如何。在我们的理论分析的激励下,我们建议使用此梯度近似误差作为对抗核心选择目标,以有效地减少训练集大小。建造后,我们在培训数据的这一子集上进行对抗训练。与现有方法不同,我们的方法可以适应各种培训目标,包括交易,$ \ ell_p $ -pgd和感知性对手培训。我们进行了广泛的实验,以证明我们的进近可以使对抗性训练加快2-3次,同时在清洁和稳健的精度中略有降解。
translated by 谷歌翻译
预计量子计算将提供巨大的计算能力,可以为许多数据科学问题提供有效的解决方案。但是,当前一代的量子设备很小且嘈杂,这使得处理与实际问题相关的大数据集变得困难。核心选择旨在通过减少输入数据的大小而不损害准确性来避免此问题。最近的工作表明,核心选择可以帮助实施量子K-均值聚类问题。但是,尚未探索核心选择对量子K-均值聚类性能的影响。在这项工作中,我们比较了两种核心技术(BFL16和Oneshot)的相对性能以及每种情况下的核心结构的大小,相对于各种数据集,并布局在实现量子算法中的核心选择的优势和局限性。我们还研究了去极化量子噪声和位叶片误差的影响,并实施了量子自动编码器技术以超过噪声效应。我们的工作为未来在近期量子设备上实施数据科学算法提供了有用的见解,这些量子设备通过核心选择减少了问题大小。
translated by 谷歌翻译
神经网络容易受到对抗性攻击的影响:为其输入添加良好的难以察觉的扰动可以修改它们的输出。对抗性培训是针对这种攻击训练强大模型的最有效的方法之一。然而,它比Vanilla训练的神经网络训练慢得多,因为它需要在每次迭代时构建整个训练数据的对抗性示例,这阻碍了其有效性。最近,提出了快速的对抗培训,可以有效地获得强大的模型。然而,其成功背后的原因尚未完全理解,更重要的是,它只能为$ \ ell_ \ infty $ -bounded攻击培训强大的模型,因为它在训练期间使用FGSM。在本文中,通过利用Coreset选择理论,我们展示了如何选择小型培训数据的子集,以减少强大培训的时间复杂性提供更原则的方法。与现有方法不同,我们的方法可以适应各种各样的培训目标,包括交易,$ \ ell_p $ -pgd和感知对抗培训。我们的实验结果表明,我们的方法将对抗性训练速度升高2-3次,同时经历清洁和稳健的准确性的少量减少。
translated by 谷歌翻译
Backdoor attacks have emerged as one of the major security threats to deep learning models as they can easily control the model's test-time predictions by pre-injecting a backdoor trigger into the model at training time. While backdoor attacks have been extensively studied on images, few works have investigated the threat of backdoor attacks on time series data. To fill this gap, in this paper we present a novel generative approach for time series backdoor attacks against deep learning based time series classifiers. Backdoor attacks have two main goals: high stealthiness and high attack success rate. We find that, compared to images, it can be more challenging to achieve the two goals on time series. This is because time series have fewer input dimensions and lower degrees of freedom, making it hard to achieve a high attack success rate without compromising stealthiness. Our generative approach addresses this challenge by generating trigger patterns that are as realistic as real-time series patterns while achieving a high attack success rate without causing a significant drop in clean accuracy. We also show that our proposed attack is resistant to potential backdoor defenses. Furthermore, we propose a novel universal generator that can poison any type of time series with a single generator that allows universal attacks without the need to fine-tune the generative model for new time series datasets.
translated by 谷歌翻译
现在,越来越多的人依靠在线平台来满足其健康信息需求。因此,确定不一致或矛盾的文本健康信息已成为一项关键的任务。健康建议数据提出了一个独特的挑战,在一个诊断的背景下,在另一个诊断的背景下是准确的信息。例如,患有糖尿病和高血压的人通常会在饮食方面得到矛盾的健康建议。这激发了对可以提供上下文化的,特定于用户的健康建议的技术的需求。朝着情境化建议迈出的关键一步是能够比较健康建议陈述并检测它们是否以及如何冲突的能力。这是健康冲突检测(HCD)的任务。鉴于两个健康建议,HCD的目标是检测和分类冲突的类型。这是一项具有挑战性的任务,因为(i)自动识别和分类冲突需要更深入地了解文本的语义,并且(ii)可用数据的数量非常有限。在这项研究中,我们是第一个在预先训练的语言模型的背景下探索HCD的人。我们发现,Deberta-V3在所有实验中的平均F1得分为0.68。我们还研究了不同冲突类型所带来的挑战,以及合成数据如何改善模型对冲突特定语义的理解。最后,我们强调了收集实际健康冲突的困难,并提出了一种人类的合成数据增强方法来扩展现有的HCD数据集。我们的HCD培训数据集比现有的HCD数据集大2倍以上,并在GitHub上公开可用。
translated by 谷歌翻译
检测有益特征交互在推荐系统中至关重要,现有方法通过检查所有可能的特征交互来实现这一目标。但是,检查所有可能的高阶特征相互作用的成本是过于良好的(随着阶的增加而呈指数增长)。因此,现有方法仅检测有限的顺序(例如,最多四个功能的组合)有益特征交互,这可能会错过高于限制的订单的有益特征相互作用。在本文中,我们提出了一个名为HIRS的高图神经网络模型。 HIRS是直接产生任意订单的有益特征相互作用并相应地进行建议预测的第一项工作。生成的特征交互的数量可以指定比所有可能的交互的数量小得多,因此我们的模型承认运行时间要低得多。为了获得有效的算法,我们利用了有益特征相互作用的三种特性,并提出了基于深入的Infomax的方法来指导相互作用的产生。我们的实验结果表明,就建议准确性而言,HIRS的效果优于最先进的算法。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
在这项工作中,我们介绍了一种新的长尾识别战略,通过无训练知识转移来解决尾课的几次射门问题。我们的目标是将从信息丰富的常见课程获得的知识转移到语义上类似,但数据饥饿的罕见课程,以获得更强的尾级陈述。我们利用类原型和学习余弦分类器在特征空间中提供两个不同,互补的类集群中心的不同互补表示,并使用注意机制从常见类别中选择和重新测试学习的分类器特征,以获得更高质量的珍稀类表示。我们的知识转移过程自由培训,减少过度风险,并可能够为新课程提供持续的分类器。实验表明,我们的方法可以在罕见的阶级提高显着的性能,同时保持稳健的普通类性能,优于直接可比的最先进模型。
translated by 谷歌翻译
从单目视频重建3D网格的关键元素之一是生成每个帧的深度图。然而,在结肠镜检查视频重建的应用中,产生良好质量的深度估计是具有挑战性的。神经网络可以容易地被光度分散注意力欺骗,或者不能捕获结肠表面的复杂形状,预测导致破碎网格的缺陷形状。旨在从根本上提高结肠镜检查3D重建的深度估计质量,在这项工作中,我们设计了一系列培训损失来应对结肠镜检查数据的特殊挑战。为了更好的培训,使用深度和表面正常信息开发了一组几何一致性目标。而且,经典的光度损耗延伸,具有特征匹配以补偿照明噪声。随着足够强大的培训损失,我们的自我监督框架命名为COLLE,与利用先前的深度知识相比,我们的自我监督框架能够产生更好的结肠镜检查数据地图。用于重建,我们的网络能够实时重建高质量的结肠网格,而无需任何后处理,使其成为第一个在临床上适用。
translated by 谷歌翻译