我们研究了图形表示学习的量子电路，并提出了等级的量子图电路（EQGCS），作为一类参数化量子电路，具有强大的关系感应偏压，用于学习图形结构数据。概念上，EQGCS作为量子图表表示学习的统一框架，允许我们定义几个有趣的子类，其中包含了现有的提案。就代表性权力而言，我们证明了感兴趣的子类是界限图域中的函数的普遍近似器，并提供实验证据。我们对量子图机学习方法的理论透视开启了许多方向以进行进一步的工作，可能导致具有超出古典方法的能力的模型。
translated by 谷歌翻译
近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。
translated by 谷歌翻译
消息传递神经网络（MPNNS）是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是，有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络（ESAN）的新颖框架来解决这个问题。我们的主要观察是，虽然两个图可能无法通过MPNN可区分，但它们通常包含可区分的子图。因此，我们建议将每个图形作为由某些预定义策略导出的一组子图，并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman（1-WL）测试的新型变体，并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明，我们的方法增加了MPNNS和更具表现力的架构的表现力。此外，我们提供了理论结果，描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本，我们提出了一种子图采样方案，可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明，我们的框架提高了流行的GNN架构的表现力和整体性能。
translated by 谷歌翻译
Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.
translated by 谷歌翻译
2022-03-25
尽管（消息通话）图形神经网络在图形或一般关系数据上近似置换量等函数方面具有明显的局限性，但更具表现力的高阶图神经网络不会扩展到大图。他们要么在$ k $ - 订单张量子上操作，要么考虑所有$ k $ - 节点子图，这意味着在内存需求中对$ k $的指数依赖，并且不适合图形的稀疏性。通过为图同构问题引入新的启发式方法，我们设计了一类通用的，置换式的图形网络，与以前的体系结构不同，该网络在表达性和可伸缩性之间提供了细粒度的控制，并适应了图的稀疏性。这些体系结构与监督节点和图形级别的标准高阶网络以及回归体系中的标准高阶图网络相比大大减少了计算时间，同时在预测性能方面显着改善了标准图神经网络和图形内核体系结构。
translated by 谷歌翻译
我们提出了一个新的图形神经网络，我们称为AgentNet，该网络专为图形级任务而设计。 AgentNet的灵感来自子宫性算法，具有独立于图形大小的计算复杂性。代理Net的体系结构从根本上与已知图神经网络的体系结构不同。在AgentNet中，一些受过训练的\ textit {神经代理}智能地行走图，然后共同决定输出。我们提供了对AgentNet的广泛理论分析：我们表明，代理可以学会系统地探索其邻居，并且AgentNet可以区分某些甚至3-WL无法区分的结构。此外，AgentNet能够将任何两个图形分开，这些图在子图方面完全不同。我们通过在难以辨认的图和现实图形分类任务上进行合成实验来确认这些理论结果。在这两种情况下，我们不仅与标准GNN相比，而且与计算更昂贵的GNN扩展相比。
translated by 谷歌翻译
量子机学习（QML）模型旨在从量子状态中编码的数据中学习。最近，已经表明，几乎没有归纳偏差的模型（即，对模型中嵌入的问题没有假设）可能存在训练性和概括性问题，尤其是对于大问题。因此，开发编码与当前问题有关的信息的方案是至关重要的。在这项工作中，我们提出了一个简单但功能强大的框架，其中数据中的基本不向导用于构建QML模型，该模型通过构造尊重这些对称性。这些所谓的组不变模型产生的输出在对称组$ \ mathfrak {g} $的任何元素的动作下保持不变。我们提出了理论结果，基于$ \ mathfrak {g} $ - 不变型模型的设计，并通过几个范式QML分类任务来体现其应用程序，包括$ \ mathfrak {g} $是一个连续的谎言组，也是一个lie group，也是一个。离散对称组。值得注意的是，我们的框架使我们能够以一种优雅的方式恢复文献的几种知名算法，并发现了新的算法。综上所述，我们期望我们的结果将有助于为QML模型设计采用更多几何和群体理论方法铺平道路。
translated by 谷歌翻译
图形神经网络（GNNS）是关于图形机器学习问题的深度学习架构。最近已经表明，GNN的富有效力可以精确地由组合Weisfeiler-Leman算法和有限可变计数逻辑来表征。该对应关系甚至导致了对应于更高维度的WL算法的新的高阶GNN。本文的目的是解释GNN的这些描述性特征。
translated by 谷歌翻译
子图GNNS是最近表达的图形神经网络（GNN）的一类，它们将图形图形为子图的集合。到目前为止，可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中，我们研究了子图方法的最突出形式，该方法采用了基于节点的子图选择策略，例如自我网络或节点标记和删除。我们解决了两个中心问题：（1）这些方法的表达能力的上限是什么？ （2）在这些子图集上传递层的模棱两可的消息家族是什么？我们回答这些问题的第一步是一种新颖的对称分析，该分析表明，建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后，该分析用于建立子图GNN和不变图网络（IGNS）之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力，然后提出一个通用子图方法的一般家族，以将所有先前基于节点的子图GNN泛化。最后，我们设计了一个新颖的子图Gnn称为Sun，从理论上讲，该子gnn统一了以前的体系结构，同时在多个基准上提供了更好的经验性能。
translated by 谷歌翻译
Recent work shows that the expressive power of Graph Neural Networks (GNNs) in distinguishing non-isomorphic graphs is exactly the same as that of the Weisfeiler-Lehman (WL) graph test. In particular, they show that the WL test can be simulated by GNNs. However, those simulations involve neural networks for the 'combine' function of size polynomial or even exponential in the number of graph nodes $n$, as well as feature vectors of length linear in $n$. We present an improved simulation of the WL test on GNNs with \emph{exponentially} lower complexity. In particular, the neural network implementing the combine function in each node has only a polylogarithmic number of parameters in $n$, and the feature vectors exchanged by the nodes of GNN consists of only $O(\log n)$ bits. We also give logarithmic lower bounds for the feature vector length and the size of the neural networks, showing the (near)-optimality of our construction.
translated by 谷歌翻译
在当前的嘈杂中间尺度量子（NISQ）时代，量子机学习正在成为基于程序门的量子计算机的主要范式。在量子机学习中，对量子电路的门进行了参数化，并且参数是根据数据和电路输出的测量来通过经典优化来调整的。参数化的量子电路（PQC）可以有效地解决组合优化问题，实施概率生成模型并进行推理（分类和回归）。该专着为具有概率和线性代数背景的工程师的观众提供了量子机学习的独立介绍。它首先描述了描述量子操作和测量所必需的必要背景，概念和工具。然后，它涵盖了参数化的量子电路，变异量子本质层以及无监督和监督的量子机学习公式。
translated by 谷歌翻译
量子计算有可能彻底改变和改变我们的生活和理解世界的方式。该审查旨在提供对量子计算的可访问介绍，重点是统计和数据分析中的应用。我们从介绍了了解量子计算所需的基本概念以及量子和经典计算之间的差异。我们描述了用作量子算法的构建块的核心量子子程序。然后，我们审查了一系列预期的量子算法，以便在统计和机器学习中提供计算优势。我们突出了将量子计算应用于统计问题的挑战和机遇，并讨论潜在的未来研究方向。
translated by 谷歌翻译
我们为$ S_N $-Quivariant Quantum卷积电路，建立并大大概括了Jordan的置力量子计算（PQC）形式主义的理论框架。我们表明量子电路是傅里叶空间神经架构的自然选择，其在计算$ S_N $ -Fourier系数的矩阵元素中，与在对称组上的最佳已知的经典快速傅里叶变换（FFT）相比计算的超级指数加速。特别是，我们利用Okounkov-Vershik方法来证明Harrow的陈述（Ph.D.论文2005 P.160）在$ \ OperatorName {su}（d）$ - 和$ s_n $-frirep基地之间并建立$ s_n $-arequivariant卷积量子交替使用年轻Jucys-Murphy（YJM）元素的ans {\“a} tze（$ s_n $ -cqa）。我们证明了$ s_n $ -cqa是密集的，因此在每美元内表达S_N $-Frirep块，其可以作为潜在的未来量子机器学习和优化应用成为普遍模型。我们的方法提供了另一种方法来证明量子近似优化算法（QAOA）的普遍性，从表示理论的角度来看。我们的框架可以自然地应用于全局$ \ Operatorname {su}（d）$对称性的各种问题。我们展示了数值模拟以展示ANS {\“A} TEE的有效性，以找到标志结构$ j_1 $ - $ j_2 $反铁磁性Heisenberg模型在矩形和矩形状态Kagome格子。我们的工作确定了特定机器学习问题的量子优势，并提供了庆祝的Okounkov-Vershik的表示理论的第一次应用于机器学习和量子物理学。
translated by 谷歌翻译
本文研究了辍学图神经网络（DAVERGNNS），一种旨在克服标准GNN框架的局限性的新方法。在DAMPGNNS中，我们在输入图上执行多个GNN运行，其中一些节点随机且独立地在这些运行中丢弃。然后，我们将这些运行的结果结合起来获得最终结果。我们证明DAMPGNN可以区分无法通过GNN的消息分隔的各种图形邻域。我们导出了确保可靠分布辍学所需的运行数量的理论界限，我们证明了有关DACKGNNS的表现能力和限制的若干特性。我们在实验上验证了我们对表现力的理论结果。此外，我们表明DOWNNNS在已建立的GNN基准上表现得很竞争。
translated by 谷歌翻译
图形神经网络（GNNS）的表现力量受到限制，具有远程交互的斗争，缺乏模拟高阶结构的原则性方法。这些问题可以归因于计算图表和输入图结构之间的强耦合。最近提出的消息通过单独的网络通过执行图形的Clique复合物的消息来自然地解耦这些元素。然而，这些模型可能受到单纯复合物（SCS）的刚性组合结构的严重限制。在这项工作中，我们将最近的基于常规细胞复合物的理论结果扩展到常规细胞复合物，灵活地满满SCS和图表的拓扑物体。我们表明，该概括提供了一组强大的图表“提升”转换，每个图形是导致唯一的分层消息传递过程。我们集体呼叫CW Networks（CWNS）的结果方法比WL测试更强大，而不是比3 WL测试更强大。特别是，当应用于分子图问题时，我们证明了一种基于环的一个这样的方案的有效性。所提出的架构从可提供的较大的表达效益于常用的GNN，高阶信号的原则建模以及压缩节点之间的距离。我们展示了我们的模型在各种分子数据集上实现了最先进的结果。
translated by 谷歌翻译
即使在数十年的量子计算开发之后，通常在经典同行中具有指数加速的通常有用量子算法的示例是稀缺的。线性代数定位量子机学习（QML）的量子算法中的最新进展作为这种有用的指数改进的潜在来源。然而，在一个意想不到的发展中，最近一系列的“追逐化”结果同样迅速消除了几个QML算法的指数加速度的承诺。这提出了关键问题是否是其他线性代数QML算法的指数加速度持续存在。在本文中，我们通过该镜头研究了Lloyd，Garnerone和Zanardi的拓扑数据分析算法后面的量子算法方法。我们提供了证据表明，该算法解决的问题通过表明其自然概括与模拟一个清洁量子位模型很难地难以进行棘手的 - 这被广泛认为需要在经典计算机上需要超时时间 - 并且非常可能免疫追逐。基于此结果，我们为等级估计和复杂网络分析等问题提供了许多新的量子算法，以及其经典侵害性的复杂性 - 理论上。此外，我们分析了近期实现的所提出的量子算法的适用性。我们的结果为全面吹嘘和限制的量子计算机提供了许多有用的应用程序，具有古典方法的保证指数加速，恢复了线性代数QML的一些潜力，以成为量子计算的杀手应用之一。
translated by 谷歌翻译
最近出现了许多子图增强图神经网络（GNN），可证明增强了标准（消息通话）GNN的表达能力。但是，对这些方法之间的相互关系和weisfeiler层次结构的关系有限。此外，当前的方法要么使用给定尺寸的所有子图，要随机均匀地对其进行采样，或者使用手工制作的启发式方法，而不是学习以数据驱动的方式选择子图。在这里，我们提供了一种统一的方法来研究此类体系结构，通过引入理论框架并扩展了亚图增强GNN的已知表达结果。具体而言，我们表明，增加子图的大小总是会增加表达能力，并通过将它们与已建立的$ k \ text { - } \ Mathsf {Wl} $ hierArchy联系起来，从而更好地理解其局限性。此外，我们还使用最近通过复杂的离散概率分布进行反向传播的方法探索了学习对子图进行采样的不同方法。从经验上讲，我们研究了不同子图增强的GNN的预测性能，表明我们的数据驱动体系结构与非DATA驱动的亚图增强图形神经网络相比，在标准基准数据集上提高了对标准基准数据集的预测准确性，同时减少了计算时间。
translated by 谷歌翻译
量子技术有可能彻底改变我们如何获取和处理实验数据以了解物理世界。一种实验设置，将来自物理系统的数据转换为稳定的量子存储器，以及使用量子计算机的数据的处理可以具有显着的优点，这些实验可以具有测量物理系统的传统实验，并且使用经典计算机处理结果。我们证明，在各种任务中，量子机器可以从指数较少的实验中学习而不是传统实验所需的实验。指数优势在预测物理系统的预测属性中，对噪声状态进行量子主成分分析，以及学习物理动态的近似模型。在一些任务中，实现指数优势所需的量子处理可能是适度的;例如，可以通过仅处理系统的两个副本来同时了解许多非信息可观察。我们表明，可以使用当今相对嘈杂的量子处理器实现大量超导QUBITS和1300个量子门的实验。我们的结果突出了量子技术如何能够实现强大的新策略来了解自然。
translated by 谷歌翻译
现代量子机学习（QML）方法涉及在训练数据集上进行各种优化参数化量子电路，并随后对测试数据集（即，泛化）进行预测。在这项工作中，我们在培训数量为N $培训数据点后，我们在QML中对QML的普遍表现进行了全面的研究。我们表明，Quantum机器学习模型的泛化误差与$ T $培训门的尺寸在$ \ sqrt {t / n} $上缩放。当只有$ k \ ll t $ gates在优化过程中经历了大量变化时，我们证明了泛化误差改善了$ \ sqrt {k / n} $。我们的结果意味着将Unitaries编制到通常使用指数训练数据的量子计算行业的多项式栅极数量，这是一项通常使用指数尺寸训练数据的大量应用程序。我们还表明，使用量子卷积神经网络的相位过渡的量子状态的分类只需要一个非常小的训练数据集。其他潜在应用包括学习量子误差校正代码或量子动态模拟。我们的工作将新的希望注入QML领域，因为较少的培训数据保证了良好的概括。
translated by 谷歌翻译
我们建立了量子算法设计与电路下限之间的第一一般连接。具体来说，让$ \ mathfrak {c} $是一类多项式大小概念，假设$ \ mathfrak {c} $可以在统一分布下的成员查询，错误$ 1/2 - \ gamma $通过时间$ t $量子算法。我们证明如果$ \ gamma ^ 2 \ cdot t \ ll 2 ^ n / n $，则$ \ mathsf {bqe} \ nsubseteq \ mathfrak {c} $，其中$ \ mathsf {bqe} = \ mathsf {bque} [2 ^ {o（n）}] $是$ \ mathsf {bqp} $的指数时间模拟。在$ \ gamma $和$ t $中，此结果是最佳的，因为它不难学习（经典）时间$ t = 2 ^ n $（没有错误） ，或在Quantum Time $ t = \ mathsf {poly}（n）$以傅立叶采样为单位为1/2美元（2 ^ { - n / 2}）$。换句话说，即使对这些通用学习算法的边际改善也会导致复杂性理论的主要后果。我们的证明在学习理论，伪随机性和计算复杂性的几个作品上构建，并且至关重要地，在非凡的经典学习算法与由Oliveira和Santhanam建立的电路下限之间的联系（CCC 2017）。扩展他们对量子学习算法的方法，结果产生了重大挑战。为此，我们展示了伪随机发电机如何以通用方式意味着学习到较低的连接，构建针对均匀量子计算的第一个条件伪随机发生器，并扩展了Impagliazzo，JaiSwal的本地列表解码算法。 ，Kabanets和Wigderson（Sicomp 2010）通过微妙的分析到量子电路。我们认为，这些贡献是独立的兴趣，可能会发现其他申请。
translated by 谷歌翻译