Quantum many-body problems are some of the most challenging problems in science and are central to demystifying some exotic quantum phenomena, e.g., high-temperature superconductors. The combination of neural networks (NN) for representing quantum states, coupled with the Variational Monte Carlo (VMC) algorithm, has been shown to be a promising method for solving such problems. However, the run-time of this approach scales quadratically with the number of simulated particles, constraining the practically usable NN to - in machine learning terms - minuscule sizes (<10M parameters). Considering the many breakthroughs brought by extreme NN in the +1B parameters scale to other domains, lifting this constraint could significantly expand the set of quantum systems we can accurately simulate on classical computers, both in size and complexity. We propose a NN architecture called Vector-Quantized Neural Quantum States (VQ-NQS) that utilizes vector-quantization techniques to leverage redundancies in the local-energy calculations of the VMC algorithm - the source of the quadratic scaling. In our preliminary experiments, we demonstrate VQ-NQS ability to reproduce the ground state of the 2D Heisenberg model across various system sizes, while reporting a significant reduction of about ${\times}10$ in the number of FLOPs in the local-energy calculation.

我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。

量子状态的神经网络表示的变异优化已成功地用于解决相互作用的费米子问题。尽管发展迅速，但在考虑大规模分子时会出现重大的可伸缩性挑战，这些分子与非局部相互作用的量子自旋汉密尔顿人相对应，这些量子旋转汉密尔顿人由数千甚至数百万的保利操作员组成。在这项工作中，我们引入了可扩展的并行化策略，以改善基于神经网络的量子量蒙特卡洛计算，用于AB-Initio量子化学应用。我们建立了由GPU支持的局部能量并行性，以计算潜在复杂分子的哈密顿量的优化目标。使用自回旋抽样技术，我们证明了实现CCSD基线目标能量所需的壁锁定时间的系统改进。通过将最终的旋转汉顿量的结构适应自回归抽样顺序，进一步提高了性能。与经典的近似方法相比，该算法实现了有希望的性能，并且比现有基于神经网络的方法具有运行时间和可伸缩性优势。

机器学习，特别是深度学习方法在许多模式识别和数据处理问题，游戏玩法中都优于人类的能力，现在在科学发现中也起着越来越重要的作用。机器学习在分子科学中的关键应用是通过使用密度函数理论，耦合群或其他量子化学方法获得的电子schr \“ odinger方程的Ab-Initio溶液中的势能表面或力场。我们回顾了一种最新和互补的方法：使用机器学习来辅助从第一原理中直接解决量子化学问题。具体来说，我们专注于使用神经网络ANSATZ功能的量子蒙特卡洛（QMC）方法，以解决电子SCHR \ “ Odinger方程在第一和第二量化中，计算场和激发态，并概括多个核构型。与现有的量子化学方法相比，这些新的深QMC方法具有以相对适度的计算成本生成高度准确的Schr \“ Odinger方程的溶液。

神经网络和量子蒙特卡罗方法的组合作为前进的高精度电子结构计算的道路出现。以前的建议具有组合具有反对称层的增强的神经网络层，以满足电子波技的反对称要求。但是，迄今为止，如果可以代表物理兴趣的反对称功能，则不清楚尚不清楚，并且难以测量反对称层的富有效果。这项工作通过将明确的防视通用神经网络层作为诊断工具引入明确的防视通用神经网络层来解决这个问题。我们首先介绍一种通用的反对二手（GA）层，我们用于更换称为FEMINET的高精度ANSATZ的整个防反对二层层。我们证明所得到的FERMINET-GA架构可以有效地产生小型系统的确切地位能量。然后，我们考虑一种分解的反对称（FA）层，其通过替换具有反对称神经网络的产品的决定因素的产品更易于推广FERMINET。有趣的是，由此产生的FERMINET-FA架构并不优于FERMINET。这表明抗体产品的总和是Ferminet架构的关键限制方面。为了进一步探索这一点，我们研究了称为全决定性模式的FERMINET的微小修改，其用单一组合的决定蛋白取代了决定因素的每个产物。完整的单决定性Ferminet封闭标准单决定性Ferminet和Ferminet-Ga之间的大部分间隙。令人惊讶的是，在4.0 BoHR的解离键长度的氮素分子上，全单决定性Ferminet可以显着优于标准的64个决定性Ferminet，从而在0.4千卡/摩尔中获得最佳可用计算基准的能量。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

现实世界中的数据是高维的：即使在压缩后，书籍，图像或音乐表演也很容易包含数十万个元素。但是，最常用的自回归模型，变压器非常昂贵，以缩放捕获这种远程结构所需的输入和层数。我们开发了感知者AR，这是一种自回归的模态 - 不合骨架构，它使用交叉注意力将远程输入映射到少数潜在的潜在，同时还可以维护端到端的因果关系掩盖。感知器AR可以直接进行十万个令牌，从而实现了实用的长篇小写密度估计，而无需手工制作的稀疏模式或记忆机制。当对图像或音乐进行培训时，感知器AR会生成具有清晰长期连贯性和结构的输出。我们的架构还获得了长期基准测试的最新可能性，包括64 x 64个Imagenet图像和PG-19书籍。

仪表不变性在量子力学从冷凝物物理到高能物理中起着至关重要的作用。我们开发了一种构建量子晶格模型构建仪表不变自回归神经网络的方法。这些网络可以有效地采样和明确地遵循仪表对称性。我们为地面状态和各种模型的实时动态进行了各种优化我们的仪表不变自回归神经网络。我们精确地代表了2D和3D转矩代码的地面和激励状态，以及X-Cube Fracton模型。我们模拟$ \ text {u（1）} $格式理论的量子链路模型的动态和Gound状态，获取2d $ \ mathbb {z} _2 $仪表理论的相图，确定相位过渡和$ \文本的中心收费{su（2）} _ 3 $ anyonic链，也计算SU（2）不变的Heisenberg旋转链的地面状态能量。我们的方法提供了强大的工具，可探索凝聚物物理，高能量物理和量子信息科学。

量子计算有可能彻底改变和改变我们的生活和理解世界的方式。该审查旨在提供对量子计算的可访问介绍，重点是统计和数据分析中的应用。我们从介绍了了解量子计算所需的基本概念以及量子和经典计算之间的差异。我们描述了用作量子算法的构建块的核心量子子程序。然后，我们审查了一系列预期的量子算法，以便在统计和机器学习中提供计算优势。我们突出了将量子计算应用于统计问题的挑战和机遇，并讨论潜在的未来研究方向。

我们证明，任何矩阵产品状态（MP）可以通过线性内存更新的复发神经网络（RNN）来精确表示。我们使用多线性内存更新将此RNN体系结构推广到2D晶格。它支持在多项式时间内的完美采样和波功能评估，并且可以代表纠缠熵的区域定律。数值证据表明，与MPS相比，它可以使用键尺寸较低的键尺寸编码波函数，其精度可以通过增加键尺寸来系统地改善。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

与变压器架构相关的自我监督学习的最新进展使自然语言处理（NLP）表现出极低的困惑。如此强大的模型需要越来越多的模型大小，因此需要大量的计算和内存足迹。在本文中，我们为大规模生成语言模型提出了一个有效的推理框架。作为减少模型大小的关键，我们通过不均匀的量化方法量化权重。然后，我们提出的称为NUQMM的量化矩阵乘法加速了，该内核可以在压缩比和准确性之间进行广泛的权衡。我们提出的NUQMM不仅减少了每个GPU的延迟，还减少了大LMS的全部推断，因为高压缩比（通过低位量化）减轻了最小所需的GPU数量。我们证明NUQMM可以将GPT-3（175b）模型的推理速度加速约14.4倍，并将能源消耗降低93％。

Quasiparticle有效质量$ M ^ \ AST $互动电子是Fermi液体理论中的基本量。然而，在几十年后，均匀电子气体的有效质量仍然难以捉摸。新开发的神经规范变换方法Arxiv：2105.08644提供了通过直接计算低温热熵来提取电子气体的有效质量的原则方法。该方法使用两种生成神经网络模拟变分许多电子密度矩阵：用于电坐标的动量占用和标准化流动的自回归模型。我们的计算揭示了二维旋转偏振电子气中有效质量的抑制，其比在低密度强耦合区域中的先前报告更加明显。该预测要求在二维电子气体实验中验证。

由于希尔伯特空间的指数增长，模拟古典计算机上的量子数量是一个具有挑战性的问题。最近被引入了人工神经网络作为近似量子 - 许多身体状态的新工具。我们基准限制Boltzmann机器量子状态和不同浅层神经自动汇流量子状态的变分力，以模拟不可排益量子依赖链的全局淬火动态。我们发现在给定精度以给定精度表示量子状态所需的参数的数量呈指数增长。增长率仅受到广泛不同设计选择的网络架构的略微影响：浅层和深度网络，小型和大型过滤尺寸，扩张和正常卷积，有和没有快捷连接。

深度学习方法已被证明可以有效地表示量子多体系统的地面波函数。现有方法由于其图像样结构而使用卷积神经网络（CNN）进行方格。对于非方格晶格，现有方法使用图形神经网络（GNN），其中未精确捕获结构信息，从而需要其他手工制作的Sublattice编码。在这项工作中，我们提出了晶格卷积，其中使用一组建议的操作将非方格晶格转换为类似网格的增强晶格，可以在上进行定期卷积。根据提议的晶格卷积，我们设计了使用自我门控和注意机制的晶格卷积网络（LCN）。实验结果表明，我们的方法在PAR上的性能或比Spin 1/2 $ J_1 $ - $ J_2 $ HEISENBERG模型在Square，Honeycomb，Triangular和Kagome Lattices上的现有方法更好，而无需使用手工制作的编码。

变压器在长序列上是缓慢的，渴望记忆力，因为自我注意的时间和记忆复杂性在序列上是二次的。近似关注方法试图通过交易模型质量以降低计算复杂性来解决此问题，但通常无法实现墙壁锁定的加速。我们认为，缺失的原则是提出注意力算法，以考虑读取和在GPU记忆层次之间写入。我们提出了FlashAttention，这是一种IO意识的精确注意算法，该算法使用平铺来减少GPU高带宽内存（HBM）和GPU芯片SRAM之间的内存读数/写入/写入。我们分析了闪存的IO复杂性，表明它所需的HBM访问少于标准注意力，并且对于一系列SRAM尺寸而言是最佳的。我们还扩展了闪光词，以引起障碍物的注意，从而产生了比任何现有的近似关注方法更快的近似关注算法。闪存火车的变压器​​比现有基准快：与MLPERF 1.1训练速度记录相比，Bert-Large（第512秒）的端到端壁式锁定加速度为15％，GPT-2上的3 $ \ times $ speedup（seq） 。闪存表现和块状闪光词可在变压器中实现更长的上下文，从而产生更高质量的模型（GPT-2上的0.7更好的困惑和长期分类的6.4点升力）和全新的功能：第一个实现优于更好的Chance的变压器PATH-X挑战（Seq。Length16K，61.4％精度）和PATH-256（Seq。Length64K，63.1％精度）上的性能。

深度神经网络非常成功，因为高度准确的波函数ANS \“ ATZE用于分子基础状态的变异蒙特卡洛计算。我们提出了一个这样的Ansatz，Ferminet的扩展，以计算定期汉密尔顿人的基础状态，并研究均质电子气。小电子气体系统基态能量的费米特计算与先前的启动器完全构型相互作用量子蒙特卡洛和扩散蒙特卡洛计算非常吻合。我们研究了自旋偏振均质的均质电子气体，并证明了这一点相同神经网络架构能够准确地代表离域的费米液态和局部的晶体状态。没有给出网络，没有\ emph {a emph {a a a emph {a a emph {a e emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {a emph {并自发打破对称性以产生结晶蛋白E基态在低密度下。

数据冗余在深神经网络（DNN）的输入和中间结果中无处不在。它为提高DNN性能和效率提供了许多重要的机会，并在大量工作中探索了。这些研究在几年中都在许多场所散布。他们关注的目标范围从图像到视频和文本，以及他们用于检测和利用数据冗余的技术在许多方面也有所不同。尚无对许多努力进行系统的检查和摘要，使研究人员很难对先前的工作，最新技术，差异和共享原则以及尚未探索的领域和方向进行全面看法。本文试图填补空白。它调查了有关该主题的数百篇论文，引入了一种新颖的分类法，以将各种技术纳入一个单一的分类框架，对用于利用数据冗余的主要方法进行了全面描述，以改善数据的多种DNN，并指出一组未来探索的研究机会。

We introduce Performers, Transformer architectures which can estimate regular (softmax) full-rank-attention Transformers with provable accuracy, but using only linear (as opposed to quadratic) space and time complexity, without relying on any priors such as sparsity or low-rankness. To approximate softmax attentionkernels, Performers use a novel Fast Attention Via positive Orthogonal Random features approach (FAVOR+), which may be of independent interest for scalable kernel methods. FAVOR+ can also be used to efficiently model kernelizable attention mechanisms beyond softmax. This representational power is crucial to accurately compare softmax with other kernels for the first time on large-scale tasks, beyond the reach of regular Transformers, and investigate optimal attention-kernels. Performers are linear architectures fully compatible with regular Transformers and with strong theoretical guarantees: unbiased or nearly-unbiased estimation of the attention matrix, uniform convergence and low estimation variance. We tested Performers on a rich set of tasks stretching from pixel-prediction through text models to protein sequence modeling. We demonstrate competitive results with other examined efficient sparse and dense attention methods, showcasing effectiveness of the novel attention-learning paradigm leveraged by Performers.

成倍增长的模型大小驱动了深度学习的持续成功，但它带来了过度的计算和记忆成本。从算法的角度来看，已经研究了模型的稀疏和量化以减轻问题。从体系结构的角度来看，硬件供应商提供了张量核心以进行加速。但是，由于严格的数据布局要求以及缺乏有效操纵低精度整数的支持，因此从稀疏的低精度矩阵操作中获得实践加速非常具有挑战性。我们提出了Magicube，这是一个高性能的稀疏矩阵库，用于张量芯上的低精度整数。 Magicube支持SPMM和SDDMM，这是深度学习的两个主要稀疏操作。 NVIDIA A100 GPU的实验结果表明，Magicube平均在供应商优化的库中平均达到1.44倍（高达2.37倍）的速度，用于稀疏内核，而在最先进的艺术品上进行了1.43倍的速度，具有可比的准确性。端到端稀疏变压器推断。