机器学习算法必须能够有效地应对大量数据集。因此，他们必须在任何现代系统上进行良好的扩展，并能够利用独立于供应商的加速器的计算能力。在监督学习领域，支持向量机（SVM）被广泛使用。但是，即使是现代化和优化的实现，例如LIBSVM或ThunderSVM对于尖端硬件的大型非平凡的密集数据集也不能很好地扩展：大多数SVM实现基于顺序最小优化，这是一种优化的固有顺序算法。因此，它们不适合高度平行的GPU。此外，我们不知道支持不同供应商的CPU和GPU的性能便携式实现。我们已经开发了PLSSVM库来解决这两个问题。首先，我们将SVM的配方作为最小二乘问题。然后训练SVM沸腾以求解已知高度平行算法的线性方程系统。其次，我们提供了一个独立但高效的实现：PLSSVM使用不同的可互换后端 - openmp，cuda，opencl，sycl-支持来自多个GPU的NVIDIA，AMD或INTEL等各种供应商的现代硬件。 PLSSVM可以用作LIBSVM的倒入替换。与LIBSVM相比，与ThunderSVM相比，我们观察到高达10的CPU和GPU的加速度。我们的实施量表在多核CPU上缩放，并在多达256个CPU线程和多个GPU上平行加速为74.7，在四个GPU上的并行加速为3.71。代码，实用程序脚本和文档都可以在GitHub上获得：https：//github.com/sc-sgs/plssvm。

支持向量机（SVM）是机器学习工具箱中的标准方法，特别是对于表格数据。但是，非线性内核SVM通常以较长的培训时间为代价提供高度准确的预测指标。随着时间的推移，数据量的指数增长加剧了这个问题。过去，它主要是通过两种类型的技术来解决的：近似求解器和平行的GPU实现。在这项工作中，我们将这两种方法结合在一起，以设计非常快速的双SVM求解器。我们充分利用现代计算服务器的功能：多核架构，多个高端GPU和大型随机访问存储器。在这样的机器上，我们在24分钟内在ImageNet数据集上训练一个大利润分类器。

内核矩阵在许多学习任务中至关重要，例如支持向量机或内核RIDGE回归。内核矩阵通常是密集和大规模的。根据特征空间的维度，即使在合理的时间内计算所有条目的计算也是一个具有挑战性的任务。对于这种密集的矩阵，如果没有应用自定义方法，则矩阵矢量产品的成本在条目的数量上逐步缩放。我们提出了使用ANOVA内核，在那里我们基于低维特征空间构造多个内核，我们提供了实现矩阵矢量产品的快速算法。我们采用非平稳的快速傅立叶变换（NFFT），这是针对固定精度的线性复杂性。基于特征分组方法，我们将展示如何嵌入快速矩阵矢量产品如何嵌入到选择内核脊回归的学习方法和预处理的共轭梯度求解器中。我们说明了我们在几种数据集上的方法的性能。

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

一般矩阵乘法或GEMM内核在高性能计算和机器学习中占据中心位置。最近的NVIDIA GPU包括Gemm加速器，如Nvidia的张量核心。他们的剥削受到双语言问题的阻碍：它需要低级编程，这意味着低程序员的工作效率或使用只提供有限组件集的库。由于建立的组件方面的REPRASING算法经常引入开销，因此图书馆缺乏灵活性限制了探索新算法的自由。因此，使用GEMMS的研究人员无法立即享受编程生产力，高性能和研究灵活性。在本文中，我们解决了这个问题。我们在科学朱莉娅编程语言中展示了三组抽象和接口来编程宝石。界面和抽象共同设计用于研究人员的需求和朱莉娅的特征，以实现足够的担忧和灵活性的充分分离，以便在不支付性能价格的情况下轻松地扩展基本宝石。将我们的Gemms与最先进的图书馆Cublas和Cutlass进行比较，我们证明我们的性能在图书馆的相同球场中，并且在某些情况下甚至超过它，而无需在CUDA C ++中编写单行代码或者组装，而不面临灵活限制。

深度学习领域目睹了对极端计算和内存密集型神经网络的显着转变。这些较新的较大模型使研究人员能够推进各种领域的最先进的工具。这种现象刺激了在更多的硬件加速器上产生了针对神经网络的分布式训练的算法。在本文中，我们讨论并比较了当前的最先进的框架，以实现大规模的分布式深度学习。首先，我们调查分布式学习中的当前实践，并确定所使用的不同类型的并行性。然后，我们提出了对大型图像和语言培训任务的性能进行了经验结果。此外，我们解决了他们的统计效率和内存消耗行为。根据我们的结果，我们讨论了阻碍性能的每个框架的算法和实现部分。

训练机学习（ML）算法是一个计算密集型过程，由于反复访问大型培训数据集，经常会陷入内存。结果，以处理器为中心的系统（例如CPU，GPU）遭受了内存单元和处理单元之间的昂贵数据移动，这会消耗大量的能量和执行周期。以内存为中心的计算系统，即具有内存（PIM）功能，可以减轻此数据运动瓶颈。我们的目标是了解现代通用PIM体系结构加速ML培训的潜力。为此，我们（1）在现实世界通用PIM体系结构上实现了几种代表性的经典ML算法（即线性回归，逻辑回归，决策树，K-均值聚类），（2）严格评估并表征它们在准确性，性能和缩放方面以及（3）与CPU和GPU上的对应物实现相比。我们对具有2500多个PIM核心的真实内存计算系统的评估表明，当PIM硬件在必要的操作和数据类型上，通用PIM架构可以极大地加速内存的ML工作负载。例如，我们对决策树的PIM实施比8核Intel Xeon上的最先进的CPU版本$ 27 \ times $ $，并且比最先进的GPU快$ 1.34 \ times $ $ NVIDIA A100上的版本。我们在PIM上的K-Means聚类分别为$ 2.8 \ times $和$ 3.2 \ times $ $，分别是最先进的CPU和GPU版本。据我们所知，我们的工作是第一个评估现实世界中PIM架构的ML培训的工作。我们以关键的观察，外卖和建议结束，可以激发ML工作负载的用户，PIM架构的程序员以及未来以内存计算系统的硬件设计师和架构师。

我们提出了TOD，这是一个在分布式多GPU机器上进行有效且可扩展的离群检测（OD）的系统。 TOD背后的一个关键思想是将OD应用程序分解为基本张量代数操作。这种分解使TOD能够通过利用硬件和软件中深度学习基础架构的最新进展来加速OD计算。此外，要在有限内存的现代GPU上部署昂贵的OD算法，我们引入了两种关键技术。首先，可证明的量化可以加快OD计算的速度，并通过以较低的精度执行特定的浮点操作来减少其内存足迹，同时证明没有准确的损失。其次，为了利用多个GPU的汇总计算资源和内存能力，我们引入了自动批处理，该批次将OD计算分解为小批次，以便在多个GPU上并行执行。 TOD支持一套全面且多样化的OD算法，例如LOF，PCA和HBOS以及实用程序功能。对真实和合成OD数据集的广泛评估表明，TOD平均比领先的基于CPU的OD系统PYOD快11.6倍（最大加速度为38.9倍），并且比各种GPU底线要处理的数据集更大。值得注意的是，TOD可以直接整合其他OD算法，并提供了将经典OD算法与深度学习方法相结合的统一框架。这些组合产生了无限数量的OD方法，其中许多方法是新颖的，可以很容易地在TOD中进行原型。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。

为低功耗设备上的高性能计算选择适当的编程范例可以很有用来加快计算。许多Android设备都有一个集成的GPU，虽然没有正式支持 - OpenCL框架可以在Android设备上用于寻址这些GPU。 OpenCL支持线程和数据并行性。使用GPU的应用程序必须考虑到用户可以在任何时刻暂停用户或Android操作系统。我们已创建一个包装器库，允许在Android设备上使用OpenCL。已经写入OpenCL程序可以用几乎没有修改来执行。我们使用此库将DBSCAN和kmeans算法的性能与同一设备上的其他单个和多线程实现的ARM-V7平板电脑的集成GPU进行比较。我们调查了哪些编程范式和语言允许执行速度和能耗之间的最佳权衡。在Android设备上使用GPU进行HPC，可以帮助在遥控区域下进行计算密集型机器学习或数据挖掘任务，在恶劣的环境条件下以及能源供应是一个问题的领域。

过去的几年见证了基于变压器的模型的成功，其规模和应用方案继续积极发展。变压器模型的当前景观越来越多样化：该模型大小差异很大，最大的参数是最大的。模型特性由于特征的混合物所引入的稀疏性而有所不同。目标应用程序方案可以是关键延迟或面向吞吐量的情况；部署硬件可以是具有不同类型的内存和存储等单身或多GPU系统。随着多样性的增加和变压器模型的快速发展速度，设计高性能和高效的推理系统非常具有挑战性。在本文中，我们提出了DeepSpeed推断，这是用于解决上述挑战的变压器模型推理的全面系统解决方案。深速推理包括（1）一种多GPU推理解决方案，可最大程度地减少潜伏度，同时最大化密集和稀疏变压器模型的吞吐量，当它们适合聚集的GPU内存时，以及（2）一种异质推理解决方案，该解决方案利用CPU和NVME内存中的CPU和NVME内存。除了GPU内存和计算以使高推理吞吐量具有不适合聚集GPU内存的大型推理吞吐量。对于面向延迟的方案，深速推理可将延迟降低到最新的7倍，而对于面向吞吐量的方案，延迟的潜伏期将延迟减少到1.5倍以上。此外，它通过利用数百个GPU来实现实时延迟约束下的参数量表推断，这是一个前所未有的推理。它可以比仅使用GPU的解决方案更大的25倍模型，同时提供84个TFLOPS（超过50美元的A6000峰值）。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

低精度算术对神经网络的训练产生了变革性的影响，从而减少了计算，记忆和能量需求。然而，尽管有希望，低精确的算术对高斯流程（GPS）的关注很少，这主要是因为GPS需要在低精确度中不稳定的复杂线性代数例程。我们研究以一半精度训练GP时可能发生的不同故障模式。为了避免这些故障模式，我们提出了一种多方面的方法，该方法涉及具有重新构造，混合精度和预处理的共轭梯度。我们的方法大大提高了低精度在各种设置中的偶联梯度的数值稳定性和实践性能，从而使GPS能够在单个GPU上以10美元的$ 10 $ 10 $ 10 $ 10 $ 10的数据点进行培训，而没有任何稀疏的近似值。

本文介绍了正向和反向模式的校正和高效自动分化的校正和高效自动化。自动差异是获得数值节目梯度的方法，这对于优化，不确定量化和机器学习至关重要。计算渐变的计算成本是实践中的常见瓶颈。对于使用OpenMP为多核CPU或GPU并行化的应用程序，还希望并行计算渐变。我们提出了一个框架，原因是生成的衍生代码的正确性，我们向差异化模型证明了我们的OpenMP扩展。我们在自动差异化工具磁带上实施此模型，并在我们的扩展差异化过程之后差异化的目前的测试用例。生成的衍生程序的性能在前进和反向模式优于顺序，尽管我们的反向模式通常比输入程序更差。

基于内核的量子分类器是用于复杂数据的超线化分类的最有趣，最强大的量子机学习技术，可以在浅深度量子电路（例如交换测试分类器）中轻松实现。出乎意料的是，通过引入差异方案，可以将支持向量机固有而明确地实现，以将SVM理论的二次优化问题映射到量子古典的变分优化问题。该方案使用参数化的量子电路（PQC）实现，以创建一个不均匀的权重向量，以索引量子位，可以在线性时间内评估训练损失和分类得分。我们训练该变量量子近似支持向量机（VQASVM）的经典参数，该参数可以转移到其他VQASVM决策推理电路的许多副本中，以分类新查询数据。我们的VQASVM算法对基于云的量子计算机的玩具示例数据集进行了实验，以进行可行性评估，并进行了数值研究以评估其在标准的IRIS花朵数据集上的性能。虹膜数据分类的准确性达到98.8％。

气候变化所扩大的极端天气正在造成全球日益毁灭性的影响。由于高计算成本和严格的时间到解决方案限制，目前基于物理的数值天气预测（NWP）的使用限制了精度。我们报告说，数据驱动的深度学习地球系统模拟器Fourcastnet可以预测全球天气，并在接近最先进的准确性的同时，比NWP更快地产生五个量子的预测。四个超级计算系统（Selene，Perlmutter和Juwels Booster高达3,808 nvidia a100 GPU）在三个超级计算系统上进行了优化，并有效地缩放，并在混合精度中获得140.8 PETAFLOPS（该规模的峰值为11.9％）。在3,072GPU上在Juwels Booster上测量的训练四界的时间到达的时间为67.4分钟，相对于最新的NWP，在推理中，相对于最先进的NWP的时间更快。 Fourcastnet提前一周可产生准确的瞬时天气预测，使巨大的合奏更好地捕捉了极端天气，并支持更高的全球预测决议。

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

TensorFlow is a machine learning system that operates at large scale and in heterogeneous environments. Tensor-Flow uses dataflow graphs to represent computation, shared state, and the operations that mutate that state. It maps the nodes of a dataflow graph across many machines in a cluster, and within a machine across multiple computational devices, including multicore CPUs, generalpurpose GPUs, and custom-designed ASICs known as Tensor Processing Units (TPUs). This architecture gives flexibility to the application developer: whereas in previous "parameter server" designs the management of shared state is built into the system, TensorFlow enables developers to experiment with novel optimizations and training algorithms. TensorFlow supports a variety of applications, with a focus on training and inference on deep neural networks. Several Google services use TensorFlow in production, we have released it as an open-source project, and it has become widely used for machine learning research. In this paper, we describe the TensorFlow dataflow model and demonstrate the compelling performance that Tensor-Flow achieves for several real-world applications.