本文提出了一种简单而有效的高空风诺卡林管道。它在整个空域上有效地处理了飞机记录的大量现场数据，并以良好的准确性重建风场。它为数据集中的每个点创建一个唯一的上下文，然后从中推断。由于创建此类上下文是计算密集的，本文提出了一种新颖的算法，其通过有效地获取沿着可以沿着可以近似与碎片线性结构近似的平滑轨迹组织的数据集中的最近邻居来减少时间和内存成本。我们介绍了通过代数姿态运营实施的高效和精确的策略，这是非常适合现代GPU的计算基础设施。该方法采用可伸缩的欧几里德度量，并且允许沿一个维度掩蔽数据点。当应用时，该方法比普通欧几里德K-NN和其他众所周知的数据选择方法（如KDTREE）更有效，并且提供了几倍的加速。我们提供Pytorch的实现和新的数据集，以允许复制经验结果。

高维空间中的大约最近的邻居搜索（ANN）对于许多现实生活应用程序（例如电子商务，Web，多媒体等）至关重要。在本文中，我们提出了一个端到端的学习框架，该框架将分区（ANN的一个关键步骤）和使用自定义损失函数进行学习进行搜索步骤。我们提出的解决方案的关键优势是，它不需要对数据集进行任何昂贵的预处理，这是最新方法的关键局限性之一。我们通过制定不需要地面真实标签来量化数据空间分区的质量的多目标自定义损失函数来实现上述边缘，从而完全不受监督。我们还通过在损失功能中添加不同的输入权重来训练模型集合以增强搜索质量来提出一种结合技术。在几个标准的ANN标准基准上，我们表明我们的方法击败了最新的空间分区方法和无处不在的K-均值聚类方法，同时使用较少的参数和较短的离线训练时间。在没有一般性的情况下，我们的无监督分区方法被证明是许多广泛使用的聚类方法（例如K-均值聚类和DBSCAN）的有希望的替代方法。

本文研究了分层聚类问题，其中目标是生产一种在数据集的变化尺度上表示集群的树形图。我们提出了用于设计并行分层凝聚聚类（HAC）算法的Parchain框架，并使用该框架，我们获得了全面连锁，平均联系和病房的联动标准的新颖平行算法。与最先前的并行HAC算法相比，这需要二次存储器，我们的新算法仅需要线性存储器，并且可以扩展到大数据集。 PARCHAIN基于我们最近邻的链算法的并行化，并使多个群集能够在每一轮上合并。我们介绍了两个关键优化，这对于效率至关重要：范围查询优化，减少查找群集的最近邻居所需的距离计算数，以及存储可能重复使用的先前计算的距离子集的缓存优化。通过实验，我们表明，我们的高度优化实现，使用48个核心，通过双向超线程实现5.8--110.1倍的加速，通过最先进的并行HAC算法，实现了13.75--54.23倍的自相对加速。与最先进的算法相比，我们的算法较少的空间少于237.3倍。我们的算法能够扩展到具有数百万点的数据集大小，现有算法无法处理该算法。

索引是支持大型数据库中有效查询处理的有效方法。最近，已积极探索了替代或补充传统索引结构的学习指数的概念，以降低存储和搜索成本。但是，在高维度空间中准确有效的相似性查询处理仍然是一个开放的挑战。在本文中，我们提出了一种称为LIMS的新型索引方法，该方法使用数据群集，基于枢轴的数据转换技术和学习的索引来支持度量空间中的有效相似性查询处理。在LIM中，将基础数据分配到簇中，使每个群集都遵循相对均匀的数据分布。数据重新分布是通过利用每个集群的少量枢轴来实现的。类似的数据被映射到紧凑的区域，而映射的值是完全顺序的。开发机器学习模型是为了近似于磁盘上每个数据记录的位置。有效的算法设计用于基于LIMS的处理范围查询和最近的邻居查询，以及具有动态更新的索引维护。与传统索引和最先进的学习索引相比，对现实世界和合成数据集的广泛实验证明了LIM的优势。

Accurate high-altitude wind forecasting is important for air traffic control. And the large volume of data available for this task makes deep neural network-based models a possibility. However, special methods are required because the data is measured only sparsely: along the main aircraft trajectories and arranged sparsely in space, namely along the main air corridors. Several deep learning approaches have been proposed, and in this work, we show that Transformers can fit this data efficiently and are able to extrapolate coherently from a context set. We show this by an extensive comparison of Transformers to numerous existing deep learning-based baselines in the literature. Besides high-altitude wind forecasting, we compare competing models on other dynamical physical systems, namely those modelled by partial differential equations, in particular the Poisson equation and Darcy Flow equation. For these experiments, in the case where the data is arranged non-regularly in space, Transformers outperform all the other evaluated methods. We also compared them in a more standard setup where the data is arranged on a grid and show that the Transformers are competitive with state-of-the-art methods, even though it does not require regular spacing. The code and datasets of the different experiments will be made publicly available at publication time.

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

我们在多变量时间序列预测（MTSF）的域中制定了一个新的推理任务，称为变量子集预报（VSF），其中仅在推理过程中可用一小部分变量子集。由于长期数据丢失（例如，传感器故障）或列车 /测试之间的高 - >低资源域移动，因此在推理过程中没有变量。据我们所知，在文献中尚未研究MTSF模型在存在此类故障的情况下的稳健性。通过广泛的评估，我们首先表明，在VSF设置中，最新方法的性能显着降低。我们提出了一种非参数包装技术，该技术可以应用于任何现有的预测模型。通过在4个数据集和5个预测模型的系统实验中，我们表明我们的技术能够恢复模型的接近95 \％性能，即使仅存在15 \％的原始变量。

K-Nearest邻居搜索是各种应用程序中的基本任务之一，层次可导航的小世界（HNSW）最近在大规模云服务中引起了人们的注意，因为它在提供快速搜索的同时很容易扩展数据库。另一方面，将可编程逻辑和单个板上的可编程逻辑模块结合在一起的计算存储设备（CSD）变得流行，以解决现代计算系统的数据带宽瓶颈。在本文中，我们提出了一个计算存储平台，该平台可以加速基于SMARTSSSD CSD的基于图形的最近的邻居搜索算法。为此，我们更修改算法在硬件上更适合，并使用基于HLS和RTL的方法实现两种类型的加速器，并采用各种优化方法。此外，我们扩展了提议的平台，以拥有4个SMARTSSS，并应用图形并行性以进一步提高系统性能。结果，拟议的计算存储平台在258.66W的功率耗散时，SIFT1B数据集的每秒吞吐量达到75.59个查询，该数据集的功率耗散为12.83倍，比常规CPU和GPU和GPU更快，更快的10.43 x和10.43 x和24.33 x - 基于基于的服务器平台。借助多稳定的存储和自定义加速能力，我们相信所提出的计算存储平台是针对成本敏感的云数据中心的有前途的解决方案。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

由于高存储成本和计算要求，在实践中分析了许多或长时间序列。因此，已经提出了技术来生成时间序列的紧凑相似性保存表示，从而实现大量内存数据集合的实时相似性搜索。然而，当序列在局部间隙时，现有技术并不适合评估相似性。在本文中，我们提出了使用产品量化以了解基于时间序列的有效相似性的比较。该想法是首先通过将时间序列划分为由短代码表示的相等长度子序列来压缩数据。然后可以通过在其代码之间的预先计算的弹性距离来有效地近似于两个时间序列之间的距离。分区进入子序列强制不需要的对齐，我们使用最大重叠离散小波变换（MODWT）与预先对准步骤进行地址。为了展示我们方法的效率和准确性，我们对最近邻居分类和聚类应用中的基准数据集进行了广泛的实验评估。总的来说，所提出的解决方案作为高效（在内存使用和计算时间方面）的高效（无论是在时间序列应用中的弹性措施的替代。

图表学习方法为解决图形所代表的复杂的现实世界问题打开了新的可能性。但是，这些应用程序中使用的许多图包括数百万节点和数十亿个边缘，并且超出了当前方法和软件实现的功能。我们提供葡萄，这是一种用于图形处理和表示学习的软件资源，能够通过使用专业和智能数据结构，算法和快速并行实现来通过大图扩展。与最先进的软件资源相比，葡萄显示出经验空间和时间复杂性的数量级的改善，以及边缘预测和节点标签预测性能的实质和统计学上的显着改善。此外，葡萄提供了来自文献和其他来源的80,000多种图，标准化界面允许直接整合第三方库，61个节点嵌入方法，25个推理模型和3个模块化管道，以允许公平且可重复的方法比较以及用于图形处理和嵌入的库。

众所周知，大数据挖掘是数据科学的重要任务，因为它可以提供有用的观察结果和隐藏在给定的大数据集中的新知识。基于接近性的数据分析尤其在许多现实生活中使用。在这样的分析中，通常采用了与K最近的邻居的距离，因此其主瓶颈来自数据检索。为提高这些分析的效率做出了许多努力。但是，他们仍然会产生巨大的成本，因为它们基本上需要许多数据访问。为了避免此问题，我们提出了一种机器学习技术，该技术可以快速准确地估算给定查询的K-NN距离（即与K最近的邻居的距离）。我们训练完全连接的神经网络模型，并利用枢轴来实现准确的估计。我们的模型旨在具有有用的优势：它一次不距离K-NN，其推理时间为O（1）（未产生数据访问），但保持高精度。我们对实际数据集的实验结果和案例研究证明了解决方案的效率和有效性。

快速可靠的K-最近邻图算法比在许多数据处理技术中广泛使用，这比以往更重要。本文介绍了Wei Dong等人的启发式“NN-DESCENT”算法的运行时优化的C实现。对于L2距离度量。解释了各种实现优化，从而提高了低维和高维数据集的性能。优化以加快选择哪个DataPoint对来评估用于对低维数据集的影响距离。提出了一种利用NN-DESCENT的迭代性质来重新排序存储器中的数据的启发式，这是能够更好地利用局部性，从而改善运行时。对L2距离度量的限制允许使用阻塞距离评估，这显着提高了高维数据集的性能。结合优化产生了一种实现，这显着优于所有被考虑的数据集的广泛使用的NN-DESCEND。例如，流行的Mnist手写数字数据集上的运行时会减半。

我们提出了TOD，这是一个在分布式多GPU机器上进行有效且可扩展的离群检测（OD）的系统。 TOD背后的一个关键思想是将OD应用程序分解为基本张量代数操作。这种分解使TOD能够通过利用硬件和软件中深度学习基础架构的最新进展来加速OD计算。此外，要在有限内存的现代GPU上部署昂贵的OD算法，我们引入了两种关键技术。首先，可证明的量化可以加快OD计算的速度，并通过以较低的精度执行特定的浮点操作来减少其内存足迹，同时证明没有准确的损失。其次，为了利用多个GPU的汇总计算资源和内存能力，我们引入了自动批处理，该批次将OD计算分解为小批次，以便在多个GPU上并行执行。 TOD支持一套全面且多样化的OD算法，例如LOF，PCA和HBOS以及实用程序功能。对真实和合成OD数据集的广泛评估表明，TOD平均比领先的基于CPU的OD系统PYOD快11.6倍（最大加速度为38.9倍），并且比各种GPU底线要处理的数据集更大。值得注意的是，TOD可以直接整合其他OD算法，并提供了将经典OD算法与深度学习方法相结合的统一框架。这些组合产生了无限数量的OD方法，其中许多方法是新颖的，可以很容易地在TOD中进行原型。

在机器学习中调用多种假设需要了解歧管的几何形状和维度，理论决定了需要多少样本。但是，在应用程序数据中，采样可能不均匀，歧管属性是未知的，并且（可能）非纯化；这意味着社区必须适应本地结构。我们介绍了一种用于推断相似性内核提供数据的自适应邻域的算法。从本地保守的邻域（Gabriel）图开始，我们根据加权对应物进行迭代率稀疏。在每个步骤中，线性程序在全球范围内产生最小的社区，并且体积统计数据揭示了邻居离群值可能违反了歧管几何形状。我们将自适应邻域应用于非线性维度降低，地球计算和维度估计。与标准算法的比较，例如使用K-Nearest邻居，证明了它们的实用性。

提出了一种使用天气数据实时太阳生成预测的新方法，同时提出了既有空间结构依赖性的依赖。随着时间的推移，观察到的网络被预测到较低维度的表示，在该表示的情况下，在推理阶段使用天气预报时，使用各种天气测量来训练结构化回归模型。从国家太阳辐射数据库获得的德克萨斯州圣安东尼奥地区的288个地点进行了实验。该模型预测具有良好精度的太阳辐照度（夏季R2 0.91，冬季为0.85，全球模型为0.89）。随机森林回归者获得了最佳准确性。进行了多个实验来表征缺失数据的影响和不同的时间范围的影响，这些范围提供了证据表明，新算法不仅在随机的情况下，而且在机制是空间和时间上都丢失的数据是可靠的。

In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

Similarity search finds application in specialized database systems handling complex data such as images or videos, which are typically represented by high-dimensional features and require specific indexing structures. This paper tackles the problem of better utilizing GPUs for this task. While GPUs excel at data-parallel tasks, prior approaches are bottlenecked by algorithms that expose less parallelism, such as k-min selection, or make poor use of the memory hierarchy.We propose a design for k-selection that operates at up to 55% of theoretical peak performance, enabling a nearest neighbor implementation that is 8.5× faster than prior GPU state of the art. We apply it in different similarity search scenarios, by proposing optimized design for brute-force, approximate and compressed-domain search based on product quantization. In all these setups, we outperform the state of the art by large margins. Our implementation enables the construction of a high accuracy k-NN graph on 95 million images from the Yfcc100M dataset in 35 minutes, and of a graph connecting 1 billion vectors in less than 12 hours on 4 Maxwell Titan X GPUs. We have open-sourced our approach 1 for the sake of comparison and reproducibility.

拉格朗日轨迹或粒子分散模型以及半拉格朗日对流方案需要气象数据，例如在与常规网格独立移动的粒子的精确时空位置上的风，温度和地球电位。传统上，这种高分辨率数据是通过从气象模型或重新分析的网格数据中插值来获得的，例如在时空中使用线性插值。但是，插值误差是这些模型的巨大错误来源。减少它们需要具有较高空间和时间分辨率的气象输入字段，这可能并不总是可用，并且可能导致严重的数据存储和传输问题。在这里，我们将此问题解释为单个图像序列任务。我们将其本地分辨率可用的气象领域解释为低分辨率图像，并训练深层神经网络以将其提高到更高的分辨率，从而为Lagrangian模型提供了更准确的数据。我们训练各种最先进的版本增强的深层剩余网络，以实现低分辨率ERA5重新分析数据的超分辨率，以将这些数据提高到任意空间分辨率。我们表明，由此产生的向上缩放的风场具有均方根误差，该错误是在可接受的计算推理成本下以线性空间插值获得的风的一半。在使用Lagrangian粒子分散模型Flexpart和减少分辨率的风场的测试设置中，我们证明了计算出的轨迹与以0.5 {\ deg}计算的“地面真相”轨迹的绝对水平运输偏差至少减少了49.59.5。 48小时后，在2 {\ deg}对1 {\ deg}（4 {\ deg}到2 {\ deg}）分辨率数据时，使用风数据的线性插值相对于轨迹的％（21.8％）。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。