Graph processing applications are severely bottlenecked by memory system performance due to low data reuse and irregular memory accesses. While state-of-the-art prefetchers using Machine Learning (ML) have made great progress, they do not perform well on graph analytics applications due to phase transitions in the execution and irregular data access that is hard to predict. We propose MPGraph: a novel ML-based Prefetcher for Graph analytics. MPGraph makes three novel optimizations based on domain knowledge of graph analytics. It detects the transition of graph processing phases during execution using a novel soft detection technique, predicts memory accesses and pages using phase-specific multi-modality predictors, and prefetches using a novel chain spatio-temporal prefetching strategy. We evaluate our approach using three widely-used graph processing frameworks and a variety of graph datasets. Our approach achieves 34.17%-82.15% higher precision in phase transition detection than the KSWIN and decision tree baselines. Our predictors achieve 6.80%-16.02% higher F1-score for access prediction and 11.68%-15.41% higher accuracy-at-10 for page prediction compared with the baselines LSTM-based and vanilla attention-based models. Simulations show that MPGraph achieves on the average 87.16% (prefetch accuracy) and 73.29% (prefetch coverage), leading to 12.52%-21.23% IPC improvement. It outperforms the widely-used non-ML prefetcher BO by 7.58%-12.03%, and outperforms state-of-the-art ML-based prefetchers Voyager by 3.27%-4.42% and TransFetch by 3.73%-4.58% with respect to IPC improvement.

虽然离散事件模拟器是建筑研究，设计和开发的必备工具，但它们的实用性受到在调查下的现实应用的极长时间的影响。这项工作描述了一项协调一致的努力，其中机器学习（ML）用于加速离散事件仿真。首先，构建了用于静态指令属性和动态处理器状态的基于ML的指令延迟预测框架。然后，基于所提出的指令延迟预测器来实现GPU加速的并行模拟器，并且验证了其模拟精度和吞吐量并针对最先进的模拟器评估。利用现代GPU，基于ML的模拟器显着优于传统的模拟器。

计算机架构和系统已优化了很长时间，以便高效执行机器学习（ML）模型。现在，是时候重新考虑ML和系统之间的关系，并让ML转换计算机架构和系统的设计方式。这有一个双重含义：改善设计师的生产力，以及完成良性周期。在这篇论文中，我们对应用ML进行计算机架构和系统设计的工作进行了全面的审查。首先，我们考虑ML技术在架构/系统设计中的典型作用，即快速预测建模或设计方法，我们执行高级分类学。然后，我们总结了通过ML技术解决的计算机架构/系统设计中的常见问题，并且所用典型的ML技术来解决它们中的每一个。除了在狭义中强调计算机架构外，我们采用数据中心可被认为是仓库规模计算机的概念;粗略的计算机系统中提供粗略讨论，例如代码生成和编译器;我们还注意ML技术如何帮助和改造设计自动化。我们进一步提供了对机会和潜在方向的未来愿景，并设想应用ML的计算机架构和系统将在社区中蓬勃发展。

长期负载请求继续限制高性能处理器的性能。为了提高处理器的潜伏能力，建筑师主要依赖两种关键技术：复杂的数据预脱水和较大的芯片固定缓存。在这项工作中，我们表明：1）即使是先进的先进预摘要，也只能预测一半的外芯片负载请求，平均在广泛的工作负载中，而2）由于尺寸的增加，并且片上缓存的复杂性，花片载荷请求的延迟的很大一部分用于访问片上缓存层次结构。这项工作的目的是通过从其关键路径上删除片上缓存访问延迟来加速片外负载请求。为此，我们提出了一种称为爱马仕（Hermes）的新技术，其关键想法是：1）准确预测哪些负载请求可能会偏离芯片，2）猜测预测的芯片外载荷直接从主芯片负载所需的数据内存，同时也同时访问此类负载的高速缓存层次结构。为了启用爱马仕，我们开发了一种新的轻巧，基于智障的外芯片加载预测技术，该技术学会使用多个程序功能（例如，程序计数器的序列）来识别芯片外负载请求。对于每个负载请求，预测器都会观察一组程序功能，以预测负载是否会外芯片。如果预计负载将放置芯片，Hermes一旦生成负载的物理地址，就会直接向内存控制器发出投机请求。如果预测是正确的，则负载最终会错过缓存层次结构，并等待正在进行的投机请求完成，从而将芯片上缓存层次结构访问延迟隐藏在离芯片外负载的关键路径中。我们的评估表明，爱马仕显着提高了最先进的基线的性能。我们开源爱马仕。

过去的研究提出了许多硬件预取技术，其中大多数依赖于利用一种特定类型的程序上下文信息（例如，程序计数器，Cacheline地址）来预测未来的存储器访问。这些技术完全忽略了整个系统上的预取器的不良影响（例如，内存带宽使用），或将系统级反馈结合为返回为系统 - 不知预取算法。我们表明，由于其固有的无法在预取帐户中占用多种不同类型的程序上下文和系统级反馈信息，因此在广泛的工作负载和系统配置中往往会在广泛的工作负载和系统配置中丢失其性能效益。在本文中，我们进行了设计一个整体预取算法的案例，该算法学习使用多种不同类型的程序上下文和系统级反馈信息来预取。为此，我们提出了Pythia，它将预取器制定为钢筋学习代理。对于每种需求请求，Pythia会观察多种不同类型的程序上下文信息以进行预取决定。对于每个预取决定，Pythia接收数字奖励，该奖励评估当前内存带宽使用情况下的预取质量。 Pythia使用此奖励来加强程序上下文信息和预取决定之间的相关性，以在将来生成高度准确，及时和系统感知的预取请求。我们使用仿真和硬件综合的广泛评估表明，Pythia在各种工作负载和系统配置中优于多种最先进的预取器，同时在桌面类处理器中产生的1.03％的面积开销，并且工作负载中没有软件更改。 Pythia的源代码可以从https://github.com/cmu-safari/pythia自由下载。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

机器学习的进步为低端互联网节点（例如微控制器）带来了新的机会，将情报带入了情报。传统的机器学习部署具有较高的记忆力，并计算足迹阻碍了其在超资源约束的微控制器上的直接部署。本文强调了为MicroController类设备启用机载机器学习的独特要求。研究人员为资源有限的应用程序使用专门的模型开发工作流程，以确保计算和延迟预算在设备限制之内，同时仍保持所需的性能。我们表征了微控制器类设备的机器学习模型开发的广泛适用的闭环工作流程，并表明几类应用程序采用了它的特定实例。我们通过展示多种用例，将定性和数值见解介绍到模型开发的不同阶段。最后，我们确定了开放的研究挑战和未解决的问题，要求仔细考虑前进。

In this work, we propose MUSTACHE, a new page cache replacement algorithm whose logic is learned from observed memory access requests rather than fixed like existing policies. We formulate the page request prediction problem as a categorical time series forecasting task. Then, our method queries the learned page request forecaster to obtain the next $k$ predicted page memory references to better approximate the optimal B\'el\'ady's replacement algorithm. We implement several forecasting techniques using advanced deep learning architectures and integrate the best-performing one into an existing open-source cache simulator. Experiments run on benchmark datasets show that MUSTACHE outperforms the best page replacement heuristic (i.e., exact LRU), improving the cache hit ratio by 1.9% and reducing the number of reads/writes required to handle cache misses by 18.4% and 10.3%.

数据冗余在深神经网络（DNN）的输入和中间结果中无处不在。它为提高DNN性能和效率提供了许多重要的机会，并在大量工作中探索了。这些研究在几年中都在许多场所散布。他们关注的目标范围从图像到视频和文本，以及他们用于检测和利用数据冗余的技术在许多方面也有所不同。尚无对许多努力进行系统的检查和摘要，使研究人员很难对先前的工作，最新技术，差异和共享原则以及尚未探索的领域和方向进行全面看法。本文试图填补空白。它调查了有关该主题的数百篇论文，引入了一种新颖的分类法，以将各种技术纳入一个单一的分类框架，对用于利用数据冗余的主要方法进行了全面描述，以改善数据的多种DNN，并指出一组未来探索的研究机会。

在过去的几十年中，人工智能领域大大进展，灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中，我们开发了一个原始的脑激发神经模型，将自组织地图（SOM）和Hebbian学习在重新参与索马里（RESOM）模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比，该模型增强了最先进的结果。这项工作还通过在名为SPARP（自配置3D蜂窝自适应平台）的专用FPGA的平台上的模拟结果和硬件执行，演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连，以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果，通过专用串行链路在每个板之间的通信。由于多模式关联，所提出的统一架构，由RESOM模型和头皮硬件平台组成的精度显着提高，与集中式GPU实现相比，延迟和功耗之间的良好折衷。

基于注意力的神经网络在许多AI任务中都普遍存在。尽管其出色的算法性能，但注意力机制和前馈网络（FFN）的使用仍需要过多的计算和内存资源，这通常会损害其硬件性能。尽管已经引入了各种稀疏变体，但大多数方法仅着重于缓解算法级别上的二次注意力缩放，而无需明确考虑将其方法映射到真实硬件设计上的效率。此外，大多数努力仅专注于注意机制或FFN，但没有共同优化这两个部分，导致当前的大多数设计在处理不同的输入长度时缺乏可扩展性。本文从硬件角度系统地考虑了不同变体中的稀疏模式。在算法级别上，我们提出了Fabnet，这是一种适合硬件的变体，它采用统一的蝴蝶稀疏模式来近似关注机制和FFN。在硬件级别上，提出了一种新颖的适应性蝴蝶加速器，可以在运行时通过专用硬件控件配置，以使用单个统一的硬件引擎加速不同的蝴蝶层。在远程 - ARENA数据集上，FabNet达到了与香草变压器相同的精度，同时将计算量减少10到66次，参数数量为2至22次。通过共同优化算法和硬件，我们的基于FPGA的蝴蝶加速器在归一化到同一计算预算的最新加速器上达到了14.2至23.2倍的速度。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，我们的系统在相同的功率预算下的最大273.8和15.1倍。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

支持GPS的移动设备的普及和基于位置的服务的广泛使用导致了产生大量的地理标记数据。最近，数据分析现在可以访问更多来源，包括评论，新闻和图像，其中还提出了关于兴趣点（POI）数据源的可靠性的问题。虽然以前的研究通过各种安全机制试图检测到假POI数据，但目前的工作试图以更简单的方式捕获假POI数据。拟议的工作侧重于监督的学习方法及其能力，以找到基于位置的数据中的隐藏模式。通过真实数据获得地面真理标签，使用API​​生成假数据，因此我们将数据集与位置数据上的实际和假标签进行数据集。目的是使用多层Perceptron（MLP）方法来预测关于POI的真实性。在所提出的工作中，基于数据分类技术的MLP用于准确地对位置数据进行分类。将该方法与传统分类和稳健和近期深神经方法进行比较。结果表明，该方法优于基线方法。

日志是确保许多软件系统的可靠性和连续性，尤其是大规模分布式系统的命令。他们忠实地录制运行时信息，以便于系统故障排除和行为理解。由于现代软件系统的大规模和复杂性，日志量已达到前所未有的水平。因此，对于基于逻究的异常检测，常规的手动检查方法甚至传统的基于机器学习的方法变得不切实际，这是一种不切实际的是，作为基于深度学习的解决方案的快速发展的催化剂。然而，目前在诉诸神经网络的代表性日志的异常探测器之间缺乏严格的比较。此外，重新实现过程需要不琐碎的努力，并且可以轻易引入偏差。为了更好地了解不同异常探测器的特性，在本文中，我们提供了六种最先进的方法使用的五种流行神经网络的全面审查和评估。特别是，4种所选方法是无监督的，并且剩下的两个是监督的。这些方法是用两个公开的日志数据集进行评估，其中包含近1600万日志消息和总共有04万个异常实例。我们相信我们的工作可以作为这一领域的基础，为未来的学术研究和工业应用做出贡献。

图表学习方法为解决图形所代表的复杂的现实世界问题打开了新的可能性。但是，这些应用程序中使用的许多图包括数百万节点和数十亿个边缘，并且超出了当前方法和软件实现的功能。我们提供葡萄，这是一种用于图形处理和表示学习的软件资源，能够通过使用专业和智能数据结构，算法和快速并行实现来通过大图扩展。与最先进的软件资源相比，葡萄显示出经验空间和时间复杂性的数量级的改善，以及边缘预测和节点标签预测性能的实质和统计学上的显着改善。此外，葡萄提供了来自文献和其他来源的80,000多种图，标准化界面允许直接整合第三方库，61个节点嵌入方法，25个推理模型和3个模块化管道，以允许公平且可重复的方法比较以及用于图形处理和嵌入的库。

操作系统包括许多启发式算法，旨在提高整体存储性能和吞吐量。由于此类启发式is不能适用于所有条件和工作负载，因此系统设计人员诉诸用户对用户的众多可调参数揭示 - 基本上负担用户不断优化自己的存储系统和应用程序。存储系统通常负责I / O重型应用中的大多数延迟，因此即使是小的总延迟改善也可能很重要。机器学习（ml）技术承诺学习模式，从它们概括，并实现适应更改工作负载的最佳解决方案。我们提出ML解决方案成为OSS中的一流组件，并更换了动态优化存储系统的手动启发式。在本文中，我们描述了我们所提出的ML架构，称为KML。我们开发了一个原型KML体系结构，并将其应用于两个问题：最佳readAhead和NFS读取大小值。我们的实验表明，KML消耗了很少的操作系统资源，延迟可忽略不计，但可以学习可以分别为两种用例的2.3倍或15倍提高I / O吞吐量的模式 - 即使是复杂的，也不是为了复杂 - 在不同的存储设备上同时运行混合工作负载。

通常，机器学习应用程序必须应对动态环境，其中数据以潜在无限长度和瞬态行为的连续数据流的形式收集。与传统（批量）数据挖掘相比，流处理算法对计算资源和对数据演进的适应性具有额外要求。它们必须逐步处理实例，因为数据的连续流量禁止存储多次通过的数据。合奏学习在这种情况下取​​得了显着的预测性能。实现为一组（几个）个别分类器，合奏是自然可用于任务并行性的。但是，用于捕获概念漂移的增量学习和动态数据结构增加了缓存未命中并阻碍了并行性的好处。本文提出了一种迷你批处理策略，可以改善多核环境中用于流挖掘的多个集合算法的内存访问局部性和性能。借助正式框架，我们证明迷你批量可以显着降低重用距离（以及缓存未命中的数量）。在六种不同的最先进的集合算法上应用四个基准数据集的六种不同特性的实验显示了8个核心处理器上高达5倍的加速。这些效益牺牲了预测性能的少量减少。

Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.

成像，散射和光谱是理解和发现新功能材料的基础。自动化和实验技术的当代创新导致这些测量更快，分辨率更高，从而产生了大量的分析数据。这些创新在用户设施和同步射击光源时特别明显。机器学习（ML）方法经常开发用于实时地处理和解释大型数据集。然而，仍然存在概念障碍，进入设施一般用户社区，通常缺乏ML的专业知识，以及部署ML模型的技术障碍。在此，我们展示了各种原型ML模型，用于在国家同步光源II（NSLS-II）的多个波束线上在飞行分析。我们谨慎地描述这些示例，专注于将模型集成到现有的实验工作流程中，使得读者可以容易地将它们自己的ML技术与具有普通基础设施的NSLS-II或设施的实验中的实验。此处介绍的框架展示了几乎没有努力，多样化的ML型号通过集成到实验编程和数据管理的现有Blueske套件中与反馈回路一起运行。