In this work, we propose MUSTACHE, a new page cache replacement algorithm whose logic is learned from observed memory access requests rather than fixed like existing policies. We formulate the page request prediction problem as a categorical time series forecasting task. Then, our method queries the learned page request forecaster to obtain the next $k$ predicted page memory references to better approximate the optimal B\'el\'ady's replacement algorithm. We implement several forecasting techniques using advanced deep learning architectures and integrate the best-performing one into an existing open-source cache simulator. Experiments run on benchmark datasets show that MUSTACHE outperforms the best page replacement heuristic (i.e., exact LRU), improving the cache hit ratio by 1.9% and reducing the number of reads/writes required to handle cache misses by 18.4% and 10.3%.

长期负载请求继续限制高性能处理器的性能。为了提高处理器的潜伏能力，建筑师主要依赖两种关键技术：复杂的数据预脱水和较大的芯片固定缓存。在这项工作中，我们表明：1）即使是先进的先进预摘要，也只能预测一半的外芯片负载请求，平均在广泛的工作负载中，而2）由于尺寸的增加，并且片上缓存的复杂性，花片载荷请求的延迟的很大一部分用于访问片上缓存层次结构。这项工作的目的是通过从其关键路径上删除片上缓存访问延迟来加速片外负载请求。为此，我们提出了一种称为爱马仕（Hermes）的新技术，其关键想法是：1）准确预测哪些负载请求可能会偏离芯片，2）猜测预测的芯片外载荷直接从主芯片负载所需的数据内存，同时也同时访问此类负载的高速缓存层次结构。为了启用爱马仕，我们开发了一种新的轻巧，基于智障的外芯片加载预测技术，该技术学会使用多个程序功能（例如，程序计数器的序列）来识别芯片外负载请求。对于每个负载请求，预测器都会观察一组程序功能，以预测负载是否会外芯片。如果预计负载将放置芯片，Hermes一旦生成负载的物理地址，就会直接向内存控制器发出投机请求。如果预测是正确的，则负载最终会错过缓存层次结构，并等待正在进行的投机请求完成，从而将芯片上缓存层次结构访问延迟隐藏在离芯片外负载的关键路径中。我们的评估表明，爱马仕显着提高了最先进的基线的性能。我们开源爱马仕。

虽然离散事件模拟器是建筑研究，设计和开发的必备工具，但它们的实用性受到在调查下的现实应用的极长时间的影响。这项工作描述了一项协调一致的努力，其中机器学习（ML）用于加速离散事件仿真。首先，构建了用于静态指令属性和动态处理器状态的基于ML的指令延迟预测框架。然后，基于所提出的指令延迟预测器来实现GPU加速的并行模拟器，并且验证了其模拟精度和吞吐量并针对最先进的模拟器评估。利用现代GPU，基于ML的模拟器显着优于传统的模拟器。

云自动缩放机制通常基于缩放集群的无功自动化规则，每当某些指标，例如情况下的平均CPU使用量超过预定义阈值。调整这些规则在缩放群集时变得特别繁琐，群集涉及不可忽略的时间来引导新实例，因为它经常在生产云服务中发生。要处理此问题，我们提出了一种基于在不久的将来进化的系统的自动缩放云服务的架构。我们的方法利用时序预测技术，如基于机器学习和人工神经网络的那些，以预测关键指标的未来动态，例如资源消耗度量，并在它们上应用基于阈值的缩放策略。结果是一种预测自动化策略，例如，能够在云应用程序的负载中自动预测峰值，并提前触发适当的缩放操作以适应流量的预期增加。我们将我们的方法称为开源OpenStack组件，它依赖于并扩展，并扩展了Monasca所提供的监控能力，从而增加了可以通过散热或尖林等管制成分来利用的预测度量。我们使用经常性神经网络和多层的Perceptron显示实验结果，作为预测器，与简单的线性回归和传统的非预测自动缩放策略进行比较。但是，所提出的框架允许根据需要轻松定制预测政策。

过去的研究提出了许多硬件预取技术，其中大多数依赖于利用一种特定类型的程序上下文信息（例如，程序计数器，Cacheline地址）来预测未来的存储器访问。这些技术完全忽略了整个系统上的预取器的不良影响（例如，内存带宽使用），或将系统级反馈结合为返回为系统 - 不知预取算法。我们表明，由于其固有的无法在预取帐户中占用多种不同类型的程序上下文和系统级反馈信息，因此在广泛的工作负载和系统配置中往往会在广泛的工作负载和系统配置中丢失其性能效益。在本文中，我们进行了设计一个整体预取算法的案例，该算法学习使用多种不同类型的程序上下文和系统级反馈信息来预取。为此，我们提出了Pythia，它将预取器制定为钢筋学习代理。对于每种需求请求，Pythia会观察多种不同类型的程序上下文信息以进行预取决定。对于每个预取决定，Pythia接收数字奖励，该奖励评估当前内存带宽使用情况下的预取质量。 Pythia使用此奖励来加强程序上下文信息和预取决定之间的相关性，以在将来生成高度准确，及时和系统感知的预取请求。我们使用仿真和硬件综合的广泛评估表明，Pythia在各种工作负载和系统配置中优于多种最先进的预取器，同时在桌面类处理器中产生的1.03％的面积开销，并且工作负载中没有软件更改。 Pythia的源代码可以从https://github.com/cmu-safari/pythia自由下载。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

计算机架构和系统已优化了很长时间，以便高效执行机器学习（ML）模型。现在，是时候重新考虑ML和系统之间的关系，并让ML转换计算机架构和系统的设计方式。这有一个双重含义：改善设计师的生产力，以及完成良性周期。在这篇论文中，我们对应用ML进行计算机架构和系统设计的工作进行了全面的审查。首先，我们考虑ML技术在架构/系统设计中的典型作用，即快速预测建模或设计方法，我们执行高级分类学。然后，我们总结了通过ML技术解决的计算机架构/系统设计中的常见问题，并且所用典型的ML技术来解决它们中的每一个。除了在狭义中强调计算机架构外，我们采用数据中心可被认为是仓库规模计算机的概念;粗略的计算机系统中提供粗略讨论，例如代码生成和编译器;我们还注意ML技术如何帮助和改造设计自动化。我们进一步提供了对机会和潜在方向的未来愿景，并设想应用ML的计算机架构和系统将在社区中蓬勃发展。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

操作系统包括许多启发式算法，旨在提高整体存储性能和吞吐量。由于此类启发式is不能适用于所有条件和工作负载，因此系统设计人员诉诸用户对用户的众多可调参数揭示 - 基本上负担用户不断优化自己的存储系统和应用程序。存储系统通常负责I / O重型应用中的大多数延迟，因此即使是小的总延迟改善也可能很重要。机器学习（ml）技术承诺学习模式，从它们概括，并实现适应更改工作负载的最佳解决方案。我们提出ML解决方案成为OSS中的一流组件，并更换了动态优化存储系统的手动启发式。在本文中，我们描述了我们所提出的ML架构，称为KML。我们开发了一个原型KML体系结构，并将其应用于两个问题：最佳readAhead和NFS读取大小值。我们的实验表明，KML消耗了很少的操作系统资源，延迟可忽略不计，但可以学习可以分别为两种用例的2.3倍或15倍提高I / O吞吐量的模式 - 即使是复杂的，也不是为了复杂 - 在不同的存储设备上同时运行混合工作负载。

在线广告收入占发布者的收入流越来越多的份额，特别是对于依赖谷歌和Facebook等技术公司广告网络的中小型出版商而言。因此，出版商可能会从准确的在线广告收入预测中获益，以更好地管理其网站货币化战略。但是，只能获得自己的收入数据的出版商缺乏出版商广告总市场的整体视图，这反过来限制了他们在他们未来的在线广告收入中产生见解的能力。为了解决这一业务问题，我们利用了一个专有的数据库，包括来自各种各样的地区的大量出版商的Google Adsense收入。我们采用时间融合变压器（TFT）模型，这是一种新的基于关注的架构，以预测出版商的广告收入。我们利用多个协变量，不仅包括出版商自己的特征，还包括其他出版商的广告收入。我们的预测结果优于多个时间范围的几个基准深度学习时间系列预测模型。此外，我们通过分析可变重要性重量来识别显着的特征和自我注意重量来解释结果，以揭示持久的时间模式。

Persistent Memory (PMEM), also known as Non-Volatile Memory (NVM), can deliver higher density and lower cost per bit when compared with DRAM. Its main drawback is that it is typically slower than DRAM. On the other hand, DRAM has scalability problems due to its cost and energy consumption. Soon, PMEM will likely coexist with DRAM in computer systems but the biggest challenge is to know which data to allocate on each type of memory. This paper describes a methodology for identifying and characterizing application objects that have the most influence on the application's performance using Intel Optane DC Persistent Memory. In the first part of our work, we built a tool that automates the profiling and analysis of application objects. In the second part, we build a machine learning model to predict the most critical object within large-scale graph-based applications. Our results show that using isolated features does not bring the same benefit compared to using a carefully chosen set of features. By performing data placement using our predictive model, we can reduce the execution time degradation by 12\% (average) and 30\% (max) when compared to the baseline's approach based on LLC misses indicator.

在本文中，我们介绍了蒙面的多步多变量预测（MMMF），这是一个新颖而普遍的自我监督学习框架，用于时间序列预测，并提供已知的未来信息。在许多真实世界的预测情况下，已知一些未来的信息，例如，在进行短期到中期的电力需求预测或进行飞机出发预测时的油价预测时，天气信息。现有的机器学习预测框架可以分为（1）基于样本的方法，在此方法中进行每个预测，以及（2）时间序列回归方法，其中未来信息未完全合并。为了克服现有方法的局限性，我们提出了MMMF，这是一个培训能够生成一系列输出的神经网络模型的框架，将过去的时间信息和有关未来的已知信息结合在一起，以做出更好的预测。实验在两个现实世界数据集上进行（1）中期电力需求预测，以及（2）前两个月的飞行偏离预测。他们表明，所提出的MMMF框架的表现不仅优于基于样本的方法，而且具有与完全相同的基本模型的现有时间序列预测模型。此外，一旦通过MMMF进行了神经网络模型，其推理速度与接受传统回归配方训练的相同模型的推理速度相似，从而使MMMF成为现有回归训练的时间序列的更好替代品，如果有一些可用的未来，信息。

越来越多的工作已经认识到利用机器学习（ML）进步的重要性，以满足提取访问控制属性，策略挖掘，策略验证，访问决策等有效自动化的需求。在这项工作中，我们调查和总结了各种ML解决不同访问控制问题的方法。我们提出了ML模型在访问控制域中应用的新分类学。我们重点介绍当前的局限性和公开挑战，例如缺乏公共现实世界数据集，基于ML的访问控制系统的管理，了解黑盒ML模型的决策等，并列举未来的研究方向。

Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.

我们为处理顺序决策和外在不确定性的应用程序开发了增强学习（RL）框架，例如资源分配和库存管理。在这些应用中，不确定性仅由于未来需求等外源变量所致。一种流行的方法是使用历史数据预测外源变量，然后对预测进行计划。但是，这种间接方法需要对外源过程进行高保真模型，以确保良好的下游决策，当外源性过程复杂时，这可能是不切实际的。在这项工作中，我们提出了一种基于事后观察学习的替代方法，该方法避开了对外源过程进行建模的建模。我们的主要见解是，与Sim2real RL不同，我们可以在历史数据中重新审视过去的决定，并在这些应用程序中对其他动作产生反事实后果。我们的框架将事后最佳的行动用作政策培训信号，并在决策绩效方面具有强大的理论保证。我们使用框架开发了一种算法，以分配计算资源，以用于现实世界中的Microsoft Azure工作负载。结果表明，我们的方法比域特异性的启发式方法和SIM2REAL RL基准学习更好的政策。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

Algorithms that involve both forecasting and optimization are at the core of solutions to many difficult real-world problems, such as in supply chains (inventory optimization), traffic, and in the transition towards carbon-free energy generation in battery/load/production scheduling in sustainable energy systems. Typically, in these scenarios we want to solve an optimization problem that depends on unknown future values, which therefore need to be forecast. As both forecasting and optimization are difficult problems in their own right, relatively few research has been done in this area. This paper presents the findings of the ``IEEE-CIS Technical Challenge on Predict+Optimize for Renewable Energy Scheduling," held in 2021. We present a comparison and evaluation of the seven highest-ranked solutions in the competition, to provide researchers with a benchmark problem and to establish the state of the art for this benchmark, with the aim to foster and facilitate research in this area. The competition used data from the Monash Microgrid, as well as weather data and energy market data. It then focused on two main challenges: forecasting renewable energy production and demand, and obtaining an optimal schedule for the activities (lectures) and on-site batteries that lead to the lowest cost of energy. The most accurate forecasts were obtained by gradient-boosted tree and random forest models, and optimization was mostly performed using mixed integer linear and quadratic programming. The winning method predicted different scenarios and optimized over all scenarios jointly using a sample average approximation method.

变压器已成为自然语言处理（NLP）字段中的De-Facto标准。他们也在计算机视觉和其他域中获得了势头。变形金刚可以使人工智能（AI）模型能够动态地关注其输入的某些部分，因此更有效地关注某些部分。灵感来自变形金刚的成功，我们采用了这种技术来预测在多个视野中的战略飞行偏离需求。这项工作是为了支持斜切式的移动应用程序，PAIR，将预测的偏离需求显示为通用航空（GA）飞行运营商，因此他们可以更好地了解繁忙时期离开延误潜力的意识。涉及Pacer以前设计的基于规则的预测方法的现场示范表明，离职需求的预测准确性仍然具有改进的空间。本研究致力于提高来自两个关键方面的预测精度：更好的数据源和鲁棒预测算法。我们利用了两个数据来源，航空系统性能指标（ASPM）和系统广播信息管理（游泳）作为我们的输入。然后，我们用时间融合变压器（TFT）接受了预测的预测模型，用于五个不同的机场。案例研究表明，TFT通过大幅度的传统预测方法可以更好地表现优于传统的预测方法，它们可以在各种机场和更好的解释性方面导致更好的预测。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.