Learned embeddings are widely used to obtain concise data representation and enable transfer learning between different data sets and tasks. In this paper, we present Silhouette, our approach that leverages publicly-available performance data sets to learn CPU embeddings. We show how these embeddings enable transfer learning between data sets of different types and sizes. Each of these scenarios leads to an improvement in accuracy for the target data set.
translated by 谷歌翻译
高吞吐量数据处理应用的高效硬件加速器设计，例如深度神经网络，是计算机架构设计中有挑战性的任务。在这方面，高级合成（HLS）作为快速原型设计的解决方案，从应用程序计算流程的行为描述开始。这种设计空间探索（DSE）旨在识别帕累托最佳的合成配置，其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内，我们通过提出在文献中，有效和有效地解决了设计问题图形神经网络，该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计，学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法，通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示，可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外，我们表明我们的方法实现了与常用模拟器的预测准确性相当，而无需访问HLS编译器和目标FPGA的分析模型，同时是更快的数量级。最后，通过微调来自新目标域的少量样本，可以在未开发的配置空间中解放所学习的表示。
translated by 谷歌翻译
人白细胞抗原（HLA）是人类免疫领域的重要分子家族，它通过向T细胞呈现肽来识别外国威胁并触发免疫反应。近年来，诱导特定免疫反应的肿瘤疫苗的合成已成为癌症治疗的最前沿。对肽和HLA之间的结合模式进行计算建模可以极大地加速肿瘤疫苗的发展。但是，大多数预测方法的性能非常有限，他们无法完全利用对现有生物学知识作为建模的基础的分析。在本文中，我们提出了HLA分子肽结合预测的TripHlapan，这是一种新型的PAN特异性预测模型。 Triphlapan通过整合三重编码矩阵，BIGRU +注意模型和转移学习策略来表现强大的预测能力。全面的评估证明了Triphlapan在不同测试环境中预测HLA-I和HLA-II肽结合的有效性。最新数据集进一步证明了HLA-I的预测能力。此外，我们表明Triphlapan在黑色素瘤患者的样本中具有强大的结合重构能力。总之，Triphlapan是预测HLA-I和HLA-II分子肽与肿瘤疫苗合成的强大工具。
translated by 谷歌翻译
自动图像分类是食品科学中监督机器学习的常见任务。一个例子是基于图像的水果外部质量或成熟度的分类。为此，通常使用深层卷积神经网络（CNN）。这些模型通常需要大量标记的培训样本和增强的计算资源。尽管商业水果分类线很容易满足这些要求，但这些先决条件可能会阻碍机器学习方法的使用，尤其是对于发展中国家的小农户。我们提出了一种基于预先训练的视觉变压器（VIT）的替代方法，该方法特别适用于数据可用性较低和计算资源有限的域。可以在标准设备上使用有限的资源来轻松实施，这可以使这些模型在发展中国家的基于智能手机的图像分类中民主化。我们通过用良好的CNN方法基准对香蕉和苹果水果的域数据集进行两项不同的分类任务来证明我们方法的竞争力。我们的方法在3745张图像的训练数据集上，分类精度低于表现最佳的CNN（0.950 vs. 0.958）的分类精度。同时，当只有少量标记的训练样本可用时，我们的方法是优越的。与CNN相比，它需要少三倍才能达到0.90的精度。此外，低维特征嵌入的可视化表明，我们的研究中使用的模型从看不见的数据中提取了出色的特征，而无需分配标签。
translated by 谷歌翻译
随着需要大量数据和计算的大数据工作负载的日益增长的复杂性，数据中心每天都会消耗大量功率。为了最大程度地减少数据中心功耗，几项研究开发了功率模型，可用于调度工作，以减少主动服务器的数量或在其峰值能效点上跨服务器平衡工作负载。由于软件和硬件异质性的增加，我们观察到没有单个功率模型可适用于所有服务器条件。一些复杂的机器学习模型本身会产生性能和电源开销，因此不希望经常使用它们。没有电源模型考虑容器化工作负载执行。在本文中，我们提出了一个混合服务器电源模型Hydra，该模型考虑了预测准确性和性能开销。 Hydra动态选择给定服务器条件的最佳功率模型。与最先进的解决方案相比，Hydra在异质服务器上的所有计算强度级别上的表现都优于所有计算机。
translated by 谷歌翻译
比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。
translated by 谷歌翻译
异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。
translated by 谷歌翻译
图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。
translated by 谷歌翻译
Developing machine learning-based interatomic potentials from ab-initio electronic structure methods remains a challenging task for computational chemistry and materials science. This work studies the capability of transfer learning for efficiently generating chemically accurate interatomic neural network potentials on organic molecules from the MD17 and ANI data sets. We show that pre-training the network parameters on data obtained from density functional calculations considerably improves the sample efficiency of models trained on more accurate ab-initio data. Additionally, we show that fine-tuning with energy labels alone suffices to obtain accurate atomic forces and run large-scale atomistic simulations. We also investigate possible limitations of transfer learning, especially regarding the design and size of the pre-training and fine-tuning data sets. Finally, we provide GM-NN potentials pre-trained and fine-tuned on the ANI-1x and ANI-1ccx data sets, which can easily be fine-tuned on and applied to organic molecules.
translated by 谷歌翻译
转移学习可以看作是从头开始的数据和计算效率替代培训模型的替代方法。丰富的模型存储库（例如TensorFlow Hub）的出现使从业人员和研究人员能够在各种下游任务中释放这些模型的潜力。随着这些存储库的成倍增长，有效地为手头任务选择一个好的模型变得至关重要。通过仔细比较各种选择和搜索策略，我们意识到，没有一种方法优于其他方法，而混合或混合策略可以是有益的。因此，我们提出了Shift，这是用于转移学习的第一个下游任务感知，灵活和有效的模型搜索引擎。这些属性由自定义查询语言shift-ql以及基于成本的决策者以及我们经验验证的基于成本的决策者启用。受机器学习开发的迭代性质的促进，我们进一步支持对查询的有效递增执行，这需要与我们的优化共同使用时进行仔细的实施。
translated by 谷歌翻译
随着大数据的爆炸性增加，培训机器学习（ML）模型成为计算密集型工作量，需要几天甚至几周。因此，重用已经训练的模型受到了受关注的，称为转移学习。转移学习避免通过将知识从源任务转移到目标任务来避免从头开始培训新模型。现有的传输学习方法主要专注于如何通过特定源模型提高目标任务的性能，并假设给出了源模型。虽然有许多源模型可用，但数据科学家难以手动选择目标任务的最佳源模型。因此，如何在模型数据库中有效地选择合适的源模型进行模型重用是一个有趣但未解决的问题。在本文中，我们提出了SMS，有效，高效，灵活的源模型选择框架。即使源数据集具有明显不同的数据标签，SMS也是有效的，并且灵活地支持具有任何类型的结构的源模型，并且有效地避免任何培训过程。对于每个源模型，SMS首先将目标数据集中的样本加速到软标签中，通过直接将该模型直接应用于目标数据集，然后使用高斯分布适合软标签的集群，最后测量源模型使用的显着能力高斯混合的公制。此外，我们提出了一种改进的SMS（I-SMS），其降低了源模型的输出数量。 I-SMS可以显着降低选择时间，同时保留SMS的选择性能。关于一系列实用模型重用工作负载的广泛实验证明了SMS的有效性和效率。
translated by 谷歌翻译
嵌入学习是深度建议模型中的重要技术，可以将分类特征映射到密集的矢量。但是，嵌入表通常需要大量参数，这些参数成为存储和效率瓶颈。已经采用了分布式培训解决方案将嵌入表分配到多个设备中。但是，如果不仔细分区，则嵌入表很容易导致失衡。这是名为“嵌入桌碎片”的分布式系统的重大设计挑战，即，我们应该如何对嵌入表进行分配以平衡跨设备的成本，这是一项非平凡的任务，因为1）很难有效，精确地衡量成本，和2）已知分区问题是NP-HARD。在这项工作中，我们在Meta中介绍了新颖的实践，即Autoshard，该实践使用神经成本模型直接预测多桌成本和利用深度强化学习以解决分区问题。开源的大规模合成数据集和Meta生产数据集的实验结果证明了Autoshard的优越性优于启发式方法。此外，Autoshard的学习政策可以转移到具有不同数量的表和不同表格比率的碎片任务中，而无需进行任何微调。此外，Autoshard可以在几秒钟内有效地将数百张桌子碎片。 Autoshard的有效性，可转移性和效率使其适合生产使用。我们的算法已在元生产环境中部署。可以在https://github.com/daochenzha/autoshard上获得原型
translated by 谷歌翻译
深神经网络（DNN）已成为许多应用程序域（包括基于Web的服务）的重要组成部分。这些服务需要高吞吐量和（接近）实时功能，例如，对用户的请求做出反应或反应，或者按时处理传入数据流。但是，DNN设计的趋势是朝着具有许多层和参数的较大模型，以实现更准确的结果。尽管这些模型通常是预先训练的，但是在如此大的模型中，计算复杂性仍然相对显着，从而阻碍了低推断潜伏期。实施缓存机制是用于加速服务响应时间的典型系统工程解决方案。但是，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端自动化解决方案，以根据其计算复杂性和推理延迟来提高基于DNN的服务的性能。我们的缓存方法采用了DNN模型和早期出口的自我介绍的思想。提出的解决方案是一种自动化的在线层缓存机制，如果提前出口之一中的高速缓存模型足够有信心，则可以在推理时间提早退出大型模型。本文的主要贡献之一是，我们将该想法实施为在线缓存，这意味着缓存模型不需要访问培训数据，并且仅根据运行时的传入数据执行，使其适用于应用程序使用预训练的模型。我们的实验在两个下游任务（面部和对象分类）上结果表明，平均而言，缓存可以将这些服务的计算复杂性降低到58 \％（就FLOPS计数而言），并将其推断潜伏期提高到46 \％精度低至零至零。
translated by 谷歌翻译
密度矩阵描述了量子系统的统计状态。它是一种强大的形式主义，代表量子系统的量子和经典不确定性，并表达不同的统计操作，例如测量，系统组合和期望作为线性代数操作。本文探讨了密度矩阵如何用作构建块，以构建机器学习模型，利用它们直接组合线性代数和概率的能力。本文的主要结果之一是表示与随机傅里叶功能耦合的密度矩阵可以近似任意概率分布超过$ \ mathbb {r} ^ n $。基于此发现，该纸张为密度估计，分类和回归构建了不同的模型。这些模型是可疑的，因此可以将它们与其他可分辨率的组件（例如深度学习架构）集成，并使用基于梯度的优化来学习其参数。此外，本文提出了基于估计和模型平均的优化培训策略。该模型在基准任务中进行评估，并报告并讨论结果。
translated by 谷歌翻译
我们提出了TABPFN，这是一种与小型表格数据集上的最新技术竞争性的自动化方法，而更快的速度超过1,000美元。我们的方法非常简单：它完全符合单个神经网络的权重，而单个正向通行证直接产生了对新数据集的预测。我们的AutoML方法是使用基于变压器的先验数据拟合网络（PFN）体系结构进行元学习的，并近似贝叶斯推断，其先验是基于简单性和因果结构的假设。先验包含庞大的结构性因果模型和贝叶斯神经网络，其偏见是小体系结构，因此复杂性较低。此外，我们扩展了PFN方法以在实际数据上校准Prior的超参数。通过这样做，我们将抽象先前的假设与对真实数据的启发式校准分开。之后，修复了校准的超参数，并在按钮按钮时可以将TABPFN应用于任何新的表格数据集。最后，在OpenML-CC18套件的30个数据集上，我们表明我们的方法优于树木，并与复杂的最新Automl系统相同，并且在不到一秒钟内产生的预测。我们在补充材料中提供所有代码和最终训练的TABPFN。
translated by 谷歌翻译
操作系统包括许多启发式算法，旨在提高整体存储性能和吞吐量。由于此类启发式is不能适用于所有条件和工作负载，因此系统设计人员诉诸用户对用户的众多可调参数揭示 - 基本上负担用户不断优化自己的存储系统和应用程序。存储系统通常负责I / O重型应用中的大多数延迟，因此即使是小的总延迟改善也可能很重要。机器学习（ml）技术承诺学习模式，从它们概括，并实现适应更改工作负载的最佳解决方案。我们提出ML解决方案成为OSS中的一流组件，并更换了动态优化存储系统的手动启发式。在本文中，我们描述了我们所提出的ML架构，称为KML。我们开发了一个原型KML体系结构，并将其应用于两个问题：最佳readAhead和NFS读取大小值。我们的实验表明，KML消耗了很少的操作系统资源，延迟可忽略不计，但可以学习可以分别为两种用例的2.3倍或15倍提高I / O吞吐量的模式 - 即使是复杂的，也不是为了复杂 - 在不同的存储设备上同时运行混合工作负载。
translated by 谷歌翻译
图神经网络（GNN）从材料科学家那里引起了越来越多的关注，并证明了建立结构和属性之间的连接的高能力。但是，只有仅提供的未删除结构作为输入，很少有GNN模型可以预测带有可接受的误差水平的放松配置的热力学特性。在这项工作中，我们开发了基于Dimenet ++和混合密度网络的多任务（MT）体系结构，以提高此类任务的性能。将基于CU的单原子合金催化剂的共吸附作为例证，我们表明我们的方法可以可靠地估计CO的吸附能，其平均绝对误差为0.087 eV，从初始CO的吸附结构中，而无需昂贵的第一原则计算。此外，与其他最先进的GNN方法相比，我们的模型在预测具有看不见的底物表面或掺杂物种的催化性能时具有提高的概括能力。我们表明，拟议的GNN策略可以促进催化剂发现。
translated by 谷歌翻译
高级综合（HLS）释放了计算机架构师以非常低级的语言开发他们的设计，并需要准确指定如何在寄存器级别传输数据。在HLS的帮助下，硬件设计人员必须只描述设计的高级行为流程。尽管如此，它仍然可能需要数周才能开发高性能架构，主要是因为在更高的水平下有许多设计选择需要更多的时间来探索。它还需要几分钟才能从HLS工具上获得每个设计候选人的质量的反馈。在本文中，我们建议通过使用培训的图形神经网络（GNN）来建立HLS工具来解决这个问题，该工具被培训用于广泛的应用程序。实验结果表明，通过采用基于GNN的模型，我们能够以高精度估计毫秒的设计质量，这可以帮助我们非常快速地搜索解决方案空间。
translated by 谷歌翻译
Machine learning methods have revolutionized the discovery process of new molecules and materials. However, the intensive training process of neural networks for molecules with ever-increasing complexity has resulted in exponential growth in computation cost, leading to long simulation time and high energy consumption. Photonic chip technology offers an alternative platform for implementing neural networks with faster data processing and lower energy usage compared to digital computers. Photonics technology is naturally capable of implementing complex-valued neural networks at no additional hardware cost. Here, we demonstrate the capability of photonic neural networks for predicting the quantum mechanical properties of molecules. To the best of our knowledge, this work is the first to harness photonic technology for machine learning applications in computational chemistry and molecular sciences, such as drug discovery and materials design. We further show that multiple properties can be learned simultaneously in a photonic chip via a multi-task regression learning algorithm, which is also the first of its kind as well, as most previous works focus on implementing a network in the classification task.
translated by 谷歌翻译
捕获和归因于代码变更引起的生产中的性能回归很难；事先预测它们，甚至更努力。关于自动学习预测软件中性能回归的入门，本文介绍了我们在Meta研究和部署基于ML的回归预测管道时获得的经验。在本文中，我们报告了一项比较研究，其复杂性增加了四个ML模型，从（1）代码 - opaque，（2）单词袋，（3）基于转换的变压器到（4）基于定制变压器的模型，创造的超大通信器。我们的调查表明，性能预测问题的固有难度，其特征是良性对回归变化的不平衡。我们的结果还质疑了基于变压器的架构在性能预测中的一般适用性：基于基础的代码伯特方法的性能令人惊讶。我们高度定制的超大号架构最初实现了预测性能，这与简单的单词模型相当，并且仅在下游用例中优于它们。超级人员将其转移到应用程序的这种能力很少有学习示例提供了在Meta实践中部署它的机会：它可以作为预滤波器来解决不太可能引入回归的更改，从而缩小更改空间的变化空间搜索回归高达43％，比随机基线提高45倍。为了进一步洞悉超大号公园，我们通过一系列计算反事实解释进行了探索。这些突出显示了代码的哪些部分更改模型认为重要的，从而验证了学习的黑框模型。
translated by 谷歌翻译