在本文中,我们展示了我们对数据库的所谓零射击学习的愿景,这是数据库组件的新学习方法。对于数据库的零拍摄学习是通过最近的转移学习的进步,例如GPT-3等型号的进步,并且可以在禁止框中支持一个新的数据库,而无需培训新模型。此外,通过进一步再培训未经看台数据库的模型,它可以很容易地扩展到几次拍摄的学习。作为本文的第一个具体贡献,我们展示了零射击学习的可行性,用于物理成本估算的任务,并具有非常有前途的初始结果。此外,作为第二种贡献,我们讨论了与数据库的零射击学习相关的核心挑战,并呈现路线图,以扩展到零射击学习,以扩展到超出成本估计的许多其他任务,甚至超出经典数据库系统和工作负载。
translated by 谷歌翻译
查询优化器是每个数据库系统中的性能关键组件。由于它们的复杂性,优化仪参加专家月份才能编写和多年来优化。在这项工作中,我们首次演示了在不从专家优化器中学习而不学习的情况下进行优化查询是可能的,有效的。我们展示了Balsa,这是一个由深度加强学习建造的查询优化器。Balsa首先从简单的环境不可行的模拟器中了解基本知识,然后在真实执行中安全学习。在加入秩序基准测试中,Balsa符合两个专家查询优化器的性能,包括两个小时的学习,并且在几个小时后占工作负载运行时最多2.8美元\ times $。因此,Balsa打开了自动学习在未来的计算环境中优化的可能性,其中专家设计的优化仪不存在。
translated by 谷歌翻译
最近,数据库管理系统(DBMS)社区目睹了机器学习(ML)解决方案的DBMS任务的能力。尽管表现明显,但这些现有解决方案几乎不会被认为是令人满意的。首先,DBMS中的基于ML的方法不够有效,因为它们在每个特定任务上进行了优化,并且无法探索或理解任务之间的内部连接。其次,培训过程具有严重的限制,妨碍他们的实用性,因为他们需要从划痕中恢复整个模型以获得新的dB。此外,对于每个再次,它们需要过多的训练数据,这对于新的DB来获得和不可用的非常昂贵。我们建议探讨ML方法跨任务和跨DBS的传递,以解决这些基本缺点。在本文中,我们提出了一个统一的模型MTMLF,它使用多任务培训程序来捕获任务的可转让知识和预先列车前的微调程序,以蒸馏出跨DBS的可转移元知识。我们认为,此范例更适合云DB服务,并且有可能彻底改变ML如何在DBMS中使用的方式。此外,为了证明MTMLF的预测力和可行性,我们提供了关于查询优化任务的具体和非常有希望的案例研究。最后但并非最不重要的是,我们沿着这一工作线讨论了几个具体的研究机会。
translated by 谷歌翻译
高吞吐量数据处理应用的高效硬件加速器设计,例如深度神经网络,是计算机架构设计中有挑战性的任务。在这方面,高级合成(HLS)作为快速原型设计的解决方案,从应用程序计算流程的行为描述开始。这种设计空间探索(DSE)旨在识别帕累托最佳的合成配置,其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内,我们通过提出在文献中,有效和有效地解决了设计问题图形神经网络,该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计,学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法,通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示,可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外,我们表明我们的方法实现了与常用模拟器的预测准确性相当,而无需访问HLS编译器和目标FPGA的分析模型,同时是更快的数量级。最后,通过微调来自新目标域的少量样本,可以在未开发的配置空间中解放所学习的表示。
translated by 谷歌翻译
我们为AI驱动数据库提供了一个SYSML框架。使用Baihe,可能会改装现有的关系数据库系统以使用学习组件进行查询优化或其他常见任务,例如例如,学习索引结构。为确保Baihe的实用性和现实世界适用性,其高级架构基于以下要求:与核心系统的分离,最小的第三方依赖,鲁棒性,稳定性和容错,以及稳定性和可配置性。基于高级架构,我们将描述Baihe的具体实现PostgreSQL,并为学习查询优化器提供了实例使用情况。为了服务于从业者,以及DB和AI4DB社区的研究人员将在开源许可下发布PostgreSQL的Baihe。
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用,但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式,或数据集中的异质,分层或完全缺少的数据片段,因此很难应用此类方法。作为解决方案,我们提出了一个用于样本表示,模型定义和培训的多功能,统一的框架,称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲,为HMILL的关键组件的设计合理,我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论,该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性,它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外,我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张,我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中,我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中,基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
深度神经网络(DNN)及其变体已被广泛用于多种真实应用,例如图像分类,面部/语音识别,欺诈检测等。除了许多重要的机器学习任务外,随着人造网络模仿脑细胞的运作方式,DNN还显示了在输入和输出数据之间存储非线性关系的能力,这表现出通过DNN存储数据的潜力。我们设想了一个新的数据存储范式“ DNN-AS-A-DATABASE”,其中数据是在训练有素的机器学习模型中编码的。与直接以原始格式记录数据的传统数据存储相比,基于学习的结构(例如DNN)可以隐式编码输入和输出的数据对,并仅在提供输入数据时,才能计算/实现不同分辨率的实际输出数据。这种新的范式可以通过允许在不同级别上的灵活数据隐私设置,通过新硬件的加速(例如衍射神经网络和AI芯片)进行快速计算,从而极大地增强数据安全性,并可以推广到分布式DNN - 基于存储/计算。在本文中,我们提出了这个基于学习的数据存储的新颖概念,该概念利用一种名为基于学习的记忆单元(LMU)的学习结构来存储,组织和检索数据。作为案例研究,我们将DNNs用作LMU中的发动机,并研究基于DNN的数据存储的数据容量和准确性。我们的初步实验结果表明,通过达到DNN存储的高(100%)精度,基于学习的数据存储的可行性。我们探索和设计有效的解决方案,以利用基于DNN的数据存储来管理和查询关系表。我们讨论如何将解决方案推广到其他数据类型(例如图形)和分布式DNN存储/计算等环境。
translated by 谷歌翻译
自动化机器学习(Automl)努力自动配置机器学习算法及其组合的整体(软件)解决方案 - 机器学习管道 - 针对手头的学习任务(数据集)量身定制。在过去十年中,Automl已成为具有数百个贡献的热门研究课题。虽然Automl提供了许多前景,但也称它也是相当资源密集的,这是其主要批评的主要观点之一。高资源消耗的主要原因是许多方法依赖于许多ML管道的(昂贵)评估,同时寻找良好的候选者。由于使用许多数据集和方法进行了大规模实验,因此在Automl方法研究的背景下放大了这个问题,每个数据都是用几种重复来排除随机效应的几个重复的实验。本文阐述了最近的绿色AI的精神,是为了提高对问题的自动化研究人员的意识,并详细阐述可能的补救措施。为此,我们确定了四类行动,社区可能采取更加可持续的自动化计划,即接近设计,基准,研究激励和透明度。
translated by 谷歌翻译
众所周知,加入操作(尤其是N-Way,多到许多人的加入)是耗时和资源的。在大尺度上,关于桌子和联接量的大小,当前的最新方法(包括使用嵌套环/哈希/排序 - 合并算法的二进制加入算法,或者,或者,最糟糕的案例最佳连接算法(wojas)),甚至可能无法给定合理的资源和时间限制产生任何答案。在这项工作中,我们介绍了一种新的n-way qui-join处理方法,即图形结合(GJ)。关键想法是两个方面:首先,将物理连接计算问题映射到PGMS并引入调整的推理算法,该算法可以计算基于运行的编码(RLE)基于连接的汇总摘要,并需要实现结合结果所必需的所有统计信息。其次,也是最重要的是,要表明,像GJ这样的联接算法(像GJ一样)产生了上述联接介绍摘要,然后对其进行删除,可以在时空中引入巨大的性能优势。通过工作,TPCD和LASTFM数据集的加入查询进行了全面的实验,将GJ与PostgreSQL和MonetDB进行了比较,以及UMBRA系统中实现的最先进的WOJA。内存中加入计算的结果表明,性能改善的速度分别比PostgreSQL,MONETDB和UMBRA快64倍,388倍和6倍。对于磁盘加入计算,GJ的速度比PostgreSQL,MONETDB和UMBRA的速度分别高达820X,717X和165X。此外,GJ空间需求分别高达21,488倍,38,333倍和78,750倍,分别比PostgreSQL,MonetDB和Umbra小。
translated by 谷歌翻译
我们为预测资源分配提供了一个有效的参数建模框架,专注于计算资源的量,可以针对无服务器查询处理设置中的数据分析的一系列价格性能目标进行优化。我们深入讨论和评估我们的系统,AutoExecutor如何使用此框架可以自动选择在Azure Synapse上运行的Spark SQL查询的近最佳执行程序和核心计数。我们的技术通过在运行查询的同时大大减少分配和执行者占用的总延期占用者的总延迟器,从而提高了Spark的内置,无功,动态的执行能力分配功能,从而释放可能被其他并发查询或减少整体集群供应需求的执行者。与诸如Sparklens之类的执行后分析工具相比,我们预测在执行它们之前对查询的资源分配,并且还可以解释输入数据大小的更改,以预测所需的分配。
translated by 谷歌翻译
操作系统包括许多启发式算法,旨在提高整体存储性能和吞吐量。由于此类启发式is不能适用于所有条件和工作负载,因此系统设计人员诉诸用户对用户的众多可调参数揭示 - 基本上负担用户不断优化自己的存储系统和应用程序。存储系统通常负责I / O重型应用中的大多数延迟,因此即使是小的总延迟改善也可能很重要。机器学习(ml)技术承诺学习模式,从它们概括,并实现适应更改工作负载的最佳解决方案。我们提出ML解决方案成为OSS中的一流组件,并更换了动态优化存储系统的手动启发式。在本文中,我们描述了我们所提出的ML架构,称为KML。我们开发了一个原型KML体系结构,并将其应用于两个问题:最佳readAhead和NFS读取大小值。我们的实验表明,KML消耗了很少的操作系统资源,延迟可忽略不计,但可以学习可以分别为两种用例的2.3倍或15倍提高I / O吞吐量的模式 - 即使是复杂的,也不是为了复杂 - 在不同的存储设备上同时运行混合工作负载。
translated by 谷歌翻译
本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高,目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标,首先讨论当前在结构上工作的专家知识系统,如树 - LSTM。然后,我们向该模型提出上下文感知扩展。我们表明,在多级Web分类任务中,新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示,并且可以用于应用此类元素分类,钢筋在网上学习中的状态估计等。
translated by 谷歌翻译
异构表格数据是最常用的数据形式,对于众多关键和计算要求的应用程序至关重要。在同质数据集上,深度神经网络反复显示出卓越的性能,因此被广泛采用。但是,它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展,这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组:数据转换,专业体系结构和正则化模型。对于每个小组,我们的工作提供了主要方法的全面概述。此外,我们讨论了生成表格数据的深度学习方法,并且还提供了有关解释对表格数据的深层模型的策略的概述。因此,我们的第一个贡献是解决上述领域中的主要研究流和现有方法,同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较,并在五个流行的现实世界中的十种深度学习方法中,具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明,基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型,这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知,这是对表格数据深度学习方法的第一个深入概述。因此,这项工作可以成为有价值的起点,以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。
translated by 谷歌翻译
当前独立于域的经典计划者需要问题域和实例作为输入的符号模型,从而导致知识采集瓶颈。同时,尽管深度学习在许多领域都取得了重大成功,但知识是在与符号系统(例如计划者)不兼容的亚符号表示中编码的。我们提出了Latplan,这是一种无监督的建筑,结合了深度学习和经典计划。只有一组未标记的图像对,显示了环境中允许的过渡子集(训练输入),Latplan学习了环境的完整命题PDDL动作模型。稍后,当给出代表初始状态和目标状态(计划输入)的一对图像时,Latplan在符号潜在空间中找到了目标状态的计划,并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN:8个插头,15个式嘴,Blockworld,Sokoban和两个LightsOut的变体。
translated by 谷歌翻译
本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片(Sota)。它填补了空白,因为现有的调查文章在其范围内或被约会。我们包括两个重要方面,目前正在挖掘和建模社交媒体的重要性:动态和网络。社会动态对于了解影响影响或疾病的传播,友谊的形成,友谊的形成等,另一方面,可以捕获各种复杂关系,提供额外的洞察力和识别否则将不会被注意的重要模式。
translated by 谷歌翻译
背景:机器学习(ML)可以实现有效的自动测试生成。目的:我们表征了新兴研究,检查测试实践,研究人员目标,应用的ML技术,评估和挑战。方法:我们对97个出版物的样本进行系统文献综述。结果:ML生成系统,GUI,单位,性能和组合测试的输入或改善现有生成方法的性能。 ML还用于生成测试判决,基于属性的和预期的输出序列。经常基于神经网络和强化学习的监督学习通常是基于Q学习的 - 很普遍,并且某些出版物还采用了无监督或半监督的学习。使用传统的测试指标和与ML相关的指标(例如准确性)评估(半/非 - )监督方法,而经常使用与奖励功能相关的测试指标来评估强化学习。结论:工作到尽头表现出巨大的希望,但是在培训数据,再探术,可伸缩性,评估复杂性,所采用的ML算法以及如何应用 - 基准和可复制性方面存在公开挑战。我们的发现可以作为该领域研究人员的路线图和灵感。
translated by 谷歌翻译
自然语言接口到数据库(NLIDB),其中用户在自然语言(NL)上姿势查询是至关重要的,使非专家能够从数据中获得见解。相比之下,开发此类接口依赖于经常代码启发式的专家来映射NL到SQL。或者,基于机器学习模型的NLIDB依赖于用作训练数据的NL到SQL映射的监督示例(NL-SQL对)。再次采购这些示例,使用专家,该专家通常涉及超过一次性相互作用。即,部署NLIDB的每个数据域都可能具有不同的特征,因此需要专用的启发式或域特定的培训示例。为此,我们提出了一种使用弱监管培训基于机器学习的NLIDB的替代方法。我们使用最近提出的问题分解表示称为qdmr,是NL和正式查询语言之间的中间。最近的工作表明,非专家通常在将NL转化为QDMR时是成功的。因此,我们使用NL-QDMR对以及问题答案,作为自动综合SQL查询的监督。然后使用NL问题和合成的SQL来培训NL-TO-SQL模型,我们在五个基准数据集中测试。广泛的实验表明,我们的解决方案需要零专家注释,竞争性地与专家注释数据培训的模型竞争地表现得很竞争。
translated by 谷歌翻译
自动化封路计优化(HPO)已经获得了很大的普及,并且是大多数自动化机器学习框架的重要成分。然而,设计HPO算法的过程仍然是一个不系统和手动的过程:确定了现有工作的限制,提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解,并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO(MF-HPO)的自动基准驱动算法设计的原则方法:首先,我们正式化包括的MF-HPO候选的丰富空间,但不限于普通的HPO算法,然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者,我们遵循通过优化方法,并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置,在某些方式中比建立的方法更简单,只要某些关键配置参数具有正确的值,就可以很好地执行得很好。
translated by 谷歌翻译
高级综合(HLS)释放了计算机架构师以非常低级的语言开发他们的设计,并需要准确指定如何在寄存器级别传输数据。在HLS的帮助下,硬件设计人员必须只描述设计的高级行为流程。尽管如此,它仍然可能需要数周才能开发高性能架构,主要是因为在更高的水平下有许多设计选择需要更多的时间来探索。它还需要几分钟才能从HLS工具上获得每个设计候选人的质量的反馈。在本文中,我们建议通过使用培训的图形神经网络(GNN)来建立HLS工具来解决这个问题,该工具被培训用于广泛的应用程序。实验结果表明,通过采用基于GNN的模型,我们能够以高精度估计毫秒的设计质量,这可以帮助我们非常快速地搜索解决方案空间。
translated by 谷歌翻译