在本文中,我们展示了我们对数据库的所谓零射击学习的愿景,这是数据库组件的新学习方法。对于数据库的零拍摄学习是通过最近的转移学习的进步,例如GPT-3等型号的进步,并且可以在禁止框中支持一个新的数据库,而无需培训新模型。此外,通过进一步再培训未经看台数据库的模型,它可以很容易地扩展到几次拍摄的学习。作为本文的第一个具体贡献,我们展示了零射击学习的可行性,用于物理成本估算的任务,并具有非常有前途的初始结果。此外,作为第二种贡献,我们讨论了与数据库的零射击学习相关的核心挑战,并呈现路线图,以扩展到零射击学习,以扩展到超出成本估计的许多其他任务,甚至超出经典数据库系统和工作负载。
translated by 谷歌翻译
在本文中,我们介绍了零射成本模型,使学习成本估计能够推广到看不见的数据库。与最先进的工作负载驱动方法相比,需要在每个新数据库上执行大量训练查询,因此零击成本模型因此允许在没有的盒子中实例化学习成本模型昂贵的培训数据收集。要启用此类零拍成本模型,我们建议基于预先训练的成本模型的新学习范例。作为支持将此类预先训练的成本模型转移到解密数据库的核心贡献,我们介绍了一种新的模型架构和表示技术,用于将查询工作负载编码为对这些模型的输入。正如我们将在我们的评估中展示,零射成本估计可以为广泛的(现实世界)数据库的最先进模型提供更准确的成本估算,而无需在未操作数据库上执行任何查询执行。此外,我们表明零击成本模型可以在几次拍摄模式下使用,从而通过在看不见的数据库上使用少量额外的训练查询来进一步提高其质量。
translated by 谷歌翻译
最近,数据库管理系统(DBMS)社区目睹了机器学习(ML)解决方案的DBMS任务的能力。尽管表现明显,但这些现有解决方案几乎不会被认为是令人满意的。首先,DBMS中的基于ML的方法不够有效,因为它们在每个特定任务上进行了优化,并且无法探索或理解任务之间的内部连接。其次,培训过程具有严重的限制,妨碍他们的实用性,因为他们需要从划痕中恢复整个模型以获得新的dB。此外,对于每个再次,它们需要过多的训练数据,这对于新的DB来获得和不可用的非常昂贵。我们建议探讨ML方法跨任务和跨DBS的传递,以解决这些基本缺点。在本文中,我们提出了一个统一的模型MTMLF,它使用多任务培训程序来捕获任务的可转让知识和预先列车前的微调程序,以蒸馏出跨DBS的可转移元知识。我们认为,此范例更适合云DB服务,并且有可能彻底改变ML如何在DBMS中使用的方式。此外,为了证明MTMLF的预测力和可行性,我们提供了关于查询优化任务的具体和非常有希望的案例研究。最后但并非最不重要的是,我们沿着这一工作线讨论了几个具体的研究机会。
translated by 谷歌翻译
我们为AI驱动数据库提供了一个SYSML框架。使用Baihe,可能会改装现有的关系数据库系统以使用学习组件进行查询优化或其他常见任务,例如例如,学习索引结构。为确保Baihe的实用性和现实世界适用性,其高级架构基于以下要求:与核心系统的分离,最小的第三方依赖,鲁棒性,稳定性和容错,以及稳定性和可配置性。基于高级架构,我们将描述Baihe的具体实现PostgreSQL,并为学习查询优化器提供了实例使用情况。为了服务于从业者,以及DB和AI4DB社区的研究人员将在开源许可下发布PostgreSQL的Baihe。
translated by 谷歌翻译
Cardinality estimation is one of the most fundamental and challenging problems in query optimization. Neither classical nor learning-based methods yield satisfactory performance when estimating the cardinality of the join queries. They either rely on simplified assumptions leading to ineffective cardinality estimates or build large models to understand the data distributions, leading to long planning times and a lack of generalizability across queries. In this paper, we propose a new framework FactorJoin for estimating join queries. FactorJoin combines the idea behind the classical join-histogram method to efficiently handle joins with the learning-based methods to accurately capture attribute correlation. Specifically, FactorJoin scans every table in a DB and builds single-table conditional distributions during an offline preparation phase. When a join query comes, FactorJoin translates it into a factor graph model over the learned distributions to effectively and efficiently estimate its cardinality. Unlike existing learning-based methods, FactorJoin does not need to de-normalize joins upfront or require executed query workloads to train the model. Since it only relies on single-table statistics, FactorJoin has small space overhead and is extremely easy to train and maintain. In our evaluation, FactorJoin can produce more effective estimates than the previous state-of-the-art learning-based methods, with 40x less estimation latency, 100x smaller model size, and 100x faster training speed at comparable or better accuracy. In addition, FactorJoin can estimate 10,000 sub-plan queries within one second to optimize the query plan, which is very close to the traditional cardinality estimators in commercial DBMS.
translated by 谷歌翻译
查询优化器是每个数据库系统中的性能关键组件。由于它们的复杂性,优化仪参加专家月份才能编写和多年来优化。在这项工作中,我们首次演示了在不从专家优化器中学习而不学习的情况下进行优化查询是可能的,有效的。我们展示了Balsa,这是一个由深度加强学习建造的查询优化器。Balsa首先从简单的环境不可行的模拟器中了解基本知识,然后在真实执行中安全学习。在加入秩序基准测试中,Balsa符合两个专家查询优化器的性能,包括两个小时的学习,并且在几个小时后占工作负载运行时最多2.8美元\ times $。因此,Balsa打开了自动学习在未来的计算环境中优化的可能性,其中专家设计的优化仪不存在。
translated by 谷歌翻译
我们介绍了一个自动选择数据结构的框架,以支持分析工作负载的有效计算。我们的贡献是双重的。首先,我们介绍了一种新颖的低级中间语言,可以表达各种查询处理范例背后的算法,例如经典加入,GroupJoin和数据库内机器学习引擎。此语言围绕词典的概念设计,并允许更精细地选择其低级实现。其次,通过组合机器学习和程序推理,自动推断出替代实施的成本模型。使用在给定硬件架构上的字典操作的分析数据集上培训的回归模型来学习字典成本模型。使用静态程序分析推断出计划成本模型。我们的实验结果表明,训练有素的成本模型在微基准上的有效性。此外,我们表明,我们的框架生成的代码的性能要么擅长,要么与最先进的分析查询引擎和最近的数据库内机器学习框架相同。
translated by 谷歌翻译
深度神经网络(DNN)及其变体已被广泛用于多种真实应用,例如图像分类,面部/语音识别,欺诈检测等。除了许多重要的机器学习任务外,随着人造网络模仿脑细胞的运作方式,DNN还显示了在输入和输出数据之间存储非线性关系的能力,这表现出通过DNN存储数据的潜力。我们设想了一个新的数据存储范式“ DNN-AS-A-DATABASE”,其中数据是在训练有素的机器学习模型中编码的。与直接以原始格式记录数据的传统数据存储相比,基于学习的结构(例如DNN)可以隐式编码输入和输出的数据对,并仅在提供输入数据时,才能计算/实现不同分辨率的实际输出数据。这种新的范式可以通过允许在不同级别上的灵活数据隐私设置,通过新硬件的加速(例如衍射神经网络和AI芯片)进行快速计算,从而极大地增强数据安全性,并可以推广到分布式DNN - 基于存储/计算。在本文中,我们提出了这个基于学习的数据存储的新颖概念,该概念利用一种名为基于学习的记忆单元(LMU)的学习结构来存储,组织和检索数据。作为案例研究,我们将DNNs用作LMU中的发动机,并研究基于DNN的数据存储的数据容量和准确性。我们的初步实验结果表明,通过达到DNN存储的高(100%)精度,基于学习的数据存储的可行性。我们探索和设计有效的解决方案,以利用基于DNN的数据存储来管理和查询关系表。我们讨论如何将解决方案推广到其他数据类型(例如图形)和分布式DNN存储/计算等环境。
translated by 谷歌翻译
A learned system uses machine learning (ML) internally to improve performance. We can expect such systems to be vulnerable to some adversarial-ML attacks. Often, the learned component is shared between mutually-distrusting users or processes, much like microarchitectural resources such as caches, potentially giving rise to highly-realistic attacker models. However, compared to attacks on other ML-based systems, attackers face a level of indirection as they cannot interact directly with the learned model. Additionally, the difference between the attack surface of learned and non-learned versions of the same system is often subtle. These factors obfuscate the de-facto risks that the incorporation of ML carries. We analyze the root causes of potentially-increased attack surface in learned systems and develop a framework for identifying vulnerabilities that stem from the use of ML. We apply our framework to a broad set of learned systems under active development. To empirically validate the many vulnerabilities surfaced by our framework, we choose 3 of them and implement and evaluate exploits against prominent learned-system instances. We show that the use of ML caused leakage of past queries in a database, enabled a poisoning attack that causes exponential memory blowup in an index structure and crashes it in seconds, and enabled index users to snoop on each others' key distributions by timing queries over their own keys. We find that adversarial ML is a universal threat against learned systems, point to open research gaps in our understanding of learned-systems security, and conclude by discussing mitigations, while noting that data leakage is inherent in systems whose learned component is shared between multiple parties.
translated by 谷歌翻译
自动化机器学习(Automl)努力自动配置机器学习算法及其组合的整体(软件)解决方案 - 机器学习管道 - 针对手头的学习任务(数据集)量身定制。在过去十年中,Automl已成为具有数百个贡献的热门研究课题。虽然Automl提供了许多前景,但也称它也是相当资源密集的,这是其主要批评的主要观点之一。高资源消耗的主要原因是许多方法依赖于许多ML管道的(昂贵)评估,同时寻找良好的候选者。由于使用许多数据集和方法进行了大规模实验,因此在Automl方法研究的背景下放大了这个问题,每个数据都是用几种重复来排除随机效应的几个重复的实验。本文阐述了最近的绿色AI的精神,是为了提高对问题的自动化研究人员的意识,并详细阐述可能的补救措施。为此,我们确定了四类行动,社区可能采取更加可持续的自动化计划,即接近设计,基准,研究激励和透明度。
translated by 谷歌翻译
随着未来以数据为中心的决策,对数据库的无缝访问至关重要。关于创建有效的文本到SQL(Text2SQL)模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库(尤其是对于非技术用户)来弥合数据和结果之间差距的最佳接口之一。它将打开门,并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法,在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集,这带来了其局限性和假设。同时,我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中,我们试图介绍过去几年研究的24种神经网络模型的整体概述,包括其涉及卷积神经网络,经常性神经网络,指针网络,强化学习,生成模型等的架构。我们还概述11个数据集,这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。
translated by 谷歌翻译
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近,它的方法一直集中在孤立地解决问题实例,而忽略了它们通常源于实践中的相关数据分布。但是,近年来,人们对使用机器学习,尤其是图形神经网络(GNN)的兴趣激增,作为组合任务的关键构件,直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入,因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾,旨在优化和机器学习研究人员。
translated by 谷歌翻译
As modern data pipelines continue to collect, produce, and store a variety of data formats, extracting and combining value from traditional and context-rich sources such as strings, text, video, audio, and logs becomes a manual process where such formats are unsuitable for RDBMS. To tap into the dark data, domain experts analyze and extract insights and integrate them into the data repositories. This process can involve out-of-DBMS, ad-hoc analysis, and processing resulting in ETL, engineering effort, and suboptimal performance. While AI systems based on ML models can automate the analysis process, they often further generate context-rich answers. Using multiple sources of truth, for either training the models or in the form of knowledge bases, further exacerbates the problem of consolidating the data of interest. We envision an analytical engine co-optimized with components that enable context-rich analysis. Firstly, as the data from different sources or resulting from model answering cannot be cleaned ahead of time, we propose using online data integration via model-assisted similarity operations. Secondly, we aim for a holistic pipeline cost- and rule-based optimization across relational and model-based operators. Thirdly, with increasingly heterogeneous hardware and equally heterogeneous workloads ranging from traditional relational analytics to generative model inference, we envision a system that just-in-time adapts to the complex analytical query requirements. To solve increasingly complex analytical problems, ML offers attractive solutions that must be combined with traditional analytical processing and benefit from decades of database community research to achieve scalability and performance effortless for the end user.
translated by 谷歌翻译
This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.
translated by 谷歌翻译
众所周知,加入操作(尤其是N-Way,多到许多人的加入)是耗时和资源的。在大尺度上,关于桌子和联接量的大小,当前的最新方法(包括使用嵌套环/哈希/排序 - 合并算法的二进制加入算法,或者,或者,最糟糕的案例最佳连接算法(wojas)),甚至可能无法给定合理的资源和时间限制产生任何答案。在这项工作中,我们介绍了一种新的n-way qui-join处理方法,即图形结合(GJ)。关键想法是两个方面:首先,将物理连接计算问题映射到PGMS并引入调整的推理算法,该算法可以计算基于运行的编码(RLE)基于连接的汇总摘要,并需要实现结合结果所必需的所有统计信息。其次,也是最重要的是,要表明,像GJ这样的联接算法(像GJ一样)产生了上述联接介绍摘要,然后对其进行删除,可以在时空中引入巨大的性能优势。通过工作,TPCD和LASTFM数据集的加入查询进行了全面的实验,将GJ与PostgreSQL和MonetDB进行了比较,以及UMBRA系统中实现的最先进的WOJA。内存中加入计算的结果表明,性能改善的速度分别比PostgreSQL,MONETDB和UMBRA快64倍,388倍和6倍。对于磁盘加入计算,GJ的速度比PostgreSQL,MONETDB和UMBRA的速度分别高达820X,717X和165X。此外,GJ空间需求分别高达21,488倍,38,333倍和78,750倍,分别比PostgreSQL,MonetDB和Umbra小。
translated by 谷歌翻译
人工智能(AI)对计算的巨大需求正在推动对AI的硬件和软件系统的无与伦比的投资。这导致了专用硬件设备数量的爆炸,现在由主要的云供应商提供。通过通过基于张量的界面隐藏低级复杂性,张量计算运行时间(TCR)(例如Pytorch)允许数据科学家有效利用新硬件提供的令人兴奋的功能。在本文中,我们探讨了数据库管理系统如何在AI空间中乘坐创新浪潮。我们设计,构建和评估张量查询处理器(TQP):TQP将SQL查询转换为张量程序,并在TCR上执行它们。 TQP能够通过在张量例程中实现与关系运算符的新颖算法来运行完整的TPC-H基准。同时,TQP可以支持各种硬件,而仅需要通常的开发工作。实验表明,与专用CPU和仅GPU的系统相比,TQP可以将查询执行时间提高到10美元$ \ times $。最后,TQP可以加速查询ML预测和SQL端到端,并在CPU基线上输送高达9 $ \ times $速度。
translated by 谷歌翻译
机器学习在数据库研究中迅速使用,以提高包括但不限于查询优化,工作负载计划,物理设计等众多任务的有效性。它基于学习的对手。但是,查询性能不仅取决于单个组件的性能,而且还取决于多个组件的合作。因此,基于学习的数据库组件需要在培训和执行过程中进行协作,以制定符合最终绩效目标的政策。因此,该论文试图解决一个问题:“是否有可能设计由各种学习组成部分组成的数据库,这些数据库合作地工作以改善端到端查询延迟吗?”。为了回答这个问题,我们介绍了MADB(Multi-Agent DB),这是一种概念验证系统,其中包含了学习的查询调度程序和学习的查询优化器。 MADB利用一种合作的多代理增强学习方法,该方法使两个组成部分可以彼此交换他们的决策背景,并协作努力减少查询延迟。初步结果表明,MADB可以优于学习组件的非合作整合。
translated by 谷歌翻译
高吞吐量数据处理应用的高效硬件加速器设计,例如深度神经网络,是计算机架构设计中有挑战性的任务。在这方面,高级合成(HLS)作为快速原型设计的解决方案,从应用程序计算流程的行为描述开始。这种设计空间探索(DSE)旨在识别帕累托最佳的合成配置,其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内,我们通过提出在文献中,有效和有效地解决了设计问题图形神经网络,该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计,学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法,通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示,可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外,我们表明我们的方法实现了与常用模拟器的预测准确性相当,而无需访问HLS编译器和目标FPGA的分析模型,同时是更快的数量级。最后,通过微调来自新目标域的少量样本,可以在未开发的配置空间中解放所学习的表示。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
操作系统包括许多启发式算法,旨在提高整体存储性能和吞吐量。由于此类启发式is不能适用于所有条件和工作负载,因此系统设计人员诉诸用户对用户的众多可调参数揭示 - 基本上负担用户不断优化自己的存储系统和应用程序。存储系统通常负责I / O重型应用中的大多数延迟,因此即使是小的总延迟改善也可能很重要。机器学习(ml)技术承诺学习模式,从它们概括,并实现适应更改工作负载的最佳解决方案。我们提出ML解决方案成为OSS中的一流组件,并更换了动态优化存储系统的手动启发式。在本文中,我们描述了我们所提出的ML架构,称为KML。我们开发了一个原型KML体系结构,并将其应用于两个问题:最佳readAhead和NFS读取大小值。我们的实验表明,KML消耗了很少的操作系统资源,延迟可忽略不计,但可以学习可以分别为两种用例的2.3倍或15倍提高I / O吞吐量的模式 - 即使是复杂的,也不是为了复杂 - 在不同的存储设备上同时运行混合工作负载。
translated by 谷歌翻译