最近，数据库管理系统（DBMS）社区目睹了机器学习（ML）解决方案的DBMS任务的能力。尽管表现明显，但这些现有解决方案几乎不会被认为是令人满意的。首先，DBMS中的基于ML的方法不够有效，因为它们在每个特定任务上进行了优化，并且无法探索或理解任务之间的内部连接。其次，培训过程具有严重的限制，妨碍他们的实用性，因为他们需要从划痕中恢复整个模型以获得新的dB。此外，对于每个再次，它们需要过多的训练数据，这对于新的DB来获得和不可用的非常昂贵。我们建议探讨ML方法跨任务和跨DBS的传递，以解决这些基本缺点。在本文中，我们提出了一个统一的模型MTMLF，它使用多任务培训程序来捕获任务的可转让知识和预先列车前的微调程序，以蒸馏出跨DBS的可转移元知识。我们认为，此范例更适合云DB服务，并且有可能彻底改变ML如何在DBMS中使用的方式。此外，为了证明MTMLF的预测力和可行性，我们提供了关于查询优化任务的具体和非常有希望的案例研究。最后但并非最不重要的是，我们沿着这一工作线讨论了几个具体的研究机会。

Cardinality estimation is one of the most fundamental and challenging problems in query optimization. Neither classical nor learning-based methods yield satisfactory performance when estimating the cardinality of the join queries. They either rely on simplified assumptions leading to ineffective cardinality estimates or build large models to understand the data distributions, leading to long planning times and a lack of generalizability across queries. In this paper, we propose a new framework FactorJoin for estimating join queries. FactorJoin combines the idea behind the classical join-histogram method to efficiently handle joins with the learning-based methods to accurately capture attribute correlation. Specifically, FactorJoin scans every table in a DB and builds single-table conditional distributions during an offline preparation phase. When a join query comes, FactorJoin translates it into a factor graph model over the learned distributions to effectively and efficiently estimate its cardinality. Unlike existing learning-based methods, FactorJoin does not need to de-normalize joins upfront or require executed query workloads to train the model. Since it only relies on single-table statistics, FactorJoin has small space overhead and is extremely easy to train and maintain. In our evaluation, FactorJoin can produce more effective estimates than the previous state-of-the-art learning-based methods, with 40x less estimation latency, 100x smaller model size, and 100x faster training speed at comparable or better accuracy. In addition, FactorJoin can estimate 10,000 sub-plan queries within one second to optimize the query plan, which is very close to the traditional cardinality estimators in commercial DBMS.

在本文中，我们介绍了零射成本模型，使学习成本估计能够推广到看不见的数据库。与最先进的工作负载驱动方法相比，需要在每个新数据库上执行大量训练查询，因此零击成本模型因此允许在没有的盒子中实例化学习成本模型昂贵的培训数据收集。要启用此类零拍成本模型，我们建议基于预先训练的成本模型的新学习范例。作为支持将此类预先训练的成本模型转移到解密数据库的核心贡献，我们介绍了一种新的模型架构和表示技术，用于将查询工作负载编码为对这些模型的输入。正如我们将在我们的评估中展示，零射成本估计可以为广泛的（现实世界）数据库的最先进模型提供更准确的成本估算，而无需在未操作数据库上执行任何查询执行。此外，我们表明零击成本模型可以在几次拍摄模式下使用，从而通过在看不见的数据库上使用少量额外的训练查询来进一步提高其质量。

在本文中，我们展示了我们对数据库的所谓零射击学习的愿景，这是数据库组件的新学习方法。对于数据库的零拍摄学习是通过最近的转移学习的进步，例如GPT-3等型号的进步，并且可以在禁止框中支持一个新的数据库，而无需培训新模型。此外，通过进一步再培训未经看台数据库的模型，它可以很容易地扩展到几次拍摄的学习。作为本文的第一个具体贡献，我们展示了零射击学习的可行性，用于物理成本估算的任务，并具有非常有前途的初始结果。此外，作为第二种贡献，我们讨论了与数据库的零射击学习相关的核心挑战，并呈现路线图，以扩展到零射击学习，以扩展到超出成本估计的许多其他任务，甚至超出经典数据库系统和工作负载。

深度神经网络（DNN）及其变体已被广泛用于多种真实应用，例如图像分类，面部/语音识别，欺诈检测等。除了许多重要的机器学习任务外，随着人造网络模仿脑细胞的运作方式，DNN还显示了在输入和输出数据之间存储非线性关系的能力，这表现出通过DNN存储数据的潜力。我们设想了一个新的数据存储范式“ DNN-AS-A-DATABASE”，其中数据是在训练有素的机器学习模型中编码的。与直接以原始格式记录数据的传统数据存储相比，基于学习的结构（例如DNN）可以隐式编码输入和输出的数据对，并仅在提供输入数据时，才能计算/实现不同分辨率的实际输出数据。这种新的范式可以通过允许在不同级别上的灵活数据隐私设置，通过新硬件的加速（例如衍射神经网络和AI芯片）进行快速计算，从而极大地增强数据安全性，并可以推广到分布式DNN - 基于存储/计算。在本文中，我们提出了这个基于学习的数据存储的新颖概念，该概念利用一种名为基于学习的记忆单元（LMU）的学习结构来存储，组织和检索数据。作为案例研究，我们将DNNs用作LMU中的发动机，并研究基于DNN的数据存储的数据容量和准确性。我们的初步实验结果表明，通过达到DNN存储的高（100％）精度，基于学习的数据存储的可行性。我们探索和设计有效的解决方案，以利用基于DNN的数据存储来管理和查询关系表。我们讨论如何将解决方案推广到其他数据类型（例如图形）和分布式DNN存储/计算等环境。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

转移学习可以看作是从头开始的数据和计算效率替代培训模型的替代方法。丰富的模型存储库（例如TensorFlow Hub）的出现使从业人员和研究人员能够在各种下游任务中释放这些模型的潜力。随着这些存储库的成倍增长，有效地为手头任务选择一个好的模型变得至关重要。通过仔细比较各种选择和搜索策略，我们意识到，没有一种方法优于其他方法，而混合或混合策略可以是有益的。因此，我们提出了Shift，这是用于转移学习的第一个下游任务感知，灵活和有效的模型搜索引擎。这些属性由自定义查询语言shift-ql以及基于成本的决策者以及我们经验验证的基于成本的决策者启用。受机器学习开发的迭代性质的促进，我们进一步支持对查询的有效递增执行，这需要与我们的优化共同使用时进行仔细的实施。

查询优化器是每个数据库系统中的性能关键组件。由于它们的复杂性，优化仪参加专家月份才能编写和多年来优化。在这项工作中，我们首次演示了在不从专家优化器中学习而不学习的情况下进行优化查询是可能的，有效的。我们展示了Balsa，这是一个由深度加强学习建造的查询优化器。Balsa首先从简单的环境不可行的模拟器中了解基本知识，然后在真实执行中安全学习。在加入秩序基准测试中，Balsa符合两个专家查询优化器的性能，包括两个小时的学习，并且在几个小时后占工作负载运行时最多2.8美元\ times $。因此，Balsa打开了自动学习在未来的计算环境中优化的可能性，其中专家设计的优化仪不存在。

端到端的Automl吸引了学术界和行业的密集兴趣，它们在功能工程，算法/模型选择和超参数调整引起的空间中自动搜索ML管道。但是，现有的Automl系统在适用于具有较大高维搜索空间的应用程序域时会遇到可伸缩性问题。我们提出了火山洛（Volcanoml），这是一个可扩展且可扩展的框架，可促进对大型汽车搜索空间的系统探索。 Volcanoml引入并实施了将大型搜索空间分解为较小的基本构建块，并允许用户利用这些构建块来制定手头上的汽车问题的执行计划。 Volcanoml进一步支持火山风格的执行模型（类似于现代数据库系统支持的模型）来执行构建的计划。我们的评估表明，不仅火山团提高了汽车中搜索空间分解的表达水平，还导致了分解策略的实际发现，这些发现比先进的自动符号系统所采用的策略更有效率地更加有效。作为自动滑雪。

我们设计了一个用户友好且可扩展的知识图构建（KGC）系统，用于从非结构化语料库中提取结构化知识。与现有的KGC系统不同，Gbuilder提供了一种灵活且用户定义的管道，可以包含IE模型的快速开发。可以使用更多基于内置的模板或启发式操作员和可编程操作员来适应来自不同域的数据。此外，我们还为Gbuilder设计了基于云的自适应任务计划，以确保其在大规模知识图构造上的可扩展性。实验评估不仅证明了Gbuilder在统一平台中组织多个信息提取模型的能力，还证实了其在大规模KGC任务上的高可扩展性。

基数估计（Cardest）是查询优化器的中央组件，在生成DBMS中的高质量查询计划方面发挥着重要作用。使用传统和ML增强的方法，在过去几十年中，在过去几十年中已经广泛研究了Cardest问题。虽然，Cardest中最困难的问题，即如何在多个表上估算连接查询大小，尚未得到广泛解决。目前的方法要么回复独立假设，要么用沉重的负担应用技术，其性能仍然远非令人满意。更糟糕的是，现有的卡最多的卡片通常旨在优化一个目标，即推理速度或估计准确性，这不能适应不同的场合。在本文中，我们提出了一个非常一般的框架，称为胶水，以解决这些挑战。其关键的想法是在不同表格中优雅地解耦并无损合并单个表卡最大的结果，以估计加入查询大小。胶水支持使用任何现有的Cardest方法获取单个表格明智的Cardest结果，可以处理任何复杂的连接模式。因此，它很容易适应具有不同性能要求的不同场景，即，OLTP具有快速估计时间或OLAP，具有高估计精度。同时，我们显示胶水可以无缝集成到计划搜索过程中，并能够支持计算不同数量的值。所有这些属性都表现出在现实世界DBMS中部署胶水的潜在进步。

我们为AI驱动数据库提供了一个SYSML框架。使用Baihe，可能会改装现有的关系数据库系统以使用学习组件进行查询优化或其他常见任务，例如例如，学习索引结构。为确保Baihe的实用性和现实世界适用性，其高级架构基于以下要求：与核心系统的分离，最小的第三方依赖，鲁棒性，稳定性和容错，以及稳定性和可配置性。基于高级架构，我们将描述Baihe的具体实现PostgreSQL，并为学习查询优化器提供了实例使用情况。为了服务于从业者，以及DB和AI4DB社区的研究人员将在开源许可下发布PostgreSQL的Baihe。

我们介绍了一个自动选择数据结构的框架，以支持分析工作负载的有效计算。我们的贡献是双重的。首先，我们介绍了一种新颖的低级中间语言，可以表达各种查询处理范例背后的算法，例如经典加入，GroupJoin和数据库内机器学习引擎。此语言围绕词典的概念设计，并允许更精细地选择其低级实现。其次，通过组合机器学习和程序推理，自动推断出替代实施的成本模型。使用在给定硬件架构上的字典操作的分析数据集上培训的回归模型来学习字典成本模型。使用静态程序分析推断出计划成本模型。我们的实验结果表明，训练有素的成本模型在微基准上的有效性。此外，我们表明，我们的框架生成的代码的性能要么擅长，要么与最先进的分析查询引擎和最近的数据库内机器学习框架相同。

A learned system uses machine learning (ML) internally to improve performance. We can expect such systems to be vulnerable to some adversarial-ML attacks. Often, the learned component is shared between mutually-distrusting users or processes, much like microarchitectural resources such as caches, potentially giving rise to highly-realistic attacker models. However, compared to attacks on other ML-based systems, attackers face a level of indirection as they cannot interact directly with the learned model. Additionally, the difference between the attack surface of learned and non-learned versions of the same system is often subtle. These factors obfuscate the de-facto risks that the incorporation of ML carries. We analyze the root causes of potentially-increased attack surface in learned systems and develop a framework for identifying vulnerabilities that stem from the use of ML. We apply our framework to a broad set of learned systems under active development. To empirically validate the many vulnerabilities surfaced by our framework, we choose 3 of them and implement and evaluate exploits against prominent learned-system instances. We show that the use of ML caused leakage of past queries in a database, enabled a poisoning attack that causes exponential memory blowup in an index structure and crashes it in seconds, and enabled index users to snoop on each others' key distributions by timing queries over their own keys. We find that adversarial ML is a universal threat against learned systems, point to open research gaps in our understanding of learned-systems security, and conclude by discussing mitigations, while noting that data leakage is inherent in systems whose learned component is shared between multiple parties.

众所周知，加入操作（尤其是N-Way，多到许多人的加入）是耗时和资源的。在大尺度上，关于桌子和联接量的大小，当前的最新方法（包括使用嵌套环/哈希/排序 - 合并算法的二进制加入算法，或者，或者，最糟糕的案例最佳连接算法（wojas）），甚至可能无法给定合理的资源和时间限制产生任何答案。在这项工作中，我们介绍了一种新的n-way qui-join处理方法，即图形结合（GJ）。关键想法是两个方面：首先，将物理连接计算问题映射到PGMS并引入调整的推理算法，该算法可以计算基于运行的编码（RLE）基于连接的汇总摘要，并需要实现结合结果所必需的所有统计信息。其次，也是最重要的是，要表明，像GJ这样的联接算法（像GJ一样）产生了上述联接介绍摘要，然后对其进行删除，可以在时空中引入巨大的性能优势。通过工作，TPCD和LASTFM数据集的加入查询进行了全面的实验，将GJ与PostgreSQL和MonetDB进行了比较，以及UMBRA系统中实现的最先进的WOJA。内存中加入计算的结果表明，性能改善的速度分别比PostgreSQL，MONETDB和UMBRA快64倍，388倍和6倍。对于磁盘加入计算，GJ的速度比PostgreSQL，MONETDB和UMBRA的速度分别高达820X，717X和165X。此外，GJ空间需求分别高达21,488倍，38,333倍和78,750倍，分别比PostgreSQL，MonetDB和Umbra小。

传统的机器学习（ML）严重依赖于机器学习专家的手动设计，以决定学习任务，数据，模型，优化算法和评估指标，以及劳动密集型，耗时，不能像人类那样自主学习。在教育科学，自我导向的学习中，人类学习者在不需要动手指导的情况下选择学习任务和材料，已经显示出比被动教师引导的学习更有效。灵感来自自我导向的人类学习的概念，我们介绍了自我导向机器学习（SDML）的主要概念，并为SDML提出了一个框架。具体而言，我们设计SDML作为自我意识引导的自我指导的学习过程，包括内部意识和外部意识。我们提出的SDML进程从自我任务选择，自我数据选择，自我模型选择，自我优化策略选择和自我意识中选择的自我认识，没有人为指导。同时，SDML过程的学习性能是进一步提高自我意识的反馈。我们为基于多级优化的SDML提出了一种数学制定。此外，我们将案例研究与SDML的潜在应用一起，随后讨论未来的研究方向。我们希望SDML能够使机器能够进行人类的自我导向学习，并为人为一般情报提供新的视角。

文本到SQL引起了自然语言处理和数据库社区的关注，因为它能够将自然语言中的语义转换为SQL查询及其在构建自然语言接口到数据库系统中的实际应用。文本到SQL的主要挑战在于编码自然话语的含义，解码为SQL查询，并翻译这两种形式之间的语义。这些挑战已被最近的进步解决了不同的范围。但是，对于这项任务仍缺乏全面的调查。为此，我们回顾了有关数据集，方法和评估的文本到SQL的最新进展，并提供了这项系统的调查，解决了上述挑战并讨论潜在的未来方向。我们希望这项调查可以作为快速获取现有工作并激励未来的研究。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。