这项工作是由两个关键事实激励的。首先，非常希望能够学习和执行知识发现和分析（LKD）任务，而无需访问RAW-DATA表。这可能是由于组织发现管理和维护不断增长的桌子或出于隐私原因而变得越来越令人沮丧和昂贵。因此，可以从原始数据开发紧凑的模型，而不是表代替表。其次，通常，LKD任务应在（可能非常大的）表上执行，这本身就是连接单独（可能非常大的）关系表的结果。但是，当缺席个人桌子时，怎么能这样做呢？在这里，我们提出以下基本问题：Q1：如何“加入”（缺失/删除​​）表格或“与其他表一起连接模型”，以使LKD启用LKD，就好像是在实际的联接上执行的。原桌？ Q2：每张表使用哪些合适的型号？ Q3：由于模型联接将是实际数据联接的近似值，因此如何评估模型联接结果的质量？这项工作提出了一个框架，结合模型，解决了这些挑战。该框架集成并连接了缺席表的台式模型，并生成了一个均匀且独立的样本，该样本是对实际RAW-DATA连接的均匀和独立样本的高质量近似。近似源于模型，但不是源于模型联接框架。通过模型联接获得的样本可用于执行LKD下游任务，例如近似查询处理，分类，聚类，回归，关联规则挖掘，可视化等。据我们所知，这是该议程和解决方案的第一部作品。使用TPC-DS数据和合成数据展示模型的详细实验加入的实用性。

众所周知，加入操作（尤其是N-Way，多到许多人的加入）是耗时和资源的。在大尺度上，关于桌子和联接量的大小，当前的最新方法（包括使用嵌套环/哈希/排序 - 合并算法的二进制加入算法，或者，或者，最糟糕的案例最佳连接算法（wojas）），甚至可能无法给定合理的资源和时间限制产生任何答案。在这项工作中，我们介绍了一种新的n-way qui-join处理方法，即图形结合（GJ）。关键想法是两个方面：首先，将物理连接计算问题映射到PGMS并引入调整的推理算法，该算法可以计算基于运行的编码（RLE）基于连接的汇总摘要，并需要实现结合结果所必需的所有统计信息。其次，也是最重要的是，要表明，像GJ这样的联接算法（像GJ一样）产生了上述联接介绍摘要，然后对其进行删除，可以在时空中引入巨大的性能优势。通过工作，TPCD和LASTFM数据集的加入查询进行了全面的实验，将GJ与PostgreSQL和MonetDB进行了比较，以及UMBRA系统中实现的最先进的WOJA。内存中加入计算的结果表明，性能改善的速度分别比PostgreSQL，MONETDB和UMBRA快64倍，388倍和6倍。对于磁盘加入计算，GJ的速度比PostgreSQL，MONETDB和UMBRA的速度分别高达820X，717X和165X。此外，GJ空间需求分别高达21,488倍，38,333倍和78,750倍，分别比PostgreSQL，MonetDB和Umbra小。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

Machine Learning (ML) is changing DBs as many DB components are being replaced by ML models. One open problem in this setting is how to update such ML models in the presence of data updates. We start this investigation focusing on data insertions (dominating updates in analytical DBs). We study how to update neural network (NN) models when new data follows a different distribution (a.k.a. it is "out-of-distribution" -- OOD), rendering previously-trained NNs inaccurate. A requirement in our problem setting is that learned DB components should ensure high accuracy for tasks on old and new data (e.g., for approximate query processing (AQP), cardinality estimation (CE), synthetic data generation (DG), etc.). This paper proposes a novel updatability framework (DDUp). DDUp can provide updatability for different learned DB system components, even based on different NNs, without the high costs to retrain the NNs from scratch. DDUp entails two components: First, a novel, efficient, and principled statistical-testing approach to detect OOD data. Second, a novel model updating approach, grounded on the principles of transfer learning with knowledge distillation, to update learned models efficiently, while still ensuring high accuracy. We develop and showcase DDUp's applicability for three different learned DB components, AQP, CE, and DG, each employing a different type of NN. Detailed experimental evaluation using real and benchmark datasets for AQP, CE, and DG detail DDUp's performance advantages.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

In data-driven systems, data exploration is imperative for making real-time decisions. However, big data is stored in massive databases that are difficult to retrieve. Approximate Query Processing (AQP) is a technique for providing approximate answers to aggregate queries based on a summary of the data (synopsis) that closely replicates the behavior of the actual data, which can be useful where an approximate answer to the queries would be acceptable in a fraction of the real execution time. In this paper, we discuss the use of Generative Adversarial Networks (GANs) for generating tabular data that can be employed in AQP for synopsis construction. We first discuss the challenges associated with constructing synopses in relational databases and then introduce solutions to those challenges. Following that, we organized statistical metrics to evaluate the quality of the generated synopses. We conclude that tabular data complexity makes it difficult for algorithms to understand relational database semantics during training, and improved versions of tabular GANs are capable of constructing synopses to revolutionize data-driven decision-making systems.

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

复杂的事件识别（CER）系统在过去二十年中变得流行，因为它们能够“立即”检测在实时事件流上的模式。然而，缺乏预测模式可能发生在例如由Cer发动机实际检测到这种发生之前的模式。我们提出了一项正式的框架，试图解决复杂事件预测（CEF）的问题。我们的框架结合了两个形式主义：a）用于编码复杂事件模式的符号自动机; b）预测后缀树，可以提供自动机构的行为的简洁概率描述。我们比较我们提出的方法，以防止最先进的方法，并在准确性和效率方面展示其优势。特别地，预测后缀树是可变的马尔可夫模型，可以通过仅记住足够的信息的过去序列来捕获流中的长期依赖性。我们的实验结果表明了能够捕获这种长期依赖性的准确性的益处。这是通过增加我们模型的顺序来实现的，以满足需要执行给定顺序的所有可能的过去序列的所有可能的过去序列的详尽枚举的全阶马尔可夫模型。我们还广泛讨论CEF解决方案如何最佳地评估其预测的质量。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

反向工程师受益于二进制中的标识符（例如函数名称）的存在，但通常将其删除以释放。训练机器学习模型自动预测功能名称是有希望的，但从根本上讲很难：与自然语言中的单词不同，大多数函数名称仅出现一次。在本文中，我们通过引入极端功能标签（XFL）来解决此问题，这是一种极端的多标签学习方法，可为二进制功能选择适当的标签。 XFL将函数名称分为代币，将每个功能视为具有自然语言标记文本的问题的信息标签。我们将二进制代码的语义与通过dexter进行标签，这是一种新颖的函数，将基于静态分析的特征与来自呼叫图的本地上下文和整个二进制的全局上下文相结合。我们证明，XFL/Dexter在Debian Project的10,047个二进制数据集上的功能标签上优于最新技术，获得了83.5％的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合，并表明Dexter始终为这项任务做得最好。结果，我们证明了二进制函数标记可以通过多标签学习有效地措辞，并且二进制函数嵌入得益于包括明确的语义特征。

Cardinality estimation is one of the most fundamental and challenging problems in query optimization. Neither classical nor learning-based methods yield satisfactory performance when estimating the cardinality of the join queries. They either rely on simplified assumptions leading to ineffective cardinality estimates or build large models to understand the data distributions, leading to long planning times and a lack of generalizability across queries. In this paper, we propose a new framework FactorJoin for estimating join queries. FactorJoin combines the idea behind the classical join-histogram method to efficiently handle joins with the learning-based methods to accurately capture attribute correlation. Specifically, FactorJoin scans every table in a DB and builds single-table conditional distributions during an offline preparation phase. When a join query comes, FactorJoin translates it into a factor graph model over the learned distributions to effectively and efficiently estimate its cardinality. Unlike existing learning-based methods, FactorJoin does not need to de-normalize joins upfront or require executed query workloads to train the model. Since it only relies on single-table statistics, FactorJoin has small space overhead and is extremely easy to train and maintain. In our evaluation, FactorJoin can produce more effective estimates than the previous state-of-the-art learning-based methods, with 40x less estimation latency, 100x smaller model size, and 100x faster training speed at comparable or better accuracy. In addition, FactorJoin can estimate 10,000 sub-plan queries within one second to optimize the query plan, which is very close to the traditional cardinality estimators in commercial DBMS.

基于机器学习（ML）的系统的制作需要在其生命周期中进行统计控制。仔细量化业务需求和识别影响业务需求的关键因素降低了项目故障的风险。业务需求的量化导致随机变量的定义，表示通过统计实验需要分析的系统关键性能指标。此外，可提供的培训和实验结果产生影响系统的设计。开发系统后，测试并不断监控，以确保其符合其业务需求。这是通过持续应用统计实验来分析和控制关键绩效指标来完成的。本书教授制作和开发基于ML的系统的艺术。它倡导“首先”方法，强调从项目生命周期开始定义统计实验的需要。它还详细讨论了如何在整个生命周期中对基于ML的系统进行统计控制。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

概率无论无内容语法（PCFG）和动态贝叶斯网络（DBNS）是广泛使用的序列模型，具有互补的优势和局限性。虽然PCFGS允许嵌套分层依赖关系（树结构），但它们的潜在变量（非终端符号）必须是离散的。相比之下，DBN允许持续潜在变量，但依赖关系是严格顺序（链结构）。因此，如果假设潜伏变量是连续的并且还具有嵌套的分层依赖结构，则也可以应用。在本文中，我们呈现递归贝叶斯网络（RBNS），它概括和统一PCFG和DBN，将其优势与特殊情况相结合。 RBN定义了具有离散或连续潜在变量的树结构贝叶斯网络上的联合分布。主要挑战在于在可能的结构和连续变量的指数数上执行关节推断。我们提供了两个解决方案：1）对于任意RBN，我们将内部和外部概率概括为混合离散连续的情况，这允许通过梯度下降到连续潜变量的最大后估计，同时通过网络结构边缘化。 2）对于高斯RBN，我们还导出了分析近似，允许鲁棒参数优化和贝叶斯推断。 RBN的容量和多样化应用在两个示例中示出：在综合数据的定量评估中，与改变点检测和分层聚类相比，我们证明并讨论了RBN对噪声序列的分割和树诱导的优势。在对音乐数据的应用中，我们接近原始注释级别的分层音乐分析的未解决问题，并将我们的结果与专家注释进行比较。

Originally, tangles were invented as an abstract tool in mathematical graph theory to prove the famous graph minor theorem. In this paper, we showcase the practical potential of tangles in machine learning applications. Given a collection of cuts of any dataset, tangles aggregate these cuts to point in the direction of a dense structure. As a result, a cluster is softly characterized by a set of consistent pointers. This highly flexible approach can solve clustering problems in various setups, ranging from questionnaires over community detection in graphs to clustering points in metric spaces. The output of our proposed framework is hierarchical and induces the notion of a soft dendrogram, which can help explore the cluster structure of a dataset. The computational complexity of aggregating the cuts is linear in the number of data points. Thus the bottleneck of the tangle approach is to generate the cuts, for which simple and fast algorithms form a sufficient basis. In our paper we construct the algorithmic framework for clustering with tangles, prove theoretical guarantees in various settings, and provide extensive simulations and use cases. Python code is available on github.

尽管对连续数据的归一流流进行了广泛的研究，但直到最近才探索了离散数据的流量。然而，这些先前的模型遭受了与连续流的局限性。最值得注意的是，由于离散函数的梯度不确定或零，因此不能直接优化基于流动的模型。先前的作品近似离散功能的伪级，但不能在基本层面上解决该问题。除此之外，与替代离散算法（例如决策树算法）相比，反向传播可能是计算繁重的。我们的方法旨在减轻计算负担，并通过基于决策树开发离散流程来消除对伪级的需求，这是基于有效的基于树的基于有效的树的方法进行分类和回归的离散数据。我们首先定义了树结构化置换（TSP），该置换量（TSP）紧凑地编码离散数据的排列，其中逆向易于计算；因此，我们可以有效地计算密度值并采样新数据。然后，我们提出了一种决策树算法来构建TSP，该TSP通过新标准在每个节点上学习树结构和排列。我们从经验上证明了我们在多个数据集上方法的可行性。

系统发育比较方法在我们的领域是新的，并且对于大多数语言学家来说，至少有一点谜团。然而，导致他们在比较生物学中发现的道路与平衡抽样的方法论历史如此类似，这只是一个历史的事故，即他们没有被典型的专家发现。在这里，我们澄清了系统发育比较方法背后的基本逻辑及其对重点采样的深刻智力传统的基本相关性。然后我们介绍将在日常类型的研究中使用类型的概念，方法和工具，使类型学家能够在日常类型的研究中使用这些方法。系统发育比较方法和平衡采样的关键共性是他们试图因系谱而应对统计非独立性。虽然采样永远不会实现独立性，但需要大多数比较数据被丢弃，系统发育比较方法在保留和使用所有数据的同时实现独立性。我们讨论了系统发育信号的基本概念;关于树木的不确定性;典型的类型学平均值和比例对族谱敏感;跨语言家庭的比较;和体现的影响。广泛的补充材料说明了实际分析的计算工具，我们说明了与帕马尼云根腭膜对比的类型学案例研究讨论的方法。

图形嵌入是将网络的节点转换为一组向量。良好的嵌入应捕获底层图形拓扑和结构，节点到节点关系以及图形，其子图和节点的其他相关信息。如果实现了这些目标，则嵌入是网络的有意义，可以理解的，通常是压缩的。不幸的是，选择最好的嵌入是一个具有挑战性的任务，并且通常需要域名专家。在本文中，我们扩展了评估作者最近引入的图形嵌入的框架。现在，该框架为每个嵌入的嵌入分配两个分数，本地和全局，测量评估嵌入的嵌入的质量，以便分别需要良好地表示网络的全局属性。如果需要，最好的嵌入可以以无监督的方式选择，或者框架可以识别一些值得进一步调查的少数嵌入。该框架灵活，可扩展，可以处理无向/定向，加权/未加权图。