绽放过滤器是一个基本和普遍的数据结构。在学习数据结构的不断增长的区域内，已经考虑了几种学习版本的绽放过滤器，从经典过滤器产生了优势。它们中的每一个都使用分类器，这是数据结构的学习部分。虽然它在那些新的过滤器中具有核心作用，但其空间占用空间以及分类时间可能会影响学习过滤器的性能，无系统的研究，可以使用哪些特定分类器使用哪种情况。我们在此报告此区域的进度，提供了在五个经典分类范例中选择的分类器的初步指南。

Learned Bloom Filters, i.e., models induced from data via machine learning techniques and solving the approximate set membership problem, have recently been introduced with the aim of enhancing the performance of standard Bloom Filters, with special focus on space occupancy. Unlike in the classical case, the "complexity" of the data used to build the filter might heavily impact on its performance. Therefore, here we propose the first in-depth analysis, to the best of our knowledge, for the performance assessment of a given Learned Bloom Filter, in conjunction with a given classifier, on a dataset of a given classification complexity. Indeed, we propose a novel methodology, supported by software, for designing, analyzing and implementing Learned Bloom Filters in function of specific constraints on their multi-criteria nature (that is, constraints involving space efficiency, false positive rate, and reject time). Our experiments show that the proposed methodology and the supporting software are valid and useful: we find out that only two classifiers have desirable properties in relation to problems with different data complexity, and, interestingly, none of them has been considered so far in the literature. We also experimentally show that the Sandwiched variant of Learned Bloom filters is the most robust to data complexity and classifier performance variability, as well as those usually having smaller reject times. The software can be readily used to test new Learned Bloom Filter proposals, which can be compared with the best ones identified here.

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

我们介绍了Proteus，这是一种新型的自设计近似范围滤波器，它根据采样数据进行配置，以便针对给定的空间要求优化其误报率（FPR）。 Proteus统一了最先进的范围过滤器的概率和确定性设计空间，以在较大的用例中实现稳健的性能。 Proteus的核心是我们的上下文前缀FPR（CPFPR）模型 - 在其设计空间中基于前缀过滤器的FPR的正式框架。我们从经验上证明了模型和Proteus在合成工作负载和现实世界数据集上优化的能力的准确性。我们进一步评估了RockSDB中的Proteus，并表明它能够将端到端的性能提高到5.3倍，而不是更脆的先进方法，例如Surf和Rosetta。我们的实验还表明，与端到端的性能增长相比，建模的成本并不显着，并且Proteus对工作负载转移的稳定性。

Dataset scaling, also known as normalization, is an essential preprocessing step in a machine learning pipeline. It is aimed at adjusting attributes scales in a way that they all vary within the same range. This transformation is known to improve the performance of classification models, but there are several scaling techniques to choose from, and this choice is not generally done carefully. In this paper, we execute a broad experiment comparing the impact of 5 scaling techniques on the performances of 20 classification algorithms among monolithic and ensemble models, applying them to 82 publicly available datasets with varying imbalance ratios. Results show that the choice of scaling technique matters for classification performance, and the performance difference between the best and the worst scaling technique is relevant and statistically significant in most cases. They also indicate that choosing an inadequate technique can be more detrimental to classification performance than not scaling the data at all. We also show how the performance variation of an ensemble model, considering different scaling techniques, tends to be dictated by that of its base model. Finally, we discuss the relationship between a model's sensitivity to the choice of scaling technique and its performance and provide insights into its applicability on different model deployment scenarios. Full results and source code for the experiments in this paper are available in a GitHub repository.\footnote{https://github.com/amorimlb/scaling\_matters}

仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。

在现代纺织工业中，服装项目的质量控制是必须的，因为消费者对最高标准的意识和期望不断增加，以支持可持续和道德的纺织品。从原材料到盒装股票，可以通过检查产品在其整个生命周期中检查其质量水平。检查可能包括颜色阴影测试，紧固件疲劳测试，织物称重测试，污染测试等。这项工作专门针对成品中小零件给出的污染物的自动检测，例如原材料，例如小石头和塑料碎片或材料从施工过程中，例如整针或夹子。识别是通过对项目的X射线图像进行两级处理来执行的：在第一个中，多阈值分析识别灰度和形状属性的污染；第二层由一个深度学习分类器组成，该分类器经过训练，以区分真正的阳性和误报。由于结果满足了该过程的技术规范，即自动检测器成功地部署在实际生产工厂中，即小于3％的虚假负面因素和小于15％的虚假阳性。

冠状质量弹出（CME）是最地理化的空间天气现象，与大型地磁风暴有关，有可能引起电信，卫星网络中断，电网损失和故障的干扰。因此，考虑到这些风暴对人类活动的潜在影响，对CME的地理效果的准确预测至关重要。这项工作着重于在接近太阳CME的白光冠状动脉数据集中训练的不同机器学习方法，以估计这种新爆发的弹出是否有可能诱导地磁活动。我们使用逻辑回归，k-nearest邻居，支持向量机，向前的人工神经网络以及整体模型开发了二进制分类模型。目前，我们限制了我们的预测专门使用太阳能发作参数，以确保延长警告时间。我们讨论了这项任务的主要挑战，即我们数据集中的地理填充和无效事件的数量以及它们的众多相似之处以及可用变量数量有限的极端失衡。我们表明，即使在这种情况下，这些模型也可以达到足够的命中率。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

我们使用不同的语言支持特征预处理方法研究特征密度（FD）的有效性，以估计数据集复杂性，这又用于比较估计任何训练之前机器学习（ML）分类器的潜在性能。我们假设估计数据集复杂性允许减少所需实验迭代的数量。这样我们可以优化ML模型的资源密集型培训，这是由于可用数据集大小的增加以及基于深神经网络（DNN）的模型的不断增加的普及而成为一个严重问题。由于训练大规模ML模型引起的令人惊叹的二氧化碳排放量，不断增加对更强大的计算资源需求的问题也在影响环境。该研究是在多个数据集中进行的，包括流行的数据集，例如用于培训典型情感分析模型的Yelp业务审查数据集，以及最近的数据集尝试解决网络欺凌问题，这是一个严重的社会问题，也是一个严重的社会问题一个更复杂的问题，形成了语言代表的观点。我们使用收集多种语言的网络欺凌数据集，即英语，日语和波兰语。数据集的语言复杂性的差异允许我们另外讨论语言备份的单词预处理的功效。

这项工作提供了可靠的nids（R-nids），一种新的机器学习方法（ML）的网络入侵检测系统（NIDS），允许ML模型在集成数据集上工作，从不同数据集中具有不同信息的学习过程。因此，R-NIDS针对更强大的模型的设计，比传统方法更好地概括。我们还提出了一个名为UNK21的新数据集。它是由三个最着名的网络数据集（UGR'16，USNW-NB15和NLS-KDD）构建，每个网络环境收集，使用不同的特征和类，通过使用数据聚合方法R-nids。在r-nids之后，在这项工作中，我们建议基于文献中的三个最常见的数据集的信息来构建两个着名的ML模型（一个线性和非线性的一个），用于NIDS评估中的三个，集成在UNK21中的那些。所提出的方法优惠展示了作为NIDS解决方案训练的两种ML模型的结果可以从这种方法中受益，在新提议的UNK21数据集上培训时能够更好地概括。此外，这些结果用统计工具仔细分析了对我们的结论提供了高度信心的统计工具。

网络钓鱼袭击在互联网上继续成为一个重大威胁。先前的研究表明，可以确定网站是否是网络钓鱼，也可以更仔细地分析其URL。基于URL的方法的一个主要优点是它即使在浏览器中呈现网页之前，它也可以识别网络钓鱼网站，从而避免了其他潜在问题，例如加密和驾驶下载。但是，传统的基于URL的方法有它们的局限性。基于黑名单的方法容易出现零小时网络钓鱼攻击，基于先进的机器学习方法消耗高资源，而其他方法将URL发送到远程服务器，损害用户的隐私。在本文中，我们提出了一个分层的防护防御，PhishMatch，这是强大，准确，廉价和客户端的。我们设计一种节省空间高效的AHO-Corasick算法，用于精确串联匹配和基于N-GRAM的索引技术，用于匹配的近似字符串，以检测网络钓鱼URL中的各种弧度标准技术。为了减少误报，我们使用全球白名单和个性化用户白名单。我们还确定访问URL的上下文并使用该信息更准确地对输入URL进行分类。 PhishMatch的最后一个组成部分涉及机器学习模型和受控搜索引擎查询以对URL进行分类。发现针对Chrome浏览器开发的PhishMatch的原型插件，是快速轻便的。我们的评价表明，PhishMatch既有效又有效。

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

机器学习技术，与数据结构合并，导致学习静态索引，创新和强大的工具，用于加速二进制搜索，使用其他空间相对于被搜索到的表。这种空间致力于ML模型。虽然在他们的阶段，但由于分类表搜索程序的普遍性，它们在方法上和实际上很重要。在现代应用中，模型空间是一个关键因素，实际上，关于该领域的一个重大开放问题是评估一个人在多大程度上享受学习索引的速度，同时使用常量或几乎恒定的空间模型。我们通过（a）在此处介绍两个新模型，即表示为{\ bf ko-bfs}和{\ bf sy-rmi}; （b）通过系统地探索现有模型的层次结构的时间空间权衡，即{\ bf sosd}中的{\ bf sosd}中的时间表。我们记录了一种新颖且复杂的时空折衷图片，这对用户来说非常丰富。我们通过实验表明{\ bf ko-bfs}可以加快恒定空间中的插值搜索和统一二进制搜索。对于其他版本的二进制搜索，我们的第二种模型以及双标准{\ BF PGM}索引可以实现速度，其模型空间比表所拍摄的0.05 \％$的型号。有竞争力在时间空间与现有建议的权衡方面。 {\ bf sy-rmi}和bi-criteria {\ bf pgm}在内部内存层次结构的各个级别中相互作用。最后，我们的调查结果对设计者感兴趣，因为它们强调了对学习指标中的时空关系的进一步研究的需要。

我们介绍了一种新型的格式转换加密，其中密文的格式隐含在机器学习的生成模型中。在这个原始的周围，我们构建了一个用于大型公共互联网平台（例如Twitter）上的秘密消息传递的系统。宽松地，我们的系统构成了经过身份验证的加密方案，一种方法是将随机密文钻头编码为生成模型的种子索引令牌分布的样品中的样品。通过修复部署方案，我们被迫考虑系统级和算法解决方案，以应对真正的挑战 - 例如接收者端解析的歧义，以及实际的代币发行的低信息携带能力〜-先前的工作。我们将GPT-2用作生成模型，以便我们的系统加密将明文Bitsring转换为适合发布公共平台的自然语言封面。我们考虑了对互联网平台内容的全面视图的对手，其目标是表面使用我们的系统进行秘密消息传递的帖子。我们进行了一套实验，以提供安全性证据，并探索运营效率和可检测性之间的权衡。

随着现代世界中对高度安全和可靠的轻质系统的需求增加，物理上无统治的功能（PUF）继续承诺可轻巧的高成本加密技术和安全钥匙存储。虽然PUF承诺的安全功能对安全系统设计师具有很高的吸引力，但已证明它们容易受到各种复杂攻击的攻击 - 最著名的是基于机器的建模攻击（ML -MA），这些攻击（ML -MA）试图以数字方式克隆PUF行为因此破坏了他们的安全。最新的ML-MA甚至还利用了PUF误差校正所需的公开辅助数据，以预测PUF响应而无需了解响应数据。为此，与传统的PUF储存技术和比较的PUF技术相反，研究开始研究PUF设备的身份验证，并进行了著名的挑战 - 响应对（CRP）的比较。在本文中，我们基于新颖的“ PUF - 表型”概念提出了一个使用ML的分类系统，以准确识别起点并确定得出的噪声记忆（DRAM）PUF响应的有效性作为助手数据依赖数据的Denoisis技术的替代方法。据我们所知，我们是第一个每个模型对多个设备进行分类的人，以实现基于组的PUF身份验证方案。我们使用修改后的深卷积神经网络（CNN）最多达到98 \％的分类精度，并与几个完善的分类器结合使用特征提取。我们还在实验中验证了在Raspberry Pi设备上模型的性能，以确定在资源约束环境中部署我们所提出的模型的适用性。

Darknets的匿名性质通常用于非法活动。先前的研究已经采用了机器学习和深度学习技术来自动对暗网流量的检测，以阻止这些犯罪活动。这项研究旨在通过评估支持向量机（SVM），随机森林（RF），卷积神经网络（CNN）和辅助分类器生成对抗网络（AC-GAN）来改善暗网流量检测申请类型。我们发现，我们的RF模型优于与CIC-Darknet2020数据集的先前工作中使用的最新机器学习技术。为了评估RF分类器的鲁棒性，我们混淆选择应用程序类型类，以模拟现实的对抗攻击方案。我们证明，我们表现最好的分类器可能会被这种攻击击败，我们考虑处理这种对抗性攻击的方法。

The goal of graph summarization is to represent large graphs in a structured and compact way. A graph summary based on equivalence classes preserves pre-defined features of a graph's vertex within a $k$-hop neighborhood such as the vertex labels and edge labels. Based on these neighborhood characteristics, the vertex is assigned to an equivalence class. The calculation of the assigned equivalence class must be a permutation invariant operation on the pre-defined features. This is achieved by sorting on the feature values, e. g., the edge labels, which is computationally expensive, and subsequently hashing the result. Graph Neural Networks (GNN) fulfill the permutation invariance requirement. We formulate the problem of graph summarization as a subgraph classification task on the root vertex of the $k$-hop neighborhood. We adapt different GNN architectures, both based on the popular message-passing protocol and alternative approaches, to perform the structural graph summarization task. We compare different GNNs with a standard multi-layer perceptron (MLP) and Bloom filter as non-neural method. For our experiments, we consider four popular graph summary models on a large web graph. This resembles challenging multi-class vertex classification tasks with the numbers of classes ranging from $576$ to multiple hundreds of thousands. Our results show that the performance of GNNs are close to each other. In three out of four experiments, the non-message-passing GraphMLP model outperforms the other GNNs. The performance of the standard MLP is extraordinary good, especially in the presence of many classes. Finally, the Bloom filter outperforms all neural architectures by a large margin, except for the dataset with the fewest number of $576$ classes.

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。