在本文中，我们介绍了图形树演绎网络，这是一种执行演绎推理的网络。为了产生新的关系和结果，需要高维思维，将各种公理和将结果放回另一个公理中，是必要的。例如，它会给两个命题：“苏格拉底是一个男人。”“所有人都是凡人。”两个命题可以用来推断出新的命题，“因此苏格拉底是凡人。”。为了评估，我们使用了Mnist DataSet，手写数值图像数据集，将其应用于组理论并显示执行演绎学习的结果。
translated by 谷歌翻译
在深度学习领域，已经开发了各种架构。然而，由于固定层结构，大多数研究限于特定的任务或数据集。本文不将信息提供作为网络模型的结构，而是作为称为关联树（AT）的数据结构。我们提出了两个人工协会网络（AAN），旨在通过分析人类神经网络的结构来解决现有网络的问题。定义单个图中的路径的起始点和结束点是困难的，并且树不能表达兄弟节点之间的关系。相反，AT可以表达叶子和根节点作为路径的起始点和兄弟节点之间的关系。根据树的结构而不是使用固定序列层，而不是使用固定序列图层为每个数据创建AT，并培训AAN。 AAN是数据驱动的学习，其中卷曲的数量根据树的深度而变化。此外，AAN可以通过递归学习同时学习各种类型的数据集。深度 - 第一卷积（DFC）将叶节点的交互结果以自下而上的方法对根节点进行编码到根节点，深度第一解码（DFD）将交互结果解码为自上而下的叶节点方法。我们进行了三个实验。第一个实验验证了是否可以通过组合AAN和特征提取网络来处理它。在第二，我们将网络的性能与单独学习的图像，声音和树，图形结构数据集进行了比较，通过连接这些网络同时学习的性能。在第三，我们验证了AAN的输出是否可以嵌入AT中的所有数据。因此，AATS学到了没有显着性能下降的情况。
translated by 谷歌翻译
In this paper, we introduce an imagine network that can simulate itself through artificial association networks. Association, deduction, and memory networks are learned, and a network is created by combining the discriminator and reinforcement learning models. This model can learn various datasets or data samples generated in environments and generate new data samples.
translated by 谷歌翻译
我们介绍了记忆和记住任何数据的图形树内存网络。这个神经网络有两个回忆。一个由队列结构化的短期内存组成，可以解决类别不平衡问题和长期内存来存储对象的分发，引入存储和生成各种数据集的内容。
translated by 谷歌翻译
在这项工作中，我们提出了一种神经方法，用于重建描述层次相互作用的生根树图，使用新颖的表示，我们将其称为最低的共同祖先世代（LCAG）矩阵。这种紧凑的配方等效于邻接矩阵，但是如果直接使用邻接矩阵，则可以单独从叶子中学习树的结构，而无需先前的假设。因此，采用LCAG启用了第一个端到端的可训练解决方案，该解决方案仅使用末端树叶直接学习不同树大小的层次结构。在高能量粒子物理学的情况下，粒子衰减形成了分层树结构，只能通过实验观察到最终产物，并且可能的树的大型组合空间使分析溶液变得很棘手。我们证明了LCAG用作使用变压器编码器和神经关系编码器编码器图神经网络的模拟粒子物理衰减结构的任务。采用这种方法，我们能够正确预测LCAG纯粹是从叶子特征中的LCAG，最大树深度为$ 8 $ in $ 92.5 \％\％的树木箱子，最高$ 6 $叶子（包括）和$ 59.7 \％\％\％\％的树木$在我们的模拟数据集中$ 10 $。
translated by 谷歌翻译
尽管对连续数据的归一流流进行了广泛的研究，但直到最近才探索了离散数据的流量。然而，这些先前的模型遭受了与连续流的局限性。最值得注意的是，由于离散函数的梯度不确定或零，因此不能直接优化基于流动的模型。先前的作品近似离散功能的伪级，但不能在基本层面上解决该问题。除此之外，与替代离散算法（例如决策树算法）相比，反向传播可能是计算繁重的。我们的方法旨在减轻计算负担，并通过基于决策树开发离散流程来消除对伪级的需求，这是基于有效的基于树的基于有效的树的方法进行分类和回归的离散数据。我们首先定义了树结构化置换（TSP），该置换量（TSP）紧凑地编码离散数据的排列，其中逆向易于计算；因此，我们可以有效地计算密度值并采样新数据。然后，我们提出了一种决策树算法来构建TSP，该TSP通过新标准在每个节点上学习树结构和排列。我们从经验上证明了我们在多个数据集上方法的可行性。
translated by 谷歌翻译
当使用深度学习技术对程序语言进行建模时，广泛采用了带有树或图形结构的神经网络，以捕获程序抽象语法树（AST）中的丰富结构信息。但是，计划中广泛存在长期/全球依赖性，大多数这些神经体系结构无法捕获这些依赖性。在本文中，我们提出了Tree-Transformer，这是一种新型的递归树结构神经网络，旨在克服上述局限性。树转化器利用两个多头注意单元来建模兄弟姐妹和父子节点对之间的依赖关系。此外，我们提出了一个双向传播策略，以允许节点信息向两个方向传递：沿树木的自下而上和自上而下。通过结合自下而上和自上而下的传播，树转化器可以同时学习全局上下文和有意义的节点特征。广泛的实验结果表明，我们的树转换器在具有树级和节点级别的预测任务中，在与程序相关的任务中优于现有基于树或基于图的神经网络，这表明Tree-Transformer在学习两个树级时都表现良好和节点级表示。
translated by 谷歌翻译
在本文中，我们主要关注如何通过借口任务（例如旋转或颜色置换等）学习其他特征表示形式的其他特征表示形式。借口任务产生的这种附加知识可以进一步提高几次学习（FSL）的性能，因为它与人类通知的监督（即FSL任务的类标签）有所不同。为了解决此问题，我们提出了插入式层次树结构感知（HTS）方法，该方法不仅了解FSL和借口任务的关系，而且更重要的是，可以自适应地选择和汇总由借口任务生成的特征表示，以最大化FSL任务的性能。引入了层次树构造组件和封闭式选择汇总组件来构建树结构并找到更丰富的可转移知识，这些知识可以迅速适应具有一些标记的图像的新颖类。广泛的实验表明，我们的HTS可以显着增强多种几次方法，以在四个基准数据集上实现新的最新性能。该代码可在以下网址获得：https：//github.com/remimz/hts-eccv22。
translated by 谷歌翻译
图表神经网络（GNN）基于故障诊断（FD）近年来收到了越来越多的关注，因为来自来自多个应用域的数据可以有利地表示为图。实际上，与传统的FD方法相比，这种特殊的代表性表格导致了卓越的性能。在本次审查中，给出了GNN，对故障诊断领域的潜在应用以及未来观点的简单介绍。首先，通过专注于它们的数据表示，即时间序列，图像和图形，回顾基于神经网络的FD方法。其次，引入了GNN的基本原则和主要架构，注意了图形卷积网络，图注意网络，图形样本和聚合，图形自动编码器和空间 - 时间图卷积网络。第三，通过详细实验验证基于GNN的最相关的故障诊断方法，结论是基于GNN的方法可以实现良好的故障诊断性能。最后，提供了讨论和未来的挑战。
translated by 谷歌翻译
在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。
translated by 谷歌翻译
根据图像回答语义复杂的问题是在视觉问题应答（VQA）任务中的具有挑战性。虽然图像可以通过深度学习来良好代表，但是始终简单地嵌入问题，并且不能很好地表明它的含义。此外，视觉和文本特征具有不同模式的间隙，很难对齐和利用跨模块信息。在本文中，我们专注于这两个问题，并提出了一种匹配关注（GMA）网络的图表。首先，它不仅为图像构建图形，而且在句法和嵌入信息方面构建了该问题的图表。接下来，我们通过双级图形编码器探讨了模特内的关系，然后呈现双边跨模型图匹配注意力以推断图像与问题之间的关系。然后将更新的跨模式特征发送到答案预测模块中以进行最终答案预测。实验表明，我们的网络在GQA数据集和VQA 2.0数据集上达到了最先进的性能。消融研究验证了GMA网络中每个模块的有效性。
translated by 谷歌翻译
神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees
translated by 谷歌翻译
选择功能是向量图形的基础，因为它是栅格数据的。但是矢量选择是完全不同的：而不是像素级标签，我们做出二进制决定包括或排除每个矢量原语。在没有可理解的元数据的情况下，这成为一个感知分组问题。这些以前依赖于类似于Gestall理论的经验原则的启发式，但由于这些都是不合定的和主观的，他们经常导致歧义。在这里，我们对问题采取了以数据为中心的方法。通过利用感知分组的递归性质，我们将任务解释为构建矢量图形的基元构建层次结构，这可以与额外的人类注释一起学习递归神经网络。我们通过构建这些层次结构的数据集来验证我们培训分层分组网络的数据集。然后，我们演示了如何在原型选择工具支撑。
translated by 谷歌翻译
深度神经网络（DNN）的基本限制之一是无法获取和积累新的认知能力。当出现一些新数据时，例如未在规定的对象集中识别的新对象类别，传统的DNN将无法识别它们由于它需要的基本配方。目前的解决方案通常是从新扩展的数据集中重新设计并重新学习整个网络，或者使用新的配置进行新配置以适应新的知识。这个过程与人类学习者的进程完全不同。在本文中，我们提出了一种新的学习方法，名为ACCRetionary学习（AL）以模拟人类学习，因为可以不预先指定要识别的对象集。相应的学习结构是模块化的，可以动态扩展以注册和使用新知识。在增值学习期间，学习过程不要求系统完全重新设计并重新培训，因为该组对象大小增长。在学习识别新数据类时，所提出的DNN结构不会忘记以前的知识。我们表明，新的结构和设计方法导致了一个系统，可以增长以应对增加的认知复杂性，同时提供稳定和卓越的整体性能。
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
图表神经网络（GNNS）最近在人工智能（AI）领域的普及，这是由于它们作为输入数据相对非结构化数据类型的独特能力。尽管GNN架构的一些元素在概念上类似于传统神经网络（以及神经网络变体）的操作中，但是其他元件代表了传统深度学习技术的偏离。本教程通过整理和呈现有关GNN最常见和性能变种的动机，概念，数学和应用的细节，将GNN的权力和新颖性暴露给AI从业者。重要的是，我们简明扼要地向实际示例提出了本教程，从而为GNN的主题提供了实用和可访问的教程。
translated by 谷歌翻译
我们在在线环境中研究了非线性预测，并引入了混合模型，该模型通过端到端体系结构有效地减轻了对手工设计的功能的需求和传统非线性预测/回归方法的手动模型选择问题。特别是，我们使用递归结构从顺序信号中提取特征，同时保留状态信息，即历史记录和增强决策树以产生最终输出。该连接是以端到端方式的，我们使用随机梯度下降共同优化整个体系结构，我们还为此提供了向后的通过更新方程。特别是，我们采用了一个经常性的神经网络（LSTM）来从顺序数据中提取自适应特征，并提取梯度增强机械（Soft GBDT），以进行有效的监督回归。我们的框架是通用的，因此可以使用其他深度学习体系结构进行特征提取（例如RNN和GRU）和机器学习算法进行决策，只要它们是可区分的。我们证明了算法对合成数据的学习行为以及各种现实生活数据集对常规方法的显着性能改进。此外，我们公开分享提出的方法的源代码，以促进进一步的研究。
translated by 谷歌翻译
作为图理论中最基本的任务之一，子图匹配是许多领域的关键任务，范围从信息检索，计算机视觉，生物学，化学和自然语言处理。然而，子图匹配问题仍然是NP完整问题。这项研究提出了一种基于端到端学习的近似近似方法，用于匹配任务，称为子图匹配网络（子GMN）。所提出的子-GMN首先使用图表表示学习将节点映射到节点级嵌入。然后，它结合了度量学习和注意机制，以模拟数据图和查询图中匹配节点之间的关系。为了测试所提出方法的性能，我们将方法应用于两个数据库。我们使用了两种现有方法，即GNN和FGNN作为基线进行比较。我们的实验表明，在数据集1上，平均而言，亚GMN的准确性分别比GNN和FGNN高12.21 \％和3.2 \％。平均运行时间次-GMN的运行速度比FGNN快20-40倍。此外，所有数据集2的实验中sub-gmn的平均F1得分达到0.95，这表明sub-gmn输出更正确的节点到节点匹配。与以前的基于GNNS的子图匹配任务相比，我们提出的子GMN允许在测试/应用程序阶段进行改变的查询和数据图，而大多数以前基于GNN的方法只能在数据图中在数据图中找到匹配的子图片，在训练阶段使用的相同查询图的测试/应用。我们提出的子-GMN的另一个优点是，它可以输出节点到节点匹配的列表，而大多数现有的基于端GNN的方法无法提供匹配的节点对。
translated by 谷歌翻译
本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高，目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标，首先讨论当前在结构上工作的专家知识系统，如树 - LSTM。然后，我们向该模型提出上下文感知扩展。我们表明，在多级Web分类任务中，新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示，并且可以用于应用此类元素分类，钢筋在网上学习中的状态估计等。
translated by 谷歌翻译
手写数学表达识别（HMER）是具有许多潜在应用的挑战性任务。 HMER的最新方法通过编码器架构实现了出色的性能。但是，这些方法符合“从一个字符到另一个字符”进行预测的范式，由于数学表达式或厌恶的手写的复杂结构，这不可避免地会产生预测错误。在本文中，我们为HMER提出了一种简单有效的方法，该方法是第一个将语法信息纳入编码器编码器网络的方法。具体而言，我们提出了一组语法规则，用于将每个表达式的乳胶标记序列转换为一个解析树。然后，我们将标记序列预测建模为具有深神经网络的树遍布过程。通过这种方式，提出的方法可以有效地描述表达式的语法上下文，从而减轻HMER的结构预测错误。在三个基准数据集上的实验表明，与先前的艺术相比，我们的方法实现了更好的识别性能。为了进一步验证我们方法的有效性，我们创建了一个大规模数据集，该数据集由从一万个作家中获取的100k手写数学表达图像组成。该工作的源代码，新数据集和预培训的模型将公开可用。
translated by 谷歌翻译