随机块模型(SBM)及其变体,例如$,混合成员和重叠随机块模型,是基于潜变量的图的生成模型。事实证明,它们可以成功完成各种任务,例如在图形结构数据上发现社区结构和链接预测。最近,通过利用诸如局域性和不变性之类的图形属性,图形神经网络,例如$,图形卷积网络,也已成为一种有前景的方法,用于学习图形中节点的强大表示(嵌入)。在这项工作中,我们通过为图形开发\ emph {稀疏}变量自动编码器来统一这两个方向,这保留了SBM的可解释性,同时还享有图神经网络的出色预测性能。此外,我们的框架伴随着快速识别模型,可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们为特定类型的SBM开发了这个框架,即\ emph {重叠}随机块模型,所提出的框架可以适用于其他类型的SBM。几个基准测试的实验结果证明了在链接预测方面的令人鼓舞的结果,同时学习了可用于社区发现的可解释的潜在结构。
translated by 谷歌翻译
虽然卷积神经网络(CNN)在各种分类/识别任务上取得了令人瞩目的成绩,但它们通常包含大量参数。这导致显着的存储器需求以及计算开销。因此,需要用于压缩基于CNN的模型的过滤器级修剪方法,这不仅减少了参数的总数,而且还减少了整体计算。我们提出了一个新的min-max框架,用于CNN的过滤级修剪。我们的框架,称为Play和Prune(PP),通过自适应修剪,共同修剪和微调CNN模型参数,同时保持模型的预测性能。我们的框架由两个模块组成:(1)自适应滤波器修剪(AFP)模块,它最大限度地减少了模型中滤波器的数量; (2)修剪率控制器(PRC)模块,其在修剪期间最大化精确度。此外,与以前的方法不同,我们的方法允许直接指定欲望差异而不是修剪级别。我们的压缩模​​型可以在运行时进行部署,无需任何特殊的库或硬件。我们的方法减少了VGG-16的参数数量,令人印象深刻的因子为17.5倍,FLOPS的数量减少了6.43倍,没有精度损失,显着优于其他最先进的滤波器修剪方法。
translated by 谷歌翻译
许多应用程序(例如文本建模,高通量排序和重新命令系统)需要分析稀疏,高维和过度分散的离散(计数/二进制)数据。由于具有处理高维和稀疏离散数据的能力,基于概率矩阵因子化和潜在因子分析的模型在模拟这些数据方面取得了巨大成功。其中特别感兴趣的是分层贝叶斯计数/二元矩阵因子分解模型和基于深度神经网络的非线性潜变量模型,例如最近提出的用于离散数据的变换编码器。然而,与对稀疏性和高维性的广泛研究不同,大规模离散数据表现出的另一个重要现象 - 过度离散,相对较少研究。可以看出,大多数现有潜在因子模型由于它们对自激和交叉激励(例如,文本中的单词突发性)建模的无效性而不能正确地捕获过度离散的独立数据,这可能导致较差的模型性能。在本文中,我们提供了一个深入的分析,如何在现有模型中建模自激和交叉激励,并提出一个新的变分自动编码器框架,它能够明确地捕获自激和更好的模型交叉激励。我们的模型构造最初设计用于具有负二项式数据分布的计数值观测(以及具有狄利克雷多项式分布的等效表示),并且它还通过链接函数无缝地扩展到二值观测值到伯努利分布。来证明有效性。在我们的框架中,我们对大型词袋语料库和协同过滤数据集进行了广泛的实验,其中所提出的模型实现了最先进的结果。
translated by 谷歌翻译
我们提出了基于草图的图像检索(SBIR)的概率模型,其中,在检索时,我们给出了来自新类的草图,这些草图在训练时不存在。现有的SBIR方法,其中大多数依赖于草图和图像之间的学习分类对应关系,通常仅适用于先前看到的草图类,并且导致新类的检索性能差。为了解决这个问题,我们提出了一种生成模型,它可以学习生成图像,并以给定的新类草图为条件。这使我们能够将SBIR问题减少到标准的图像到图像搜索问题。我们的模型基于基于逆自回归流的变分自动编码器,具有反馈机制以确保稳健的图像生成。我们在两个非常具有挑战性的数据集Sketchy和TU Berlin上评估我们的模型,并进行了新的列车测试分割。所提出的方法显着优于两个数据集上的各种基线。
translated by 谷歌翻译
我们提出了一种新颖的深度学习体系结构,其中卷积操作利用了异构内核。与标准卷积运算相比,所提出的HetConv(基于异构内核的卷积)减少了计算(FLOP)和参数的数量,同时仍然保持了表示效率。为了显示我们提出的卷积的有效性,我们在标准卷积神经网络(CNN)架构上提供了大量的实验结果,例如VGG \ cite {vgg2014very}和ResNet \ cite {resnet}。我们发现在用我们提出的HetConv滤波器替换这些架构中的标准卷积滤波器后,我们实现了基于3X到8X FLOP的速度提升,同时仍然保持(有时提高)精度。我们还将我们提出的对比与组/深度方式的卷积进行比较,并表明它以更高的准确度实现了更多的FLOP减少。
translated by 谷歌翻译
我们提出了一种基于滤波器相关的深度卷积神经网络模型压缩方法。我们的方法迭代地识别具有最大成对相关性的成对过滤器,并丢弃这样的对中的一个过滤器。然而,我们进一步优化模型,使得这对中的两个滤波器尽可能高度相关,而不是从这些对中丢弃其中一个滤波器,这样就不会丢弃其中一个滤波器。在每轮丢弃过滤器之后,我们进一步微调模型以从压缩产生的潜在小损失中恢复。我们使用一套全面的实验和消融研究来评估我们提出的方法。我们的压缩方法产生状态 - 最先进的FLOP压缩率在各种基准测试中,如LeNet-5,VGG-16和ResNet-50,56,它们仍然可以为基准数据集上的物体检测等任务实现出色的预测性能。
translated by 谷歌翻译
最近,在几个NLP应用程序中广泛采用了单词嵌入。但是,大多数单词嵌入方法仅依赖于线性上下文,并没有提供一个框架,用于以原则方式合并像hypernym,nmod这样的单词关系。在本文中,我们提出了WordGCN,一种基于图形卷积的单词表示学习方法,它提供了一种利用多种类型的单词关系的框架。 WordGCN在句子和语料库级别操作,并允许以有效的方式结合基于依赖性解析的上下文而不增加词汇量。据我们所知,这是第一种通过图形卷积网络有效地整合单词关系以学习单词表示的方法。通过对各种内在和外在任务的广泛实验,我们证明了WordGCN的有效性过度存在的词嵌入方法。我们使WordGCN的源代码可用于鼓励可重复的研究。
translated by 谷歌翻译
潜在特征关系模型(LFRM)是图结构化数据的生成模型,用于学习图中每个节点的二元矢量表示。二进制向量表示节点在一个或多个社区中的成员资格。 LFRM miller2009非参数的核心是一个重叠的随机块模型,它将任何一对节点之间的链路概率定义为其社区成员矢量的双线性函数。此外,使用非参数贝叶斯先验(印度自助餐流程)可以从数据中自动学习社区数量。然而,尽管其具有吸引力的特性,LFRM中的推断仍然是一个挑战,并且通常通过MCMC方法进行。这可能很慢并且可能需要很长时间才能收敛。在这项工作中,我们开发了一个基于小方差渐近的框架,用于参数贝叶斯LFRM。这导致了一个目标函数,它保留了LFRM的非参数贝叶斯风格,同时使我们能够为这个模型设计易于实现的(使用通用或专门的优化例程)并且在实践中快速实现。我们在几个基准数据集上得到了结果证明我们的算法与MCMC等方法具有竞争力,同时速度更快。
translated by 谷歌翻译
我们提出了广义零射击学习的生成框架,其中训练和测试类不一定是不相交的。基于基于自动编码器的基于自动编码器的体系结构,包括概率编码器和概率条件解码器,我们的模型可以根据其各自的类属性从已见/未看到的类生成novelexemplars。这些示例随后可用于训练任何现成的分类模型。我们的编码器 - 解码器结构的一个关键方面是反馈驱动机制,其中鉴别器(多变量回归器)学习将生成的样本映射到相应的类属性向量,从而导致改进的生成器。我们模型生成和利用从看不见的类到训练分类模型的示例的能力自然有助于减轻在广义零射击学习设置中预测看到的类的偏差。通过一系列综合实验,我们证明我们的模型在几个基准数据集上优于几种最先进的方法,既适用于标准也适用于广义零射击学习。
translated by 谷歌翻译
给定映射环境,我们使用概率框架制定视觉跟踪和跟随回避者的问题。在这项工作中,我们考虑在具有障碍物的印度环境中具有有限可见度深度传感器的非完整机器人。跟随目标的移动机器人被认为是追捕者,被跟踪的代理人被认为是逃避者。我们为追求者和逃避者提出了一个概率框架,以实现他们相互冲突的目标。我们介绍一个智能的逃避者,其中包含有关追捕者位置的信息。回避者的这种变体的目标是通过使用从追踪者获得的可见区域信息来避免追求者追踪,以进一步挑战所提出的智能追求者。为了使框架的效率无效,我们通过使用Gazebo进行了几次实验模拟,并评估了跟踪evader在各种环境中的成功率,这些环境具有不同的追踪器速度比。通过我们的实验,我们验证了我们的假设,即聪明的追求者比追随者更有效地追踪虚拟追踪者,而追求者只是随意地在环境中航行。我们还验证了一个了解thepursuer行为的逃避者在避免被一个聪明的追求者追踪而不是随机的逃避者方面更成功。最后,我们凭经验证明,与随机追求者相比,聪明的追求者确实提高了跟踪的平均成功率,当逃避者意识到其行为时,其成功率分布的差异会增大。
translated by 谷歌翻译