分层文本分类有许多实际应用。但是,标记大量文档的成本很高。在实践中,我们可以使用半监督学习或弱监督学习(例如,无数据分类)来降低标签成本。在本文中,我们提出了一种路径成本敏感的学习算法,以利用结构信息,并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量未标记的数据,并将路径约束引入学习算法,以合并类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径依赖性核心结合。由于我们将结构敏感成本置于学习算法中,以保证与类层次结构一致的分类,并且不需要重构不同结构的特征向量,因此与结构输出学习相比,我们可以显着降低计算成本。两个分层文本分类基准的实验结果表明,我们的方法不仅有效,而且有效地处理半监督和弱监督的分层文本分类。
translated by 谷歌翻译
视觉定位是一个有吸引力的问题,它基于查询图像估计来自数据库图像的相似定位。它是各种应用的关键任务,例如自动驾驶汽车,辅助导航和增强现实。任务的挑战性问题在于查询和数据库图像之间的不同外观变化,包括照明变化,季节变化,动态对象变化和观点变化。为了应对这些挑战,本文提出了全景环形透镜和强大的深度图像描述符的全景环形定位器。处理由单个摄像机捕获的全景环形图像并将其馈送到NetVLAD网络中以形成活动的深度描述符,并且利用顺序匹配来生成定位结果。在公共数据集和现场进行的实验说明了所提出的系统的验证。
translated by 谷歌翻译
对于文本分析,人们经常采用有损表示来完全忽略单词顺序或将每个单词嵌入为低维密集特征向量。在本文中,我们提出了卷积泊松因子分析(CPFA),其直接在无损表示上操作,该无损表示将每个文档中的字处理为高维单热矢量序列。为了表现其性能,我们进一步提出了卷积Poisson伽玛信念网络(CPGBN),它通过新概率汇集层将CPFA与伽马信念网络耦合。 CPFA将单词组成短语并捕获非常特定的短语级主题,而CPGBN进一步构建了更加通用的短语级主题的层次结构。为了有效推理,我们开发了Gibbs采样器和基于Weibull分布的卷积变分自动编码器。实验结果表明,CPGBN可以提取捕获单词顺序信息的高质量文本潜在表示,因此可以作为构建块来丰富各种忽略单词顺序的现有潜变量模型。
translated by 谷歌翻译
在本文中,一种新的统计度量学习被开发出高光谱图像的光谱空间分类。首先,每批中每个类的样本的标准方差用于降低每个类中的类级方差。然后,使用不同类别的平均值之间的距离来惩罚训练样本的类间方差。最后,添加不同类的平均值之间的标准方差作为附加的多样性项,以相互排斥不同的类。实验已在两个真实世界的高光谱图像数据集上进行,实验结果显示了所提出的统计度量学习的有效性。
translated by 谷歌翻译
多集群旨在发现组织数据集群的各种方式。尽管取得了进展,但用户分析和理解每个输出聚类的独特结构仍然是一个挑战。在这个过程中,我们考虑嵌入在不同子空间中的不同聚类,并分析嵌入子空间以阐明每个聚类的结构。为此,我们提供了一个称为MISC(多个独立子空间聚类)的两阶段方法。在第一阶段,MISC使用独立子空间分析来寻找多个统计独立(即非冗余)子空间,并通过最小描述长度原理确定子空间的数量。在第二阶段,为了考虑嵌入在每个子空间中的样本的固有几何结构,MISC执行图正则化半非负矩阵分解以探索聚类。它还将内核技巧集成到矩阵分解中,以处理非线性可分离的集群。合成数据集的实验结果表明,MISC可以从独立的子空间中找到不同的有趣聚类,并且在实际数据集上也优于其他相关和竞争方法。
translated by 谷歌翻译
Graph neural network (GNN), as a powerful representation learning model on graph data, attracts much attention across various disciplines. However , recent studies show that GNN is vulnerable to adversarial attacks. How to make GNN more robust? What are the key vulnerabilities in GNN? How to address the vulnerabilities and defense GNN against the adversarial attacks? In this paper, we propose DefNet, an effective adversar-ial defense framework for GNNs. In particular, we first investigate the latent vulnerabilities in every layer of GNNs and propose corresponding strategies including dual-stage aggregation and bottleneck perceptron. Then, to cope with the scarcity of training data, we propose an adversarial con-trastive learning method to train the GNN in a conditional GAN manner by leveraging the high-level graph representation. Extensive experiments on three public datasets demonstrate the effectiveness of DefNet in improving the robustness of popular GNN variants, such as Graph Convolutional Network and GraphSAGE, under various types of ad-versarial attacks.
translated by 谷歌翻译
测量来自观察样本的高维,连续,随机变量之间的互信息(MI)具有广泛的理论和实践应用。虽然传统的MI方法,如(Kraskov et al.2004),能够在低维信号之间捕获MI,但它们的维度不断增加,并且不具有可扩展性。现有的神经方法,如MINE(Belghazi等人,2018),搜索最大化互信息估计的变分下界的d维神经网络;然而,这需要O(d log d)观察样本以防止神经网络过度拟合。对于实际应用中的实际互信息估计,数据并不总是有剩余的,特别是在数据采集过于昂贵的情况下,例如infMRI分析。我们引入了可扩展的,数据有效的互信息估计器。通过将基于学习的MI下界视图与元学习相结合,DEMINE实现了高置信度估计,而与网络规模无关,并且在实际数据集大小上具有提高的准确性。我们证明了DEMINE在合成基准测试中的有效性以及fMRIinter-主题相关性分析的实际应用。
translated by 谷歌翻译
视觉跟踪是最具挑战性的计算机视觉问题之一。为了在各种负面情景中实现高性能视觉跟踪,基于两种不同的深度学习网络提出并开发了一种新颖的级联连体网络:匹配子网和分类子网。匹配的子网是一个完全卷积的连接网络。根据样本图像和候选图像之间的相似性得分,其目的在于搜索可能的对象位置和被剪切的候选贴片。分类子网旨在进一步评估裁剪的候选补丁,并根据分类得分确定最佳跟踪结果。匹配子网在线进行训练,在线固定,分类子网在线进行随机梯度下降,了解更多目标特定信息。为了进一步提高跟踪性能,采用基于相似度和分类得分的有效分类子网更新方法更新分类子网。 。广泛的实验结果表明,我们提出的方法在最近的基准测试中实现了最先进的性能。
translated by 谷歌翻译
我们提出了一种新颖的高频残差学习框架,它为移动和嵌入式视觉问题提供了一种高效的多尺度网络(MSNet)架构。该架构利用两个网络:低分辨率网络有效地近似低频分量和高分辨率网络,通过重用上采样的低分辨率特征来学习高频残差。通过分类器校准模块,MSNetcan可在推理期间动态分配计算资源,以实现更快的速度和准确性权衡。我们在challengeImageNet-1k数据集上评估我们的方法,并观察不同基础网络的一致改进。在具有alpha = 1.0的ResNet-18和MobileNet上,MSNet在两种架构上都能获得1.5%的准确率,而不会增加计算量。在alpha = 0.25的更高效的MobileNet上,我们的方法在相同的计算量下获得3.8%的准确率。
translated by 谷歌翻译
基于余弦的softmax损失显着改善了深度识别网络的性能。然而,这些损失总是包括敏感的高参数,这可能使训练过程不稳定,并且为特定数据集设置合适的超参数是非常非常的。这通过直接设计自适应训练深度神经网络的梯度来解决这一挑战。我们首先通过分析它们的梯度来调查和统一以前的cosinesoftmax损失。这种统一的观点激发了我们一种新的梯度,称为P2SGrad(概率 - 相似度梯度),它利用余弦相似性而非分类概率直接更新测试指标以更新神经网络参数.P2SGrad是自适应的,超参数自由的,使培训过程更有效,更快捷。我们在三个面部识别基准,LFW,MegaFace和IJB-C上评估我们的P2SGrad。结果表明,P2SGrad在训练中是稳定的,对噪声具有鲁棒性,并且在所有三个基准测试中都达到了最先进的性能。
translated by 谷歌翻译