Kernels on graphs have had limited options for node-level problems. To address this, we present a novel, generalized kernel for graphs with node feature data for semi-supervised learning. The kernel is derived from a regularization framework by treating the graph and feature data as two Hilbert spaces. We also show how numerous kernel-based models on graphs are instances of our design. A kernel defined this way has transductive properties, and this leads to improved ability to learn on fewer training points, as well as better handling of highly non-Euclidean data. We demonstrate these advantages using synthetic data where the distribution of the whole graph can inform the pattern of the labels. Finally, by utilizing a flexible polynomial of the graph Laplacian within the kernel, the model also performed effectively in semi-supervised classification on graphs of various levels of homophily.
translated by 谷歌翻译
可以将一组个人或组织之间的战略互动建模为在网络上玩的游戏,在网络上,玩家的回报不仅取决于他们的行动,还取决于邻居的行动。从观察到的游戏结果(平衡动作)中推断网络结构是一个重要的问题,对于经济学和社会科学中的许多潜在应用。现有方法主要需要与游戏相关的效用函数的知识,在现实世界中,这通常是不现实的。我们采用类似变压器的体系结构,该体系结构正确说明了问题的对称性,并在没有明确了解效用功能的情况下学习了从平衡动作到游戏网络结构的映射。我们使用合成和现实世界数据在三种不同类型的网络游戏上测试我们的方法,并证明其在网络结构推理中的有效性和优于现有方法的卓越性能。
translated by 谷歌翻译
广告分配涉及将广告和有机项目分配给有限的饲料插槽,以最大化平台收入,已成为研究热点。请注意,电子商务平台通常有多个针对不同类别的入口,并且某些入口几乎没有访问。这些入口的数据覆盖范围较低,这使得代理很难学习。为了应对这一挑战,我们提出了基于相似性的ADS分配(SHTAA)的混合转移,该转移有效地将样本和知识从数据富裕的入口转移到数据贫乏的入口。具体而言,我们为MDP定义了不确定性感知的相似性,以估计不同入口的MDP的相似性。基于这种相似性,我们设计了一种混合转移方法,包括实例传输和策略传输,以有效地将样本和知识从一个入口传递到另一个入口。 Meituan食品交付平台上的离线和在线实验都表明,该建议的方法可以在数据贫困的入口方面获得更好的性能并增加平台的收入。
translated by 谷歌翻译
随着强化学习(RL)的最新流行率,在推荐平台(例如电子商务和新闻提要网站)中利用RL来利用RL进行广泛的兴趣。为了获得更好的分配,将最近基于RL的广告分配方法的输入从点单项目升级到列表项目的布置。但是,这也导致了国家行动对的高维空间,因此很难以良好的概括能力学习列表表示。这进一步阻碍了RL药物的探索,并导致样本效率差。为了解决这个问题,我们提出了一种基于RL的新方法,用于广告分配,该方法通过利用Meituan食品交付平台上的任务特定信号来学习更好的列表表示形式。具体而言,我们根据对ADS分配的先前领域知识分别提出基于重建,预测和对比度学习的三个不同的辅助任务。我们在Meituan食品输送平台上进行了广泛的实验,以评估拟议的辅助任务的有效性。离线和在线实验结果都表明,与最先进的基线相比,提出的方法可以学习更好的列表表示形式,并获得更高的平台收入。
translated by 谷歌翻译
我们提出了一个分散的“Local2Global”的图形表示学习方法,即可以先用来缩放任何嵌入技术。我们的Local2Global方法首先将输入图分成重叠的子图(或“修补程序”)并独立地培训每个修补程序的本地表示。在第二步中,我们通过估计使用来自贴片重叠的信息的刚性动作的一组刚性运动来将本地表示将本地表示与全局一致的表示。 Local2Global相对于现有工作的关键区别特征是,在分布式训练期间无需经常昂贵的参数同步训练曲线的培训。这允许Local2Global缩放到大规模的工业应用,其中输入图甚至可能均不适合存储器,并且可以以分布式方式存储。我们在不同大小的数据集上应用Local2Global,并表明我们的方法在边缘重建和半监督分类上的规模和准确性之间实现了良好的权衡。我们还考虑异常检测的下游任务,并展示如何使用Local2Global在网络安全网络中突出显示异常。
translated by 谷歌翻译
大多数图形神经网络(GNNS)使用传递范例的消息,其中节点特征在输入图上传播。最近的作品指出,从远处节点流动的信息失真,作为限制依赖于长途交互的任务的消息的效率。这种现象称为“过度挤压”,已经启动到图形瓶颈,其中$ k $ -hop邻居的数量以$ k $迅速增长。我们在GNNS中提供了精确描述了GNNS中的过度挤压现象,并分析了它如何从图中的瓶颈引发。为此目的,我们介绍了一种新的基于边缘的组合曲率,并证明了负曲面负责过度挤压问题。我们还提出并通过实验测试了一种基于曲率的曲线图重新挖掘方法,以减轻过度挤压。
translated by 谷歌翻译
虽然图形神经网络(GNNS)最近成为用于建模关系数据的事实标准,但它们对图形节点或边缘特征的可用性产生了强烈的假设。然而,在许多现实世界应用中,功能仅部分可用;例如,在社交网络中,年龄和性别仅适用于一小部分用户。我们介绍了一种用于处理基于Dirichlet能量最小化的图形机学习应用中缺失特征的一般方法,并导致图表上的扩散型微分方程。该等方程的离散化产生了一种简单,快速且可伸缩的算法,我们调用特征传播。我们通过实验表明,所提出的方法在七个常见节点分类基准测试中优于先前的方法,并且可以承受令人惊讶的缺失特点率:平均而言,当缺少99%的功能时,我们只观察到约4%的相对精度下降。此外,在单个GPU上运行$ \ SIM $ 2.5M节点和$ \ SIM $ 123M边缘,只需10秒即可在单个GPU上运行。
translated by 谷歌翻译
图表神经网络,一种流行的模型,在各种基于图形的学习任务中有效,已被证明易受对抗攻击的影响。虽然大多数文献侧重于节点级分类任务中的这种脆弱性,但很少努力致力于分析对图形级分类的对抗攻击,这是生物化学和社会网络分析等众多现实生活应用的重要问题。少数现有方法通常需要不切实际的设置,例如访问受害者模型的内部信息,或者是一个不切实际的查询。我们提出了一种新型贝叶斯优化的攻击方法,用于图形分类模型。我们的方法是黑匣子,查询效率和涉及扰动的效率和解析。我们经验验证了所提出的方法对涉及不同图形属性,约束和攻击方式的图形分类任务的效果和灵活性。最后,我们分析了产生的对手样本后面的常见可解释模式,这可能会在图形分类模型的对抗鲁棒性上流出进一步的光。
translated by 谷歌翻译
The increasing polarization of online political discourse calls for computational tools that automatically detect and monitor ideological divides in social media. We introduce a minimally supervised method that leverages the network structure of online discussion forums, specifically Reddit, to detect polarized concepts. We model polarization along the dimensions of salience and framing, drawing upon insights from moral psychology. Our architecture combines graph neural networks with structured sparsity learning and results in representations for concepts and subreddits that capture temporal ideological dynamics such as right-wing and left-wing radicalization.
translated by 谷歌翻译
Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.
translated by 谷歌翻译