Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (Ac-tiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neu-ral network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.
translated by 谷歌翻译
变分自动编码器(VAE)已经在图像生成方面取得了很好的成果,并且最近在音乐生成方面取得了很大的进步。然而,在所学习的潜在表征缺乏有意义的音乐语义的意义上,生成过程仍然很难控制。如果人们可以通过潜在表示修改某些音乐特征(例如节奏音高轮廓)来测试不同的组合物,那将会更有用。在本文中,我们提出了一种新方法来检查潜在表征的音高和节奏偏差,并将其命名为解构。基于可解释的表示,设计了直观的图形用户界面,以便用户通过操纵音高轮廓和节奏复杂度来更好地指导音乐创作过程。
translated by 谷歌翻译
关于语境化词语表示问题的研究 - 用于句子理解的可重用神经网络组件的发展 - 最近出现了一系列进展,其中心是使用ELMo等方法进行语言建模的无监督预训练任务。本文提供了第一个大规模的系统研究,比较了该语境中不同的预训练任务,既作为语言建模的补充,也作为潜在的替代。该研究的主要结果支持使用语言模型作为预训练任务,并使用语言模型的多任务学习在可比模型中设置新的技术水平。然而,仔细观察这些结果可以发现令人担忧的强大基线和跨越目标任务的惊人变化的结果,这表明广泛使用的预训练和冻结句子编码器的范例可能不是进一步工作的理想平台。
translated by 谷歌翻译
从未标记的图像数据中学习视觉特征是一项重要且具有挑战性的任务,通常通过在无注释信息上训练模型来实现。我们考虑空间上下文,我们为此解决所谓的拼图游戏,即每个图像被切割成网格和重新排序,目标是恢复正确的配置。现有的方法通过定义从一小部分配置到类集的固定映射来将其制定为分类任务,但是这些方法指出了不同配置之间的基础关系,并且将它们的应用简化为更复杂的场景。本文介绍了一种适用于具有任意网格尺寸和维度的拼图游戏的新方法。我们提供了一个基本的和广义的原则,即以无人监督的方式更容易学习,并且更好地转移。在拼图识别的背景下,我们使用迭代方式,而不是一次解决拼图,调整补丁的顺序,直到收敛。在每个步骤中,我们将每个补丁上的一元和二元特征组合成一个判断当前配置正确性的成本函数。我们的方法是通过在谜题之间采用相似性来获得一种更合理的学习视觉知识的方法。从两个方面来验证我们的方法的有效性。首先,它能够解决任意复杂的谜题,包括高维谜题,这些难以处理的方法很难处理。其次,它是一种可靠的网络初始化方式,可以在一些视觉识别任务中实现更好的传输性能,包括图像分类,对象检测和语义分割。
translated by 谷歌翻译
在设计在线问答系统时,需要平衡有效性和效率之间的基本权衡。有效性来自诸如提取机器阅读理解(MRC)之类的复杂功能,而效率是通过诸如候选文档选择和段落排名等初步检索组件的改进而获得的。鉴于现实世界多文档MRCscenario的复杂性,很难在端到端系统中共同优化这两者。针对这一问题,我们开发了一种新颖的深层次级联学习模型,该模型逐步从候选文本的文档级和段级排序演变为机器阅读理解的更精确的答案提取。具体而言,为了效率考虑,首先使用简单的功能来过滤不相关的文档和段落。然后,我们在剩下的文本上联合训练三个模块,以便更好地跟踪问题:文档提取,段落提取和回收提取。实验结果表明,该方法在两个大型多文档基准数据集(即TriviaQA和DuReader)上优于先前的最新方法。此外,我们的在线系统可以在不到50毫秒的时间内为数百万日常请求提供服务。
translated by 谷歌翻译
随着近来人工神经网络的突破,深度生成模型已成为计算创造力的主要技术之一。尽管在图像和短序列生成方面取得了非常有希望的进展,但由于组合结构通常很复杂,因此符号音乐生成仍然是一个具有挑战性的问题。在这项研究中,我们试图解决受给定和弦进程约束的主题生成问题。该音乐元创建问题也可以结合到具有用户输入和预测结构输出的计划识别系统中。特别是,我们探讨了音乐结构的显式架构编码的影响,比较了两个连续的生成模型:LSTM(一种RNN)和WaveNet(扩张的时间-CNN)。据我们所知,这是第一个将WaveNet应用于符号音乐生成的研究,以及用于音乐生成的temporal-CNN和RNN之间的第一次系统比较。我们在世代进行评估,并实施Variable Markov Oraclein音乐模式发现。实验结果表明,使用一叠扩张卷积层更明确地编码结构可以显着提高性能,并且对生成过程中基础和弦进程的全局编码可以获得更多。
translated by 谷歌翻译
我们提出了一种利用深度Q学习的基于点云的三维器官分割流水线。为了保持形状属性,使用统计形状模型引导学习过程。受过训练的代理直接预测每次迭代中所有顶点的线性变换。基于图像特征,在对象轮廓估计的理想变换之间进行映射。为此,我们引入孔径特征,通过对相关顶点及其法向量中心的锥体内的3D体积进行采样来提取灰度值。我们的方法也可用于估计多分辨率网格的非刚性变形的层次金字塔。在应用阶段,我们使用边际方法逐步估计仿射和非刚性变换。我们进行了广泛的评估,以突出我们的方法在各种挑战数据和临床数据方面的强大表现。另外,我们的方法具有0.3至2.7秒的运行时间以分割每个器官。此外,我们表明,所提出的方法可以应用于不同的器官,基于X射线的模态和扫描协议,而无需转移学习。当我们学习动作时,即使看不见的参考网格也可以在Visible Human的示例中进行处理。由此我们得出结论,我们的方法是健壮的,并且我们相信我们的方法可以成功地应用于更多的应用,特别是在介入成像空间中。
translated by 谷歌翻译
频谱聚类是捕获数据中隐藏的聚类结构的最有效的聚类方法之一。然而,由于其在构造相似度图中的二次复杂性以及计算后续的特征分解,它不能很好地扩展到大规模问题。尽管已经提出了许多方法来加速谱聚类,但是大多数方法在原始数据中损害了相当大的信息损失以减少计算瓶颈。在本文中,我们提出了一种新的可扩展光谱聚类方法,使用随机宾译特征(RB)同时加速相似图构造和特征分解。具体而言,我们通过生成的大稀疏特征矩阵的内积隐式逼近图相似性(核)矩阵。由RB。然后我们介绍了一种最先进的SVD求解器,以有效地计算这个大矩阵的特征向量,用于谱聚类。使用这两个构建块,可以将数据点数量的计算成本从二次到线性降低,同时实现相似的精度。我们的理论分析表明,通过RB的光谱聚类比标准的随机特征近似更快地收敛到精确的光谱聚类。对8个基准测试的广泛实验表明,所提出的方法在精度和运行时方面都优于或匹配最先进的方法。此外,我们的方法还包括数据样本数量和RB特征数量的线性可扩展性。
translated by 谷歌翻译
生成对抗网络(GAN)是学习生成模型的强大工具。在实践中,训练可能会因缺乏融合而受到影响。 GAN通常被视为双人网络之间的双人零和游戏。在这里,我们利用这个博弈论视角来研究训练过程的收敛行为。受虚构的学习过程的启发,引入了一种被称为虚拟GAN的新型训练方法。虚构的GAN使用历史模型的混合来训练深度神经网络。具体地,根据对来自一系列先前训练的发生器(相应的鉴别器)的混合输出的最佳响应来更新鉴别器(相应的发生器)。结果表明,虚拟GAN可以有效地解决标准培训方法无法解决的一些收敛问题。事实证明,渐近地,发电机输出的平均值与数据样本具有相同的分布。
translated by 谷歌翻译
机器翻译近年来取得了快速进展。今天有数百万人在网上翻译系统和移动应用程序中使用它,以便跨语言障碍进行交流。自然会出现这样的问题:这些系统是否可以接近或实现与人类翻译的平等。在本文中,我们首先解决了如何定义和准确测量翻译中人类平价的问题。然后,我们描述了微软的机器翻译系统,并在广泛使用的WMT 2017新闻翻译任务中测量其翻译质量,从中文到英文。我们发现最神经的机器翻译系统已经达到了一种新的先进水平,并且在比较专业人工翻译时,翻译质量处于人类平价状态。我们还发现它大大超过了众包非专业翻译的质量。
translated by 谷歌翻译