随机块模型(SBM)及其变体,例如$,混合成员和重叠随机块模型,是基于潜变量的图的生成模型。事实证明,它们可以成功完成各种任务,例如在图形结构数据上发现社区结构和链接预测。最近,通过利用诸如局域性和不变性之类的图形属性,图形神经网络,例如$,图形卷积网络,也已成为一种有前景的方法,用于学习图形中节点的强大表示(嵌入)。在这项工作中,我们通过为图形开发\ emph {稀疏}变量自动编码器来统一这两个方向,这保留了SBM的可解释性,同时还享有图神经网络的出色预测性能。此外,我们的框架伴随着快速识别模型,可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们为特定类型的SBM开发了这个框架,即\ emph {重叠}随机块模型,所提出的框架可以适用于其他类型的SBM。几个基准测试的实验结果证明了在链接预测方面的令人鼓舞的结果,同时学习了可用于社区发现的可解释的潜在结构。
translated by 谷歌翻译
我们考虑从超高分辨率全滑动细胞病理学图像预测甲状腺恶性肿瘤。我们提出了一种基于深度学习的算法,其灵感来自细胞病理学家诊断幻灯片的方式。该算法识别诊断相关的图像区域并将它们分配给局部恶性肿瘤评分,然后将其纳入全球恶性肿瘤预测中。我们讨论了基于深度学习的方法多实例学习(MIL)的关系,并通过使用监督程序从整个幻灯片中提取相关区域来描述它如何偏离ClassicalMIL方法。对我们算法的分析进一步揭示了与假设检验的密切关系,假设检验与甲状腺细胞病理学的独特特征一起,使我们能够设计出改进的培训策略。我们进一步提出了用于同时预测甲状腺恶性肿瘤的序数回归框架和作为正则化器的有序诊断评分,这进一步改善了网络的预测。实验结果表明,该算法优于多种竞争方法,实现了与人类专家相媲美的性能。
translated by 谷歌翻译
具有自回归解码器的变分自动编码器(VAE)已经应用于许多自然语言处理(NLP)任务。 VAE目标包括两个术语,(i)重建和(ii)KL正则化,由加权超参数\β平衡。一个臭名昭着的训练难点是KL术语趋于消失。在本文中,我们研究了\ beta的调度方案,并且表明KL消失是由于在优化开始时在解码器内缺少良好的潜在代码引起的。为了解决这个问题,我们提出了一个循环退火计划,它重复多次增加β的过程。这个新程序允许通过利用先前周期的信息表示作为热重启来逐步学习更有意义的潜在代码。循环退火的有效性在广泛的NLP任务上得到验证,包括语言建模,对话响应生成和无监督语言预训练。
translated by 谷歌翻译
序列到序列模型通常通过最大似然估计(MLE)训练。然而,标准的MLE训练考虑了一个单词 - levelobjective,预测下一个单词给定以前的地面真实部分句子。此过程侧重于对本地语法模式进行建模,并可能用于捕获远程语义结构。我们提出了一种新颖的解决方案来缓解这些问题。我们的方法通过基于最优传输的新监督来实施全局序列级指导,从而实现语义特征的整体表征和保存。我们进一步表明,该方法可以理解为Wasserstein梯度流,试图将模型与地面实况序列分布相匹配。进行了大量实验以验证所提出方法的效用,显示了对各种NLP任务的一致性,包括机器翻译,抽象文本摘要和图像字幕。
translated by 谷歌翻译
在许多机器学习算法中,一个基本问题涉及有效计算无偏梯度wrt参数$ \ gammav $基于期望的目标$ \ Ebb_ {q _ {\ gammav}(\ yv)} [f(\ yv)] $。大多数现有方法要么(i)遭受高度方差,寻求(通常)复杂的方差减少技术的帮助;或(ii)它们仅适用于可重新参数化的连续随机变量并采用重新参数化。为了解决这些局限性,我们提出了一般和单样本(GO)梯度,其(i)适用于与非可重新参数化的连续或离散随机变量相关的许多分布,以及(ii)具有相同的低方差作为重新参数化技巧。我们发现GO gradientoften在实践中仅基于一个蒙特卡罗样本很好地工作(尽管如果需要,当然可以使用更多样本)。除了GO梯度之外,我们还开发了一种通过分布传播链规则的方法,产生统计反向传播,将神经网络耦合到常见的随机变量。
translated by 谷歌翻译
提出了一种新颖的Gromov-Wasserstein学习框架,用于联合匹配(对齐)图形并学习相关图形节点的嵌入向量。利用Gromov-Wasserstein差异,我们根据学习的最优运输来测量两个图形之间的不相似性并找到它们的对应关系。在最佳传输的指导下学习与两个图相关联的节点嵌入,其最佳传输的距离不仅反映每个图的拓扑结构,而且还产生跨图的对应关系。这两个学习步骤是互利的,并且通过最小化Gromov-Wasserstein与结构调节器的差异来实现这一步骤。该框架导致通过近端点方法解决的优化问题。我们将所提出的方法应用于匹配现实世界网络中的问题,并证明其与替代方法相比具有优越的性能。
translated by 谷歌翻译
在只能访问密度的非标准化形式而非样本的情况下,我们研究对抗性学习。随着洞察力的增强,对抗性学习被扩展到一个人可以获得目标密度函数的非标准化形式u(x),但没有样本的情况。此外,基于从样本或来自u的学习,开发了GAN正则化中的新概念。 (X)。将所提出的方法与替代方法进行比较,在一系列应用中证明了令人鼓舞的结果,包括深度软Q学习。
translated by 谷歌翻译
在这项工作中,我们提出了一项名为Story Visualization的新任务。给定多句段落,通过生成一系列图像来显示故事,每个句子一个。与视频生成相比,故事可视化更少关注生成的图像(帧)的连续性,而更多地关注动态场景和角色的全局一致性 - 任何单一图像或视频生成方法都未解决的挑战。因此,我们基于顺序条件GAN框架提出了一种新的故事到图像序列生成模型StoryGAN。我们的模型非常独特,因为它包含一个动态跟踪故事流的深度上下文编码器,以及故事和图像级别的两个鉴别器,以提高图像质量和生成序列的一致性。为了评估模型,我们修改了现有数据集以创建CLEVR-SV和Pororo-SV数据集。凭借经验,StoryGAN在图像质量,上下文一致性指标和人力评估方面优于最先进的模型。
translated by 谷歌翻译
softmax函数主要用于强化学习(RL)以改进探索并提供对max函数的可微近似,正如Asadi和Littman在mellowmax论文中所观察到的那样。本文的重点是在Bellmanupdates中使用softmax函数,独立于勘探策略。我们的主要理论为softmax Bellman算子提供了一个性能界限,并表明它在反温度参数中以指数方式快速收敛于标准Bellman算子。我们还证明了在某些条件下,softmax算子可以减少过高估计误差和梯度噪声。然后呈现不同Bellman操作员之间的详细比较以显示选择它们时的交易。我们将softmax运算符应用于深度RL,将其与深度Q网络(DQN)和双DQN算法以非政策方式相结合,并证明这些变体在多个Atari游戏中通常可以获得更好的性能,并且与其最佳对应物相比有利。
translated by 谷歌翻译
生成对抗网络(GAN)已被证明是一种强大的框架,用于学习从复杂分布中提取样本。然而,GAN难以训练,模式崩溃和振荡是一个共同的问题。我们假设这至少部分是由于发电机分布的演变和神经网络的灾难性遗忘倾向,这导致鉴别器失去了从先前的发电机实例中记住合成样本的能力。认识到这一点,我们的贡献是双重的。首先,我们表明GAN训练为持续学习方法评估提供了比一些更规范的数据集更有趣和更现实的基准。其次,我们建议平衡连续学习技术以增强鉴别器,保持其识别先前发生器样本的能力。我们证明了所得到的方法仅增加了大量的计算,涉及对模型的最小改变,并且导致在检查图像和文本生成任务上更好的整体性能。
translated by 谷歌翻译