In this paper, we explore different ways to extend a recurrent neural network(RNN) to a \textit{deep} RNN. We start by arguing that the concept of depth inan RNN is not as clear as it is in feedforward neural networks. By carefullyanalyzing and understanding the architecture of an RNN, however, we find threepoints of an RNN which may be made deeper; (1) input-to-hidden function, (2)hidden-to-hidden transition and (3) hidden-to-output function. Based on thisobservation, we propose two novel architectures of a deep RNN which areorthogonal to an earlier attempt of stacking multiple recurrent layers to builda deep RNN (Schmidhuber, 1992; El Hihi and Bengio, 1996). We provide analternative interpretation of these deep RNNs using a novel framework based onneural operators. The proposed deep RNNs are empirically evaluated on the tasksof polyphonic music prediction and language modeling. The experimental resultsupports our claim that the proposed deep RNNs benefit from the depth andoutperform the conventional, shallow RNNs.
translated by 谷歌翻译
无监督学习是关于捕捉变量之间的依赖关系,并且由这些变量的可能与不可能的配置之间的对比驱动,通常是通过仅对可能性进行采样的生成模型或对于可能的低的能量函数(非标准化的对数密度)和不可思议的高。在这里,我们考虑学习能量函数和有效的近似抽样机制。尽管生成对抗网络(GAN)中的识别者学会分离数据和生成器样本,但在生成器上引入熵最大化正则化可以将批评者的解释转化为能量函数,将训练分布与其他所有内容分开,从而可以用于任务像异常或新奇的检测。然后,我们展示了如何在发生器潜在空间中完成MarkovChain Monte Carlo,其样本可以映射到数据空间,从而产生更好的样本。这些样本用于估计数据空间能量函数的对数似然梯度所需的负相位梯度。为了最大化发电机输出端的熵,我们利用最近引入的相互信息的神经估计器。我们发现除了为异常检测产生有用的评分函数之外,所得到的方法产生清晰的样本,同时很好地覆盖模式,导致高的Inception和Frechet分数。
translated by 谷歌翻译
本文为机器学习和运筹学的交叉提供了方法论贡献。也就是说,我们提出了一种方法来快速预测针对特定运营问题的战术解决方案。在这种情况下,战术解决方案不如操作解决方案详细,但它必须在非常短的时间内和不完善的信息下计算。在战术和操作规划问题相互关联并且随着时间的推移揭示操作问题的信息的各种应用中,该问题是重要的。例如,这是某种能力规划和需求管理系统中的情况。我们将问题表示为两阶段最优预测随机程序,我们用监督机器学习算法预测解决方案。训练数据集由受控概率抽样产生的大量确定性(第二阶段)问题组成。标签的计算基于确定性问题的解决方案(独立和离线解决),采用适当的聚合和子选择方法来解决不确定性。我们在铁路运输负荷规划中的激励应用结果表明,深度学习算法可以在非常短的计算时间(毫秒或更短)内产生高度准确的预测。预测精度与通过随机程序的样本平均近似计算的解相当。
translated by 谷歌翻译
在现有文献中已经注意到,ReLUnetworks中的过度参数化通常导致更好的性能。虽然可能有多种原因,但我们会在初始化时调查理想的网络属性,这可能是ReLU网络所喜欢的。在没有做出任何假设的情况下,我们推导出深度ReLU网络的层宽度的下限,其权重是从某个分布初始化的,因此具有高概率,i)所有层的隐藏激活的范数大致等于输入的范数,并且,ii)所有层的参数梯度的范数都是相同的。通过这种方式,具有适当初始化的足够宽的深ReLU网络可以固有地保持信息的前向流动并且还避免梯度爆炸/消失问题。我们进一步证明这些结果适用于无限数量的数据样本,在这种情况下,有限下限取决于输入维数和网络深度。在具有通过其规范标准化的权重向量的深度ReLU网络的情况下,我们得出初始化所需的初始化以从过度参数化中获得上述益处,否则网络不能学习大的深度。
translated by 谷歌翻译
卷积神经网络(CNN)是许多计算机视觉任务(例如对象分类和检测)中的最新技术。然而,它们包含的大量参数导致高计算复杂性并且极大地限制了它们在诸如嵌入式设备的预算受限设备中的可用性。在本文中,我们提出了一种新的修剪技术和量化方案的组合,有效地降低了CNN卷积层的复杂性和存储器使用,并用低成本的多路复用器取代了复杂的卷积运算。我们对CIFAR10,CIFAR100和SVHN进行了实验,并表明所提出的方法几乎具有最先进的精度,同时大大减少了计算和内存占用。我们还提出了一种有效的硬件架构来加速CNN的运营。所提出的硬件架构是一个流水线,可以容纳多个层同时工作以推进推理过程。
translated by 谷歌翻译
深度神经网络可以学习复杂和抽象的表示,这些表示通过组合更简单的表示而逐步获得。语音和语音识别的最新趋势在于直接从创建音频样本开始发现这些表示。与MFCC或FBANK等标准手工制作的功能不同,原始波形可以帮助神经网络发现更好,更自定义的表示。然而,高维的原始输入可以使训练更具挑战性。本文总结了我们最近开发的一种神经结构的努力,该神经结构可以有效地处理来自音频波形的语音。特别是,我们提出了SincNet,anovel卷积神经网络(CNN),它鼓励第一层通过利用参数化sinc函数来发现有意义的滤波器。与标准CNN相比,它们了解每个滤波器的所有元素,只有带通滤波器的低截止频率和高截止频率直接从数据中学习。这种归纳偏差提供了一种非常紧凑的方法来导出定制的前端,这只取决于具有明确物理意义的一些参数。我们在扬声器和语音识别上进行的实验表明,所提出的架构收敛得更快,性能更好,并且是比标准CNN更有计算效率。
translated by 谷歌翻译
元学习算法快速适应各种任务的能力,包括他们在元训练期间没有经历过的任务,是最近这些方法在少数学习问题上取得成功的关键因素。使用元学习而不是标准监督或强化学习的这一特殊优势只有在适应阶段确实改善我们的模型在感兴趣的任务上的表现的假设下才有充分的基础。然而,在元学习的经典框架中,这种约束只是稍微强制执行,如果不是的话,我们只看到在任务分配上平均得到改善。在本文中,我们展示了像MAML这样的算法中的自适应可以显着降低代理在元强化学习环境中的性能,甚至在一系列元训练任务中也是如此。
translated by 谷歌翻译
学习良好的表征在深度学习中至关重要。相互信息(MI)或统计依赖的类似度量是用于以无人监督的方式学习这些表示的具体工具。尽管两个随机变量之间的互信息很难在高维空间中直接测量,但最近的一些研究表明,MI的隐式优化可以通过类似于生成对抗网络(GAN)的编码器区分结构来实现。在这项工作中,我们通过最大化从同一句子随机抽样的语音块的编码表示之间的互信息来学习捕获说话者身份的表示。所提出的编码器依赖于SincNet架构并将原始语音波形转换为紧凑的特征向量。鉴别器由正样本(编码块的联合分布)或负样本(来自导数的乘积)馈送,并训练分离它们。我们报告的实验表明,这种方法可以有效地学习有用的说话人表示,从而在说话人识别和验证任务方面领先一步。 Ourexperiments考虑无监督和半监督设置,并将不同目标函数的性能进行比较。
translated by 谷歌翻译
条件文本到图像生成方法通常专注于在单个步骤中生成单个图像。除了一步产生之外的一个实际扩展是交互式系统,其以持续的语言输入/反馈为条件迭代地生成图像。这显然更具挑战性,因为这样的系统必须理解并跟踪持续的背景和历史。在这项工作中,我们提出了一个循环图像生成模型,它考虑了生成的输出直到当前步骤以及所有过去的生成指令。我们展示了我们的模型能够生成背景,添加新对象,对现有对象应用简单转换,以及纠正先前的错误。我们相信我们的方法是迈向互动发电的重要一步。
translated by 谷歌翻译
生成具有最佳性质的新分子是许多工业中的关键步骤,例如药物发现。最近,深度生成模型已经显示出进行从头分子设计的有希望的方法。虽然图形生成模型目前可用,但它们或者在参数数量上具有图形尺寸依赖性,将它们的使用限制为仅非常小的图形或者被构造为构造图形所需的一系列离散动作,使得输出图形与模型参数不可微分。因此阻止它们用于条件图生成等场景。在这项工作中,我们提出了一个条件图生成模型,它具有计算效率,可以直接优化图。我们证明了我们的模型在基于原型的分子图条件生成任务中的有利性能。
translated by 谷歌翻译