课程学习在(深层)强化学习中越来越受欢迎。它可以减轻数据收集的负担,并通过从较不复杂的任务转移和概括提供更好的探索政策。加强学习中课程学习的自动任务排序的当前方法提供了初始启发式解决方案,几乎不能保证其质量。我们介绍了一个由问题定义组成的任务排序优化框架,几个用于优化的候选性能指标和三个基准算法。我们通过实验证明,两种最常用的基线(无课程学习和随机课程学习)比简单的贪婪算法表现更差。此外,我们在理论上展示并通过实验证明三种提出的算法在适度增加的计算复杂度下提供了越来越高的解决方案质量,并表明它们构成了强化学习中课程学习的更好基准。
translated by 谷歌翻译
自动学习任务的最佳激活功能是神经网络研究的一个活跃主题。目前,尽管结果很有希望,但仍然难以确定学习激活功能的方法,同时理论上简单且易于实现。此外,到目前为止提出的大多数方法都引入了新的参数或采用了不同的学习技术。在这项工作中,我们提出了一种简单的方法来获得训练的激活函数,该函数将神经网络局部子网络与少量神经元相加。实验表明,这种方法可以在使用预定义的激活函数方面获得更好的结果,而不需要引入需要学习的大量额外参数。
translated by 谷歌翻译
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要精心挑选的步骤以实现快速收敛,这是非常繁琐且耗时的调整。在过去的几年中,大量基于自适应梯度的算法已经出现,以改善这一问题。事实证明,它们在实践中有效地减少了调整,但是即使在凸面设置中,它们中的许多也缺乏理论保证。在本文中,我们提出了新的替代损失,以便将学习非凸 - 平滑目标函数随机优化的最优步长的问题转化为在线凸优化问题。这允许使用无后悔的在线算法来动态计算最佳步长。反过来,这导致具有自调整步长的SGD算法保证了自动适应噪声水平的收敛速率。
translated by 谷歌翻译
我们考虑一个更高层次的两极抽象论证,用于非基本论证,例如:X反对Ys诚意与Y提出他的论点得出结论C的事实,通过省略其他无法证实的事实C.涉及这些论证的论证要求我们可能将一个论证视为一个连贯的论证块,即一个论证本身可能是一个论证。在这项工作中,我们将块论证作为具有论证双重性质的粪式双重抽象论证的具体实例。我们考虑在一组约束,图形(句法)和语义性质下的参数(ation)的内部一致性,并在与它们相关的条件下形成可接受的语义。我们发现经典的可接受性语义并不总是与约束相吻合。特别是,对于未经批准的论点的可接受性并不总是有理由的。此外,在完整语义中可能没有唯一的最小成员,因此怀疑(基础)语义可能不是其子集。为了保持理论上最小的语义作为完整语义的子集,我们定义了半接地语义。通过比较,我们展示了块论证的概念如何进一步推广结构化论证。
translated by 谷歌翻译
因子图缩减范式(FGrn)中的贝叶斯网络是实现推理图的强大范例。不幸的是,这些网络的计算和内存成本可能相当大,即使是相对较小的网络,这也是这些结构在实践中经常被充分利用的主要原因之一。在这项工作中,通过详细的算法和结构分析,提出了各种降低成本的解决方案。还分析了经典批量学习算法的在线版本,显示了非常相似的结果(在无监督的上下文中);即使要建造多层结构,这也是必不可少的。提出的解决方案以及可能的在线学习算法包含在C ++库中,该库非常有效,特别是与直接使用众所周知的和积和最大似然(ML)算法相比。结果将特别参考LatentVariable Model(LVM)结构进行讨论。
translated by 谷歌翻译
深度学习在联合学习特征表示和分类模型方面非常有效,特别是在处理高维输入模式时。另一方面,概率逻辑推理能够在复杂环境中采取一致且稳健的决策。深度学习和逻辑推理的整合仍然是一个开放性研究问题,它被认为是真正智能代理发展的关键。本文介绍了深度逻辑模型,它是深度图形模型,集成了学习和推理的深度学习和逻辑推理。 Deep LogicModels创建了一个端到端的可区分架构,深度学习者可以嵌入到网络中,实现对logicknowledge的持续放松。学习过程允许共同学习解析者的权重和控制高级推理的元参数。实验结果表明,所提出的方法取代了其他方法的局限性,这些方法已被提出用于桥接深度学习和推理。
translated by 谷歌翻译
在这项工作中,我们探索了人的轨迹和他们的头部方向之间的相关性。我们认为人们的轨迹和头部姿势预测可以被建模为一个共同的问题。最近关于轨道预测的方法利用行人的短期轨迹(也称为轨迹)来预测其未来路径。此外,社会学线索,例如预期目的地或行人互动,通常与轨迹相结合。在本文中,我们提出MiXing-LSTM(MX-LSTM)来捕捉位置和头部方向(vislets)之间的相互作用,这要归功于在LSTM反向传播期间对完全协方差矩阵的联合无约束优化。在建模社交互动时,我们通常利用头部方向作为视觉注意力的代理。 MX-LSTM预测未来的行人位置和头部姿势,增加当前方法在长期轨迹预测中的标准能力。与最先进的技术相比,ourapproach在广泛的公共基准测试中表现出更好的表现.MX-LSTM在人们移动缓慢时尤为有效,即对所有其他模型而言最具挑战性的情景。所提出的方法还允许在更长的时间范围内进行准确的预测。
translated by 谷歌翻译
在过去几年中,生成对抗网络(GAN)在计算机视觉和相关领域的许多应用中具有显着的潜力。随着当前的进步,可以肯定的是,他们能够生成高质量的图像和视频,几乎与真实的图像和视频无法区分。不幸的是,现实的GAN生成的图像会对安全造成严重威胁,从可能的多媒体泛滥开始,迫切需要多媒体取证对策。在这项工作中,我们展示了每个GAN在其生成的图像中留下其特定的指纹,就像真实世界的相机标记所获取的具有其光响应非均匀性图案的痕迹的图像一样。几个流行的GAN的源识别实验表明,这些指纹代表了法医分析的宝贵资产。
translated by 谷歌翻译
最近提出了关联神经网络的日常例程:网络Hebbian-在清醒状态下学习(因此表现为标准的霍普菲尔德模型),然后,在其睡眠状态期间,优化信息存储,它巩固纯模式并去除虚假模式:这迫使突触矩阵坍塌到投影仪(最终接近了Kangter-Sompolinksy模型)。这个过程保持了基于Hebbian的学习(非生物必须),但是,通过利用(适当程式化的)睡眠阶段,仍然达到最大临界容量(对称交互)。 Sofar这一新兴图片(以及关于unlearningtechniques的大量论文)仅由数学上具有挑战性的路径支持,例如主要是复制技巧分析和数值模拟:这里我们全面依赖Guerra为神经网络开发的插值技术,特别是我们将广义随机稳定性方法扩展到案例。将我们的描述限制在副本对称近似(前面的位置)中,关于这种一般化的图片(以及之前存在的主题变化)被完全确认。此外,仍然依赖Guerra的方案,我们开发了系统波动分析,以检查遍历性在哪里被破坏(在先前的调查中完全没有分析)。我们发现,只要网络处于清醒状态,遍历性就会受到Amit-Gutfreund-Sompolinskycritical线(应该如此)的限制,但是,当网络休眠时,通过扩展检索以及遍历区域来消除销毁玻璃状态:在整个睡眠会话之后,单独存活的区域是重复的和遍历的区域,这允许网络实现完全的检索方案(可存储的模式的数量等于网络中的神经元的数量)。
translated by 谷歌翻译
由深度生成模型引起的沿黎曼流形的两个数据点之间的测地线的长度产生了相似性的原理测量。到目前为止,应用仅限于低维潜在空间,因为该方法在计算上要求很高:它构成了求解非凸优化问题。我们的方法是解决松弛:在聚合近似后验的样本的有限图中找到最短路径可以精确地解决,运行时间大大减少,并且质量没有明显损失。因此,该方法适用于视觉领域中的高维问题。我们使用变量自动编码器应用于图像数据,处理Chair,Faces和FashionMNIST数据集,对一系列实验进行了验证。
translated by 谷歌翻译