我们通过对与核和神经嵌入相对应的表示的谱分析来扩展(Arora等,2019)的最近结果。他们表明,在一个简单的单层网络中,标签与相应Gram矩阵的特征向量的对齐决定了训练期间优化的收敛性以及泛化性质。我们定量地证明了核和神经表示改善了优化和泛化。我们通过随机傅里叶特征给出高斯核和近似的结果,以及由在不同任务上训练的两层网络产生的嵌入。
translated by 谷歌翻译
几乎所有大规模了解地球地下的工作都依赖于专家的地震勘测解释,他们将调查(通常是一个立方体)分成几层;一个非常时间要求的过程。在本文中,我们提出了一种新的深度神经网络架构,该架构是专门设计的,用最少量的训练数据对地震图像进行分段。为此,我们利用转置的残差单元来代替解码块的传统扩张卷积。此外,我们的网络不是使用预定义的形状进行扩展,而是学习从编码器中升级功能的所有步骤。我们使用Penobscot3D数据集训练我们的神经网络;在加拿大新斯科舍省附近获得的真实地震数据集。我们将我们的方法与两种众所周知的深度神经网络拓扑结构进行比较:完全卷积网络和U-Net。在我们的实验中,我们表明我们的方法可以实现99%以上的平均交叉联合(mIOU)度量,优于现有拓扑。此外,我们的定性结果表明,所获得的模型可以产生非常接近人类解释的面具,几乎没有不连续性。
translated by 谷歌翻译
自主性是在复杂的现实世界中行动的人工代理的基础。获得许多不同的技能对于促进自主行为是关键,因此是机器人和机器学习的主要目标。已经证明内在动机可以正确地生成与任务无关的信号,以在需要学习多个任务的设置中驱动多个策略的自动获取。然而,在现实世界中,任务可能是相互依赖的,因此其中一些任务可能构成学习其他任务的先决条件。尽管已经采用了不同的策略来解决相互依赖/分层任务的获取问题,但在这些场景中进行全自主开放式学习仍然是一个悬而未决的问题。在内在动机开放式学习的框架内建立先前的研究,我们提出了一种机器人体系结构控制从决策的角度来解决这个问题,即将选择的任务视为马尔可夫决策过程,系统选择要训练的政策,以便最大限度地发挥其对所有任务的能力。然后用人形测试系统机器人解决相互依赖的多重任务。
translated by 谷歌翻译
如何在线获得人气?在一个在线平台上是否成功地严格地成为病毒式传播,或者是否有可能以稳定和有纪律的方式获得人气?什么是其他时间特征可以揭示在线内容的流行?为了回答这些问题,我们利用对流行在线内容进化的多方面时间分析。在这里,我们提出了dipm-SC:一种基于多维形状的时间序列聚类算法,其具有启发式算法以找到最优数量的聚类。首先,我们验证了算法对基准时间序列模型生成的合成数据集的准确性。其次,我们展示了dipm-SC可以在地域世界的Twitter数据集中发现有意义的流行行为集群。通过聚集内容流行度与其他领域特定维度相结合的多维时间序列,我们得出两种主要的流行模式:突发性和稳定的时间行为。此外,我们发现随着时间的推移获得流行度的方式对最终的影响没有显着影响。累积人气。
translated by 谷歌翻译
尽管深度神经网络在各种学习问题中取得了巨大的成功,但已经观察到,在这些架构的输入中添加有意设计的对抗扰动会导致错误的分类,并且在预测中具有高置信度。在这项工作中,我们提出了一个基于学习算法的扰动分析的总体框架,该算法由凸规划组成,能够作为特殊情况恢复许多当前的对抗性攻击。该框架可用于针对各种新约束下的分类和回归任务的学习算法提出攻击,并在许多实例中使用封闭形式解决方案。特别地,我们得到针对分类算法的新攻击,其被证明可以实现与显着存在的攻击相当的性能。然后该框架用于生成回归任务的对抗性扰动,包括单个像素和单个子集攻击。通过将此方法应用于自动编码和图像着色任务,可以看出,对抗性扰动也可以有效地扰乱回归任务的输出。
translated by 谷歌翻译
DynamicGEM是一个开源Python库,用于学习动态图的节点表示。它由最先进的算法组成,用于定义连接随时间变化的节点。该库还包含网络上四个下游任务的评估框架:图形重建,静态和时间链接预测,节点分类和时间可视化。我们已经实施了各种指标来评估最先进的方法,以及来自不同领域的不断发展的网络示例。我们有易于使用的函数来调用和评估方法,并有大量的使用文档。此外,DynamicGEM提供了一个模板,可以轻松添加新算法,以便进一步研究该主题。
translated by 谷歌翻译
今天,密集仪器化的世界为连续采集和分析多模态传感器数据提供了巨大的机会,提供了个人行为的时间表征。是否有可能将这种丰富的传感器数据与预测建模技术相结合,提供上下文,以及对个人表现和维持的深刻见解?从这些嘈杂,不完整和异质的生物行为时间数据预测人类行为的不同方面是一个具有挑战性的问题,超出潜在结构的无监督发现。我们提出了一种用于高维多模态数据的监督张量嵌入(STE)算法,其具有输入和目标变量的连接分解。此外,我们表明,特征选择将有助于减少预测中的污染并提高性能。通过两个不同的真实世界数据集测试了方法的有效性。
translated by 谷歌翻译
我们解决了在给定描述它的自然语言表达的情况下对对象进行分段的问题。当前技术通过(\ textit {i})直接或递归地合并信道维度中的语言和视觉信息然后执行卷积来处理该任务;或者通过(\ textit {ii})将表达式映射到一个空间,在该空间中它可以被认为是一个过滤器,其响应与图像中的空间坐标处的对象的存在直接相关,因此卷积可以应用于查找对象。我们提出了一种新方法,它集成了这两种见解,以充分利用语言的递归本质。此外,在上采样过程中,我们利用在对图像进行下采样时生成的中间信息,从而可以获得详细的分割。我们将我们的方法与fourstandard数据集中最先进的方法进行比较,其中它超过了此任务的八个分裂中的六个中的所有方法。
translated by 谷歌翻译
已提议PAC-Bayes界限基于训练样本获得风险评估。在本文中,PAC-Bayes方法与Hilbert空间值算法所学习的假设的稳定性相结合。 PAC-Bayes设置与高斯先验一起使用,以预期输出为中心。因此,我们论文的新颖之处在于使用根据数据生成分布定义的先验。我们的主要结果估计了假设稳定系数的随机算法的风险。我们还提供了SVM分类器的新约束,它与实验上的其他已知边界进行了比较。我们似乎是第一个基于稳定性的边界来评估重要值。
translated by 谷歌翻译
值迭代网络(VIN)是有效的可区分路径规划模块,代理可以使用它来执行导航,同时仍然保持整个架构的端到端可区分性。 Despitetheir的有效性,它们有几个缺点,包括训练不稳定性,随机种子敏感性和其他优化问题。在这项工作中,我们将VIN重新定义为循环卷积网络,该网络证明了VIN将复发卷积与非常规最大池化激活相结合。从这个角度来看,我们认为标准的门控重复更新方程可能会缓解困扰VAR的优化问题。我们称之为门控路径规划网络的结果体系结构在经验上优于VIN,可用于各种指标,如学习速度,超参数灵敏度,迭代计数甚至泛化。此外,我们表明这种性能差距在不同的迷宫中是一致的。转换类型,迷宫大小甚至在具有挑战性的3D环境中显示成功,其中规划器仅提供第一人称RGB图像。
translated by 谷歌翻译