深度神经网络过度参数化,这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下,深层架构也不会过度配合。这种现象是一个活跃的研究领域,并且已经提出了许多理论来理解这种特殊的观察。这些包括VapnikChervonenkis(VC)维边界和Rademacher复杂边界,其表明网络的容量由权重的范数表征,而不是参数的数量。然而,尚未研究输入噪声对浅层和深层架构的这些措施的影响。在本文中,我们分析了各种正则化方案对神经网络复杂性的影响,我们用损失,权重的$ L_2 $范数,Rademacher复杂性(直接近似正则化复杂度-DARC1),基于VC维度的低复杂度神经网络(LCNN)来表征。 )不同程度的高斯输入噪声。我们证明了$ L_2 $正则化导致了一个更简单的假设类,并且DARC1正则化器随后对于浅层和深层架构都进行了更好的泛化。雅可比正则化器适用于具有高水平输入噪声的浅层架构。对于浅层和深层架构,光谱归一化获得最高的测试设备准确度。我们还表明,Dropoutalone在输入噪声存在的情况下表现不佳。最后,我们展示了较深的体系结构对输入噪声的鲁棒性,而不是它们的浅部分。
translated by 谷歌翻译
将无序文本文档分割成不同的部分是许多文本处理应用程序中的一项非常有用的任务,例如多文档聚合,问答等。本文提出了基于文档中的关键字构造无序文本文档。我们使用统计和预测方法测试维基百科文档上的ourapproach,例如TextRank算法和Google的USE(通用句子编码器)。从我们的实验结果中,我们证明了所提出的模型可以有效地将无序文档结构化为多个部分。
translated by 谷歌翻译
单目SLAM指的是使用单个相机来估计机器人自我运动,同时构建环境地图。虽然Monocular SLAM是一个研究得很好的问题,但通过将Monocular SLAM与轨迹规划框架相结合来实现单眼SLAM的自动化尤其具有挑战性。本文提出了一种基于强化学习(RL)的新型公式,它可以生成故障安全轨迹,其中SLAM生成的输出不会在很大程度上偏离其真实值。典型地,RL框架成功地学习了感知输入和运动动作之间的其他复杂关系,并使用该知识生成不会导致SLAM失败的轨迹。我们在模拟中系统地展示了当使用RL计算轨迹时SLAM的质量如何显着提高。我们的方法在模拟和移动机器人的实际实验中有效地跨越单目SLAM框架。
translated by 谷歌翻译
对先进材料的需求导致了复杂的多组分合金或固溶合金的发展。这些材料具有显着的性能,如强度,韧性,延展性,电气和电子特性。这种材料系统的当前发展受到昂贵的实验和计算上要求的第一原理模拟的阻碍。原子模拟可以为这些材料系统中的属性提供合理的分析。然而,设计强大潜力的问题仍然存在。在本文中,我们探索了一种基于深度卷积神经网络的方法来开发这种复杂合金的原子势,以研究材料以获得对控制性能的深入了解。在目前的工作中,我们提出了一个细胞原子配置的体素表示,并设计了一个3D卷积神经网络,可以容忍原子的相互作用。我们的结果突出了3D卷积神经网络的性能及其在机器学习理论潜力方面的功效。我们还探讨了体素分辨率的作用,并提供了针对体素化实现的两种边界框方法的见解。
translated by 谷歌翻译
自网络出现以来,wen的数据量已增加了数百万。近年来,生成的Web数据不仅仅是数据存储多年。一种重要的数据格式是文本。为了回答用户对互联网的疑问,并克服信息过载的问题,一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间,还根据特定用户需求优化了文档结果。文本文档的摘要可以分为抽象和提取。大多数工作都是在Extractivesummarization的方向上完成的。提取总结结果是原始文档的子集,其目标是更多内容覆盖和lea冗余。我们的工作基于采掘方法。在第一种方法中,我们使用一些统计特征和基于语义的特征。将情绪作为一种特征包含在一种观点中,这种观点是从情感起着重要作用的观点出发的。有效传达信息。因此,它可能在文本文档化中起着至关重要的作用。
translated by 谷歌翻译
我们介绍Fabrik,一个在线神经网络编辑器,提供从浏览器内可视化,编辑和共享神经网络的工具。 Fabrik提供了一个简单直观的GUI来导入编写在Caff,Keras和TensorFlow等流行深度学习框架中的神经网络,并允许用户通过简单的拖放操作与模型进行交互,构建和编辑.Fabrik旨在与框架无关并支持高互操作性,可用于将模型导出回任何支持的框架。最后,它提供了强大的协作功能,使用户能够远程和大规模地迭代模型设计。
translated by 谷歌翻译
我们提出了结构域随机化(SDR),这是一种考虑到场景结构和背景的域随机化(DR)的变体。与DR相比,DR根据均匀概率分布随机放置物体和干扰物,SDR根据手头特定问题产生的概率分布随机放置物体和散射物。以这种方式,SDR生成的图像使得神经网络能够在检测期间考虑对象周围的上下文。我们展示了SDR对二维边界箱车检测问题的强大功能,在合成数据训练后实现了对实际数据的有竞争力的结果。在KITTI简单,中等和艰巨的任务中,我们表明,SR优于其他生成合成数据的方法(VKITTI,Sim200k或DR),以及在不同域(BDD100K)中收集的实际数据。此外,合成的SDR数据结合在一起真实的KITTI数据仅比realKITTI数据更好。
translated by 谷歌翻译
最近,在几个NLP应用程序中广泛采用了单词嵌入。但是,大多数单词嵌入方法仅依赖于线性上下文,并没有提供一个框架,用于以原则方式合并像hypernym,nmod这样的单词关系。在本文中,我们提出了WordGCN,一种基于图形卷积的单词表示学习方法,它提供了一种利用多种类型的单词关系的框架。 WordGCN在句子和语料库级别操作,并允许以有效的方式结合基于依赖性解析的上下文而不增加词汇量。据我们所知,这是第一种通过图形卷积网络有效地整合单词关系以学习单词表示的方法。通过对各种内在和外在任务的广泛实验,我们证明了WordGCN的有效性过度存在的词嵌入方法。我们使WordGCN的源代码可用于鼓励可重复的研究。
translated by 谷歌翻译
基于图形的半监督学习(SSL)是一个重要的学习问题,其目标是为图形中最初未标记的节点分配标签。图形卷积网络(GCN)最近被证明对基于图形的SSL问题有效。 GCN固有地假设在图结构数据中存在成对关系。然而,在许多现实世界的问题中,关系超越了成对连接,因此更加复杂。 Hypergraphs提供了一种自然的建模工具来捕捉这种复杂的关系。在这项工作中,我们探索了将GCN用于基于超图的SSL。特别地,我们提出了HyperGCN,一种SSL方法,它使用层向传播规则,用于直接在超图上运行的卷积神经网络。据我们所知,这是GCN对超图的第一个原则性适应。 HyperGCN能够以有效的方式编码超图结构和超节点特征。通过详细的实验,我们证明了HyperGCN在基于超图的SSL方面的有效性。
translated by 谷歌翻译
本文探讨了使用深层强化学习代理将知识从一个环境转移到另一个环境。更具体地说,该方法利用异步优势演员评论(A3C)架构来利用在Atari的源游戏上训练的代理来概括目标游戏。而不是微调目标游戏的预训练模型,我们提出了学习方法使用与目标游戏的不同表示并行训练的多个代理来更新模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;关于目标游戏的这些视觉表示的训练改进了在性能,数据效率和稳定性方面的模型更新。为了展示该架构的功能,Atari游戏Pong-v0和Breakout-v0正在OpenAI健身房环境中使用;作为源和目标环境。
translated by 谷歌翻译