本文的目标是处理数据稀缺情况,其中深度学习技术会失败。我们比较了两种成熟技术,限制玻尔兹曼机器和变分自动编码器的使用,以增加分类框架中的训练集。基本上,我们依靠马尔可夫链蒙特卡罗(MCMC)算法来生成新样本。我们表明,与其他最先进的技术(例如梯形网络的半监督学习)相比,可以改进泛化。此外,我们表明RBM比VAE更好,生成新样本用于训练具有良好概括能力的分类器。
translated by 谷歌翻译
因为大的,人类注释的数据集遭受标记错误,所以能够在labelnoise存在的情况下训练深度神经网络是非常重要的。虽然训练带有标签噪声的图像分类模型受到了很多关注,但训练文本分类模型却没有。在本文中,我们提出了一种训练深度网络的方法,该方法对标记噪声具有鲁棒性。该方法引入了非线性处理层(噪声模型),其将标签噪声的统计模型建模为卷积神经网络(CNN)架构。噪声模型和CNN权重是从嘈杂的训练数据中共同学习的,这可以防止模型过度拟合到不正确的标签。通过对几个文本分类数据集的广泛实验,我们表明这种方法使CNN能够学习更好的句子表示,并且即使对于极端标签噪声也是如此。我们发现这种噪声模型的正确初始化和正则化是至关重要的。此外,通过与大批量大小相关的结果来减轻图像分类的标签噪声,我们发现改变批量大小对分类性能没有太大影响。
translated by 谷歌翻译
在这项工作中,我们研究了梯度流消光剖面的非线性特征函数的计算。我们分析了一种递归地从给定数据中减去这种特征函数的方案,并且表明该过程在一些情况下将数据分解为特征函数,例如,作为1维总变差。我们讨论了数值实验的结果,其中我们使用消光轮廓和用于任务光谱图聚类的梯度流,例如在机器学习应用中。
translated by 谷歌翻译
在本文中,我们提出了一种使用具有加性余量softmax的双向双编码器来学习多语言句子嵌入的方法。嵌入能够在UnitedNations(UN)并行语料库检索任务上实现最先进的结果。在所有测试的语言中,系统达到86%或更高的P @ 1。我们使用通过我们的方法检索的对来获得NMT模型,这些模型实现了与在黄金对上训练的模型相似的性能。我们探索通过平均我们的嵌入来构建的简单文档级嵌入。在UN文档级检索任务中,对于所有实验语言对,文档嵌入在P @ 1上达到约97%。最后,我们在BUCC挖掘任务上评估所提出的模型。与当前最先进的模型相比,具有原始余弦相似性得分的学习嵌入获得了有竞争力的结果,并且与第二阶段的得分手在这项任务上达到了新的最新水平。
translated by 谷歌翻译
图分类是许多科学领域中的重要问题。它根据功能或化学和结构特性,将蛋白质和化合物的分类等任务分类。在受监督的环境中,这个问题可以被理解为学习一组标签图中的特征之间的结构,特征和关系,并且能够正确地预测未看图的标签或类别。当尝试应用已建立的分类算法时,由于需要图形的固定大小矩阵或张量表示,其在节点和边缘的数量上可能变化很大,因此出现了该任务的显着困难。在结合显式张量表示和基于标准图像的分类器的先前工作的基础上,我们提出了一种模型,通过从给定集合中的每个图形中提取固定大小张量信息并使用胶囊网络来执行分类来执行图分类。我们在这里考虑的图表是无向的,并且在节点上具有分类特征。使用标准基准化学和蛋白质数据集,我们证明我们的图形胶囊网络分类模型使用图的显式张量表示与当前状态图形核和图形神经网络模型竞争,尽管只有有限的超参数搜索。
translated by 谷歌翻译
电子功率逆变器能够快速输送无功功率,以维持客户电压在工作容差范围内并减少配电网中的系统损耗。本文提出了一种系统的数据驱动方法,以一种获得接近最优结果的方式确定无功功率逆变器输出作为局部测量的函数。首先,我们使用网络模型和历史负载和发电数据,并为网络中所有可控逆变器计算全局最优无功功率注入的最佳功率流。随后,我们使用回归来找到每个逆变器的函数,该函数将其本地历史数据映射到最佳无功功率注入的近似值。然后,所得到的函数用作参与的逆变器中的分散控制器,以基于新的局部测量来预测最优注入。该方法在执行电压和容量约束的损耗最小化和电压平坦化时实现了接近最优的结果,并且允许有效的伏特 - VAR优化(VVO)方案,其中传统控制设备与现有逆变器协作以促进具有更高水平的配电网络的安全操作。分布式发电
translated by 谷歌翻译
具有给定相对取向的一对二维硬质颗粒之间的排除区域是在另一个颗粒存在的情况下不能定位一个颗粒的区域。作为相对颗粒取向的函数的排除区域的大小在硬颗粒的体相行为的确定中起主要作用。我们使用主成分分析来识别不同类型的被排除的对应于随机生成的二维硬粒子,其被建模为非自相交多边形和星线(从共同起源辐射的线段)。只需要三个主要成分就可以很好地表示排除区域的值作为相对粒子方向的函数。独立于颗粒形状,当颗粒彼此平行时,总是实现排除区域的最小值。影响排除区域值最强的特性是粒子形状的伸长。主成分分析确定了在等间隔相对方向上具有一到四个全局最小值的排除区域的四种限制情况。我们使用蒙特卡罗模拟研究选定的粒子形状。
translated by 谷歌翻译
今天的机器人系统越来越多地转向计算上昂贵的模型,例如深度神经网络(DNN),用于定位,感知,计划和对象检测等任务。然而,资源受限的机器人,如低功率无人机,通常没有足够的机载计算资源或功率储备来可扩展地运行最准确的,最先进的网络计算模型。云机器人技术允许移动机器人将计算机卸载到集中式服务器,如果它们在本地不确定或想要运行更准确的计算密集型模型。然而,云机器人成为一个关键的,通常低估的成本:与云过度拥塞的无线网络通信可能导致延迟或数据丢失。实际上,通过拥塞网络从多个机器人发送高数据速率视频或LIDAR会导致实时应用程序的延迟过高,我们会通过实验测量。在本文中,我们制定了一个新的机器人卸载问题---机器人如何以及何时卸载传感任务,特别是如果它们不确定,在提高准确性的同时最大限度地降低云通信的成本?我们将卸载制定为机器人的顺序决策问题,并提出使用深度强化学习的解决方案。在使用最先进的视觉DNN的模拟和硬件实验中,我们的卸载策略将视觉任务性能提高了1.3-2.6倍的基准标记卸载策略,使机器人有可能显着超越其板载传感精度,但云通信成本有限。
translated by 谷歌翻译
分子设计的概率生成深度学习涉及新分子的发现和设计,并通过使用深度学习方法的概率生成模型分析它们的结构,性质和活性。它利用现有的大型数据库和实验结果的出版物以及量子力学计算来学习和探索分子结构,性质和活动。我们讨论了分子设计概率生成深度学习的主要组成部分,包括分子结构,分子表征,深度生成模型,分子潜在表征和潜在空间,分子结构 - 性质和结构 - 活性关系,分子相似性和分子设计。我们强调了最近使用或适用于这种新方法的重要工作。
translated by 谷歌翻译
准确地确定材料(有机物或无机物)的晶体结构是材料开发和分析中的关键主要步骤。最常见的实践涉及在实验室XRD,TEM和同步加速器X射线源中产生的衍射图案的分析。然而,这些技术很慢,需要仔细的样品制备,难以接近,并且在分析过程中容易出现人为错误。本文介绍了一种新开发的方法,它代表了基于电子衍射的结构分析技术的范式变化,有可能彻底改变多晶相关领域。利用电子背散射衍射(EBSD)技术,展示并演示了一种基于机器学习的方法,用于快速和自主地识别金属和合金,陶瓷和地质样品的晶体结构,而无需事先了解样品。电子背散射衍射图案是从具有众所周知的晶体结构的材料中收集的,然后构建深度神经网络模型用于分类到特定的布拉维点阵或点群。这种方法的适用性来自计算机未知的样本的衍射图案,没有任何人类输入或数据过滤。这与传统的Hough变换EBSD相比,它要求您已经确定了样本中存在的相位。通过可视化卷积神经网络学习的对称特征来阐明神经网络的内部操作。确定模型寻找晶体学家将使用的相同特征,尽管没有明确地编程这样做。这项研究打开了通过几种电子衍射技术实现晶体结构自动化,高通量测定的大门。
translated by 谷歌翻译