语言是动态的,不断发展和适应时间,领域或主题。语言的适应性是一个活跃的研究领域,研究人员利用分词工具(如嵌入词)发现语言中的社会,文化和领域特定的变化。在本文中,我们介绍了检测语料库级语言转换的全局锚方法。我们从理论上和经验上证明了全局锚方法等同于对齐方法,这是一种广泛使用的方法,用于比较单词嵌入,检测语料库级语言转换的中介。尽管它们具有等价的检测能力,但我们证明了全局锚定方法在适用性方面具有优势,因为它可以比较不同维度的嵌入。此外,全局锚定方法具有实现和并行化的优点。我们证明了全局锚定方法揭示了语言和领域适应的演化中的细微结构。当与图拉普拉斯技术结合时,全局锚方法恢复不同文本语料库的进化轨迹和域聚类。
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
本文开发了一种机器人将稳定性整合到主动通过覆盖进行信息测量的方法。我们使用混合系统理论推导出一个控制器,它允许我们在主动数据收集期间考虑安全的均衡。我们证明了我们的方法能够在仍然积极寻找数据的同时保持Lyapunov的吸引力。使用增量稀疏高斯过程,我们定义分布,允许机器人主动寻找信息测量。我们使用推车双摆,动态模型学习驾驶四旋翼,并通过从罗宾学校环境学习半猎豹系统的动力学模型,从静止平衡开始产生舞动步态来说明我们的形状估计方法。
translated by 谷歌翻译
我们提出了一种神经混合模型,该模型由在由深度可逆变换(即,正常化流动)计算的特征的一组上定义的线性模型组成。我们模型的一个吸引人的特性是,p(特征),特征密度和p(目标|特征),预测分布,可以在单个前馈传递中精确计算。我们表明,尽管存在可逆性约束,我们的混合模型可以实现与纯预测模型的相似性。然而,尽管存在混合优化目标,生成组件仍然是输入特征的良好模型。这提供了额外的功能,例如检测分发外输入和启用半监督学习。精确关联密度p(目标,特征)的可用性也使我们可以很好地计算许多量,使我们的混合模型成为概率深度学习的下行应用的有用构建块。
translated by 谷歌翻译
图像极大地有助于理解,解释和可视化数据。对图像添加文本描述是网络可访问性的首要原则。使用屏幕阅读器的视障用户将使用这些文字描述来更好地理解数字内容中存在的图像。在本文中,我们建议Chart-Text是一个新颖的全自动系统,它可以创建图表图像的文本描述。给定图表的PNG图像,我们的图表文本系统会创建一个完整的文本描述。首先,系统对图表的类型进行分类,然后检测并分类图表中的标签和文本。最后,它使用特定的图像处理算法从图表图像中提取相关信息。我们提出的系统在对图表进行分类时的准确率达到99.72%,在提取数据和创建相应的文本描述时准确度达到78.9%。
translated by 谷歌翻译
处理神经网络的统计无效率的一种方法是依靠辅助损失来帮助建立有用的表示。但是,要知道辅助任务是否对主任务有用以及何时可能开始受到伤害并不总是微不足道的。我们建议使用任务梯度之间的余弦相似性作为自适应权重来检测辅助损失何时有助于主要损失。我们证明了我们的方法可以保证收敛到主要任务的关键点,并证明了所提算法在几个领域的实用性:ImageNet子集上的多任务监督学习,强化学习ongridworld,以及Atari游戏的强化学习。
translated by 谷歌翻译
Hypernym发现是找到与给定术语具有关系的术语的问题。我们引入了一种新的上下文类型,以及用于区分上位词与其他类型的语义关系的相关性度量。我们的文档结构度量基于文档中术语的层次位置,以及它们在定义文本中的存在或其他。此度量使用多个属性和加权距离函数的类来量化文档结构。
translated by 谷歌翻译
随着物联网(IoT)的出现,越来越多的能量收集方法被用于补充或取代基于电池的传感器。需要根据应用,硬件和环境条件配置能量收集传感器,以最大限度地利用它们。截至今天,传感器的配置基于手动或基于启发式,需要宝贵的领域专业知识。强化学习(RL)是一种有前途的自动化配置和有效扩展部署的方法,但在实践中尚未采用。我们提出了解决这一差距的解决方案:减少RL的训练阶段,以便节点在部署后的短时间内运行,并减少计算需求以扩展到大型部署。我们专注于配置基于室内太阳能电池板的能量收集传感器的采样率。我们基于从5个传感器节点收集的3个月的数据创建了一个模拟器,受到不同的照明条件的影响。我们的仿真结果表明,RL可以有效地学习能量可用性模式,并配置感知器的采样率,以最大化传感数据,同时确保能量存储不耗尽。通过使用我们的方法,节点可以在第一天内运行。我们表明,通过对共享相似照明条件的节点使用单个策略,可以减少RL策略的数量。
translated by 谷歌翻译
实体类型分类可以定义为将类别标签分配给文档中的实体提及的任务。虽然神经网络最近改进了一般实体提及的分类,但模式匹配和其他系统继续用于对个人数据实体进行分类(例如,将组织分类为媒体公司或政府机构用于GDPR,以及HIPAA合规性)。我们提出了一种神经模型来扩展可以在细粒度级别上分类的个人数据实体类别,使用现有模式匹配系统的输出作为附加上下文特征。我们引入新资源,包含134种类型的个人数据实体层次结构,以及来自维基百科当选代表和安然电子邮件页面的两个数据集。我们希望这些资源有助于在个人数据发现领域进行研究,为此,我们在这些数据集上提供基线结果,并将我们的方法与onoNooNotes数据集上的最新模型进行比较。
translated by 谷歌翻译
计算材料科学中的关键问题涉及理解材料分布(即微结构)对材料性能的影响。挑战是在给定有限数量的微结构图像和/或微结构表现出的一些物理不变性的情况下合成微结构。传统方法基于随机优化并且是计算密集型的。我们介绍了三种生成模型,用于二元微结构图像的快速合成。第一个模型是WGAN模型,它使用有限数量的训练图像来合成新的微结构,这些微结构很少地满足原始数据所遵循的物理不变性。第二模型通过用不变检查器替换GAN中的传统鉴别器来明确地实施已知的物理不变性。我们的第三个模型将前两个模型组合在一起,重建了微观结构,这些结构主要考虑了隐式物理不变性以及从图像数据中学到的隐式约束。我们通过重建表现出粗化行为的两相微结构来说明这些模型。训练后的模型还表现出有趣的潜变量插值行为,结果表明在微结构合成中强制执行用户定义的物理约束。
translated by 谷歌翻译