Hypernym发现是找到与给定术语具有关系的术语的问题。我们引入了一种新的上下文类型,以及用于区分上位词与其他类型的语义关系的相关性度量。我们的文档结构度量基于文档中术语的层次位置,以及它们在定义文本中的存在或其他。此度量使用多个属性和加权距离函数的类来量化文档结构。
translated by 谷歌翻译
实体类型分类可以定义为将类别标签分配给文档中的实体提及的任务。虽然神经网络最近改进了一般实体提及的分类,但模式匹配和其他系统继续用于对个人数据实体进行分类(例如,将组织分类为媒体公司或政府机构用于GDPR,以及HIPAA合规性)。我们提出了一种神经模型来扩展可以在细粒度级别上分类的个人数据实体类别,使用现有模式匹配系统的输出作为附加上下文特征。我们引入新资源,包含134种类型的个人数据实体层次结构,以及来自维基百科当选代表和安然电子邮件页面的两个数据集。我们希望这些资源有助于在个人数据发现领域进行研究,为此,我们在这些数据集上提供基线结果,并将我们的方法与onoNooNotes数据集上的最新模型进行比较。
translated by 谷歌翻译
实体类型(ET)的演变导致了多重数据集的产生。这些数据集从粗粒度到细粒度,包括众多域。现有工作主要侧重于独立地改善模型在单个数据集上的性能。 ET的这种狭隘的观点导致两个问题:1)当关于测试数据域或目标标签集的信息不可用时的类型分配; 2)当具有更精细类型注释的同一域中没有数据集时,细粒度类型预测。我们的目标是将重点从单个特定领域的数据集转移到ET可用的所有数据集。在我们提出的方法中,我们将所有数据集的标签集转换为统一的分层标签集,同时保留各个标签的语义属性。然后利用分离标签丢失,我们训练基于单个神经网络的分类器,用于ET任务的每个可用数据集。我们凭经验评估了我们的方法对七个真实世界不同的ET数据集的有效性。结果表明,对多个数据集的组合训练有助于模型更好地推广并预测所有域中的精细类型,而无需在评估期间依赖于特定的域或标签集信息。
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
在自动驾驶汽车中,异物检测,物体分类,车道检测和物体跟踪被认为是关键模块。在不久的时间里,使用实时视频,人们想要讲述安装在我们车辆中的摄像机拍摄的场景。为了有效地实现该任务,广泛使用深度学习技术和自动视频注释工具。在本文中,我们比较了foreach模块可用的各种技术,并使用适当的度量标准选择其中的最佳算法。对于物体检测,考虑YOLO和Retinanet-50,并且基于平均平均精度(mAP)选择最佳的物体。对于对象分类,我们考虑VGG-19和Resnet-50,并选择基于低错误率和良好准确性的最佳算法。对于车道检测,比较Udacity的“找出车道线”和基于深度学习的LaneNet算法,并选择能够准确识别给定车道的最佳车道进行实施。就目标跟踪而言,我们比较了Udacity的“对象检测和跟踪”算法和基于深度学习的深度排序算法。基于在许多帧中跟踪相同对象并预测对象移动的准确性,选择最佳算法。与人类注释器相比,我们的自动视频注释工具准确率为83%。我们考虑了一个分辨率为1035 x 1800像素的530帧视频。平均每帧约有15个物体。我们的注释工具在基于CPU的系统中耗时43分钟,在基于GPU的中级系统中耗时2.58分钟,以处理所有四个模块。但同一个视频花了近3060分钟,一个人类注释器在给定的视频中叙述场景。因此,我们声称我们提出的自动视频注释工具相当快(在GPU系统中大约1200次)并且准确。
translated by 谷歌翻译
我们提出了一种神经混合模型,该模型由在由深度可逆变换(即,正常化流动)计算的特征的一组上定义的线性模型组成。我们模型的一个吸引人的特性是,p(特征),特征密度和p(目标|特征),预测分布,可以在单个前馈传递中精确计算。我们表明,尽管存在可逆性约束,我们的混合模型可以实现与纯预测模型的相似性。然而,尽管存在混合优化目标,生成组件仍然是输入特征的良好模型。这提供了额外的功能,例如检测分发外输入和启用半监督学习。精确关联密度p(目标,特征)的可用性也使我们可以很好地计算许多量,使我们的混合模型成为概率深度学习的下行应用的有用构建块。
translated by 谷歌翻译
图像极大地有助于理解,解释和可视化数据。对图像添加文本描述是网络可访问性的首要原则。使用屏幕阅读器的视障用户将使用这些文字描述来更好地理解数字内容中存在的图像。在本文中,我们建议Chart-Text是一个新颖的全自动系统,它可以创建图表图像的文本描述。给定图表的PNG图像,我们的图表文本系统会创建一个完整的文本描述。首先,系统对图表的类型进行分类,然后检测并分类图表中的标签和文本。最后,它使用特定的图像处理算法从图表图像中提取相关信息。我们提出的系统在对图表进行分类时的准确率达到99.72%,在提取数据和创建相应的文本描述时准确度达到78.9%。
translated by 谷歌翻译
语言是动态的,不断发展和适应时间,领域或主题。语言的适应性是一个活跃的研究领域,研究人员利用分词工具(如嵌入词)发现语言中的社会,文化和领域特定的变化。在本文中,我们介绍了检测语料库级语言转换的全局锚方法。我们从理论上和经验上证明了全局锚方法等同于对齐方法,这是一种广泛使用的方法,用于比较单词嵌入,检测语料库级语言转换的中介。尽管它们具有等价的检测能力,但我们证明了全局锚定方法在适用性方面具有优势,因为它可以比较不同维度的嵌入。此外,全局锚定方法具有实现和并行化的优点。我们证明了全局锚定方法揭示了语言和领域适应的演化中的细微结构。当与图拉普拉斯技术结合时,全局锚方法恢复不同文本语料库的进化轨迹和域聚类。
translated by 谷歌翻译
处理神经网络的统计无效率的一种方法是依靠辅助损失来帮助建立有用的表示。但是,要知道辅助任务是否对主任务有用以及何时可能开始受到伤害并不总是微不足道的。我们建议使用任务梯度之间的余弦相似性作为自适应权重来检测辅助损失何时有助于主要损失。我们证明了我们的方法可以保证收敛到主要任务的关键点,并证明了所提算法在几个领域的实用性:ImageNet子集上的多任务监督学习,强化学习ongridworld,以及Atari游戏的强化学习。
translated by 谷歌翻译
随着物联网(IoT)的出现,越来越多的能量收集方法被用于补充或取代基于电池的传感器。需要根据应用,硬件和环境条件配置能量收集传感器,以最大限度地利用它们。截至今天,传感器的配置基于手动或基于启发式,需要宝贵的领域专业知识。强化学习(RL)是一种有前途的自动化配置和有效扩展部署的方法,但在实践中尚未采用。我们提出了解决这一差距的解决方案:减少RL的训练阶段,以便节点在部署后的短时间内运行,并减少计算需求以扩展到大型部署。我们专注于配置基于室内太阳能电池板的能量收集传感器的采样率。我们基于从5个传感器节点收集的3个月的数据创建了一个模拟器,受到不同的照明条件的影响。我们的仿真结果表明,RL可以有效地学习能量可用性模式,并配置感知器的采样率,以最大化传感数据,同时确保能量存储不耗尽。通过使用我们的方法,节点可以在第一天内运行。我们表明,通过对共享相似照明条件的节点使用单个策略,可以减少RL策略的数量。
translated by 谷歌翻译