虽然现代自动语音识别(ASR)系统可以实现高性能,但它们可能会产生削弱读者体验并对下游任务造成伤害的错误。为了提高ASR假设的准确性和可靠性,我们提出了一种用于语音识别器的跨模型后处理系统,其中1)熔断来自不同方式的声学特征和文本特征,2)接合置信度估计器和多个误差校正器任务学习时尚和3)统一纠错和话语抑制模块。与单模或单任务模型相比,我们提出的系统被证明更有效和高效。实验结果表明,我们的后处理系统导致对工业ASR系统的单扬声器和多扬声器语音相对降低的10%相对减少,每个令牌约为1.7ms延迟确保在流语音识别中可以接受后处理引入的额外延迟。
translated by 谷歌翻译
尽管在现实生活中取得了巨大成功,但深度加固学习(DRL)仍遭受三个关键问题,这是数据效率,缺乏可解释性和可转移性。最近的研究表明,将符号知识嵌入DRL是有希望解决这些挑战。灵感来自于此,我们介绍了一种具有象征性选项的新型深度加强学习框架。此框架具有循环培训程序,可通过规划自动从交互式轨迹中学到的行动模型和符号选项来指导政策的改进。学习的象征选项减轻了专家领域知识的密集要求,并提供了政策的内在可意识性。此外,通过使用动作模型规划,可以进一步提高可转移和数据效率。为了验证这一框架的有效性,我们分别对两个域名,蒙特沙姆的复仇和办公室世界进行实验。结果证明了可比性,提高了数据效率,可解释性和可转移性。
translated by 谷歌翻译
如今在电子商务平台上,产品呈现给客户提供多种方式。这些多种方式对于检索系统非常重要,同时为客户提供吸引产品。因此,如何同时考虑这些多种模式以提高检索性能至关重要。由于以下原因,此问题是对我们的巨大挑战:(1)用预先训练的图像模型(例如,基于CNN的模型)提取补丁功能的方式具有多大的电感偏差。很难从电子商务中的产品图像中捕获有效信息。 (2)多式联数据的异质性使其具有挑战性地构建常用子空间中的查询文本和产品的表示,包括标题和图像。我们提出了一种新的对抗性交叉模态增强杆(ACE-BERT),用于有效的电子商务检索。详细地,ACE-BERT利用补丁特征和像素特征作为图像表示。因此,变压器架构可以直接应用于原始图像序列。通过预先训练的增强件作为骨干网络,ACE-BERT通过添加域分类器来进一步采用对冲学习,以确保不同模态表示的分布一致性,以缩小查询和产品之间的表示差距。实验结果表明,ACE-BERT优于检索任务的最先进的方法。 ace-bert已经在我们的电子商务的搜索引擎中部署了ACE-BERT,导致收入增加1.46%。
translated by 谷歌翻译
HyperParameter在监督机器学习算法的拟合中起着重要作用。但是,它可以同时计算所有可调谐的超参数,特别是对于大数据集来调整所有可调谐的超参数昂贵。在本文中,我们给出了通过回忆程序估算的普遍同参数重要性的定义。根据重要性,然后可以更有效地在整个数据集上调整Quand参数。我们从理论上显示了对数据子集的建议重要性与在弱势条件下的人口数据中的一致性一致。数值实验表明,建议的重要性是一致的,可以节省大量的计算资源。
translated by 谷歌翻译
由于稀疏神经网络通常包含许多零权重,因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此,设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中,我们提出了一种新的自动修剪方法 - 稀疏连接学习(SCL)。具体地,重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此,由二进制掩模完全描述网络连接,其由单位步进函数调制。理论上,从理论上证明了使用直通估计器(STE)进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的,确保掩模变量在其最小值处收敛。在找到泄漏的Relu后,SoftPlus和Identity Stes可以满足这个原理,我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡,因此,我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码,我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数,因此在更大的假设空间中探讨了网络,以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明,SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性,精度和减少脚波特的SOTA人类设计和自动修剪方法训练。
translated by 谷歌翻译
基于宽高的情绪分析(ABSA)是一种细粒度的情绪分析任务。为了更好地理解长期复杂的句子,并获得准确的方面的信息,这项任务通常需要语言和致辞知识。然而,大多数方法采用复杂和低效的方法来结合外部知识,例如,直接搜索图形节点。此外,尚未彻底研究外部知识和语言信息之间的互补性。为此,我们提出了一个知识图形增强网络(kgan),该网络(kgan)旨在有效地将外部知识与明确的句法和上下文信息纳入。特别是,kgan从多个不同的角度来看,即基于上下文,语法和知识的情绪表示。首先,kgan通过并行地了解上下文和句法表示,以完全提取语义功能。然后,KGAN将知识图形集成到嵌入空间中,基于该嵌入空间,基于该嵌入空间,通过注意机制进一步获得了方面特异性知识表示。最后,我们提出了一个分层融合模块,以便以本地到全局方式补充这些多视图表示。关于三个流行的ABSA基准测试的广泛实验证明了我们康复的效果和坚固性。值得注意的是,在罗伯塔的预用模型的帮助下,Kggan实现了最先进的性能的新记录。
translated by 谷歌翻译
文档级关系提取(DRE)旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成,这可能是有问题的,因为库鲁弗提到对特定关系没有同样有贡献。此外,事先努力主要关注实体级的推理,而不是捕获实体对之间的全局相互作用。在本文中,我们提出了两种新颖的技术,上下文指导的集成和交互推理(CGM2IR),以改善DRE。而不是简单地应用平均池,而是利用上下文来指导在加权和方式中的经验提升的集成。另外,对实体对图的相互作用推理在实体对图上执行迭代算法,以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型,即Docred,CDR和GDA。实验结果表明,我们的模型优于以前的最先进的模型。
translated by 谷歌翻译
回声状态网络(ESN)是一种特殊类型的复发性神经网络,用于处理时间序列数据集。然而,受代理顺序样本之间的强相关的强烈相关性,基于ESN的策略控制算法难以使用递归最小二乘(RLS)算法来更新ESN的参数。为了解决这个问题,我们提出了两种新颖的政策控制算法,esnrls-q和esnrls-sarsa。首先,为了减少训练样本的相关性,我们使用泄漏的积分器ESN和迷你批量学习模式。其次,为了使RLS适用于迷你批量模式的训练ESN,我们提出了一种用于更新RLS相关矩阵的新平均近似方法。第三,为了防止ESN过度拟合,我们使用L1正则化技术。最后,为了防止目标状态动作价值高估,我们采用了MOLLMAX方法。仿真结果表明,我们的算法具有良好的收敛性能。
translated by 谷歌翻译
在本文中,我们使用两个无监督的学习算法的组合介绍了路边激光雷达物体检测的解决方案。 3D点云数据首先将球形坐标转换成球形坐标并使用散列函数填充到方位角网格矩阵中。之后,RAW LIDAR数据被重新排列成空间 - 时间数据结构,以存储范围,方位角和强度的信息。基于强度信道模式识别,应用动态模式分解方法将点云数据分解成低级背景和稀疏前景。三角算法根据范围信息,自动发现分割值以将移动目标与静态背景分开。在强度和范围背景减法之后,将使用基于密度的检测器检测到前景移动物体,并编码到状态空间模型中以进行跟踪。所提出的模型的输出包括车辆轨迹,可以实现许多移动性和安全应用。该方法针对商业流量数据收集平台进行了验证,并证明了对基础设施激光雷达对象检测的高效可靠的解决方案。与之前的方法相比,该方法直接处理散射和离散点云,所提出的方法可以建立3D测量数据的复杂线性关系较小,这捕获了我们经常需要的空间时间结构。
translated by 谷歌翻译
本文提出了一种机器学习增强的纵向扫描线方法,用于从大角度交通摄像机中提取车辆轨迹。通过将空间颞映射(STMAP)分解到稀疏前景和低秩背景,应用动态模式分解(DMD)方法来提取车辆股线。通过调整两个普遍的深度学习架构,设计了一个名为Res-Unet +的深神经网络。 RES-UNET +神经网络显着提高了基于STMAP的车辆检测的性能,DMD模型提供了许多有趣的见解,了解由Stmap保留的潜在空间结构的演变。与先前的图像处理模型和主流语义分割深神经网络进行比较模型输出。经过彻底的评估后,证明该模型对许多具有挑战性的因素来说是准确和强大的。最后但并非最不重要的是,本文从根本上解决了NGSIM轨迹数据中发现了许多质量问题。清除清洁的高质量轨迹数据,以支持交通流量和微观车辆控制的未来理论和建模研究。该方法是用于基于视频的轨迹提取的可靠解决方案,并且具有广泛的适用性。
translated by 谷歌翻译