对于真实世界的语音识别应用,噪声稳健性仍然是一个挑战。在这项工作中,我们采用师生(T / S)学习技术,使用并行干净和嘈杂的语料库来改善多媒体噪声下的自动语音识别(ASR)性能。最重要的是,我们应用logits选择方法,该方法仅保留k个最高值,以防止教师错误地强调知识并减少传输数据所需的带宽。我们整合了长达8000小时的未转录数据,并且除了受过交叉熵训练的模型之外,还在序列训练模型上呈现我们的结果。与训练有序的教师相比,最佳序列训练的学生模型分别对我们的清洁,模拟噪声和真实测试集产生约10.1%,28.7%和19.6%的相关误差率(WER)减少。
translated by 谷歌翻译
车辆重新识别是一个重要的问题,随着视频监控和智能传输应用的快速扩展而变得可取。通过回顾人类视觉的识别过程,我们发现当人类识别不同的车辆时存在本地的等级依赖性。具体地,人类总是首先确定一个车辆的粗粒度类别,即汽车模型/类型。然后,在预测的汽车模型/类型的分支下,他们将通过细微的视觉线索(例如,定制的绘画和挡风玻璃)在细粒度水平上识别特定的车辆。受粗到细分层过程的启发,我们提出了一种用于车辆重新识别的端到端基于RNN的分层注意(RNN-HA)分类模型。 RNN-HA由三个相互耦合的模块组成:第一个模块生成车辆图像的图像表示,第二个层次模块模拟上述层级依赖关系,最后一个注意模块侧重于捕获特定车辆彼此之间的细微视觉信息识别。通过对两个车辆重新识别基准数据集VeRi和VehicleID进行全面的实验,我们证明了所提出的模型实现了超越现有技术的卓越性能。
translated by 谷歌翻译
深度尖峰神经网络(SNN)支持异步事件驱动计算,大规模并行性,并显示出提高其同步模拟对应的能量效率的巨大潜力。然而,在设计SNN学习规则时,神经编码的注意力不足。值得注意的是,时间信用分配已经在速率编码的尖峰输入上进行,导致学习效率低下。在本文中,我们引入了一种新的基于尖峰的速率编码深度SNN学习规则,其中每个神经元的尖峰数被用作梯度反向传播的替代。我们通过在UCI机器学习和MNIST手写数字数据集上训练深度尖峰多层感知器(MLP)和尖峰卷积神经网络(CNN)来评估所提出的学习规则。我们展示了所提出的学习规则在allbenchmark数据集上实现了最先进的精度。所提出的学习规则允许将延迟,尖峰速率和硬件约束引入到SNN学习中,这优于间接方法,其中传统的人工神经网络首先被训练然后被转换为SNN。因此,它允许直接部署到神经形态硬件并支持有效推理。值得注意的是,在我们的实验中,只有10个模拟时间步长,当训练时施加相同的延迟约束时,MNIST数据集的测试精度达到98.40%。
translated by 谷歌翻译
我们通过实证研究探索和竞争之间的相互作用。从与用户交互中学习的系统经常参与探索:做出潜在的次优决策,以获取未来决策的新信息。然而,当多个系统竞争同一个用户市场时,探索可能会在短期内损害系统的声誉,从而产生不利的竞争效应。特别是,当短期声誉成本减少系统要学习的用户数量时,系统可能输入“死亡螺旋”,这会降低其相对于竞争的性能并进一步降低其市场份额。我们询问是否有更好的探索算法在竞争中受到激励。我们在一个程式化的双寡头模型中进行了广泛的数值实验,其中两家公司部署多臂强盗算法并竞争近视用户。我们发现,垄断和垄断倾向于支持一种原始的“贪婪算法”,这种“贪婪算法”不会探索并导致低消费者福利,而当代垄断(具有早期参与者的双寡头)可能会激励更好的带宽算法并导致更高的消费者福利。我们的研究结果通过探索数据可以作为进入在线市场的障碍的角色,揭示了数字经济中的先发优势。
translated by 谷歌翻译
近年来,在端到端神经对话系统中生成信息响应引起了很多关注。以前的各种工作都利用了外部知识和对话背景来产生这样的反应。然而,很少有人证明他们有能力将适当的知识纳入应对措施。受此启发,本文提出了一种新的开放域对话生成模型,该模型采用后验知识分布来指导知识选择,从而在对话中生成更为恰当和信息丰富的响应。据我们所知,我们是第一个利用后验知识分布促进对话生成的人。我们对bot自动和人体评估的实验清楚地证实了我们模型优于最先进基线的优越性能。
translated by 谷歌翻译
图卷积网络(GCN)已成功应用于网络挖掘的节点分类任务。然而,大多数基于邻域聚合的模型通常较浅,缺乏“图池化”机制,这阻碍了模型获得足够的全局信息。为了增加感知域,我们提出了一种新的深层次图形卷积网络(H-GCN)对于半监督节点分类.H-GCN首先重复地将结构相似的节点聚合到超节点,然后将粗化的图形细化为原始图形以恢复每个节点的表示。所提出的粗化过程不是仅仅聚合单跳或双跳邻域信息,而是扩大了原始节点周围的接收场,因此可以学习更多的全局信息。在公共数据集上进行的综合实验证明了所提出的方法相对于最先进方法的有效性。值得注意的是,当仅提供极少数标记样品时,我们的模型获得了显着改善。
translated by 谷歌翻译
流形正则化,如拉普拉斯正则化最小二乘法(LapRLS)和拉普拉斯支持向量机(LapSVM),已被广泛应用于无损监督学习,其性能在很大程度上取决于某些超参数的选择。交叉验证(CV)是最常用的方法,可以选择最佳的超参数,但由于学习者培训的次数很多,因此它具有很高的复杂性。在本文中,我们提供了一种方法,基于一个称为Bouligand影响函数(BIF)的鲁棒统计学概念,对流形正则化的CV进行近似。我们首先通过BIF的泰勒展开来提供近似CV的策略。然后,weshow如何计算一般损失函数的BIF,并进一步给出在多元正则化中模型选择的近似CV标准。所提出的流形正则化的近似CV只需要训练,因此可以显着提高传统CV的效率。实验结果表明,我们的近似CV与原始CV没有统计差异,但时间成本要小得多。
translated by 谷歌翻译
稀疏奖励是强化学习(RL)中最具挑战性的问题之一。事后体验重播(HER)试图通过重新标记目标来将失败的体验转化为成功体验来解决这个问题。尽管HER的有效性,HER的适用性有限,因为它缺乏紧凑和普遍的目标表示。我们通过TeacheR的建议(ACTRCE)提出增强体验,这是一种有效的强化学习技术,可以使用自然语言作为目标表示来实现HER框架。我们首先分析了目标表征之间的差异,并表明ACTRCE可以有效地解决难以应对的3D导航任务中的强化学习问题,而具有非语言目标表示的HER无法学习。我们还表明,通过语言目标表示,代理可以概括为看不见的指令,甚至可以通过单个词典推广到指令。我们进一步证明,使用后见之明来解决具有挑战性的任务是至关重要的,即使是少量的建议也足以让代理商达到良好的性能。
translated by 谷歌翻译
深度学习有监督学习已经取得了令人惊讶的性能不变的机器学习应用。但是,带注释的数据很昂贵。实际上,只有一小部分数据样本被注释。基于伪集算的方法已经实现了计算机视觉相关任务的最新结果。但是,它仍然依赖于由标记数据构建的初始模型的质量。标记较少的数据可能会大大降低模型性能。域约束是另一种规范后验的方法,但有一些限制。在本文中,我们提出了一种基于模糊域约束的框架,它失去了传统约束学习的要求,提高了半监督的模型质量。仿真结果表明了我们设计的有效性。
translated by 谷歌翻译
虽然指数乘积(POE)公式在串行连杆机器人的运动学建模中越来越受欢迎,但由于其对机器人的直观和简洁的几何解释,因此仍然是最广泛使用的Denavit-Hartenberg(D-H)符号。本文开发了一种解决方案,将POE模型自动转换为具有旋转,棱柱和螺旋关节的机器人的D-H模型,这是一套完整的三基本一自由度下对关节,用于构造一个串联机器人。所开发的转换算法可用于诸如校准的应用中,其中需要将D-H模型转换为用于识别的POE模型,然后返回到D-H模型以进行补偿。本文证明的两种模型的等价性也有利于对运动学参数可识别性的分析。发现一般POE模型中可识别参数的最大数量是5h + 4r + 2t + n + 6其中h,r,t和n分别代表螺旋,旋转,棱柱和一般关节的数量。还建议D-H模型中基础框架和工具框架的可识别性受到限制,而不是先前假设的任意六个参数。
translated by 谷歌翻译