对于文本分析,人们经常采用有损表示来完全忽略单词顺序或将每个单词嵌入为低维密集特征向量。在本文中,我们提出了卷积泊松因子分析(CPFA),其直接在无损表示上操作,该无损表示将每个文档中的字处理为高维单热矢量序列。为了表现其性能,我们进一步提出了卷积Poisson伽玛信念网络(CPGBN),它通过新概率汇集层将CPFA与伽马信念网络耦合。 CPFA将单词组成短语并捕获非常特定的短语级主题,而CPGBN进一步构建了更加通用的短语级主题的层次结构。为了有效推理,我们开发了Gibbs采样器和基于Weibull分布的卷积变分自动编码器。实验结果表明,CPGBN可以提取捕获单词顺序信息的高质量文本潜在表示,因此可以作为构建块来丰富各种忽略单词顺序的现有潜变量模型。
translated by 谷歌翻译
我们提出了基于互补搜索技术和新颖架构设计的下一代移动网络.MobileNetV3通过硬件网络架构搜索(NAS)与NetAdapt算法的补充,然后通过小说进行改进,调整到移动电话CPU建筑进步。本文探讨了自动搜索算法和网络设计如何协同工作,以利用互补的方法来改进艺术的总体状态。通过这个过程,我们创建了两个新的MobileNet模型:MobileNetV3-Large和MobileNetV3-Small,适用于高资源低用量用例。然后对这些模型进行调整并应用于对象检测和语义分割的任务。对于语义分割(或任何密集像素预测)的任务,我们提出了一种新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling(LR-ASPP)。 Weachieve移动分类,检测和分割的最新技术成果。与MobileNetV2相比,MobileNetV3-Large在ImageNet分类上的准确度提高了3.2%,同时将延迟降低了15%.MobileNetV2-Small的准确度提高了4.6%,同时与MobileNetV2相比,延迟降低了5%。 MobileNetV3-大检测速度提高了25%,与COCO检测时的MobileNetV2大致相同。 MobileNetV3-Large LR-ASPP比MobileNetV2 R-ASPP快30%,与Cityscapes细分的准确度相似。
translated by 谷歌翻译
机器学习已广泛应用于各种应用,其中一些涉及对隐私敏感数据的培训。已经研究了适度数量的数据库,包括自然语言数据中的信用卡信息和来自面部数据集的身份。然而,大多数这些研究都集中在监督学习模型上。由于深度强化学习(DRL)已经部署在许多现实世界的系统中,例如室内机器人导航,受过训练的DRL策略是否会泄露私人信息需要深入研究。为了总体上探讨这种隐私缺陷,我们主要提出了两种方法:基于遗传算法的环境动态搜索和基于影子策略的候选推理。我们进行了大量实验,以在各种设置下证明DRL中的此类隐私漏洞。我们利用所提出的算法来推断一些经过训练的GridWorld导航DRL代理并具有LiDAR感知的楼层平面图。所提出的算法可以正确推断大部分平面图,并使用策略梯度训练代理达到平均恢复率95.83%。此外,我们能够在连续控制环境和高精度的自动驾驶模拟器中恢复机器人配置。据我们所知,这是调查DRL设置中隐私泄漏的第一项工作,并且说明基于DRL的代理可能会从受过训练的策略中泄露隐私敏感信息。
translated by 谷歌翻译
深度神经网络容易受到对抗性攻击。许多努力都集中在防御上,这些防御要么试图在经过训练的模型中修补“漏洞”,要么难以计算利用这些漏洞的对抗性例子。在我们的工作中,我们探索了一种反直觉的方法来构建“对抗性陷阱。与先前的作品不同,试图修补或掩盖流形中的脆弱点,我们故意注入”trapdoors“,歧管中的人为弱点将吸引优化的扰动吸引到某些预嵌入因此,对抗性生成功能自然地倾向于我们的陷阱,产生模型所有者可以通过已知的神经元激活签名识别的对抗性示例。在本文中,我们引入陷阱并描述使用类似策略的后门/特洛伊木马的实现我们通过主动将陷门注入模型(并提取其神经激活特征),我们可以检测到由现有技术攻击(投射梯度下降,基于CW优化和弹性网络)生成的对抗性示例,具有高检测成功率和对正常投入的影响可以忽略不计也可以概括多个分类域(图像识别,人脸识别和交通标志识别)。我们探索了活板门的不同属性,并讨论了潜在的对策(自适应攻击)和缓解措施。
translated by 谷歌翻译
热图回归已成为局部化地标的主流方法之一。随着卷积神经网络(CNN)和递归神经网络(RNN)在解决计算机视觉任务中变得越来越流行,已经在这些架构上进行了广泛的研究。然而,很少研究热图回归的损失函数。在本文中,我们分析了面部对齐问题中热图回归的理想损失函数属性。然后我们提出了一种新的损失函数,称为自适应翼损失,它能够使形状适应不同类型的地面真实热图像素。这种适应性将前景像素上的损失减少到零,同时在背景像素上留下一些损失。为了解决前景和背景像素之间的不平衡问题,我们还提出了加权损失图,它在背景和难以处理的背景像素上分配高权重,以帮助训练过程聚焦更多对地标定位至关重要的像素。为了进一步提高面部对准精度,我们引入边界预测和带边界坐标的CoordConv。包括COFW,300W和WFLW在内的不同基准测试的广泛实验表明,我们的方法在各种评估指标上的表现优于现有技术。此外,自适应Wingloss还可以帮助其他热图回归任务。代码将公开发布。
translated by 谷歌翻译
多标签学习在许多现实世界的应用程序中引起了极大的兴趣。通过oracle为一个实例分配许多标签是一项非常昂贵的任务。同时,如果不诊断出歧视性标签,也很难建立一个好的模型。我们是否可以降低标签成本并提高同时为多标签学习提供良好模型的能力?主动学习通过查询最有价值的样本来解决较少的训练样本问题,从而以较低的成本实现更好的性能。在多标签主动学习中,已经进行了一些研究,用于查询具有较少训练样本的相关标签或查询所有标签而不校正判别信息。他们都不能有效地处理异常值标签以测量不确定性。由于MaximumCorrentropy Criterion(MCC)为许多机器学习和数据挖掘算法中的异常值提供了鲁棒性分析,本文通过合并不确定性和代表性,推导出一种基于MCC的鲁棒多标签主动学习算法,并提出了一种有效的交替优化方法。 。使用MCC,我们的方法可以消除不具有判别性的异常标记对测量不确定性的影响。为了进一步提高信息测量的能力,我们将不确定性和代表性与未知数据的预测标签相结合。它不仅可以增强不确定性,还可以提高标签信息对多标签数据的相似性度量。基准多标签数据集的实验表现出优于最先进方法的优越性能。
translated by 谷歌翻译
我们怎样才能找到一种选择最合适的样品来驱动分类器的一般方法?即使前面的信息非常有限? Activelearning可以被视为一种迭代优化程序,它可以构建一个精细的训练集,以提高各种应用程序中的分类性能,如文本分析,图像识别,社交网络建模等。尽管结合了代表性和信息性。样本已被证明有希望进行主动采样,最先进的方法可以执行某些数据结构。那么我们是否可以找到一种方法来融合两个有效采样标准而无需对数据进行任何假设?本文提出了一种有效融合这两个标准的基因学习框架。受双样本差异问题的启发,精心设计了三重度量,以保证查询样本不仅具有未标记数据的代表性,而且还显示标记数据的多样性。可以采用任何适当的相似性度量来构建三重度量。同时,利用不确定性度量来生成信息性标准,其可以以不同方式执行。根据该框架,提出了一种实用的主动学习算法,该算法利用径向基函数和估计的概率来构建三重度量,并分别采用修正的最佳 - 次 - 最佳策略来构建不确定度量。基准数据集的实验结果表明,与最先进的学习算法相比,算法始终能够实现卓越的性能。
translated by 谷歌翻译
LiDAR相机校准是许多异构系统的先决条件,这些系统融合了LiDAR和相机的数据。然而,来自公共视野的约束和严格时间同步的要求使得校准成为具有挑战性的问题。在本文中,我们提出了一种混合的LiDAR相机校准方法,旨在解决这两个难题。 LiDAR和相机之间的配置没有他们共同的视野,我们移动相机以覆盖LiDAR观察到的情景。可以通过由移动相机获得的连续视觉图像来实现对环境的3D视觉重建,其随后可以与在场景和设备都是静止时捕获的单个3D激光扫描对准。在这种设计下,我们的方法可以进一步摆脱LiDAR与相机之间时间同步的影响。此外,由移动相机获得的扩展视野可以提高校准精度。我们得出了我们方法的最小可观测性条件,并讨论了不同位置的测量板对校准精度的影响,可以作为设计高精度校准程序的指南。我们在仿真平台和现实世界数据集上验证我们的方法。实验表明,我们的方法可以实现比其他可比方法更高的准确性。
translated by 谷歌翻译
虽然贝叶斯神经网络(BNN)已经引起越来越多的关注,但由于高维度和过度参数化的性质,它们的后向推断仍然具有挑战性。为了解决这个问题,已经提出了几种基于粒子优化思想的高度灵活和可扩展的变分推理过程。这些方法直接优化一组粒子以接近目标后验。然而,它们对BNN的应用通常会产生次优性能,因为这种方法在过度参数化模型上具有特定的故障模式。在本文中,我们建议通过直接在回归函数空间中进行粒子优化来解决这个问题。我们通过大量实验证明,我们的方法成功地克服了这个问题,并且在各种任务中表现优于强大的基线,包括预测,防御对抗性示例和强化学习。
translated by 谷歌翻译
自我关注网络是一种基于注意力的前馈神经网络,最近已经显示出在各种NLP任务中取代递归神经网络(RNN)的潜力。然而,目前尚不清楚自我关注网络是否是自动语音识别(ASR)中RNN的良好替代,其自动语音识别处理较长的语音序列并且可能具有在线识别要求。在本文中,我们提出了一个无RNN的端到端模型:自注意对准器(SAA),它将自注意网络应用于简化的递归神经对准器(RNA)框架。我们还提出了一种跳槽机制,它使SAA模型能够一个接一个地对分段帧块进行编码,以支持在线识别。两个Mandarin ASR数据集上的实验表明,自注意网络替代RNN会产生8.4%-10.2%的相对字符错误率(CER)减少。此外,块跳跃机制允许SAA仅具有2.5%的相对CER降级,具有320ms的延迟。在与自我关注网络语言模型联合训练后,我们的SAA模型在多个数据集上获得进一步的错误率降低。特别是,它在马来西亚ASR基准(HKUST)上达到了24.12%的CER,超过了最佳的端到端模型,超过2%的绝对CER。
translated by 谷歌翻译