理解复杂机器学习模型功能的技术正变得越来越流行,不仅要改进验证过程,还要通过探索性分析提取有关数据的新见解。虽然目前存在大量此类工具,但大多数人认为预测是点估计并使用这些估计的敏感性分析来解释模型。使用轻量概率网络可以了解如何在灵敏度分析中包含预测不确定性:(i)更强大和可推广的模型; (ii)通过不确定性分解进行模型解释的新方法。特别是,我们引入了一种新的正则化,它将预测的均值和方差都考虑在内,并证明了所得到的网络为不可见的数据提供了改进的广义化。此外,我们提出了一种新技术,通过输入域中的不确定性来解释预测不确定性,从而提供验证和解释深度学习模型的新方法。
translated by 谷歌翻译
我们提出了一种新的预测器组合算法,该算法基于潜在相关的参考预测器来改进给定的任务预测器。现有方法的局限性在于,为了发现潜在的任务依赖性,它们要么需要所有预测变量的已知参数形式,要么访问所有预测变量共同评估的单个固定数据集。为了克服这些限制,我们设计了一种新的非参数任务依赖性估计程序,该程序自动对齐不相交特征集的异构预测器的评估。我们的算法被实例化为一个强大的流形扩散过程,它共同改进了估计的预测分配和相应的任务依赖性。我们将该算法应用于相对属性排序问题,并证明它不仅扩展了预测器组合方法的应用范围,而且即使应用于经典预测器组合设置也优于现有方法。
translated by 谷歌翻译
本文介绍了为SemEval-2019竞赛任务5hat-Eval Basile等开发的系统。 (2019)(团队名称:LU团队)和任务6 OffensEvalZampieri等。 (2019b)(团队名称:NLPR @ SRPOL),我们在子任务C中获得了第二个位置。系统在一个集合中组合了几个模型(LSTM,Transformer,OpenAI的GPT,随机森林,SVM)和各种嵌入(自定义,ELMo,fastText) ,Universal Encoder)以及其他语言功能(黑名单数量,特殊字符等)。该系统采用多层黑名单和大量爬行数据,注释为一般攻击性。在本文中,我们对结果进行了广泛的分析,并展示了特征和嵌入的组合如何影响模型的性能。
translated by 谷歌翻译
深度网络本质上消耗大量内存。我们可以在保持性能的同时减少内存需求。特别是,在这项工作中,我们解决了多个任务的记忆有效学习问题。为此,我们提出了一种新颖的网络体系结构,可以为不同的任务生成多个不同配置的网络,称为深度虚拟网络(DVN)。每个DVN都是专门的单一任务和分层结构。包含对应于不同数量的参数的多个层次结构的分层结构使得能够对不同的存储器预算进行多个推断。深度虚拟网络的构建块基于网络参数的不相交集合,我们将其称为单元。深度虚拟网络中最低级别的层次结构是一个单元,更高级别的层次结构包含较低级别的单元和其他附加单元。给定参数数量的预算,可以选择不同级别的深度虚拟网络来执行任务。一个单元可以由不同的DVN共享,允许单个网络中的多个DVN。此外,共享单元通过从其他任务中学到的额外知识为目标任务提供帮助。这种DVN的协作配置使得以记忆感知方式处理不同任务成为可能。我们的实验表明,所提出的方法优于现有的多任务方法。值得注意的是,我们的效率比其他任务更高,因为它允许对所有任务进行内存感知推理。
translated by 谷歌翻译
深度卷积神经网络在计算机视觉方面取得了显着的成功。然而,深度神经网络需要大型计算资源才能实现高性能。尽管深度可分离卷积可以是接近标准卷积的有效模块,但它常常导致网络的代表性能力降低。在本文中,计算成本(MAdds)和参数计数等预算约束,我们提出了一种新颖的基本架构块ANTBlock。它通过在高维空间中对ANTBlocks中的深度卷积层和投影层之间的通道的相互依赖性进行建模来增强表现能力。我们的实验表明,通过ANTBlocks的序列构建的ANTNet始终优于跨多个数据集的最先进的低成本移动卷积神经网络。在CIFAR100上,我们的模型的前1精度达到了75.7%,比MobileNetV2高1.5%,参数减少了8.3%,计算成本降低了19.6%。在ImageNet上,我们的模式在MobileNetV2上的iPhone 5s上的成功率为72.8%,前提精度为0.8%,提升了0.8%,速度为157.7毫秒(快了20%)。
translated by 谷歌翻译
递归神经网络语法(RNNG)是语言的生成模型,其通过以自上而下,从左到右的顺序递增地生成asyntax树和句子来联合地模拟语法和表面结构。受监督的RNNGsachieve强大的语言建模和解析性能,但需要解析的解析树语料库。在这项工作中,我们尝试了无人监督的RNNG学习。由于在潜在树木的空间上直接边缘化是难以处理的,我们改为采用摊销的变分推理。为了最大化证据下限,我们开发了一个推理网络,参数化为自然CRF选区解析器。在语言建模方面,无人监督的RNNG以及英语和汉语基准测试中的监督对应物。关于选区语法归纳,它们与最近的神经语言模型竞争,这些语言模型通过注意机制从单词引导树结构。
translated by 谷歌翻译
这项工作涉及一个移动的目标,追逐在杂乱的环境中配备视觉传感器的飞行器的任务。与无障碍或稀疏环境相比,追踪者应该能够在飞行效率的同时进行手动和闭塞。为了通过实时重新计划来解决这些挑战,我们引入了一个指标Fortarget可见性并提出了一个级联追逐计划器。通过图搜索方法,我们首先生成一系列追逐走廊和路径,确保安全并优化可见性。在接下来的阶段,走廊和航路点被用作二次编程中的约束和客观,我们从中完成一个动态可行的追踪轨迹。该算法在多种密集环境中进行了测试。具有完整代码实现和GUI的模拟器AutoChaser可以在以下网址找到://github.com/icsl-Jeon/traj_gen_vis
translated by 谷歌翻译
我们解决了语义对应的问题,即在描绘同一对象或场景类别的不同实例的图像之间建立腺体流场。我们建议使用带有二元前景掩模注释的图像并进行合成几何变形来训练用于此任务的卷积神经网络(CNN)。使用这些掩模作为监控信号的一部分,在语义流方法之间提供了良好的折衷,其中训练数据的数量受到手动选择点对应的成本的限制,以及语义对齐,其中图像之间的单个全局几何变换的回归可能是敏感的特定于图像的细节,例如背景杂乱。我们提出了一个新的CNN架构,称为SFNet,它实现了这个想法。它利用argmax功能的新的不同版本进行端到端训练,并将面罩和流量一致性与平滑度相结合。实验结果证明了我们的方法的有效性,它显着优于标准基准测试的最新技术水平。
translated by 谷歌翻译
我们提出了一种用于半监督视频对象分割的新颖解决方案。根据问题的性质,可用的提示(例如,具有对象掩模的视频帧)随着中间预测而变得更加丰富。但是,现有的方法无法充分利用这种丰富的信息来源。我们通过利用内存网络解决问题,并学习从所有可用来源中读取相关信息。在我们的框架中,具有对象掩码的过去帧形成外部存储器,并且使用存储器中的掩码信息对作为查询的当前帧进行分段。具体地,查询和存储器在特征空间中是完全匹配的,以前馈方式覆盖所有空时像素定位。与之前的方法相比,指导信息的大量使用使我们能够更好地处理诸如外观变化和遮挡之类的挑战。我们在最新的基准测试集中验证了我们的方法并获得了最先进的性能(Youtube-VOS val集的总分为79.4,分别为DAV.72016 / 2017 val设置的J为88.7和79.2),同时具有快速运行时间( 0.16秒/帧在DAVIS 2016 val set)。
translated by 谷歌翻译
本文介绍了如何适当采用和调整用于构建基于心电图(ECG)的生物特征认证方案的机器学习(ML)技术的框架。所提出的框架可以帮助研究人员和开发人员基于ECG的生物识别认证机制定义所需数据集的边界,并获得良好的培训数据。为了确定数据集的边界,采用用例分析。基于基于ECG的身份验证的各种应用场景,开发了三种用例(或认证类别)。通过向相应的机器学习方案提供更合格的训练数据,基于ML的ECG生物认证机制的精确性增加了无关紧要。在该框架中利用具有R峰锚定的ECG时间切片技术来获得具有良好质量的ML训练数据。在提出的框架中,引入了四个新的度量指标来评估ML训练和测试数据的质量。此外,开发了一个Matlab工具箱,其中包含所有提出的机制,度量和样本数据以及使用各种ML技术的演示,并且可供公众进一步研究。为了开发基于ML的ECG生物认证,所提出的框架可以指导研究人员准备适当的ML设置和ML训练数据集以及三个识别的用户案例场景。对于采用ML技术在其他研究领域设计新方案的研究人员而言,所提出的框架仍然可用于生成具有良好质量的ML基训练和测试数据集并利用新的测量方法。
translated by 谷歌翻译