修剪是一种有效的模型压缩技术,用于消除深度神经网络(DNN)连通性中的冗余。然而,使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性,这取决于索引表示方案。因此,细粒度修剪由于其不规则的索引形式导致大的内存占用和卷积和矩阵乘法的低并行性而没有引起太多关注。在本文中,我们提出了一种新的网络修剪技术,它生成一个低秩二进制索引矩阵来压缩索引数据,而解压缩索引数据则通过简单的二进制矩阵乘法来执行。该提出的压缩方法找到特定的细粒度修剪掩模,其可以被分解成两个二进制矩阵。 Wealso提出了一种基于区块的分解技术,不仅可以降低内存需求,还可以提高压缩率。与先前的稀疏矩阵格式相比,可以使用少得多的DNN模型,同时保持相同的修剪率。
translated by 谷歌翻译
我们将为图像处理开发的预定义内核(也称为滤波器或掩模)应用于卷积神经网络。我们不是让神经网络找到自己的内核,而是在卷积神经网络的第一层使用了41种不同的通用内核,包括边缘检测,锐化,离散余弦变换等。这种结构称为通用滤波卷积神经网络(GFNN),与常规卷积神经网络(CNN)相比,可以将训练时间缩短30%,并具有更高的精度。 GFNN也可以通过仅500个样品进行90%的准确度训练。此外,即使这些内核不是针对MNIST数据集专门化的,我们在没有任何其他特殊算法的情况下也达到了99.56%的准确率。
translated by 谷歌翻译
完全自动化机器学习管道是一般人工智能的一个突出挑战,因为实际的机器学习需要昂贵的人工驱动过程,例如超参数调整,算法选择和模型选择。在这项工作中,我们考虑执行自动化但可扩展的搜索的问题,以便在实践中找到基于最佳梯度的元学习者。作为一种解决方案,我们通过吸引基于一般梯度的元学习者的模式诊断性质,将渐进式神经结构搜索应用于原始架构。在Finn \ textit {etal。} \ cite {finn:universality_maml:DBLP:/ journals / corr / abs-1710-11622}的最新普遍性结果的存在下,oursearch是神经网络结构搜索动力学的先验动机---自动化是否存在 - 由于存在梯度更新操作符,可能与具有相同目标任务的经典设置完全不同。后验,我们的搜索算法,给定适当设计的搜索空间,发现基于梯度的元学习者具有非直观的本体结构,这是非常深的,不像先前在传统的NAS算法的结构体系中观察到的初始结构。除了这些值得注意的发现之外,搜索到的基于梯度的学习者在Mini-ImageNet上的几个镜头分类问题上获得了最先进的结果,精确度为76.29美元\%$,相对于报告的结果,报告的结果为13.18美元%。原创MAML论文。据我们所知,这项工作是元学习中第一个成功实现的AutoML实现。
translated by 谷歌翻译
Attempts to train a comprehensive artificial intelligence capable of solvingmultiple tasks have been impeded by a chronic problem called catastrophicforgetting. Although simply replaying all previous data alleviates the problem,it requires large memory and even worse, often infeasible in real worldapplications where the access to past data is limited. Inspired by thegenerative nature of hippocampus as a short-term memory system in primatebrain, we propose the Deep Generative Replay, a novel framework with acooperative dual model architecture consisting of a deep generative model("generator") and a task solving model ("solver"). With only these two models,training data for previous tasks can easily be sampled and interleaved withthose for a new task. We test our methods in several sequential learningsettings involving image classification tasks.
translated by 谷歌翻译
情感分析是一种流行的意见挖掘技术,已被软件工程研究界用于评估appreviews,开发者在问题跟踪器中的情绪以及开发人员对API的看法等任务。最新研究表明,最先进的情绪分析技术有很多。 SE数据表现不佳。这是因为情绪分析工具被设计用于处理非技术文档,例如电影评论。在本研究中,我们尝试通过提出基于卷积神经网络(CNN)和在预训练的单词向量之上训练的长短期记忆(LSTM)的分层模型来解决现有的SE文本情感分析技术的问题。我们通过将其与五个黄金标准数据集上的一些常用情感分析数据进行比较来评估我们的模型的性能和可靠性。我们的结果表明,我们的模型在准确性方面进一步在所有数据集上展示了最新技术水平。我们还表明,在标记数据集的一小部分样本并重新训练我们的模型而不是使用无监督的分类器之后,可以获得更好的准确性。
translated by 谷歌翻译
降维(DR)经常用于分析和可视化高维数据,因为它提供了数据的良好第一眼。但是,要解释DR结果以从数据中获得有用的见解,需要进行额外的分析工作,例如识别群集和理解其特征。虽然有许多自动方法(例如,基于密度的聚类方法)来识别聚类,但仍然缺乏有效理解聚类特征的方法。 Acluster的主要特征在于其特征值的分布。当特征的数量很大时,查看原始特征值并不是一项简单的任务。为了应对这一挑战,我们提出了一种视觉解析方法,可有效突出DR结果中acluster的基本特征。为了提取基本特征,我们引入了对比主成分分析(cPCA)的增强用法。我们的方法可以计算每个特征对一个集群与其他集群之间对比的相对贡献。通过我们基于cPCA的方法,我们创建了一个交互式系统,包括集群特征贡献的可扩展可视化。我们使用几个公开可用的数据集证明了我们的方法和系统的有效性。
translated by 谷歌翻译
本研究旨在研究人类和连接模型如何在算术问题中遇到困难之间的相似性。问题困难是通过解决agiven问题所涉及的数量来实现的。通过响应时间在人体中测量问题困难,并且通过计算步骤在模型中测量。本研究发现,在解决二元加法和减法问题时,人类和连接模型都会遇到类似的困难。具体而言,两种药剂都发现难以在携带次数方面严格增加。另一个值得注意的相似之处在于,对于人类和连接模型,问题难度在减法中增加得更多。进一步研究两个模型超参数---置信度阈值和隐藏度 - 显示出更高的置信度阈值,使模型采取更多的计算步骤来得出正确的答案。同样,较大的隐藏维度会导致模型采取更多计算步骤来正确解决算法问题;但是,隐藏尺寸的这种影响可以忽略不计。
translated by 谷歌翻译
分级乳房密度对数字乳房X线照片的标准化设置高度敏感,因为密度与像素强度的分布紧密相关。此外,由于不确定的评分标准,成绩因读者而异。这些问题是数字乳腺摄影密度评估中固有的问题。当设计用于乳房密度的计算机辅助预测模型时它们是有问题的,并且如果数据来自多个数据则变得更糟。在本文中,我们提出了两种新的乳房密度预测深度学习技术:1)光度变换,自适应地标准化输入乳房X线照片,和2)标签蒸馏,通过使用其输出预测来调整标签。光度变换器网络预测用于动态光度变换的最佳参数,与主预测网络一起学习。标签蒸馏是一种假标签技术,旨在减轻分级变化。我们实验表明,所提出的方法在乳房密度预测方面是有益的,与以前的各种方法相比,导致显着的性能提高。
translated by 谷歌翻译
最近成功的脑激发深度神经网络(DNN)在解决复杂的高级视觉任务方面已经导致人们对其与人类视觉系统匹配的潜力的期望越来越高。然而,DNN表现出的异性表明它们的视觉表现和处理可能与人类视觉完全不同。 DNN的一个限制是它们易受对抗性示例的影响,输入图像上添加了细微的,精心设计的噪声以欺骗机器分类器。人类视觉系统对抗对抗性示例的稳健性可能具有重要意义,因为它可以揭示机器视觉融合的关键机制特征。在这项研究中,我们通过利用功能磁共振成像(fMRI)比较DNN和人类中白色和黑盒对抗性实例的视觉表现。我们发现对于人类和DNN的不同(即白盒与黑盒)类型的对抗性示例的表示模式存在小但显着的差异。然而,与DNN不同,无论类型如何,人类对分类判断的表现都不会受到噪音的影响。这些结果表明,对抗性的例子可能会在人类视觉系统中出现,但不能影响感知体验。
translated by 谷歌翻译
由于不同的布局可以表征同一图形的不同方面,因此找到图形的“良好”布局是图形化的重要任务。在实践中,用户通常使用不同的方法和不同的参数设置在多个布局中可视化图形,直到找到最适合可视化目的的布局。然而,这种误入歧途的过程通常是随意且耗时的。为了向用户提供导航布局设计空间的直观方式,我们提出了一种技术,使用深度生成模型系统地可视化不同布局的图形。我们设计了一个编码器 - 解码器架构来学习一个示例布局集合的模式,其中编码器在潜在空间中表示训练样本,解码器从后期空间生成布局。特别是,我们训练模型构建一个二维潜在空间,供用户轻松探索和生成各种布局。我们通过对生成的布局进行定量和定性评估来证明我们的方法。我们的评估结果表明,我们的模型能够学习和概括图形布局的抽象概念,而不仅仅是简化培训示例。总之,本文提出了一种新的图形可视化新方法,其中机器学习模型学习如何从示例中可视化图形而无需手动定义的启发式。
translated by 谷歌翻译