通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式,大气条件,森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象,而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的,而用于损耗函数,我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后,图像被间接馈送到机器学习分类器。鉴于深度学习模型,通过传输学习使用微调Imagenet预训练模型的集合。到目前为止,我们的最佳分数与F2度量为0.927。
translated by 谷歌翻译
近年来,已经产生了大量的视觉内容,并从许多领域共享,例如社交媒体平台,医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战,特别是在寻找类似内容内容的图像检索(CBIR)-A的数据库中,即长期建立的研究区域,其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展,并大大促进了实例搜索过程。在本调查中,我们审查了最近基于深度学习算法和技术开发的实例检索工作,通过深网络架构类型,深度功能,功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法,在那里,我们识别里程碑工作,揭示各种方法之间的联系,并呈现常用的基准,评估结果,共同挑战,并提出未来的未来方向。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
神经网络(NNS)在广泛的应用中的成功导致对理解这些模型的潜在学习动态的兴趣增加。在本文中,我们通过采用图形透视并调查NNS图形结构与其性能之间的关系来超越学习动态的描述。具体地,我们提出(1)表示神经网络学习过程作为时间不断发展的图表(即,通过时代的一系列静态图形快照),(2)在简单的时间内捕获NN期间NN的结构变化发明内容,(3)利用结构摘要,以预测底层NN在分类或回归任务中的准确性。对于NNS的动态图形表示,我们探索完全连接和卷积层的结构表示,这是强大的NN模型的关键组件。我们的分析表明,图形统计数据简单摘要,如加权程度和特征向量中心,只能用于准确地预测NNS的性能。例如,基于Lenet架构的5次训练时期构造的基于加权的基于程度的概要,实现了超过93%的分类精度。我们的发现对于不同的NN架构,包括Lenet,VGG,AlexNet和Reset。
translated by 谷歌翻译
经验结果表明神经网络的可读性与其大小直接相关。为了数学方式证明这一点,我们借用拓扑代数的工具:Betti号码来衡量输入数据和神经网络的拓扑几何复杂性。通过以拓扑复杂性为神经网络的表征能力,我们进行彻底的分析,并表明网络的表现能力受其层的规模受到限制。此外,我们从网络内的每个层上得出了贝蒂数的上限。结果,改变了神经网络的架构选择的问题,以确定可以表示输入数据复杂度的网络的比例。利用所提出的结果,完全连接的网络的架构选择逐渐归功于网络的合适尺寸,使得它能够提供不小于输入数据的贝蒂数的贝蒂数。我们在真实的数据集Mnist上执行实验,结果验证了我们的分析和结论。该代码可公开可用。
translated by 谷歌翻译
人类每天产生的exabytes数据,导致越来越需要对大数据带来的多标签学习的大挑战的新努力。例如,极端多标签分类是一个有效且快速增长的研究区域,可以处理具有极大数量的类或标签的分类任务;利用具有有限监督的大规模数据构建一个多标签分类模型对实际应用变得有价值。除此之外,如何收获深度学习的强大学习能力,有巨大努力,以更好地捕获多标签的标签依赖性学习,这是深入学习解决现实世界分类任务的关键。然而,有人指出,缺乏缺乏系统性研究,明确关注分析大数据时代的多标签学习的新兴趋势和新挑战。呼吁综合调查旨在满足这项任务和描绘未来的研究方向和新应用。
translated by 谷歌翻译
随着深度学习技术的快速发展和计算能力的提高,深度学习已广泛应用于高光谱图像(HSI)分类领域。通常,深度学习模型通常包含许多可训练参数,并且需要大量标记的样品来实现最佳性能。然而,关于HSI分类,由于手动标记的难度和耗时的性质,大量标记的样本通常难以获取。因此,许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中,我们专注于这一主题,并对相关文献提供系统审查。具体而言,本文的贡献是双重的。首先,相关方法的研究进展根据学习范式分类,包括转移学习,积极学习和少量学习。其次,已经进行了许多具有各种最先进的方法的实验,总结了结果以揭示潜在的研究方向。更重要的是,虽然深度学习模型(通常需要足够的标记样本)和具有少量标记样本的HSI场景之间存在巨大差距,但是通过深度学习融合,可以很好地表征小样本集的问题方法和相关技术,如转移学习和轻量级模型。为了再现性,可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。
translated by 谷歌翻译
使用卷积神经网络,面部属性(例如,年龄和吸引力)估算性能得到了大大提高。然而,现有方法在培训目标和评估度量之间存在不一致,因此它们可能是次优。此外,这些方法始终采用具有大量参数的图像分类或面部识别模型,其携带昂贵的计算成本和存储开销。在本文中,我们首先分析了两种最新方法(排名CNN和DLDL)之间的基本关系,并表明排名方法实际上是隐含的学习标签分布。因此,该结果首先将两个现有的最新方法统一到DLDL框架中。其次,为了减轻不一致和降低资源消耗,我们设计了一种轻量级网络架构,并提出了一个统一的框架,可以共同学习面部属性分发和回归属性值。在面部年龄和吸引力估算任务中都证明了我们的方法的有效性。我们的方法使用单一模型实现新的最先进的结果,使用36美元\倍,参数减少3美元,在面部年龄/吸引力估算上的推动速度为3美元。此外,即使参数的数量进一步降低到0.9m(3.8MB磁盘存储),我们的方法也可以实现与最先进的结果。
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
无线电星系的连续排放通常可以分为不同的形态学类,如FRI,Frii,弯曲或紧凑。在本文中,我们根据使用深度学习方法使用小规模数据集的深度学习方法来探讨基于形态的无线电星系分类的任务($ \ SIM 2000 $ Samples)。我们基于双网络应用了几次射击学习技术,并使用预先培训的DENSENET模型进行了先进技术的传输学习技术,如循环学习率和歧视性学习迅速训练模型。我们使用最佳表演模型实现了超过92 \%的分类准确性,其中最大的混乱来源是弯曲和周五型星系。我们的结果表明,专注于一个小但策划数据集随着使用最佳实践来训练神经网络可能会导致良好的结果。自动分类技术对于即将到来的下一代无线电望远镜的调查至关重要,这预计将在不久的将来检测数十万个新的无线电星系。
translated by 谷歌翻译
深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中,我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标,可以计算使得发射强度最佳地满足这些目标的权重。有人认为,通过我们称之为级联解压缩的过程,使用培训的目标解决爆炸梯度的问题,并使损失功能表面更加光滑,因此导致更容易,培训更快,以及潜在的概括,神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用,这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合,以额外收益。实验结果表明了使用目标空间的速度,以及改进的泛化的示例,用于全连接的网络和卷积网络,以及调用和处理长时间序列的能力,并使用经常性网络进行自然语言处理。
translated by 谷歌翻译
机器学习研究人员长期以来在可解释性和预测性能之间进行了权衡。一方面,传统模型通常对人类解释,但他们无法实现高预测性能。在光谱的另一端,深层模型可以在许多任务中实现最先进的表演。然而,已知深度模型的预测对人类来说是不可诠释的。在本文中,我们提出了一种框架,缩短了两个上述方法组之间的间隙。鉴于人工神经网络(ANN),我们的方法发现了高斯过程(GP),其预测几乎与ANN的相匹配。由于GPS是高度可诠释的,我们使用训练有素的GP来解释ANN的决定。我们使用我们的方法来解释可能数据集的Anns的决定。解释提供了关于ANNS的决策的有趣见解。凭借我们的知识,我们对GPS的推理配方是第一个ANN和类似表现的高斯过程自然出现的第一个。此外,我们研究了GPS可解释的ANN的一些已知理论条件。其中一些理论条件对于现代建筑来说太限制了。然而,我们假设只有这些理论条件的子集就足够了。最后,我们将我们的框架作为一个名为GPEX的公开工具实施。鉴于任何Pytorch馈通模块,GPEX允许用户毫不费力地解释模块的任何ANN子组件,而无需参与推理算法。 GPEX在线公开提供:www.github.com/nilanjan- ray/gpex
translated by 谷歌翻译
正规化和转移学习是两种流行的技术,可以增强看不见数据的概念,这是机器学习的根本问题。正则化技术是多功能的,因为它们是任务和架构 - 不可知论,但它们不会利用大量数据。传输学习方法学会从一个域转移到另一个域的知识,但可能无法跨解任务和架构拓展,并且可能会引入适应目标任务的新培训成本。为了弥合两者之间的差距,我们提出了一种可转移的扰动,Metaperturb,这是荟萃学会,以提高看不见数据的泛化性能。 Metaperturb实现为基于集的轻量级网络,该网络是不可知的,其尺寸和输入的顺序,它们在整个层上共享。然后,我们提出了一个元学习框架,共同训练了与异构任务相同的扰动功能。正如Metaperturb在层次和任务的不同分布上训练的集合函数,它可以概括为异构任务和架构。通过将不同的神经架构应用于各种规范和微调,验证对特定源域和架构的Metaperturb培训的疗效和普遍性,验证了特定的源域和架构的疗效和普遍性。结果表明,Metaperturb培训的网络显着优于大多数任务和架构的基线,参数大小的忽略不计,并且没有封闭曲调。
translated by 谷歌翻译
结构化修剪是一种常用的技术,用于将深神经网络(DNN)部署到资源受限的设备上。但是,现有的修剪方法通常是启发式,任务指定的,并且需要额外的微调过程。为了克服这些限制,我们提出了一个框架,将DNN压缩成纤薄的架构,具有竞争性表现,并且仅通过列车 - 一次(OTO)减少重大拖车。 OTO包含两个键:(i)我们将DNN的参数分区为零不变组,使我们能够修剪零组而不影响输出; (ii)促进零群,我们制定了结构性稀疏优化问题,提出了一种新颖的优化算法,半空间随机投影梯度(HSPG),以解决它,这优于组稀疏性探索的标准近端方法和保持可比的收敛性。为了展示OTO的有效性,我们从划痕上同时培训和压缩全模型,而无需微调推理加速和参数减少,并且在CIFAR10的VGG16实现最先进的结果,为CIFAR10和Squad的BERT为BERT竞争结果在resnet50上为想象成。源代码可在https://github.com/tianyic/only_train_once上获得。
translated by 谷歌翻译
深度学习属于人工智能领域,机器执行通常需要某种人类智能的任务。类似于大脑的基本结构,深度学习算法包括一种人工神经网络,其类似于生物脑结构。利用他们的感官模仿人类的学习过程,深入学习网络被送入(感官)数据,如文本,图像,视频或声音。这些网络在不同的任务中优于最先进的方法,因此,整个领域在过去几年中看到了指数增长。这种增长在过去几年中每年超过10,000多种出版物。例如,只有在医疗领域中的所有出版物中覆盖的搜索引擎只能在Q3 2020中覆盖所有出版物的子集,用于搜索术语“深度学习”,其中大约90%来自过去三年。因此,对深度学习领域的完全概述已经不可能在不久的将来获得,并且在不久的将来可能会难以获得难以获得子场的概要。但是,有几个关于深度学习的综述文章,这些文章专注于特定的科学领域或应用程序,例如计算机愿景的深度学习进步或在物体检测等特定任务中进行。随着这些调查作为基础,这一贡献的目的是提供对不同科学学科的深度学习的第一个高级,分类的元调查。根据底层数据来源(图像,语言,医疗,混合)选择了类别(计算机愿景,语言处理,医疗信息和其他工程)。此外,我们还审查了每个子类别的常见架构,方法,专业,利弊,评估,挑战和未来方向。
translated by 谷歌翻译
了解深度神经网络(DNN)中的黑匣子表示是深度学习的重要问题。在这项工作中,我们提出了基于图形的相似性(GBS)来测量层特征的相似性。与之前的作品相反,在特征映射上直接计算相似度,GBS根据具有隐藏图层输出构造的图形来测量相关性。通过将每个输入样本视为节点和对应的层输出相似度作为边缘,我们构造了每层的DNN表示图。图层之间的相似性识别在不同数据集和初始化中培训的模型的表示之间的对应关系。我们展示并证明了GB的不变性属性,包括与各向同性缩放的正交转换和不变性的不变性,并与CKA进行比较GBS。 GBS显示了最先进的性能,反映了相似性,并提供了关于解释隐藏层空间上的对抗性样本行为的见解。
translated by 谷歌翻译
传输学习方法旨在使用在丰富的源域上掠过的模型来提高数据稀缺目标域中的性能。一种成本效益的策略,线性探测涉及冻结源模型并培训目标域的新分类头。此策略的表现优于更昂贵但最先进的方法 - 将源模型的所有参数微调到目标域 - 可能是因为微调允许模型从中间层利用有用的信息否则被稍后的净化层丢弃。我们探讨了这些中间层可能直接剥削的假设。我们提出了一种方法,头对脚趾探测(Head2ToE),其从源模型的所有层中选择特征,以训练目标域的分类头。在VTAB-1K的评估中,Head2Toe与平均微调获得的性能相匹配,同时减少培训和储存成本一百倍或更多,但批判性地,用于分配转移,头部2ToE优于微调。
translated by 谷歌翻译
近年来,通过提取基于规则的模型,提高了深度神经网络(DNN)的可解释性和调试性,这一直有很大的努力,该模型近似于其决策边界。然而,当前DNN规则提取方法在提取DNN的潜在空间时,当提取称为分解算法时,要么限制为单层DNN或难以称为DNN或数据的大小。在本文中,我们通过介绍EclaIRE来解决这些限制,这是一种能够缩放到大型DNN架构和大型训练数据集的新型多项式规则提取算法。我们在各种任务中评估乳房,从乳腺癌预后到粒子检测,并表明它一直提取比当前最先进的方法提取更准确和可理解的规则集,同时使用数量级的计算资源。我们通过开源混音库(https://github.com/mateoespinosa/remix),使我们的所有方法包括规则集可视化接口,包括规则集可视化接口。
translated by 谷歌翻译
我们通过应用更为理论证明的操作员来寻求改善神经网络中的汇集操作。我们证明Logsumexp提供了用于登录的自然或操作员。当一个人对池中汇集运算符中的元素数正确时,这将成为$ \ text {logavgexp}:= \ log(\ text {mean}(\ exp(x)))$。通过引入单个温度参数,LogavgeXP将其操作数的最大值平滑地过渡到平均值(在限制性情况下发现$ 0 ^ + $和$ t \ to + \ idty $)。在各种深度神经网络架构中,我们在实验测试的LogavgeXP,无论是没有学习的温度参数,都在电脑视觉中的各种深度神经网络架构中。
translated by 谷歌翻译
识别各个网络单元的状态对于了解卷积神经网络(CNNS)的机制至关重要。但是,它仍然有挑战性,可以可靠地指示单位状态,特别是对于不同网络模型中的单位。为此,我们提出了一种使用代数拓扑工具定量阐明CNN中单位状态的新方法。单位状态通过计算定义的拓扑熵来指示称为特征熵,该特征熵,测量隐藏在单位的全局空间模式的混沌程度。通过这种方式,特征熵可以提供不同网络中单位的准确指示,具有不同的情况,如权重操作。此外,我们表明特征熵随着层次更深,并且在训练期间几乎同时同时趋于趋势而分享。我们表明,通过调查仅在培训数据上的单位的特征熵,它可以从特征表示的有效性看出具有不同泛化能力的网络之间的歧视。
translated by 谷歌翻译