Deep learning has arguably achieved tremendous success in recent years. In simple words, deep learning uses the composition of many nonlinear functions to model the complex dependency between input features and labels. While neural networks have a long history, recent advances have greatly improved their performance in computer vision, natural language processing, etc. From the statistical and scientific perspective, it is natural to ask: What is deep learning? What are the new characteristics of deep learning, compared with classical methods? What are the theoretical foundations of deep learning? To answer these questions, we introduce common neural network models (e.g., convolutional neural nets, recurrent neural nets, generative adversarial nets) and training techniques (e.g., stochastic gradient descent, dropout, batch normalization) from a statistical point of view. Along the way, we highlight new characteristics of deep learning (including depth and over-parametrization) and explain their practical and theoretical benefits. We also sample recent results on theories of deep learning, many of which are only suggestive. While a complete understanding of deep learning remains elusive, we hope that our perspectives and discussions serve as a stimulus for new statistical research.
translated by 谷歌翻译
因子模型是一类强大的统计模型,广泛用于处理从基因组学和神经科学到经济学和金融学的各种应用中经常出现的依赖性测量。随着数据的收集规模不断扩大,统计机器学习面临一些新的挑战:高维度,观察变量之间的强依赖性,重尾变量和异质性。高维鲁棒因子分析是一个强大的工具包,可以克服这些挑战。本文对高维因子模型及其在统计学中的应用进行了选择性概述,包括因子调整的轮回模型选择(FarmSelect)和因子调整的鲁棒多重检验(FarmTest)。我们表明,经典方法,特别是主成分分析(PCA),可以适应许多新问题,并提供强大的统计估计和推理工具。我们强调PCA及其与矩阵扰动理论,稳健统计,随机投影,失败发现率等的联系,并通过几个应用说明这些领域的见解如何为现代挑战提供解决方案。我们还提出了因子模型和流行的统计学习问题之间的远距离联系,包括网络分析和低秩矩阵恢复。
translated by 谷歌翻译
对高质量和低延迟多媒体服务的不断增长的需求引起了对边缘缓存技术的极大兴趣。受此启发,我们在本文中考虑了具有未知内容普遍性分布的基站的边缘缓存。为了解决制定高速缓存决策的动态控制问题,我们提出了一种基于深度行为者 - 强化学习的多智能体框架,旨在最小化整体平均传输延迟。为了评估提出的框架,我们将基于学习的性能与其他三种缓存策略进行比较,即最近最少使用(LRU),最少使用(LFU)和先进先出(FIFO)策略。通过仿真结果,已经确定了这三种缓存算法的提议框架的性能改进,并证明了它适应不同环境的优越性。
translated by 谷歌翻译
在本文中,一种新的统计度量学习被开发出高光谱图像的光谱空间分类。首先,每批中每个类的样本的标准方差用于降低每个类中的类级方差。然后,使用不同类别的平均值之间的距离来惩罚训练样本的类间方差。最后,添加不同类的平均值之间的标准方差作为附加的多样性项,以相互排斥不同的类。实验已在两个真实世界的高光谱图像数据集上进行,实验结果显示了所提出的统计度量学习的有效性。
translated by 谷歌翻译
在本文中,我们利用生成对抗网络和基于条件随机场(GAN-CRF)的框架来解决高光谱图像(HSI)分类任务,该框架集成了半监督深度学习和概率图形模型,并做出了三个贡献。首先,我们设计了四种类型的卷积和转置卷积层,它们考虑了HSI的特征,以帮助从有限数量的标记HSI样本中提取判别特征。其次,我们构建了受监督的GAN,通过添加标签来缓解训练样本的不足,并通过对抗训练隐式重建真实的HSI数据分布。第三,我们在随机变量的顶部建立密集的条件随机场(CRF),这些随机变量被初始化为训练的GAN的softmax预测,并以HSI为条件来改进分类图。这个半监督框架利用判别和生成模型的优点通过游戏理论方法。此外,尽管我们从两个最具挑战性和广泛研究的数据集中使用了非常少量的标记训练HSI样本,但实验结果表明,谱空间GAN-CRF(SS-GAN-CRF)模型达到了半监督HSI分类的排序精度。
translated by 谷歌翻译
在这项研究中,我们介绍了EdgeSegNet,一种紧凑的深度卷积神经网络,用于语义分割任务。利用人机协同设计策略创建EdgeSegNet,其中原则性网络设计原型与机器驱动的设计探索相结合,创建具有针对任务定制的定制模块级宏架构和微架构设计的网络。实验结果表明,EdgeSegNet可以实现与更大和计算复杂的网络(比RefineNet更小的模型大小)相当的语义分割精度,以及在NVidia Jetson AGXXavier上实现~38.5 FPS的推理速度。因此,拟议的EdgeSegNet非常适合低功耗边缘场景。
translated by 谷歌翻译
在强化学习算法中,通常只考虑单个环境视图来做出所需的决策;但是,利用多个环境视图可以帮助促进复杂政策的学习。由于观点可能经常遭受部分可观察性,因此他们提供的观察可能具有不同的重要性。在本文中,我们在多视图环境中提出了一种新的基于注意力的深度强化学习方法,其中每个视图可以提供关于环境的各种代表性信息。具体地,我们的方法学习基于其重要性动态地参与环境视图的策略。在决策过程中。我们评估了我们的方法在TORCS赛车模拟器和其他三个有障碍的复杂3D环境中的性能。
translated by 谷歌翻译
已知神经网络易受精心制作的逆向样本的影响,并且这些恶意样本经常转移,即,即使对其他模型也保持有效性。通过深入研究对抗性示例的可转移性,令人惊讶的是,对实际深度学习部署的影响较少受到关注。在本文中,我们研究了各种现实世界计算机视觉任务中的对抗性实例的可转移性,包括图像分类,显式内容检测,光学字符识别(OCR)和对象检测。它代表了网络犯罪的不同检测机制集合的情况。需要立即回避。我们提出了实际攻击,它通过瞄准内部特征映射的“分散”来克服现有攻击对需要任务特定的丢失函数的限制。我们报告了对Google CloudVision API提供的四种不同计算机视觉任务的评估,以显示我们的方法如何通过仅通过模式扰动大幅降低多个CV任务的性能来优于现有攻击。
translated by 谷歌翻译
极端多标签分类(XMC)旨在将来自巨大标签集的标签的相关子集分配给实例。由于现代化应用导致大量标签集,XMC的可扩展性引起了学术界和工业界最近的关注。在本文中,我们建立了一个有效解决XMC的三阶段框架,包括1)索引标签,2)将实例与相关指标匹配,3)对相关指标的标签进行排序。该框架统一了许多现有的XMC方法。基于此框架,我们提出了模块化的深度学习方法SLINMER:语义标签索引,神经匹配和高效排名。 SLINMER的标签索引阶段可​​以采用不同的语义标签表示,导致SLINMER的不同配置。实际上,我们证明了SLINMER的几个单独配置比最先进的XMC方法在几个基准数据集上的优越性能。此外,通过集成这些配置,SLINMER可以实现更好的结果。特别是,在具有0.5百万个标签的Wiki数据集上,精度@ 1从61%增加到67%。
translated by 谷歌翻译
稀疏子空间聚类(SSC)是将数据点聚类到其底层子空间的最常用方法之一。然而,SSC可能遭受沉重的计算负担。正交匹配追踪应用于SSC加速计算,但权衡是集群精度的损失。在本文中,我们提出了一种噪声鲁棒算法,RestrictedConnection正交匹配追踪稀疏子空间聚类(RCOMP-SSC),通过在OMP迭代期间限制每个数据点的连接数来提高聚类精度并保持低计算时间。 。此外,我们开发了一个控制矩阵框架来实现RCOMP-SCC。该框架可扩展用于其他数据点选择策略。我们对合成数据和两个真实数据库(EYaleB和Usps)的分析和实验证明了我们的算法在准确性和计算时间方面与其他聚类方法相比的优越性。
translated by 谷歌翻译