由于最近在处理速度和数据采集和存储方面的进步,机器学习(ML)正在渗透我们生活的方方面面,并从根本上改变了许多领域的研究。无线通信是另一个成功的故事 - 在我们的生活中无处不在,从手持设备到可穿戴设备,智能家居和汽车。虽然近年来在为各种无线通信问题利用ML工具方面看到了一系列研究活动,但这些技术对实际通信系统和标准的影响还有待观察。在本文中,我们回顾了无线通信系统中ML的主要承诺和挑战,主要关注物理层。我们提出了ML技术在经典方法方面取得的一些最令人瞩目的近期成就,并指出了有希望的研究方向,其中ML可能在不久的将来产生最大的影响。我们还强调了在无线网络边缘设计物理层技术以实现分布式ML的重要问题,这进一步强调了理解和连接ML与无线通信中的基本概念的需要。
translated by 谷歌翻译
事实证明,线性混合模型在众多应用中非常有用,例如,主题建模,聚类和源分离。作为线性混合模型的一个关键方面,在独立分量分析和约束矩阵分解等框架下,对模型参数的可识别性进行了研究。然而,当线性混合物被一个未知的非线性函数 - 在许多情况下是很好的动机和更现实的 - 来解决时 - 可识别性问题的研究要少得多。这项工作提出了一个非常基础的非线性混合模型的识别标准。现实世界的应用程序,并提供可识别性保证。提出了一种基于明智设计的神经网络的实际实现方案,实现了该标准,并提出了一种有效的学习算法。该方法的合成和实际数据有效性的数值结果。
translated by 谷歌翻译
预测癌细胞对药物的反应是药物基因组学中的一个重要问题。最近在细胞系中产生基因表达和药物敏感性的大规模数据集的产生的努力为研究该问题提供了独特的机会。然而,一个主要的挑战是即使在这些大型数据集中,与特征(基因)的数量相比,样本(细胞系)的数量也很少。我们提出了一种协同过滤(CF)类似算法,用于建立基因 - 药物关系模型,以识别最有可能从治疗中获益的患者。由于基因表达与不同细胞系的相关性,基因表达矩阵近似为低等级,这表明药物反应可以从基因表达的降低的维度空间估计。为此,我们提出了一种联合低阶矩阵分解和潜在线性回归方法。包括来自癌症药物敏感性基因组学数据的实验,表明所提出的方法可以比状态更好地预测药物 - 基因关联。 -art方法。
translated by 谷歌翻译
对来自多个信息库的数据进行联合分析有助于揭示异构数据集中的底层结构。单一和耦合矩阵 - 张量因子分解(CMTF)已经在这种情况下被广泛用于来自评级,社交网络和其他用户项目数据的基于插补的推荐。当这种辅助信息采用项目 - 项目相关矩阵或图形的形式时,现有的CMTF算法可能不尽如人意。为了减轻当前的局限性,我们引入了一种新的模型,它模拟了耦合图 - 张量因子分解(CGTF),明智地考虑了图形相关的信息。 CGTF模型具有克服实际挑战的潜力,例如来自张量的缺失板和/或来自相关矩阵的缺失行/列。还开发了一种新的交替方向的乘法器(ADMM),它恢复了CGTF的非负因子。我们的算法享有封闭形式的更新,导致计算复杂性降低并允许收敛声明。通过使用可解释的因子来检测具有张量作为辅助信息的图形社区,进一步探索了一种新的方向。即使图中的某些链接丢失,最终的社区检测方法也是成功的。具有实际数据集的结果证实了所提出的方法相对于提供建议和检测社区的最新竞争因子分解技术的优点。
translated by 谷歌翻译
非负矩阵分解(NMF)已成为信号和数据分析的主力,由其模型简约性和可解释性引发。也许有点令人惊讶的是,对模型可识别性的理解 - 主题挖掘和高光谱成像等许多应用中可解释性的主要原因 - 直到近几年才相当有限。从2010年开始,NMF的可识别性研究取得了相当大的进展。 :信号处理(SP)和机器学习(ML)社区已经发现了许多有趣且重要的结果。 NMF可识别性在实践中的许多方面都有很大的影响,例如避免配方避免和性能保证算法设计。另一方面,没有教学论文从可识别性的角度介绍NMF。在本文中,我们旨在通过提供有关NMF模型可识别性的全面而深入的教程以及与算法和应用的连接来填补这一空白。本教程将帮助研究人员和研究生掌握NMF的本质和见解,从而避免典型的“陷阱”,这些常常是由于无法识别的NMF配方造成的。本文还将帮助从业者为自己的问题挑选/设计合适的因子化工具。
translated by 谷歌翻译
我们提出了一种新的算法,用于从发射的数据中识别隐马尔可夫模型(HMM)的过渡和发射概率。期望最大化对于长观察记录而言在计算上是禁止的,这通常是识别所需要的。新算法特别适用于可用样本大小足以准确估计二阶输出概率但不高阶输出概率的情况。我们证明,如果一个人只能获得对排放的成对共现概率的可靠估计,如果排放概率是\ emph {足够分散},则可能唯一地识别HMM。我们将我们的方法应用于隐藏主题Markovmodeling,并证明我们可以学习更高质量的主题,如果文档被建模为共享相同发射(主题)概率的HMM的观察,与简单但广泛使用的词袋模型相比。
translated by 谷歌翻译
估计一组随机变量的联合概率质量函数(PMF)是统计学习和信号处理的核心。没有结构假设,例如将变量建模为马尔可夫链,树或其他图形模型,联合PMF估计通常是认为不可能 - 未知数随着变量数呈指数增长。但谁给了我们结构模型?是否有一种通用的“非参数”方法来控制联合PMF的复杂性,而不依赖于关于潜在概率模型的先验结构假设?是否可以在不预先偏析分析的情况下发现操作结构?如果我们只观察变量的随机子集,我们还可以估算出所有变量的联合PMF吗?本文或许令人惊讶地表明,如果可以估计任何三个变量的联合PMF,则可以在相对温和的条件下可证实地恢复所有变量的联合PMF。结果让人联想到Kolmogorov的扩展定理 - 低维分布的一致性规范诱导了整个过程的唯一概率测量。不同之处在于,对于有限复杂度(高维PMF的等级)的过程,可以仅从三维分布获得完整的表征。事实上,不是所有的三维PMF都是必需的;而且在更严格的条件下甚至是二维的。利用多线性代数,本文证明了这种高维PMF完成可以得到保证 - 推导出几个相关的可识别性结果。它还提供了一种实用而有效的算法来执行恢复任务。提出了关于电影推荐和数据分类的精心设计的模拟和实际数据实验,以展示该方法的有效性。
translated by 谷歌翻译
For the past couple of decades, numerical optimization has played a centralrole in addressing wireless resource management problems such as power controland beamformer design. However, optimization algorithms often entailconsiderable complexity, which creates a serious gap between theoreticaldesign/analysis and real-time processing. To address this challenge, we proposea new learning-based approach. The key idea is to treat the input and output ofa resource allocation algorithm as an unknown non-linear mapping and use a deepneural network (DNN) to approximate it. If the non-linear mapping can belearned accurately by a DNN of moderate size, then resource allocation can bedone in almost real time -- since passing the input through a DNN only requiresa small number of simple operations. In this work, we address both the thereotical and practical aspects ofDNN-based algorithm approximation with applications to wireless resourcemanagement. We first pin down a class of optimization algorithms that are`learnable' in theory by a fully connected DNN. Then, we focus on DNN-basedapproximation to a popular power allocation algorithm named WMMSE (Shi {\it etal} 2011). We show that using a DNN to approximate WMMSE can be fairly accurate-- the approximation error $\epsilon$ depends mildly [in the order of$\log(1/\epsilon)$] on the numbers of neurons and layers of the DNN. On theimplementation side, we use extensive numerical simulations to demonstrate thatDNNs can achieve orders of magnitude speedup in computational time compared tostate-of-the-art power allocation algorithms based on optimization.
translated by 谷歌翻译
Tensors or {\em multi-way arrays} are functions of three or more indices$(i,j,k,\cdots)$ -- similar to matrices (two-way arrays), which are functionsof two indices $(r,c)$ for (row,column). Tensors have a rich history,stretching over almost a century, and touching upon numerous disciplines; butthey have only recently become ubiquitous in signal and data analytics at theconfluence of signal processing, statistics, data mining and machine learning.This overview article aims to provide a good starting point for researchers andpractitioners interested in learning about and working with tensors. As such,it focuses on fundamentals and motivation (using various application examples),aiming to strike an appropriate balance of breadth {\em and depth} that willenable someone having taken first graduate courses in matrix algebra andprobability to get started doing research and/or developing tensor algorithmsand software. Some background in applied optimization is useful but notstrictly required. The material covered includes tensor rank and rankdecomposition; basic tensor factorization models and their relationships andproperties (including fairly good coverage of identifiability); broad coverageof algorithms ranging from alternating optimization to stochastic gradient;statistical performance analysis; and applications ranging from sourceseparation to collaborative filtering, mixture and topic modeling,classification, and multilinear subspace learning.
translated by 谷歌翻译
许多昂贵的黑盒优化问题对它们的输入敏感。在这些问题中,找到一个好的设计区域比一个可能的脆弱的优化设计更有意义。使用贝叶斯优化可以有效地优化昂贵的黑盒功能,其中高斯过程是一种流行的选择,作为先前的昂贵功能。我们提出了一种使用贝叶斯优化的稳健优化方法,以找到设计空间的区域,其中昂贵的功能性能对输入不敏感,同时保持良好的质量。这是通过对高斯过程进行抽样实现来实现的,该高斯过程对昂贵的函数进行建模并评估每个实现的改进。通过演化算法可以廉价地优化这些改进的期望,以确定评估昂贵功能的下一个位置。我们描述了一种有效的过程来确定最佳的预期改进。我们凭经验证明,在候选最佳位置评估模型最不确定的位置上的昂贵函数随机产生与剥削方案相比的最佳收敛。我们用二,五和八维度中的六个测试函数来说明我们的方法,并证明它能够胜过文献中最先进的方法。
translated by 谷歌翻译