流量数据长期遭受缺失和腐败的困扰,从而导致随后的智能运输系统(ITS)应用程序的准确性和效用降低。注意到流量数据的固有低级属性,大量研究将缺少的流量数据恢复为低级张量完成(LRTC)问题。由于LRTC中的秩最小化的非跨性别性和离散性,现有方法要么用凸面替代等级代替等级替代等级函数,要么以涉及许多参数的非convex替代物,或近似等级。在这项研究中,我们提出了一个用于交通数据恢复的无参数的非凸张量完成模型(TC-PFNC),其中设计了基于日志的松弛项以近似张量代数级别。此外,以前的研究通常认为观察结果是可靠的,没有任何异常值。因此,我们通过对潜在的流量数据异常值进行建模,将TC-PFNC扩展到了强大的版本(RTC-PFNC),该数据可以从部分和损坏的观测值中恢复缺失的值并在观测中删除异常。基于交替的方向乘数法(ADMM)详细阐述了TC-PFNC和RTC-PFNC的数值解。在四个现实世界流量数据集上进行的广泛实验结果表明,所提出的方法在缺失和损坏的数据恢复中都优于其他最先进的方法。本文使用的代码可在以下网址获得:https://github.com/younghe49/t-ITSPFNC。
translated by 谷歌翻译
Spatiotemporal traffic data imputation is of great significance in intelligent transportation systems and data-driven decision-making processes. To make an accurate reconstruction on partially observed traffic data, we assert the importance of characterizing both global and local trends in traffic time series. In the literature, substantial prior works have demonstrated the effectiveness of utilizing low-rankness property of traffic data by matrix/tensor completion models. In this study, we first introduce a Laplacian kernel to temporal regularization for characterizing local trends in traffic time series, which can be formulated in the form of circular convolution. Then, we develop a low-rank Laplacian convolutional representation (LCR) model by putting the nuclear norm of a circulant matrix and the Laplacian temporal regularization together, which is proved to meet a unified framework that takes a fast Fourier transform solution in a relatively low time complexity. Through extensive experiments on some traffic datasets, we demonstrate the superiority of LCR for imputing traffic time series of various time series behaviors (e.g., data noises and strong/weak periodicity). The proposed LCR model is an efficient and effective solution to large-scale traffic data imputation over the existing baseline models. The adapted datasets and Python implementation are publicly available at https://github.com/xinychen/transdim.
translated by 谷歌翻译
本文使用移动传感器的稀疏观测来研究交通状态估计问题(TSE)问题。大多数现有的TSE方法要么依赖定义明确的物理交通流模型,要么需要大量的仿真数据作为训练机器学习模型的输入。与以前的研究不同,我们在本文中提出了纯粹的数据驱动和模型的解决方案。我们将TSE视为时空矩阵完成/插值问题,并应用时空延迟嵌入以将原始不完整的矩阵转换为四阶Hankel结构张量。通过对这种张量结构施加低级假设,我们可以以数据驱动的方式近似和表征全局和局部时空模式。我们使用平衡时空展开的截断核定标(其中每一列代表原始矩阵中小斑块的矢量化)来近似张量等级。开发了基于乘数交替方向方法(ADMM)的有效解决方案算法用于模型学习。所提出的框架仅涉及两个超参数,即空间和时间窗口长度,鉴于数据稀少度的程度,它们易于设置。我们对现实世界高分辨率轨迹数据进行数值实验,我们的结果证明了在某些具有挑战性的情况下所提出模型的有效性和优势。
translated by 谷歌翻译
低级张力完成已广泛用于计算机视觉和机器学习。本文开发了一种新型多模态核心张量分解(MCTF)方法,与张量低秩测量和该措施的更好的非凸弛豫形式(NC-MCTF)。所提出的模型编码由Tucker和T-SVD提供的一般张量的低秩见解,因此预计将在多个方向上同时模拟光谱低秩率,并准确地恢复基于几个观察到的条目的内在低秩结构的数据。此外,我们研究了MCTF和NC-MCTF正则化最小化问题,并设计了一个有效的块连续上限最小化(BSUM)算法来解决它们。该高效的求解器可以将MCTF扩展到各种任务,例如张量完成。一系列实验,包括高光谱图像(HSI),视频和MRI完成,确认了所提出的方法的卓越性能。
translated by 谷歌翻译
从高度不足的数据中恢复颜色图像和视频是面部识别和计算机视觉中的一项基本且具有挑战性的任务。通过颜色图像和视频的多维性质,在本文中,我们提出了一种新颖的张量完成方法,该方法能够有效探索离散余弦变换(DCT)下张量数据的稀疏性。具体而言,我们介绍了两个``稀疏 +低升级''张量完成模型,以及两种可实现的算法来找到其解决方案。第一个是基于DCT的稀疏加权核标准诱导低级最小化模型。第二个是基于DCT的稀疏加上$ P $换图映射引起的低秩优化模型。此外,我们因此提出了两种可实施的增强拉格朗日算法,以解决基础优化模型。一系列数值实验在内,包括颜色图像介入和视频数据恢复表明,我们所提出的方法的性能要比许多现有的最新张量完成方法更好,尤其是对于缺少数据比率较高的情况。
translated by 谷歌翻译
Tensor robust principal component analysis (TRPCA) is a promising way for low-rank tensor recovery, which minimizes the convex surrogate of tensor rank by shrinking each tensor singular values equally. However, for real-world visual data, large singular values represent more signifiant information than small singular values. In this paper, we propose a nonconvex TRPCA (N-TRPCA) model based on the tensor adjustable logarithmic norm. Unlike TRPCA, our N-TRPCA can adaptively shrink small singular values more and shrink large singular values less. In addition, TRPCA assumes that the whole data tensor is of low rank. This assumption is hardly satisfied in practice for natural visual data, restricting the capability of TRPCA to recover the edges and texture details from noisy images and videos. To this end, we integrate nonlocal self-similarity into N-TRPCA, and further develop a nonconvex and nonlocal TRPCA (NN-TRPCA) model. Specifically, similar nonlocal patches are grouped as a tensor and then each group tensor is recovered by our N-TRPCA. Since the patches in one group are highly correlated, all group tensors have strong low-rank property, leading to an improvement of recovery performance. Experimental results demonstrate that the proposed NN-TRPCA outperforms some existing TRPCA methods in visual data recovery. The demo code is available at https://github.com/qguo2010/NN-TRPCA.
translated by 谷歌翻译
张量完成是从部分观察到的条目中估算高阶数据缺失值的问题。由于盛行异常值而引起的数据腐败对传统的张量完成算法提出了重大挑战,这促进了减轻异常值效果的强大算法的发展。但是,现有的强大方法在很大程度上假定腐败很少,这可能在实践中可能不存在。在本文中,我们开发了一种两阶段的稳健张量完成方法,以处理张张量的视觉数据,并具有大量的严重损坏。提出了一个新颖的粗到精细框架,该框架使用全局粗完成结果来指导局部贴剂细化过程。为了有效地减轻大量异常值对张量恢复的影响,我们开发了一种新的基于M估计器的稳健张环回收方法,该方法可以自适应地识别异常值并减轻其在优化中的负面影响。实验结果表明,所提出的方法优于最先进的稳定算法以完成张量。
translated by 谷歌翻译
张量稀疏建模是一种有希望的方法,在整个科学和工程学中,取得了巨大的成功。众所周知,实际应用中的各种数据通常由多种因素产生,因此使用张量表示包含多个因素内部结构的数据。但是,与矩阵情况不同,构建合理的稀疏度量张量是一项相对困难且非常重要的任务。因此,在本文中,我们提出了一种称为张量全功能度量(FFM)的新张量稀疏度度量。它可以同时描述张量的每个维度的特征信息以及两个维度之间的相关特征,并将塔克等级与张量管等级连接。这种测量方法可以更全面地描述张量的稀疏特征。在此基础上,我们建立了其非凸放松,并将FFM应用于低级张量完成(LRTC)和张量鲁棒的主成分分析(TRPCA)。提出了基于FFM的LRTC和TRPCA模型,并开发了两种有效的交替方向乘数法(ADMM)算法来求解所提出的模型。各种实际数值实验证实了超出最先进的方法的优势。
translated by 谷歌翻译
低级别在高光谱图像(HSI)降级任务中很重要。根据张量的奇异值分解定义的张量核标准(TNN)是描述HSI低级别的最新方法。但是,TNN忽略了HSI在解决deno的任务时的某些身体含义,从而导致了次优的降级性能。在本文中,我们提出了用于HSI降解任务的多模式和频率加权张量核定常(MFWTNN)和非凸MFWTNN。首先,我们研究了频率切片的物理含义,并重新考虑其权重以提高TNN的低级别表示能力。其次,我们考虑两个空间维度和HSI的光谱维度之间的相关性,并将上述改进与TNN相结合以提出MFWTNN。第三,我们使用非凸功能来近似频率张量的秩函数,并提出非MFWTNN以更好地放松MFWTNN。此外,我们自适应地选择更大的权重,用于切片,主要包含噪声信息和较小的重量,用于包含配置文件信息的切片。最后,我们开发了基于乘数(ADMM)算法的有效交替方向方法来求解所提出的模型,并在模拟和真实的HSI数据集中证实了我们的模型的有效性。
translated by 谷歌翻译
非凸松弛方法已被广泛用于张量恢复问题,并且与凸松弛方法相比,可以实现更好的恢复结果。在本文中,提出了一种新的非凸函数,最小值对数凹点(MLCP)函数,并分析了其某些固有属性,其中有趣的是发现对数函数是MLCP的上限功能。所提出的功能概括为张量病例,得出张量MLCP和加权张量$ l \ gamma $ -norm。考虑到将其直接应用于张量恢复问题时无法获得其明确解决方案。因此,给出了解决此类问题的相应等效定理,即张量等效的MLCP定理和等效加权张量$ l \ gamma $ -norm定理。此外,我们提出了两个基于EMLCP的经典张量恢复问题的模型,即低秩量张量完成(LRTC)和张量稳健的主组件分析(TRPCA)以及设计近端替代线性化最小化(棕榈)算法以单独解决它们。此外,基于Kurdyka - {\ l} ojasiwicz属性,证明所提出算法的溶液序列具有有限的长度并在全球范围内收敛到临界点。最后,广泛的实验表明,提出的算法取得了良好的结果,并证实MLCP函数确实比最小化问题中的对数函数更好,这与理论特性的分析一致。
translated by 谷歌翻译
现代时间序列数据集通常是高维,不完整/稀疏和非组织的。这些属性阻碍了时间序列预测和分析的可扩展和高效解决方案的开发。为了应对这些挑战,我们提出了一个非平稳的时间矩阵分解(NOTMF)模型,其中使用矩阵分解来重建整个时间序列矩阵和矢量自回旋(var)过程,该过程施加在适当差异的时间因子矩阵的副本上。这种方法不仅保留了数据的低级属性,还提供了一致的时间动力。 NOTMF的学习过程涉及两个因子矩阵和VAR系数矩阵集合的优化。为了有效地解决优化问题,我们得出了一个交替的最小化框架,其中使用共轭梯度和最小二乘方法来解决子问题。特别是,使用共轭梯度方法提供了有效的例程,并允许我们在大规模问题上应用NOTMF。通过对Uber运动速度数据集进行的广泛实验,我们证明了NOTMF的卓越准确性和有效性,而不是其他基线模型。我们的结果还证实了解决现实世界中时间序列数据(如时空交通流/速度)的非平稳性的重要性。
translated by 谷歌翻译
多维时空数据的概率建模对于许多现实世界应用至关重要。然而,现实世界时空数据通常表现出非平稳性的复杂依赖性,即相关结构随位置/时间而变化,并且在空间和时间之间存在不可分割的依赖性,即依赖关系。开发有效和计算有效的统计模型,以适应包含远程和短期变化的非平稳/不可分割的过程,成为一项艰巨的任务,尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中,我们提出了一个新的统计框架 - 贝叶斯互补内核学习(BCKL),以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性,BCKL与短距离时空高斯过程(GP)相结合的内核低级分解(GP),其中两个组件相互补充。具体而言,我们使用多线性低级分组组件来捕获数据中的全局/远程相关性,并基于紧凑的核心函数引入加法短尺度GP,以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛(MCMC)算法,并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。
translated by 谷歌翻译
高光谱图像(HSIS)通常遭受不同类型的污染。这严重降低了HSI的质量,并限制了后续处理任务的准确性。 HSI DeNoising可以建模为低级张量降解问题。张量奇异值分解引起的张量核定标(TNN)在此问题中起重要作用。在这封信中,我们首先重新考虑了TNN中的三个不起眼但至关重要的现象。在HSI的傅立叶变换域中,不同的频率切片(FS)包含不同的信息。每个FS的不同单数值(SV)也代表不同的信息。这两个物理现象不仅处于光谱模式,而且位于空间模式下。然后,基于它们,我们提出了一个多模式和双重加权的TNN。它可以根据所有HSIS的身体含义适应FS和SVS。在乘数的交替方向方法的框架中,我们设计了一种有效的交替迭代策略来优化我们提出的模型。对合成和真实HSI数据集进行了剥落的实验证明了它们在相关方法上的优势。
translated by 谷歌翻译
The problem of broad practical interest in spatiotemporal data analysis, i.e., discovering interpretable dynamic patterns from spatiotemporal data, is studied in this paper. Towards this end, we develop a time-varying reduced-rank vector autoregression (VAR) model whose coefficient matrices are parameterized by low-rank tensor factorization. Benefiting from the tensor factorization structure, the proposed model can simultaneously achieve model compression and pattern discovery. In particular, the proposed model allows one to characterize nonstationarity and time-varying system behaviors underlying spatiotemporal data. To evaluate the proposed model, extensive experiments are conducted on various spatiotemporal data representing different nonlinear dynamical systems, including fluid dynamics, sea surface temperature, USA surface temperature, and NYC taxi trips. Experimental results demonstrate the effectiveness of modeling spatiotemporal data and characterizing spatial/temporal patterns with the proposed model. In the spatial context, the spatial patterns can be automatically extracted and intuitively characterized by the spatial modes. In the temporal context, the complex time-varying system behaviors can be revealed by the temporal modes in the proposed model. Thus, our model lays an insightful foundation for understanding complex spatiotemporal data in real-world dynamical systems. The adapted datasets and Python implementation are publicly available at https://github.com/xinychen/vars.
translated by 谷歌翻译
张张量强大的主成分分析(TRPCA)旨在恢复因稀疏噪声破坏的低排名张量,在许多真实应用中引起了很多关注。本文开发了一种新的全球加权TRPCA方法(GWTRPCA),该方法是第一种同时考虑额外域内切片和额叶间切片奇异值的重要性。利用这些全球信息,GWTRPCA惩罚了较大的单数值,并为其分配了较小的权重。因此,我们的方法可以更准确地恢复低管级组件。此外,我们提出了通过改良的考奇估计量(MCE)的有效自适应学习策略,因为重量设置在GWTRPCA的成功中起着至关重要的作用。为了实现GWTRPCA方法,我们使用乘数的交替方向方法(ADMM)方法设计了一种优化算法。对现实世界数据集的实验验证了我们提出的方法的有效性。
translated by 谷歌翻译
我们提出了一个健壮的主成分分析(RPCA)框架,以从时间观察中恢复低级别和稀疏矩阵。我们开发了批处理时间算法的在线版本,以处理较大的数据集或流数据。我们从经验上将提出的方法与不同的RPCA框架进行比较,并在实际情况下显示出其有效性。
translated by 谷歌翻译
张量恢复是计算机视觉和机器学习中的重要问题。它通常使用张量排名的凸松弛和$ l_ {0} $ norm,即分别为核定标准和$ l_ {1} $ norm,以解决此类问题。已知凸的近似值会产生偏置的估计量。为了克服这个问题,采用并设计了相应的非凸照器。受到最近开发的矩阵等效最小值凸额(EMCP)定理的启发,本文确定了张量当量的最小值 - concave惩罚(TEMCP)的定理。张量当量MCP(TEMCP)作为非凸照正规器零件和等效加权张量$ \ gamma $ norm(EWTGN)作为低级别部分的构建,两者都可以实现权重适应性。同时,我们提出了两个相应的自适应模型,用于两个经典的张量恢复问题,即低级张量完成(LRTC)和张量鲁棒的主成分分析(TRPCA),其中优化算法基于交替的方向乘数(ADMM)。设计了这种新型的迭代自适应算法,可以产生更准确的张量恢复效果。对于张量的完成模型,考虑了多光谱图像(MSI),磁共振成像(MRI)和彩色视频(CV)数据,而对于张量的稳定性主成分分析模型,高光谱图像(HSI)在高斯噪声和盐和盐和盐和盐和盐和盐和盐和盐和盐和考虑了胡椒噪声。所提出的算法优于ARTS方法,并且通过实验保证其降低和收敛性。
translated by 谷歌翻译
考虑以张量流的形式实时收集多个季节性时间序列。现实世界的张量流通常包括缺少条目(例如,由于网络断开连接)和同时出现的意外离群值(例如,由于系统错误)。鉴于这样的现实张量流,我们如何估计缺失条目并实时准确预测未来的进化?在这项工作中,我们通过引入索非亚来回答这个问题,索非亚是现实世界张量流的强大分解方法。简而言之,索非亚平稳并紧密地整合了张量分解,离群值的去除和颞模式检测,它们自然会相互加强。此外,尽管缺少条目,索非亚以线性的方式将它们整合在一起。我们通过实验表明,索非亚是(a)稳健而准确的:屈服误差降低了76%,预测误差降低了71%; (b)快速:比第二准确的竞争对手快935倍; (c)可扩展:与每个时间步长的新条目数量缩放。
translated by 谷歌翻译
低等级张量完成(LRTC)问题引起了计算机视觉和信号处理的极大关注。如何获得高质量的图像恢复效果仍然是目前要解决的紧急任务。本文提出了一种新的张量$ l_ {2,1} $最小化模型(TLNM),该模型(TLNM)集成了总和核标准(SNN)方法,与经典的张量核定常(TNN)基于张量的张量完成方法不同,与$ L_ { 2,1} $ norm和卡塔尔里亚尔分解用于解决LRTC问题。为了提高图像的局部先验信息的利用率,引入了总变化(TV)正则化项,从而导致一类新的Tensor $ L_ {2,1} $ NORM Minimization,总变量模型(TLNMTV)。两个提出的模型都是凸,因此具有全局最佳解决方案。此外,我们采用交替的方向乘数法(ADMM)来获得每个变量的封闭形式解,从而确保算法的可行性。数值实验表明,这两种提出的算法是收敛性的,比较优于方法。特别是,当高光谱图像的采样率为2.5 \%时,我们的方法显着优于对比方法。
translated by 谷歌翻译
核标准和沙滕 - $ p $ quasi-Norm是低级矩阵恢复中受欢迎的排名代理。不幸的是,计算张量的核标准或schatten-$ p $ quasi-Norm是NP-HARD,这是对低级数张量完成(LRTC)(LRTC)和张量稳定性主组件分析(TRPCA)的怜悯。在本文中,我们根据张量的CP组件向量的欧几里得规范提出了一类新的张量级正规化器,并表明这些正则化是张量schatten-$ p $ quasi-norm的单调转换。该连接使我们能够将LRTC和TRPCA中的Schatten-$ p $ quasi-norm降至最低。这些方法不使用奇异的值分解,因此可以对大张量进行比例。此外,这些方法对初始等级的选择不敏感,并且与核定标准相比,该方法为低量张量回收率提供了任意尖锐的等级代理。另一方面,我们使用Schatten-$ $ p $ quasi-norm正规化和LRTC研究了LRTC的概括能力。该定理表明,相对更清晰的正规化程序会导致更严格的误差绑定,这与我们的数值结果一致。合成数据和实际数据的数值结果证明了与基线方法相比,我们方法的有效性和优势。
translated by 谷歌翻译