深矩阵因子化(深MF)是最新的无监督数据挖掘技术,其灵感来自受约束的低级别近似值。他们旨在提取高维数据集中功能的复杂层次结构。文献中提出的大多数损失函数用于评估深MF模型的质量和基础优化框架不一致,因为在不同层上使用了不同的损失。在本文中,我们引入了深层MF的两个有意义的损失功能,并提出了一个通用框架来解决相应的优化问题。我们通过整合各种约束和正规化(例如稀疏性,非负和最小体积)来说明这种方法的有效性。这些模型已成功应用于合成数据和真实数据,即高光谱的不混合和提取面部特征。
translated by 谷歌翻译
在依赖添加剂线性组合的模型中,出现了多个右侧(MNNL)的非负平方问题。特别是,它们是大多数非负矩阵分解算法的核心,并且具有许多应用。已知非负约束自然有利于稀疏性,即几乎没有零条目的解决方案。但是,它通常可以进一步增强这种稀疏性很有用,因为它可以提高结果的解释性并有助于减少噪声,从而导致稀疏的MNNL问题。在本文中,与大多数实施稀疏柱或行的大多数作品相反,我们首先引入了稀疏MNNL的新颖配方,并具有矩阵的稀疏性约束。然后,我们提出了一种两步算法来解决这个问题。第一步将稀疏的MNNL划分为子问题,每列的原始问题一列。然后,它使用不同的算法来确切或大约为每个子问题产生一个帕累托正面,即产生一组代表重建误差和稀疏性之间不同权衡的解决方案。第二步选择了这些帕累托前部之间的解决方案,以构建一个稀疏约束矩阵,以最大程度地减少重建误差。我们对面部和高光谱图像进行实验,我们表明我们提出的两步方法比最新的稀疏编码启发式方法提供了更准确的结果。
translated by 谷歌翻译
在本文中,我们引入了一种新算法,该算法基于原型分析,用于假设末日成员的线性混合,用于盲目的高光谱脉冲。原型分析是该任务的自然表述。该方法不需要存在纯像素(即包含单个材料的像素),而是将末端成员表示为原始高光谱图像中几个像素的凸组合。我们的方法利用了熵梯度下降策略,(i)比传统的原型分析算法为高光谱脉冲提供更好的解决方案,并且(ii)导致有效的GPU实现。由于运行我们算法的单个实例很快,我们还提出了一个结合机制以及适当的模型选择程序,该过程使我们的方法可鲁棒性到超参数选择,同时保持计算复杂性合理。通过使用六个标准的真实数据集,我们表明我们的方法的表现优于最先进的矩阵分解和最新的深度学习方法。我们还提供开源pytorch实施:https://github.com/inria-thoth/edaa。
translated by 谷歌翻译
在本文中,我们提出了一个新的低级矩阵分解模型,称为有界的单纯形成矩阵分解(BSSMF)。给定输入矩阵$ x $和一个分解等级$ r $,BSSMF寻找带有$ r $ lum $ $ columns的矩阵$ w $和a矩阵$ h $,带有$ r $行,以便$ x \ lot在$ w $的每一列中,都有边界,也就是说,它们属于给定的间隔,$ h $的列属于概率单纯词,即,$ h $是列随机。 BSSMF概括了非负矩阵分解(NMF)和单纯结构的矩阵分解(SSMF)。当输入矩阵$ x $的条目属于给定间隔时,BSSMF特别适合。例如,当$ x $的行代表图像时,或$ x $是一个额定矩阵,例如在Netflix和Movielens数据集中,其中$ x $的条目属于Interval $ [1,5] $。单纯结构的矩阵$ h $不仅导致易于理解的分解,从而提供了$ x $的列的软聚类,而且暗示着$ wh $的每个列的条目属于与$的列的相同间隔W $。在本文中,我们首先提出了BSSMF的快速算法,即使在$ x $中缺少数据的情况下。然后,我们为BSSMF提供可识别性条件,也就是说,我们提供了BSSMF承认独特分解的条件,直到微不足道的歧义。最后,我们说明了BSSMF对两个应用程序的有效性:在一组图像中提取特征,以及推荐系统的矩阵完成问题。
translated by 谷歌翻译
约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此,对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列,以众所周知的和可能的过度顺序稀疏,该模型包括基于字典的低秩近似(DLRA)。虽然早期的贡献集中在候选列字典内的发现因子列,即一稀疏的近似值,这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题,在解决DLRA时出现的混合稀疏编码(MSC)以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法(贪婪方法,凸起放松)以解决MSC。在模拟数据上评估这些启发式的性能。然后,我展示了如何基于套索来调整一个有效的MSC求解器,以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明,DLRA扩展了低秩近似的建模能力,有助于降低估计方差并提高估计因子的可识别性和可解释性。
translated by 谷歌翻译
本文介绍了针对非负矩阵分解的新的乘法更新,并使用$ \ beta $ -Divergence和两个因素之一的稀疏正则化(例如,激活矩阵)。众所周知,需要控制另一个因素(字典矩阵)的规范,以避免使用不良的公式。标准实践包括限制字典的列具有单位规范,这导致了非平凡的优化问题。我们的方法利用原始问题对等效规模不变的目标函数的优化进行了重新处理。从那里,我们得出了块状大量最小化算法,这些算法可为$ \ ell_ {1} $ - 正则化或更“激进的” log-regularization提供简单的乘法更新。与其他最先进的方法相反,我们的算法是通用的,因为它们可以应用于任何$ \ beta $ -Divergence(即任何$ \ beta $的任何值),并且它们具有融合保证。我们使用各种数据集报告了与现有的启发式和拉格朗日方法的数值比较:面部图像,音频谱图,高光谱数据和歌曲播放计数。我们表明,我们的方法获得了收敛时类似质量的溶液(相似的目标值),但CPU时间显着减少。
translated by 谷歌翻译
极化是横向波的独特特征,由Stokes参数表示。极化状态的分析可以揭示有关来源的宝贵信息。在本文中,我们提出了一个可分离的低级别四元素线性混合模型对极化信号:我们假设源因子矩阵的每一列等于极化数据矩阵的一列,并将相应的问题称为可分离的Quaternion矩阵分解(SQMF)。我们讨论了SQMF可以分解的矩阵的一些属性。为了确定季节空间中的源因子矩阵,我们提出了一种受连续投影算法启发的称为Quaternion连续投影算法(QSPA)的启发式算法。为了确保QSPA的有效性,为Quaternion矩阵提出了一个新的归一化操作员。我们使用块坐标下降算法来计算实际数字空间中的非负因子激活矩阵。我们在极化图像表示和光偏光成像的应用中测试我们的方法,以验证其有效性。
translated by 谷歌翻译
稀疏的盲源分离(BSS)已成为广泛应用的成熟工具 - 例如,在天体物理学和遥感中。古典稀疏BSS方法,例如近端交替线性化最小化(Palm)算法,然而经常遭受困难的封路数据计选择,其破坏了它们的结果。为了绕过这个陷阱,我们建议在这项工作中建立在展开/展开的历程中的繁荣领域。通过学习Palm HyperParameters和变量,展开手掌可以利用从现实模拟或地面真实数据中源的数据驱动的知识。与大多数现有的展开算法相比,在训练和测试阶段之前假设一个固定的已知字典,本文进一步强调处理可变混合矩阵(A.k.a.字典)。因此,提出的学习棕榈(LPALM)算法使得能够执行半盲源分离,这是增加现实世界应用中学习模型的概括的关键。我们说明了LPALM在天体物理多光谱成像中的相关性:算法不仅需要高达10美元的迭代率,而且还提高了分离质量,同时避免了繁琐的高参数和初始化的手掌选择。我们进一步表明,LPALM在半盲设置中优于其他展开的源分离方法。
translated by 谷歌翻译
本文提出了具有$ \ Beta $ -divercent objectivent函数的非负面矩阵分组(NMF)的新乘法更新。我们的新更新来自联合大修 - 最小化(MM)方案,其中包括在每次迭代的两个因素中构建了两个因素的辅助功能(客观函数的紧密上限)。这与经典方法相反,其中主要是针对每个因素导出的主要方法。与那种经典方法一样,我们的关节MM算法也导致乘法更新易于实现。然而,它们产生了显着的计算时间(适用于同样的良好解决方案),特别是对于一些$ \β$ - 重要的申请兴趣,如平方欧几里德距离和kullback-Leibler或Itakura-Saito分歧。我们使用不同数据集报告实验结果:面部图像,音频谱图,高光谱数据和歌曲播放计数。根据$ \ beta $和dataSet的值,我们的关节MM方法可以与经典交替方案相比,从大约13 \%$ 78 \%$产生CPU时间减少。
translated by 谷歌翻译
在本文中,我们为多个变量的非凸问题提出了一种新颖的解决方案,尤其是对于通常通过交替最小化(AM)策略解决的方法,将原始优化问题拆分为一组与每个变量相对应的子问题,然后使用固定的更新规则迭代优化每个子问题。但是,由于原始优化问题的固有非凸性,即使在每次迭代中可以最佳地解决每个子问题时,优化通常也可以捕获到虚假的局部最小值中。同时,基于学习的方法,例如深层展开算法,受到缺乏标记的数据和有限的解释性的高度限制。为了解决这些问题,我们提出了一种基于元学习的交替最小化(MLAM)方法,该方法旨在最大程度地减少全球损失的部分损失,而不是在每个子问题上最小化,并且倾向于学习一种自适应策略,以学习一种自适应策略更换手工制作的对手,以提前表现出色。同时,拟议的Mlam仍然保持原始算法原则,这有助于更好的解释性。我们在两个代表性问题上评估了提出的方法,即双线性逆问题:矩阵完成和非线性问题:高斯混合模型。实验结果验证了我们所提出的方法在标准设置中的表现优于基于AM的方法,并且能够在具有挑战性的情况下实现有效的优化,而其他比较方法通常会失败。
translated by 谷歌翻译
In recent years there has been a growing interest in the study of sparse representation of signals. Using an overcomplete dictionary that contains prototype signal-atoms, signals are described by sparse linear combinations of these atoms. Applications that use sparse representation are many and include compression, regularization in inverse problems, feature extraction, and more. Recent activity in this field has concentrated mainly on the study of pursuit algorithms that decompose signals with respect to a given dictionary. Designing dictionaries to better fit the above model can be done by either selecting one from a prespecified set of linear transforms or adapting the dictionary to a set of training signals. Both of these techniques have been considered, but this topic is largely still open. In this paper we propose a novel algorithm for adapting dictionaries in order to achieve sparse signal representations. Given a set of training signals, we seek the dictionary that leads to the best representation for each member in this set, under strict sparsity constraints. We present a new method-the K-SVD algorithm-generalizing the K-means clustering process. K-SVD is an iterative method that alternates between sparse coding of the examples based on the current dictionary and a process of updating the dictionary atoms to better fit the data. The update of the dictionary columns is combined with an update of the sparse representations, thereby accelerating convergence. The K-SVD algorithm is flexible and can work with any pursuit method (e.g., basis pursuit, FOCUSS, or matching pursuit). We analyze this algorithm and demonstrate its results both on synthetic tests and in applications on real image data.
translated by 谷歌翻译
在数据挖掘,神经科学和化学计量学在内的各个领域,分析各种数据集中的多路测量结果是一个挑战。例如,测量可能会随着时间的流逝而发展或具有不一致的时间曲线。 PARAFAC2模型已成功地用于分析此类数据,通过在一种模式(即演变模式)下允许基础因子矩阵跨切片进行更改。拟合PARAFAC2模型的传统方法是使用基于最小二乘的交替算法,该算法通过隐式估计不断发展的因子矩阵来处理Parafac2模型的恒定交叉产生约束。这种方法使对这些因素矩阵充满挑战。目前尚无算法可以灵活地将这种正规化施加,并具有一般的惩罚功能和硬性约束。为了应对这一挑战并避免隐性估计,在本文中,我们提出了一种算法,用于拟合PARAFAC2基于与乘数交替方向方法(AO-ADMM)的交替优化拟合parafac2。通过在模拟数据上进行数值实验,我们表明所提出的PARAFAC2 AO-ADMM方法允许灵活约束,准确地恢复了基础模式,并且与先进的ART相比,计算有效。我们还将模型应用于神经科学和化学计量学的两个现实世界数据集,并表明限制发展模式可改善提取模式的解释性。
translated by 谷歌翻译
我们考虑将矢量时间序列信号分解为具有不同特征(例如平滑,周期性,非负或稀疏)的组件的充分研究的问题。我们描述了一个简单而通用的框架,其中组件由损耗函数(包括约束)定义,并通过最大程度地减少组件损耗之和(受约束)来执行信号分解。当每个损耗函数是信号分量密度的负模样时,该框架与最大后验概率(MAP)估计相吻合;但这也包括许多其他有趣的案例。总结和澄清先前的结果,我们提供了两种分布式优化方法来计算分解,当组件类损失函数是凸的时,它们找到了最佳分解,并且在没有时是良好的启发式方法。两种方法都仅需要每个组件损耗函数的掩盖近端操作员,这是对其参数中缺少条目的众所周知近端操作员的概括。两种方法均分布,即分别处理每个组件。我们得出可拖动的方法来评估某些损失函数的掩盖近端操作员,据我们所知,这些损失函数尚未出现在文献中。
translated by 谷歌翻译
我们提出了一个基于一般学习的框架,用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成,并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题,并学习网络参数,以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛,因为人们可以将各种现代网络结构用于正规化,而所得网络继承了算法的保证收敛性。我们还表明,所提出的网络是参数有效的,其性能与实践中各种图像重建问题中的最新方法相比有利。
translated by 谷歌翻译
非负矩阵分解(NMF)模型被广泛用于恢复线性混合的非负数据。当数据是由连续信号采样的数据时,NMF中的因素可能被限制为非负合理函数的样本,这些函数允许相当通用的模型。使用Rational功能(R-NMF)称之为NMF。我们首先表明,在温和的假设下,R-NMF与NMF不同,这在基本上是独特的分解,这在需要恢复地面实际因素(例如盲源分离问题)的应用中至关重要。然后,我们提出了求解R-NMF的不同方法:R-HANLS,R-ANLS和R-NLS方法。从我们的测试中,没有什么方法明显优于其他方法,并且在时间和准确性之间应进行权衡。确实,R-Hanls对于大型问题而言是快速准确的,而R-ANLS更准确,但在时间和内存中都需要更多的资源。 R-NLS非常准确,但仅针对小问题。此外,我们表明R-NMF在各种任务中的表现都优于NMF,包括恢复半合成连续信号,以及实际高光信号的分类问题。
translated by 谷歌翻译
监督字典学习(SDL)是一种经典的机器学习方法,同时寻求特征提取和分类任务,不一定是先验的目标。 SDL的目的是学习类歧视性词典,这是一组潜在特征向量,可以很好地解释特征以及观察到的数据的标签。在本文中,我们提供了SDL的系统研究,包括SDL的理论,算法和应用。首先,我们提供了一个新颖的框架,该框架将“提升” SDL作为组合因子空间中的凸问题,并提出了一种低级别的投影梯度下降算法,该算法将指数成倍收敛于目标的全局最小化器。我们还制定了SDL的生成模型,并根据高参数制度提供真实参数的全局估计保证。其次,我们被视为一个非convex约束优化问题,我们为SDL提供了有效的块坐标下降算法,该算法可以保证在$ O(\ varepsilon^{ - 1}(\ log)中找到$ \ varepsilon $ - 定位点(\ varepsilon \ varepsilon^{ - 1})^{2})$ iterations。对于相应的生成模型,我们为受约束和正则化的最大似然估计问题建立了一种新型的非反应局部一致性结果,这可能是独立的。第三,我们将SDL应用于监督主题建模和胸部X射线图像中的肺炎检测中,以进行不平衡的文档分类。我们还提供了模拟研究,以证明当最佳的重建性和最佳判别词典之间存在差异时,SDL变得更加有效。
translated by 谷歌翻译
本文介绍了使用基于补丁的先前分布的图像恢复的新期望传播(EP)框架。虽然Monte Carlo技术典型地用于从难以处理的后分布中进行采样,但它们可以在诸如图像恢复之类的高维推论问题中遭受可扩展性问题。为了解决这个问题,这里使用EP来使用多元高斯密度的产品近似后分布。此外,对这些密度的协方差矩阵施加结构约束允许更大的可扩展性和分布式计算。虽然该方法自然适于处理添加剂高斯观察噪声,但它也可以扩展到非高斯噪声。用于高斯和泊松噪声的去噪,染色和去卷积问题进行的实验说明了这种柔性近似贝叶斯方法的潜在益处,以实现与采样技术相比降低的计算成本。
translated by 谷歌翻译
张量分解是从多维非负数据中提取物理有意义的潜在因素的强大工具,并且对诸如图像处理,机器学习和计算机视觉等各个领域的兴趣越来越多。在本文中,我们提出了一种稀疏的非负塔克分解和完成方法,用于在嘈杂的观察结果下恢复潜在的非负数据。在这里,基本的非负数据张量分解为核心张量,几个因子矩阵,所有条目均为无负,并且因子矩阵稀疏。损失函数是由嘈杂观测值的最大似然估计得出的,并且使用$ \ ell_0 $ norm来增强因子矩阵的稀疏性。我们在通用噪声场景下建立了拟议模型的估计器的误差结合,然后将其指定为具有加性高斯噪声,加法拉普拉斯噪声和泊松观测的观测值。我们的理论结果比现有基于张量或基于矩阵的方法更好。此外,最小值的下限显示与对数因子的衍生上限相匹配。合成数据集和现实世界数据集的数值示例证明了提出的非负张量数据完成方法的优越性。
translated by 谷歌翻译
在本文中,我们提出了一种用于HSI去噪的强大主成分分析的新型非耦合方法,其侧重于分别同时为低级和稀疏组分的等级和列方向稀疏性产生更准确的近似。特别是,新方法采用日志确定级别近似和新颖的$ \ ell_ {2,\ log} $常规,以便分别限制组件矩阵的本地低级或列明智地稀疏属性。对于$ \ ell_ {2,\ log} $ - 正常化的收缩问题,我们开发了一个高效的封闭式解决方案,该解决方案名为$ \ ell_ {2,\ log} $ - 收缩运算符。新的正则化和相应的操作员通常可以用于需要列明显稀疏性的其他问题。此外,我们在基于日志的非凸rpca模型中强加了空间光谱总变化正则化,这增强了从恢复的HSI中的空间和光谱视图中的全局转换平滑度和光谱一致性。关于模拟和实际HSIS的广泛实验证明了所提出的方法在去噪HSIS中的有效性。
translated by 谷歌翻译
该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中,它被称为“最大切割问题”,这是著名的21个KARP的原始NP硬性问题之一,而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学,物理和工程学的现实问题。但是,准确地求解此模型(查找最大剪切或基态)可能会留下一个棘手的问题(除非$ \ textit {p} = \ textit {np} $),并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案,以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外,该方法被认为是多项式时间中最好的。在本论文的前两章中,我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中,我们迈出了一步,并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题,在该模型中,我们希望尽可能少地调整交互作用,以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明,当相互作用是非负的时,我们的双层优化是在多项式时间内使用凸编程来解决的。
translated by 谷歌翻译