通过收集大量数据，然后使用获得的数据直接优化系统参数，正在设计越来越多的系统。通常，这是在没有分析数据集结构的情况下完成的。随着任务复杂性，数据大小和参数都增加到数百万甚至数十亿，数据汇总正成为一个主要挑战。在这项工作中，我们通过字典学习〜（DL）研究了数据汇总，利用了最近引入的非负核回归（NNK）图的属性。与以前的DL技术（例如KSVD）不同，我们提出的NNK均值学习了代表输入数据空间的原子的几何词典。实验表明，与KMeans和KSVD的线性和内核版本相比，使用NNK均值的汇总可以提供更好的类别分离。此外，NNK均值是可扩展的，其运行时复杂性与Kmeans相似。

Data-driven neighborhood definitions and graph constructions are often used in machine learning and signal processing applications. k-nearest neighbor~(kNN) and $\epsilon$-neighborhood methods are among the most common methods used for neighborhood selection, due to their computational simplicity. However, the choice of parameters associated with these methods, such as k and $\epsilon$, is still ad hoc. We make two main contributions in this paper. First, we present an alternative view of neighborhood selection, where we show that neighborhood construction is equivalent to a sparse signal approximation problem. Second, we propose an algorithm, non-negative kernel regression~(NNK), for obtaining neighborhoods that lead to better sparse representation. NNK draws similarities to the orthogonal matching pursuit approach to signal representation and possesses desirable geometric and theoretical properties. Experiments demonstrate (i) the robustness of the NNK algorithm for neighborhood and graph construction, (ii) its ability to adapt the number of neighbors to the data properties, and (iii) its superior performance in local neighborhood and graph-based machine learning tasks.

In recent years there has been a growing interest in the study of sparse representation of signals. Using an overcomplete dictionary that contains prototype signal-atoms, signals are described by sparse linear combinations of these atoms. Applications that use sparse representation are many and include compression, regularization in inverse problems, feature extraction, and more. Recent activity in this field has concentrated mainly on the study of pursuit algorithms that decompose signals with respect to a given dictionary. Designing dictionaries to better fit the above model can be done by either selecting one from a prespecified set of linear transforms or adapting the dictionary to a set of training signals. Both of these techniques have been considered, but this topic is largely still open. In this paper we propose a novel algorithm for adapting dictionaries in order to achieve sparse signal representations. Given a set of training signals, we seek the dictionary that leads to the best representation for each member in this set, under strict sparsity constraints. We present a new method-the K-SVD algorithm-generalizing the K-means clustering process. K-SVD is an iterative method that alternates between sparse coding of the examples based on the current dictionary and a process of updating the dictionary atoms to better fit the data. The update of the dictionary columns is combined with an update of the sparse representations, thereby accelerating convergence. The K-SVD algorithm is flexible and can work with any pursuit method (e.g., basis pursuit, FOCUSS, or matching pursuit). We analyze this algorithm and demonstrate its results both on synthetic tests and in applications on real image data.

信号或数据的稀疏表示（SR）具有良好的创立理论，具有严格的数学误差界和证明。信号的SR由矩阵的叠加为称为字典的叠加，隐含地减少了维度。培训词典使它们表示具有最小损失的每种信号称为字典学习（DL）。字典学习方法，如最佳方向（MOD）和K-SVD的方法，已成功地用于图像处理中的重建应用，如图像“去噪”，“伪装”等。其他判别k-svd和标签一致的K-SVD等字典学习算法是基于K-SVD的监督学习方法。在我们的经验中，当前方法的一个缺点是，在Telugu OCR数据集等数据集中，分类性能并不令人印象深刻，具有大量的课程和高维度。在这个方向上有所改善，许多研究人员使用统计方法来设计分类词典。本章介绍了统计技术的审查及其在学习歧视性词典中的应用。这里描述的方法的目的是使用稀疏表示来改善分类。在本章中，描述了混合方法，其中生成输入数据的稀疏系数。我们使用一个简单的三层多层Perceptron，背传播培训作为具有输入的稀疏代码的分类器。结果与其他计算密集型方法相当可比。关键词：统计建模，字典学习，歧视性词典，稀疏表示，高斯先前，Cauchy先前，熵，隐马尔可夫模型，混合词典学习

音频和图像处理等许多应用程序显示，稀疏表示是一种强大而有效的信号建模技术。找到一个最佳词典，同时生成的数据和最小近似误差是由字典学习（DL）接近的难题。我们研究DL如何在信号集中检测信号集中的异常样本。在本文中，我们使用特定的DL配方，其寻求均匀的稀疏表示模型来使用K-SVD型算法检测数据集中大多数样本的基础子空间。数值模拟表明，人们可以有效地使用此产生的子空间来辨别常规数据点的异常。

We address the image denoising problem, where zero-mean white and homogeneous Gaussian additive noise is to be removed from a given image. The approach taken is based on sparse and redundant representations over trained dictionaries. Using the K-SVD algorithm, we obtain a dictionary that describes the image content effectively. Two training options are considered: using the corrupted image itself, or training on a corpus of high-quality image database. Since the K-SVD is limited in handling small image patches, we extend its deployment to arbitrary image sizes by defining a global image prior that forces sparsity over patches in every location in the image. We show how such Bayesian treatment leads to a simple and effective denoising algorithm. This leads to a state-of-the-art denoising performance, equivalent and sometimes surpassing recently published leading alternative denoising methods.

稀疏编码与$ l_1 $罚化和学习的线性词典需要正规化字典以防止$ l_1 $ norms的代码中的崩溃。通常，此正则化需要绑定字典元素的欧几里德规范。在这项工作中，我们提出了一种新颖的稀疏编码协议，其防止代码中的崩溃，而无需正常化解码器。我们的方法直接正规化代码，使每个潜在代码组件具有大于固定阈值的差异，而不是给定一组输入集的一组稀疏表示。此外，我们探讨有效地利用多层解码器培训稀疏编码系统的方法，因为它们可以模拟比线性词典更复杂的关系。在我们的MNIST和自然形象补丁的实验中，我们表明，通过我们的方法学习的解码器具有在线性和多层外壳中的可解释特征。此外，我们显示使用我们的方差正则化方法训练的多层解码器具有多层解码器的稀疏自动置分机，与具有线性词典的自动码器相比，使用稀疏表示具有稀疏表示的更高质量的重建。此外，通过我们的差异正规化方法获得的稀疏表示可用于低数据制度的去噪和分类的下游任务。

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

在本文中，我们通过将歧管学习步骤纳入鉴别器来改善生成的对抗网络。我们考虑了基于位置约束的线性和子空间的歧管，以及地方约束的非线性歧管。在我们的设计中，歧管学习和编码步骤与鉴别器的层交织在一起，其目标是将中间特征表示吸引到歧管上。我们自适应地平衡特征表示和歧管视图之间的差异，这代表了在歧管上的去噪和精炼歧管之间的折衷。我们得出结论，由于它们的不均匀密度和平滑度，地区限制的非线性歧管具有上部的线性歧管。我们对不同最近最新的基线显示出实质性的改进。

比较图形等结构的对象是许多学习任务中涉及的基本操作。为此，基于最优传输（OT）的Gromov-Wasserstein（GW）距离已被证明可以成功处理相关对象的特定性质。更具体地说，通过节点连接关系，GW在图表上运行，视为特定空间上的概率测量。在OT的核心处是质量守恒的想法，这在两个被认为的图表中的所有节点之间施加了耦合。我们在本文中争辩说，这种财产可能对图形字典或分区学习等任务有害，我们通过提出新的半轻松的Gromov-Wasserstein发散来放松它。除了立即计算福利之外，我们讨论其属性，并表明它可以导致有效的图表字典学习算法。我们经验展示其对图形上的复杂任务的相关性，例如分区，聚类和完成。

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

可分离的或克朗克蛋白产品，字典为2D信号提供自然分解，例如图像。在本文中，我们描述了一种高度平行化的算法，该算法学习此词典，该词典达到漏洞表示与文献中的前一种艺术字典学习算法的先前状态，但以较低的计算成本。我们突出了所提出的方法稀疏地代表图像和高光谱数据的性能，以及用于图像去噪。

子空间聚类方法拥抱一个自表现模型，表示每个数据点作为数据集中的其他数据点的线性组合是强大的无监督学习技术。然而，在处理大规模数据集时，通过参考作为字典的所有数据点来表示每个数据点的表示患有高计算复杂度。为了缓解这个问题，我们通过梳理多个子集，引入并行的基于多子集的自表现模型（PMS），该模型表示每个数据点，每个数据点仅包括小百分比样本。子空间聚类中的PMS采用（PMSSC）导致计算优势，因为分解到每个子集中的每个优化问题很小，并且可以并行地求解。此外，PMSSC能够组合从子集获得的多个自我表达系数矢量，这有助于改善自表现。对合成数据和现实世界数据集的广泛实验表明了我们对竞争方法的方法的效率和有效性。

近年来，深层词典学习（DDL）由于其对表示和视觉识别的有效性而引起了很多关注。为了充分利用不同样本的类别信息，我们提出了一种新型的深层词典学习模型，具有类内部约束（DDLIC）用于视觉分类。具体而言，我们在不同级别的中间表示上设计了类内部的紧凑性约束，以鼓励阶层内表示彼此之间更近，最终学习的表示形式变得更加歧视。阶段，我们的DDLIC以与训练阶段相似的方式执行层次贪婪优化。四个图像数据集的实验结果表明，我们的方法优于最新方法。

Countless signal processing applications include the reconstruction of signals from few indirect linear measurements. The design of effective measurement operators is typically constrained by the underlying hardware and physics, posing a challenging and often even discrete optimization task. While the potential of gradient-based learning via the unrolling of iterative recovery algorithms has been demonstrated, it has remained unclear how to leverage this technique when the set of admissible measurement operators is structured and discrete. We tackle this problem by combining unrolled optimization with Gumbel reparametrizations, which enable the computation of low-variance gradient estimates of categorical random variables. Our approach is formalized by GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators). This novel method is easy-to-implement, computationally efficient, and extendable due to its compatibility with automatic differentiation. We empirically demonstrate the performance and flexibility of GLODISMO in several prototypical signal recovery applications, verifying that the learned measurement matrices outperform conventional designs based on randomization as well as discrete optimization baselines.

将数据作为几个原子的组合表示数据的字典学习问题，长期以来作为一种流行的学习统计信息和信号处理方法。最受欢迎的字典学习算法在稀疏编码和词典上的交替交替，富有的文献研究了其理论融合。神经卓越的展开稀疏编码网络的日益普及导致了经验发现，通过这种网络的反向化执行字典学习。本文通过Pudle提供了这些经验结果的第一个理论证明，可提供展开的展开字典学习方法。我们突出了损失，展开和背交对融合的影响。我们发现隐式加速：作为展开的函数，BackPropagated梯度会收敛得更快，比梯度从交替最小化更准确。我们通过合成和图像去噪实验补充我们的研究结果。调查结果支持使用加速深度学习优化器和展开网络用于字典学习。

决策森林（森林），尤其是随机森林和梯度促进树木，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。尤其是，森林在表格数据中占主导地位，即当特征空间非结构化时，因此信号是特征指数置换的不变性。然而，在存在于多种多样（例如图像，文本和语音）深网（网络）（特别是卷积深网（Convnets））上的结构化数据中，倾向于优于森林。我们猜想至少部分原因是网络的输入不仅仅是特征幅度，也是其索引。相反，天真的森林实施未能明确考虑特征指数。最近提出的森林方法表明，对于每个节点，森林从某些特定分布中隐式采样一个随机矩阵。这些森林像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多物体来学习。我们以这种方法为基础，并表明人们可以以多种感知方式选择分布来纳入特征区域。我们在数据上活在三个不同的流形上的数据上证明了经验性能：圆环，图像和时间序列。此外，我们证明了其在多元模拟环境中的强度，并且在预测癫痫患者的手术结果方面也表现出了优越性，并从非运动脑区域的原始立体定向EEG数据中预测运动方向。在所有模拟和真实数据中，歧管随机森林（MORF）算法的表现优于忽略特征空间结构并挑战Convnets的性能。此外，MORF运行迅速，并保持解释性和理论上的理由。

子空间聚类是将大约位于几个低维子空间的数据样本集合集合的经典问题。此问题的当前最新方法基于自我表达模型，该模型表示样品是其他样品的线性组合。但是，这些方法需要足够广泛的样品才能准确表示，这在许多应用中可能不一定是可以访问的。在本文中，我们阐明了这个常见的问题，并认为每个子空间中的数据分布在自我表达模型的成功中起着至关重要的作用。我们提出的解决此问题的解决方案是由数据扩展在深神经网络的概括力中的核心作用引起的。我们为无监督和半监督的设置提出了两个子空间聚类框架，这些框架使用增强样品作为扩大词典来提高自我表达表示的质量。我们提出了一种使用一些标记的样品进行半监督问题的自动增强策略，该问题取决于数据样本位于多个线性子空间的联合以下事实。实验结果证实了数据增强的有效性，因为它显着提高了一般自我表达模型的性能。

张量分解是学习多通道结构和来自高维数据的异质特征的有效工具，例如多视图图像和多通道脑电图（EEG）信号，通常由张量表示。但是，大多数张量分解方法是线性特征提取技术，它们无法在高维数据中揭示非线性结构。为了解决此类问题，已经提出了许多算法，以同时执行线性和非线性特征提取。代表性算法是用于图像群集的图形正则非负矩阵分解（GNMF）。但是，正常的2阶图只能模拟对象的成对相似性，该对象无法充分利用样品的复杂结构。因此，我们提出了一种新型方法，称为HyperGraph Narodarized非负张量分解（HyperNTF），该方法利用超图来编码样品之间的复杂连接，并采用了与最终的典型多形（CP）分解模式相对应的因子矩阵，为低维度表示。关于合成歧管，现实世界图像数据集和脑电图信号的广泛实验，表明HyperNTF在降低，聚类和分类方面优于最先进的方法。

本文介绍了针对非负矩阵分解的新的乘法更新，并使用$ \ beta $ -Divergence和两个因素之一的稀疏正则化（例如，激活矩阵）。众所周知，需要控制另一个因素（字典矩阵）的规范，以避免使用不良的公式。标准实践包括限制字典的列具有单位规范，这导致了非平凡的优化问题。我们的方法利用原始问题对等效规模不变的目标函数的优化进行了重新处理。从那里，我们得出了块状大量最小化算法，这些算法可为$ \ ell_ {1} $ - 正则化或更“激进的” log-regularization提供简单的乘法更新。与其他最先进的方法相反，我们的算法是通用的，因为它们可以应用于任何$ \ beta $ -Divergence（即任何$ \ beta $的任何值），并且它们具有融合保证。我们使用各种数据集报告了与现有的启发式和拉格朗日方法的数值比较：面部图像，音频谱图，高光谱数据和歌曲播放计数。我们表明，我们的方法获得了收敛时类似质量的溶液（相似的目标值），但CPU时间显着减少。