利用标签相关性对于多标签分类很重要。先前的方法主要通过将标签矩阵转换为具有低升级矩阵分解的潜在标签空间来捕获高阶标签相关性。但是，标签矩阵通常是一个全等级或近似的全级矩阵，使得低级别的分解不合适。此外，在潜在空间中，标签相关性将成为隐式。为此，我们提出了一种简单而有效的方法，以明确描绘高阶标签相关性，同时保持标签矩阵的高级别。此外，我们通过输入的局部几何结构同时估计标签相关性和推断模型参数，以实现相互增强。超过十个基准数据集的比较研究验证了所提出的算法在多标签分类中的有效性。利用的高阶标签相关性与常识在经验上是一致的。我们的代码可在https://github.com/601175936/homi上公开获取。

由于巨大的未标记数据的出现，现在已经增加了更加关注无监督的功能选择。需要考虑使用更有效的顺序使用样品训练学习方法的样本和潜在效果的分布，以提高该方法的鲁棒性。自定步学习是考虑样本培训顺序的有效方法。在本研究中，通过整合自花枢学习和子空间学习框架来提出无监督的特征选择。此外，保留了局部歧管结构，并且特征的冗余受到两个正则化术语的约束。 $ l_ {2,1 / 2} $ - norm应用于投影矩阵，旨在保留歧视特征，并进一步缓解数据中噪声的影响。然后，提出了一种迭代方法来解决优化问题。理论上和实验证明了该方法的收敛性。将所提出的方法与九个现实世界数据集上的其他技术的算法进行比较。实验结果表明，该方法可以提高聚类方法的性能，优于其他比较算法。

人类每天产生的exabytes数据，导致越来越需要对大数据带来的多标签学习的大挑战的新努力。例如，极端多标签分类是一个有效且快速增长的研究区域，可以处理具有极大数量的类或标签的分类任务;利用具有有限监督的大规模数据构建一个多标签分类模型对实际应用变得有价值。除此之外，如何收获深度学习的强大学习能力，有巨大努力，以更好地捕获多标签的标签依赖性学习，这是深入学习解决现实世界分类任务的关键。然而，有人指出，缺乏缺乏系统性研究，明确关注分析大数据时代的多标签学习的新兴趋势和新挑战。呼吁综合调查旨在满足这项任务和描绘未来的研究方向和新应用。

Multi-label learning is often used to mine the correlation between variables and multiple labels, and its research focuses on fully extracting the information between variables and labels. The $\ell_{2,1}$ regularization is often used to get a sparse coefficient matrix, but the problem of multicollinearity among variables cannot be effectively solved. In this paper, the proposed model can choose the most relevant variables by solving a joint constraint optimization problem using the $\ell_{2,1}$ regularization and Frobenius regularization. In manifold regularization, we carry out a random walk strategy based on the joint structure to construct a neighborhood graph, which is highly robust to outliers. In addition, we give an iterative algorithm of the proposed method and proved the convergence of this algorithm. The experiments on the real-world data sets also show that the comprehensive performance of our method is consistently better than the classical method.

多视图无监督的特征选择（MUF）已被证明是一种有效的技术，可降低多视图未标记数据的维度。现有方法假定所有视图都已完成。但是，多视图数据通常不完整，即，某些视图中显示了一部分实例，但并非所有视图。此外，学习完整的相似性图，作为现有MUFS方法中重要的有前途的技术，由于缺少的观点而无法实现。在本文中，我们提出了一个基于互补的和共识学习的不完整的多视图无监督的特征选择方法（C $^{2} $ IMUFS），以解决上述问题。具体而言，c $^{2} $ imufs将功能选择集成到扩展的加权非负矩阵分解模型中，配备了自适应学习视图和稀疏的$ \ ell_ {2，p} $ - norm-norm，它可以提供更好的提供适应性和灵活性。通过从不同视图得出的多个相似性矩阵的稀疏线性组合，介绍了互补学习引导的相似性矩阵重建模型，以在每个视图中获得完整的相似性图。此外，c $^{2} $ imufs学习了跨不同视图的共识聚类指示器矩阵，并将其嵌入光谱图术语中以保留本地几何结构。现实世界数据集的全面实验结果证明了与最新方法相比，C $^{2} $ IMUF的有效性。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

各种现代应用展示了多视图多标签学习，其中每个样本具有多视图功能，并且多个标签通过公共视图相关。近年来，已经提出了几种方法来应对并取得了大量成功，但仍然遭受了两个关键问题：1）缺乏处理不完整的多视图弱标签数据的能力，其中只有一个子集为每个样本提供功能和标签; 2）忽略通常发生在现实世界问题中的嘈杂视图和尾标签的存在。在本文中，我们提出了一种新的方法，命名水泥，以克服局限性。对于1），水泥共同将不完整的视图和弱标签嵌入不同的低维子空间，然后通过Hilbert-Schmidt独立性标准（HSIC）将它们与它们相关联。对于2），CEMEMT自适应地了解嵌入的重量以捕获嘈杂的视图，并探索额外的稀疏组件来模拟尾标签，使得多标签设置中可用的低秩。我们开发了一个替代算法来解决所提出的优化问题。七世界数据集上的实验结果证明了所提出的方法的有效性。

多个内核聚类（MKC）致力于从一组基础内核中实现最佳信息融合。事实证明，构建精确和局部核矩阵在应用中具有至关重要的意义，因为不可靠的远距离相似性估计将降低群集的每种形式。尽管与全球设计的竞争者相比，现有的局部MKC算法表现出改善的性能，但其中大多数通过考虑{\ tau} - 最终的邻居来定位内核矩阵来定位内核矩阵。但是，这种粗糙的方式遵循了一种不合理的策略，即不同邻居的排名重要性是相等的，这在应用程序中是不切实际的。为了减轻此类问题，本文提出了一种新型的本地样品加权多核聚类（LSWMKC）模型。我们首先在内核空间中构建共识判别亲和力图，从而揭示潜在的局部结构。此外，学习亲和力图的最佳邻域内核具有自然稀疏特性和清晰的块对角结构。此外，LSWMKC立即优化了具有相应样品的不同邻居的适应性权重。实验结果表明，我们的LSWMKC具有更好的局部流形表示，并且优于现有内核或基于图的聚类算法算法。可以从https://github.com/liliangnudt/lswmkc公开访问LSWMKC的源代码。

现有的在线多标签分类工作无法处理在线标签阈值问题，并缺乏对其在线算法的遗憾分析。本文提出了一种用于在线多标签分类的自适应标签阈值算法的新框架，旨在克服现有方法的缺点。我们的框架的关键特征是，何种评分和阈值模型都包含在线多标签分类器的重要组成部分，并纳入一个在线优化问题。此外，为了建立评分和阈值模型之间的关系，导出了一种新的多标签分类损失函数，该丢失函数是多个标签分类器可以区分传入实例的相关标签和无关的程度。基于这种新的框架和损失功能，我们介绍了一阶线性算法和二阶算法，均享受封闭式更新，但依赖于更新多标签分类器的不同技术。证明这两种算法都达到了子线性遗憾。使用Mercer Kernels，我们的一阶算法已经扩展到处理非线性多标签预测任务。实验表明我们的线性和非线性算法的优势，就各种多标签性能指标而言。

多视图聚类（MVC）最佳地集成了来自不同视图的互补信息，以提高聚类性能。尽管在各种应用中证明了有希望的性能，但大多数现有方法都直接融合了多个预先指定的相似性，以学习聚类的最佳相似性矩阵，这可能会导致过度复杂的优化和密集的计算成本。在本文中，我们通过对齐方式最大化提出了晚期Fusion MVC，以解决这些问题。为此，我们首先揭示了现有K-均值聚类的理论联系以及基本分区和共识之一之间的对齐。基于此观察结果，我们提出了一种简单但有效的多视算法，称为LF-MVC-GAM。它可以从每个单独的视图中最佳地将多个源信息融合到分区级别，并最大程度地将共识分区与这些加权基础分区保持一致。这种对齐方式有助于整合分区级别信息，并通过充分简化优化过程来大大降低计算复杂性。然后，我们设计了另一个变体LF-MVC-LAM，以通过在多个分区空间之间保留局部内在结构来进一步提高聚类性能。之后，我们开发了两种三步迭代算法，以通过理论上保证的收敛来解决最终的优化问题。此外，我们提供了所提出算法的概括误差约束分析。对十八个多视图基准数据集进行了广泛的实验，证明了拟议的LF-MVC-GAM和LF-MVC-LAM的有效性和效率，范围从小到大型数据项不等。拟议算法的代码可在https://github.com/wangsiwei2010/latefusionalignment上公开获得。

多视图子空间聚类传统上专注于集成异构特征描述以捕获更高维度信息。一种流行的策略是从不同视图生成常见的子空间，然后应用基于图形的方法来处理群集。但是，这些方法的性能仍然受到两个限制，即多视图融合模式以及融合过程与聚类任务之间的连接。为了解决这些问题，我们通过细粒度图形学习提出了一种新的多视图子空间聚类框架，可以在不同视图之间讲述本地结构之间的一致性，并比以前的重量规则更精细地集成所有视图。与文献中的其他模型不同，引入了点级图正规化和频谱聚类的重新介绍，以执行图形融合并将共享集群结构一起学习在一起。在五个真实数据集上进行了广泛的实验，表明该框架对SOTA算法具有可比性。

在本文中，我们提出了一种用于HSI去噪的强大主成分分析的新型非耦合方法，其侧重于分别同时为低级和稀疏组分的等级和列方向稀疏性产生更准确的近似。特别是，新方法采用日志确定级别近似和新颖的$ \ ell_ {2，\ log} $常规，以便分别限制组件矩阵的本地低级或列明智地稀疏属性。对于$ \ ell_ {2，\ log} $ - 正常化的收缩问题，我们开发了一个高效的封闭式解决方案，该解决方案名为$ \ ell_ {2，\ log} $ - 收缩运算符。新的正则化和相应的操作员通常可以用于需要列明显稀疏性的其他问题。此外，我们在基于日志的非凸rpca模型中强加了空间光谱总变化正则化，这增强了从恢复的HSI中的空间和光谱视图中的全局转换平滑度和光谱一致性。关于模拟和实际HSIS的广泛实验证明了所提出的方法在去噪HSIS中的有效性。

多标签学习（MLL）从每个与多个标签相关联的示例中学习，其中每个培训示例的所有相关标签的高成本对于现实世界应用程序都有挑战。为了应对挑战，我们研究了单个阳性多标签学习（SPMLL），其中每个示例仅带有一个相关标签，并表明人们可以成功地学习一个理论上接地的多标签分类器，以解决该问题。在本文中，提出了一种名为{\提出的}的新型SPMLL方法，即提出了具有标签增强的单阳性多标签学习。具体而言，得出了无偏的风险估计器，可以保证该估计器大致融合到完全监督学习的最佳风险最小化器中，并表明每个实例的一个正标能够足以训练预测模型。然后，通过将潜在软标签恢复为标签增强过程，建立相应的经验风险估计器，其中潜在软标签的后验密度近似于通过推动模型对变异beta beta密度参数。基准数据集上的实验验证了所提出方法的有效性。

不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响，例如类不平衡问题，类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来，已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠，删除难以区分的多数实例，提高算法分类精度。然而，Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时，取样效果不令人满意，分类模型的性能改善并不明显。因此，在Tomek-Link的基础上，提出了一种多粒度重新标记的取样算法（MGRU）。该算法完全考虑了本地粒度子空间中的数据集的本地信息，并检测数据集中的本地潜在重叠实例。然后，根据全局重新标记的索引值消除重叠的多数实例，这有效地扩展了Tomek-Link的检测范围。仿真结果表明，当我们选择欠采样的最佳全局重新标记索引值时，所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。

Multi-view unsupervised feature selection has been proven to be efficient in reducing the dimensionality of multi-view unlabeled data with high dimensions. The previous methods assume all of the views are complete. However, in real applications, the multi-view data are often incomplete, i.e., some views of instances are missing, which will result in the failure of these methods. Besides, while the data arrive in form of streams, these existing methods will suffer the issues of high storage cost and expensive computation time. To address these issues, we propose an Incremental Incomplete Multi-view Unsupervised Feature Selection method (I$^2$MUFS) on incomplete multi-view streaming data. By jointly considering the consistent and complementary information across different views, I$^2$MUFS embeds the unsupervised feature selection into an extended weighted non-negative matrix factorization model, which can learn a consensus clustering indicator matrix and fuse different latent feature matrices with adaptive view weights. Furthermore, we introduce the incremental leaning mechanisms to develop an alternative iterative algorithm, where the feature selection matrix is incrementally updated, rather than recomputing on the entire updated data from scratch. A series of experiments are conducted to verify the effectiveness of the proposed method by comparing with several state-of-the-art methods. The experimental results demonstrate the effectiveness and efficiency of the proposed method in terms of the clustering metrics and the computational cost.

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

公制学习旨在学习一个距离度量，以便在将不同的实例推开时将语义上相似的实例放在一起。许多现有方法考虑在特征空间中最大化或至少限制距离距离的距离，以分离相似和不同的实例对以保证其概括能力。在本文中，我们主张在输入空间中施加对抗边缘，以改善公制学习算法的概括和稳健性。我们首先表明，对抗边缘定义为训练实例与其最接近的对手示例之间的距离，它既考虑了特征空间中的距离差距以及指标和三重限制之间的相关性。接下来，为了增强实例扰动的鲁棒性，我们建议通过最大程度地减少称为扰动损失的新型损失函数来扩大对抗缘。提出的损失可以看作是数据依赖性的正规器，并轻松地插入任何现有的度量学习方法中。最后，我们表明扩大边缘通过使用算法鲁棒性的理论技术对概括能力有益。 16个数据集的实验结果证明了所提出的方法比现有的最新方法具有歧视精度和鲁棒性，以抵抗可能的噪声。

旨在解决不完整的多视图数据中缺少部分视图的聚类问题的不完整的多视图聚类，近年来受到了越来越多的关注。尽管已经开发了许多方法，但大多数方法要么无法灵活地处理不完整的多视图数据，因此使用任意丢失的视图，或者不考虑视图之间信息失衡的负面因素。此外，某些方法并未完全探索所有不完整视图的局部结构。为了解决这些问题，本文提出了一种简单但有效的方法，称为局部稀疏不完整的多视图聚类（LSIMVC）。与现有方法不同，LSIMVC打算通过优化一个稀疏的正则化和新颖的图形嵌入式多视图矩阵分数模型来从不完整的多视图数据中学习稀疏和结构化的潜在表示。具体而言，在基于矩阵分解的这种新型模型中，引入了基于L1规范的稀疏约束，以获得稀疏的低维单个表示和稀疏共识表示。此外，引入了新的本地图嵌入项以学习结构化共识表示。与现有作品不同，我们的本地图嵌入术语汇总了图形嵌入任务和共识表示任务中的简洁术语。此外，为了减少多视图学习的不平衡因素，将自适应加权学习方案引入LSIMVC。最后，给出了有效的优化策略来解决我们提出的模型的优化问题。在六个不完整的多视图数据库上执行的全面实验结果证明，我们的LSIMVC的性能优于最新的IMC方法。该代码可在https://github.com/justsmart/lsimvc中找到。

学习遥感图像的歧管结构对于建模和理解过程是最重要的相关性，以及封装在减少一组信息特征中的高维度，以用于后续分类，回归或解密。歧管学习方法显示出优异的性能来处理高光谱图像（HSI）分析，但除非专门设计，否则它们不能提供明确的嵌入式地图，容易适用于采样超出数据。处理问题的常见假设是高维输入空间和（通常低）潜空间之间的转换是线性的。这是一种特别强烈的假设，特别是当由于数据的众所周知的非线性性质而处理高光谱图像时。为了解决这个问题，提出了一种基于高维模型表示（HDMR）的歧管学习方法，这使得能够将非线性嵌入功能呈现给潜伏空间的采样外部样本。将所提出的方法与其线性对应物一起进行比较，并在代表性齐谱图像的分类精度方面实现了有希望的性能。

KNN分类是一种即兴的学习模式，其中仅当预测测试数据设置适当的K值并从整个训练样本空间搜索K最近邻居时，将它们引用到KNN分类的惰性部分。这一懒散的部分是应用KNN分类的瓶颈问题，因为完全搜索了K最近邻居。在本文中，提出了一步计算来取代KNN分类的惰性部分。一步计算实际上将惰性部分转换为矩阵计算，如下所示。考虑到测试数据，首先应用训练样本以将测试数据与最小二乘损耗功能拟合。然后，通过根据它们对测试数据的影响来加权所有训练样本来生成关系矩阵。最后，采用一个组套索来对关系矩阵进行稀疏学习。以这种方式，设置k值和搜索k最近邻居都集成到统一的计算。此外，提出了一种新的分类规则来改善单步核武器分类的性能。提出的方法是通过实验评估的，并证明了一步核武器分类是有效和有前途的