图像文本聚类（ITC）的目标是通过整合这些异质样品的多模式的互补和一致信息来找到正确的簇。但是，目前的大多数研究都根据理想的前提分析了ITC，即每种模式中的样本都是完整的。但是，在现实情况下，这种推定并不总是有效的。缺少的数据问题使图像文本特征学习性能退化，并最终会影响ITC任务中的概括能力。尽管已经提出了一系列方法来解决此不完整的图像文本群集问题（IITC），但仍然存在以下问题：1）大多数现有方法几乎不考虑异质特征域之间的明显差距。 2）对于缺少数据，很少保证由现有方法生成的表示形式适合聚类任务。 3）现有方法不利用内部和内部模式的潜在连接。在本文中，我们提出了一个聚类引起的生成不完整的图像文本聚类（CIGIT-C）网络，以应对上述挑战。更具体地说，我们首先使用特定于模态的编码器将原始功能映射到更独特的子空间。通过使用对抗生成网络在另一种模态上产生一种方式，可以彻底探索内部内部和模式之间的潜在连接。最后，我们使用两个KL DiverGence损失更新相应的模态特异性编码器。公共图像文本数据集的实验结果表明，建议的方法优于IITC作业更有效。

不完整的多视图聚类旨在通过使用来自多种模式的数据来增强聚类性能。尽管已经提出了几种研究此问题的方法，但以下缺点仍然存在：1）很难学习潜在的互补性但不使用标签信息而保持一致性的潜在表示； 2）因此，当完整的数据稀缺时，在不完整的数据中未能充分利用不完整数据中的隐藏信息会导致次优群集性能。在本文中，我们提出了与生成对抗网络（CIMIC-GAN）的对比度不完整的多视图图像聚类，该网络使用GAN填充不完整的数据并使用双对比度学习来学习完整和不完整的数据的一致性。更具体地说，考虑到多种方式之间的多样性和互补信息，我们将完整和不完整数据的自动编码表示为双对比度学习，以实现学习一致性。将gan集成到自动编码过程中不仅可以充分利用不完整数据的新功能，而且可以在存在高数据缺失率的情况下更好地概括该模型。在\ textColor {black} {四}广泛使用的数据集上进行的实验表明，cimic-gan优于最先进的不完整的多视图聚类方法。

旨在解决不完整的多视图数据中缺少部分视图的聚类问题的不完整的多视图聚类，近年来受到了越来越多的关注。尽管已经开发了许多方法，但大多数方法要么无法灵活地处理不完整的多视图数据，因此使用任意丢失的视图，或者不考虑视图之间信息失衡的负面因素。此外，某些方法并未完全探索所有不完整视图的局部结构。为了解决这些问题，本文提出了一种简单但有效的方法，称为局部稀疏不完整的多视图聚类（LSIMVC）。与现有方法不同，LSIMVC打算通过优化一个稀疏的正则化和新颖的图形嵌入式多视图矩阵分数模型来从不完整的多视图数据中学习稀疏和结构化的潜在表示。具体而言，在基于矩阵分解的这种新型模型中，引入了基于L1规范的稀疏约束，以获得稀疏的低维单个表示和稀疏共识表示。此外，引入了新的本地图嵌入项以学习结构化共识表示。与现有作品不同，我们的本地图嵌入术语汇总了图形嵌入任务和共识表示任务中的简洁术语。此外，为了减少多视图学习的不平衡因素，将自适应加权学习方案引入LSIMVC。最后，给出了有效的优化策略来解决我们提出的模型的优化问题。在六个不完整的多视图数据库上执行的全面实验结果证明，我们的LSIMVC的性能优于最新的IMC方法。该代码可在https://github.com/justsmart/lsimvc中找到。

在本文中，我们考虑了在不完整视图上的多视图聚类问题。与完整的多视图聚类相比，视图缺失的问题会增加学习不同视图的常见表示的难度。为了解决挑战，我们提出了一种新颖的不完整的多视图聚类框架，该框架包含跨视网围传输和多视图融合学习。具体地，基于在多视图数据中存在的一致性，我们设计了一种基于跨视网围的转移转移的完成模块，该完成模块将已知与缺失视图的已知相似的相互关系的关系传输，并根据传输的图形网络恢复丢失的数据关系图。然后，设计特定于特定的编码器以提取恢复的多视图数据，引入基于注意的融合层以获得公共表示。此外，为了减少由视图之间不一致并获得更好的聚类结构引起的误差的影响，引入了联合聚类层以同时优化恢复和聚类。在几个真实数据集上进行的广泛实验证明了该方法的有效性。

常规的多视图聚类试图基于所有观点的假设，以完全观察到所有观点的假设。但是，在诸如疾病诊断，多媒体分析和建议系统之类的实际应用中，常见的是，在许多情况下，并非所有样品的观点都可以使用，这导致常规多视图聚类方法的失败。在此不完整的多视图数据上的聚类称为不完整的多视图聚类。鉴于有前途的应用前景，近年来对不完整的多视图聚类的研究取得了明显的进步。但是，没有调查可以总结当前的进展并指出未来的研究方向。为此，我们回顾了最新的关于多视图聚类的研究。重要的是，我们提供一些框架来统一相应的不完整的多视图聚类方法，并从理论和实验角度对某些代表性方法进行深入的比较分析。最后，为研究人员提供了不完整的多视图聚类领域中的一些开放问题。

The past two decades have seen increasingly rapid advances in the field of multi-view representation learning due to it extracting useful information from diverse domains to facilitate the development of multi-view applications. However, the community faces two challenges: i) how to learn robust representations from a large amount of unlabeled data to against noise or incomplete views setting, and ii) how to balance view consistency and complementary for various downstream tasks. To this end, we utilize a deep fusion network to fuse view-specific representations into the view-common representation, extracting high-level semantics for obtaining robust representation. In addition, we employ a clustering task to guide the fusion network to prevent it from leading to trivial solutions. For balancing consistency and complementary, then, we design an asymmetrical contrastive strategy that aligns the view-common representation and each view-specific representation. These modules are incorporated into a unified method known as CLustering-guided cOntrastiVE fusioN (CLOVEN). We quantitatively and qualitatively evaluate the proposed method on five datasets, demonstrating that CLOVEN outperforms 11 competitive multi-view learning methods in clustering and classification. In the incomplete view scenario, our proposed method resists noise interference better than those of our competitors. Furthermore, the visualization analysis shows that CLOVEN can preserve the intrinsic structure of view-specific representation while also improving the compactness of view-commom representation. Our source code will be available soon at https://github.com/guanzhou-ke/cloven.

Multi-view representation learning has developed rapidly over the past decades and has been applied in many fields. However, most previous works assumed that each view is complete and aligned. This leads to an inevitable deterioration in their performance when encountering practical problems such as missing or unaligned views. To address the challenge of representation learning on partially aligned multi-view data, we propose a new cross-view graph contrastive learning framework, which integrates multi-view information to align data and learn latent representations. Compared with current approaches, the proposed method has the following merits: (1) our model is an end-to-end framework that simultaneously performs view-specific representation learning via view-specific autoencoders and cluster-level data aligning by combining multi-view information with the cross-view graph contrastive learning; (2) it is easy to apply our model to explore information from three or more modalities/sources as the cross-view graph contrastive learning is devised. Extensive experiments conducted on several real datasets demonstrate the effectiveness of the proposed method on the clustering and classification tasks.

近年来，多视图学习迅速发展。尽管许多先前的研究都认为每个实例都出现在所有视图中，但在现实世界应用程序中很常见，从某些视图中丢失实例，从而导致多视图数据不完整。为了解决这个问题，我们提出了一个新型潜在的异质图网络（LHGN），以实现不完整的多视图学习，该学习旨在以灵活的方式尽可能充分地使用多个不完整的视图。通过学习统一的潜在代表，隐含地实现了不同观点之间一致性和互补性之间的权衡。为了探索样本与潜在表示之间的复杂关系，首次提出了邻域约束和视图约束，以构建异质图。最后，为了避免训练和测试阶段之间的任何不一致之处，基于图形学习的分类任务应用了转导学习技术。对现实世界数据集的广泛实验结果证明了我们模型对现有最新方法的有效性。

基于图形的多视图聚类，旨在跨多种视图获取数据分区，近年来接受了相当大的关注。虽然已经为基于图形的多视图群集进行了巨大努力，但它对各种视图融合特征仍然是一个挑战，以学习聚类的常见表示。在本文中，我们提出了一种新的一致多曲线图嵌入聚类框架（CMGEC）。具体地，设计了一种多图自动编码器（M-GAE），用于使用多图注意融合编码器灵活地编码多视图数据的互补信息。为了引导所学过的公共表示维护每个视图中相邻特征的相似性，引入了多视图相互信息最大化模块（MMIM）。此外，设计了一个图形融合网络（GFN），以探讨来自不同视图的图表之间的关系，并提供M-GAE所需的常见共识图。通过联合训练这些模型，可以获得共同的潜在表示，其从多个视图中编码更多互补信息，并更全面地描绘数据。三种类型的多视图数据集的实验表明CMGEC优于最先进的聚类方法。

一致性和互补性是增强多视图聚类（MVC）的两种关键要素。最近，随着流行的对比学习的引入，MVC的观点一致性学习得到了进一步的增强，从而导致了有希望的表现。但是，相比之下，互补性尚未得到足够的关注，除了在功能方面，希尔伯特·施密特独立标准（HSIC）术语（HSIC）术语或通常采用独立的编码器网络以捕获特定视图信息。这促使我们从包括功能，视图标签和对比方面在内的多个方面全面地重新考虑对观点的互补学习，同时保持视图一致性。我们从经验上发现，所有方面都有助于互补学习，尤其是视图标签的方面，通常被现有方法忽略了。基于此，我们开发了一个小说\下划线{m} ultifacet \ usewissline {c} omplementarity学习框架\下划线{m} uldi- \ usepline {v} iew \ usew \ usew suespline {c} lustering（mcmvc），其中融合了多层配置配置。信息，尤其是明确嵌入视图标签信息的信息。据我们所知，这是第一次明确使用视图标签来指导视图的互补学习。与SOTA基线相比，MCMVC在$ 5.00 \％$ $ $ 5.00 \％$和$ 7.00 \％$中的平均利润率分别在CALTECH101-20上分别在CalTech101-20上分别取得了显着的进步，分别是三个评估指标。

哈希（Hashing）将项目数据投入二进制代码已显示出由于其储存量低和高查询速度而显示出跨模式检索的非凡人才。尽管在某些情况下取得了经验成功，但现有的跨模式散列方法通常不存在带有大量标记信息的数据时跨模式差距跨模式差距。为了避免以分裂和纠纷策略的激励，我们提出了深层的歧管散列（DMH），这是一种新颖的方法，是将半分配的无监督的交叉模式检索分为三个子问题，并建立一个简单而又简单而又又有一个简单的方法每个子问题的效率模型。具体而言，第一个模型是通过基于多种学习的半生数据补充的半生数据来构建的，用于获得模态不变的特征，而第二个模型和第三个模型旨在分别学习哈希码和哈希功能。在三个基准上进行的广泛实验表明，与最先进的完全配对和半成本无监督的跨模式散列方法相比，我们的DMH的优势。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

在本文中，我们提出了一种新颖的细节多视图深度子空间网（AMVDSN），其深入探讨了多个视图中的一致性和特定信息，并通过考虑每个视图通过注意机制获得的动态贡献来熔化它们。与大多数多视图子空间学习方法不同，它们直接重建原始数据的数据点，或者在深层或浅层空间中学习表示时仅考虑一致性或互补性，我们提出的方法旨在查找明确认为共识和观点的联合潜在表示 - 多个视图之间的特定信息，然后对学习的联合潜在表示执行子空间群集。基础，不同的视图与表示学习有不同的贡献，我们引入了关注机制来导出每个视图的动态权重，这比以前的融合方法更好多视图子空间群集的领域。所提出的算法是直观的，并且由于神经网络框架，通过使用随机梯度下降（SGD）可以容易地优化，其与传统的子空间聚类方法相比，这也提供了强大的非线性表征能力。七个现实世界数据集的实验结果表明了我们提出的算法对某些最先进的子空间学习方法的有效性。

在本文中，我们采用了最大化的互信息（MI）方法来解决无监督的二进制哈希代码的问题，以实现高效的跨模型检索。我们提出了一种新颖的方法，被称为跨模型信息最大散列（CMIMH）。首先，要学习可以保留模跨和跨间相似性的信息的信息，我们利用最近估计MI的变分的进步，以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM，我们可以学习二进制表示，该二进制表示，其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外，我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距，这可能导致更少的信息性表示。因此，在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明，该方法始终如一地优于其他最先进的跨模型检索方法。

广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。

基于信息瓶颈（IB）的多视图学习提供了一种信息理论原则，用于寻找异质数据描述中包含的共享信息。但是，它的巨大成功通常归因于估计网络变得复杂时棘手的多元互助信息。此外，表示折衷的表示，{\ it}，预测压缩和足够的一致性权衡，使IB难以同时满足这两个要求。在本文中，我们设计了几种变分信息瓶颈，以利用两个关键特征（{\ it，即}，充分性和一致性）用于多视图表示学习。具体而言，我们提出了一种多视图变量蒸馏（MV $^2 $ d）策略，以通过给出观点的任意输入，但没有明确估算它，从而为拟合MI提供了可扩展，灵活和分析的解决方案。在严格的理论保证下，我们的方法使IB能够掌握观测和语义标签之间的内在相关性，从而自然产生预测性和紧凑的表示。同样，我们的信息理论约束可以通过消除任务 - 求核和特定信息的信息来有效地中和对异质数据的敏感性，从而阻止在多种视图情况下两种权衡。为了验证理论上的策略，我们将方法应用于三种不同应用下的各种基准。广泛的定量和定性实验证明了我们对最新方法的方法的有效性。

由于多源信息集成的能力，多视图聚类吸引了很多关注。尽管在过去几十年中已经提出了许多高级方法，但其中大多数通常忽略了弱监督信息的重要性，并且无法保留多种视图的特征属性，从而导致聚类性能不令人满意。为了解决这些问题，在本文中，我们提出了一种新颖的深度观看半监督聚类（DMSC）方法，该方法在网络填充过程中共同优化了三种损失，包括多视图集群损失，半监督的成对约束损失损失和多个自动编码器重建损失。具体而言，基于KL差异的多视图聚类损失被施加在多视图数据的共同表示上，以同时执行异质特征优化，多视图加权和聚类预测。然后，我们通过创新建议将成对约束集成到多视图聚类的过程中，通过执行所学到的必须链接样本的多视图表示（不能链接样本）是相似的（不同的），以便形成的聚类结构可以可以更可信。此外，与现有的竞争对手不同，该竞争对手仅保留网络填充期间每个异质分支的编码器，我们进一步建议调整完整的自动编码器框架，其中包含编码器和解码器。通过这种方式，可以缓解特定视图和视图共享特征空间的严重腐败问题，从而使整个培训程序更加稳定。通过在八个流行图像数据集上进行的全面实验，我们证明了我们提出的方法的性能要比最先进的多视图和单视竞争对手更好。

聚类是一项基本的机器学习任务，在文献中已广泛研究。经典聚类方法遵循以下假设：数据通过各种表示的学习技术表示为矢量化形式的特征。随着数据变得越来越复杂和复杂，浅（传统）聚类方法无法再处理高维数据类型。随着深度学习的巨大成功，尤其是深度无监督的学习，在过去的十年中，已经提出了许多具有深层建筑的代表性学习技术。最近，已经提出了深层聚类的概念，即共同优化表示的学习和聚类，因此引起了社区的日益关注。深度学习在聚类中的巨大成功，最基本的机器学习任务之一以及该方向的最新进展的巨大成功所激发。 - 艺术方法。我们总结了深度聚类的基本组成部分，并通过设计深度表示学习和聚类之间的交互方式对现有方法进行了分类。此外，该调查还提供了流行的基准数据集，评估指标和开源实现，以清楚地说明各种实验设置。最后但并非最不重要的一点是，我们讨论了深度聚类的实际应用，并提出了应有的挑战性主题，应将进一步的研究作为未来的方向。

多视图无监督的特征选择（MUF）已被证明是一种有效的技术，可降低多视图未标记数据的维度。现有方法假定所有视图都已完成。但是，多视图数据通常不完整，即，某些视图中显示了一部分实例，但并非所有视图。此外，学习完整的相似性图，作为现有MUFS方法中重要的有前途的技术，由于缺少的观点而无法实现。在本文中，我们提出了一个基于互补的和共识学习的不完整的多视图无监督的特征选择方法（C $^{2} $ IMUFS），以解决上述问题。具体而言，c $^{2} $ imufs将功能选择集成到扩展的加权非负矩阵分解模型中，配备了自适应学习视图和稀疏的$ \ ell_ {2，p} $ - norm-norm，它可以提供更好的提供适应性和灵活性。通过从不同视图得出的多个相似性矩阵的稀疏线性组合，介绍了互补学习引导的相似性矩阵重建模型，以在每个视图中获得完整的相似性图。此外，c $^{2} $ imufs学习了跨不同视图的共识聚类指示器矩阵，并将其嵌入光谱图术语中以保留本地几何结构。现实世界数据集的全面实验结果证明了与最新方法相比，C $^{2} $ IMUF的有效性。

文本对图像综合旨在从特定文本描述中生成光真逼真和语义一致的图像。与相应的图像和文本描述相比，由现成模型合成的图像通常包含有限的组件，从而降低了图像质量和文本 - 视觉一致性。为了解决这个问题，我们提出了一种新颖的视觉语言匹配策略，用于文本对图像综合，名为Vlmgan*，该策略介绍了一种双重视觉语言匹配机制，以增强图像质量和语义一致性。双视性匹配机制考虑了生成的图像与相应的文本描述之间的文本 - 视觉匹配，以及综合图像和真实图像之间的视觉视觉视觉一致约束。给定特定的文本描述，vlmgan*首先将其编码为文本特征，然后将它们馈送到基于双视觉匹配的生成模型中，以合成光合逼真的和文本的语义一致图像。此外，文本对图像合成的流行评估指标是从简单图像生成中借用的，该图像生成主要评估合成图像的现实和多样性。因此，我们引入了一个名为Vision语言匹配分数（VLMS）的度量标准，以评估文本对图像合成的性能，该分数可以考虑综合图像和描述之间的图像质量和语义一致性。所提出的双重多层视觉匹配策略可以应用于其他文本对图像合成方法。我们在两个受欢迎的基线上实现了此策略，这些基线用$ {\ text {vlmgan} _ {+\ text {attngan}}} $和$ {\ text {vlmgan} _ {+\ text {+\ text {+\ {+\ text {+\ text {dfgan}}} $ 。两个广泛使用的数据集的实验结果表明，该模型比其他最先进的方法实现了重大改进。