Multi-view representation learning has developed rapidly over the past decades and has been applied in many fields. However, most previous works assumed that each view is complete and aligned. This leads to an inevitable deterioration in their performance when encountering practical problems such as missing or unaligned views. To address the challenge of representation learning on partially aligned multi-view data, we propose a new cross-view graph contrastive learning framework, which integrates multi-view information to align data and learn latent representations. Compared with current approaches, the proposed method has the following merits: (1) our model is an end-to-end framework that simultaneously performs view-specific representation learning via view-specific autoencoders and cluster-level data aligning by combining multi-view information with the cross-view graph contrastive learning; (2) it is easy to apply our model to explore information from three or more modalities/sources as the cross-view graph contrastive learning is devised. Extensive experiments conducted on several real datasets demonstrate the effectiveness of the proposed method on the clustering and classification tasks.
translated by 谷歌翻译
基于图形的多视图聚类,旨在跨多种视图获取数据分区,近年来接受了相当大的关注。虽然已经为基于图形的多视图群集进行了巨大努力,但它对各种视图融合特征仍然是一个挑战,以学习聚类的常见表示。在本文中,我们提出了一种新的一致多曲线图嵌入聚类框架(CMGEC)。具体地,设计了一种多图自动编码器(M-GAE),用于使用多图注意融合编码器灵活地编码多视图数据的互补信息。为了引导所学过的公共表示维护每个视图中相邻特征的相似性,引入了多视图相互信息最大化模块(MMIM)。此外,设计了一个图形融合网络(GFN),以探讨来自不同视图的图表之间的关系,并提供M-GAE所需的常见共识图。通过联合训练这些模型,可以获得共同的潜在表示,其从多个视图中编码更多互补信息,并更全面地描绘数据。三种类型的多视图数据集的实验表明CMGEC优于最先进的聚类方法。
translated by 谷歌翻译
在本文中,我们考虑了在不完整视图上的多视图聚类问题。与完整的多视图聚类相比,视图缺失的问题会增加学习不同视图的常见表示的难度。为了解决挑战,我们提出了一种新颖的不完整的多视图聚类框架,该框架包含跨视网围传输和多视图融合学习。具体地,基于在多视图数据中存在的一致性,我们设计了一种基于跨视网围的转移转移的完成模块,该完成模块将已知与缺失视图的已知相似的相互关系的关系传输,并根据传输的图形网络恢复丢失的数据关系图。然后,设计特定于特定的编码器以提取恢复的多视图数据,引入基于注意的融合层以获得公共表示。此外,为了减少由视图之间不一致并获得更好的聚类结构引起的误差的影响,引入了联合聚类层以同时优化恢复和聚类。在几个真实数据集上进行的广泛实验证明了该方法的有效性。
translated by 谷歌翻译
The past two decades have seen increasingly rapid advances in the field of multi-view representation learning due to it extracting useful information from diverse domains to facilitate the development of multi-view applications. However, the community faces two challenges: i) how to learn robust representations from a large amount of unlabeled data to against noise or incomplete views setting, and ii) how to balance view consistency and complementary for various downstream tasks. To this end, we utilize a deep fusion network to fuse view-specific representations into the view-common representation, extracting high-level semantics for obtaining robust representation. In addition, we employ a clustering task to guide the fusion network to prevent it from leading to trivial solutions. For balancing consistency and complementary, then, we design an asymmetrical contrastive strategy that aligns the view-common representation and each view-specific representation. These modules are incorporated into a unified method known as CLustering-guided cOntrastiVE fusioN (CLOVEN). We quantitatively and qualitatively evaluate the proposed method on five datasets, demonstrating that CLOVEN outperforms 11 competitive multi-view learning methods in clustering and classification. In the incomplete view scenario, our proposed method resists noise interference better than those of our competitors. Furthermore, the visualization analysis shows that CLOVEN can preserve the intrinsic structure of view-specific representation while also improving the compactness of view-commom representation. Our source code will be available soon at https://github.com/guanzhou-ke/cloven.
translated by 谷歌翻译
不完整的多视图聚类旨在通过使用来自多种模式的数据来增强聚类性能。尽管已经提出了几种研究此问题的方法,但以下缺点仍然存在:1)很难学习潜在的互补性但不使用标签信息而保持一致性的潜在表示; 2)因此,当完整的数据稀缺时,在不完整的数据中未能充分利用不完整数据中的隐藏信息会导致次优群集性能。在本文中,我们提出了与生成对抗网络(CIMIC-GAN)的对比度不完整的多视图图像聚类,该网络使用GAN填充不完整的数据并使用双对比度学习来学习完整和不完整的数据的一致性。更具体地说,考虑到多种方式之间的多样性和互补信息,我们将完整和不完整数据的自动编码表示为双对比度学习,以实现学习一致性。将gan集成到自动编码过程中不仅可以充分利用不完整数据的新功能,而且可以在存在高数据缺失率的情况下更好地概括该模型。在\ textColor {black} {四}广泛使用的数据集上进行的实验表明,cimic-gan优于最先进的不完整的多视图聚类方法。
translated by 谷歌翻译
近年来,多视图学习迅速发展。尽管许多先前的研究都认为每个实例都出现在所有视图中,但在现实世界应用程序中很常见,从某些视图中丢失实例,从而导致多视图数据不完整。为了解决这个问题,我们提出了一个新型潜在的异质图网络(LHGN),以实现不完整的多视图学习,该学习旨在以灵活的方式尽可能充分地使用多个不完整的视图。通过学习统一的潜在代表,隐含地实现了不同观点之间一致性和互补性之间的权衡。为了探索样本与潜在表示之间的复杂关系,首次提出了邻域约束和视图约束,以构建异质图。最后,为了避免训练和测试阶段之间的任何不一致之处,基于图形学习的分类任务应用了转导学习技术。对现实世界数据集的广泛实验结果证明了我们模型对现有最新方法的有效性。
translated by 谷歌翻译
一致性和互补性是增强多视图聚类(MVC)的两种关键要素。最近,随着流行的对比学习的引入,MVC的观点一致性学习得到了进一步的增强,从而导致了有希望的表现。但是,相比之下,互补性尚未得到足够的关注,除了在功能方面,希尔伯特·施密特独立标准(HSIC)术语(HSIC)术语或通常采用独立的编码器网络以捕获特定视图信息。这促使我们从包括功能,视图标签和对比方面在内的多个方面全面地重新考虑对观点的互补学习,同时保持视图一致性。我们从经验上发现,所有方面都有助于互补学习,尤其是视图标签的方面,通常被现有方法忽略了。基于此,我们开发了一个小说\下划线{m} ultifacet \ usewissline {c} omplementarity学习框架\下划线{m} uldi- \ usepline {v} iew \ usew \ usew suespline {c} lustering(mcmvc),其中融合了多层配置配置。信息,尤其是明确嵌入视图标签信息的信息。据我们所知,这是第一次明确使用视图标签来指导视图的互补学习。与SOTA基线相比,MCMVC在$ 5.00 \%$ $ $ 5.00 \%$和$ 7.00 \%$中的平均利润率分别在CALTECH101-20上分别在CalTech101-20上分别取得了显着的进步,分别是三个评估指标。
translated by 谷歌翻译
多视图表示学习对于许多多视图任务(例如聚类和分类)至关重要。但是,困扰社区的两个具有挑战性的问题:i)如何从群众未标记的数据中学习强大的多视图表示,ii)如何平衡视图一致性和视图特异性。为此,在本文中,我们提出了一种混合对比融合算法,以从未标记的数据中提取强大的视图符号表示。具体而言,我们发现在此空间中引入附加表示空间并对齐表示形式使模型能够学习强大的视图符号表示形式。同时,我们设计了一种不对称的对比策略,以确保模型无法获得微不足道的解决方案。实验结果表明,在聚类和分类方面,该方法在四个现实世界数据集上优于12种竞争性多视图方法。我们的源代码很快将在\ url {https://github.com/guanzhou-ke/mori-ran}上找到。
translated by 谷歌翻译
旨在解决不完整的多视图数据中缺少部分视图的聚类问题的不完整的多视图聚类,近年来受到了越来越多的关注。尽管已经开发了许多方法,但大多数方法要么无法灵活地处理不完整的多视图数据,因此使用任意丢失的视图,或者不考虑视图之间信息失衡的负面因素。此外,某些方法并未完全探索所有不完整视图的局部结构。为了解决这些问题,本文提出了一种简单但有效的方法,称为局部稀疏不完整的多视图聚类(LSIMVC)。与现有方法不同,LSIMVC打算通过优化一个稀疏的正则化和新颖的图形嵌入式多视图矩阵分数模型来从不完整的多视图数据中学习稀疏和结构化的潜在表示。具体而言,在基于矩阵分解的这种新型模型中,引入了基于L1规范的稀疏约束,以获得稀疏的低维单个表示和稀疏共识表示。此外,引入了新的本地图嵌入项以学习结构化共识表示。与现有作品不同,我们的本地图嵌入术语汇总了图形嵌入任务和共识表示任务中的简洁术语。此外,为了减少多视图学习的不平衡因素,将自适应加权学习方案引入LSIMVC。最后,给出了有效的优化策略来解决我们提出的模型的优化问题。在六个不完整的多视图数据库上执行的全面实验结果证明,我们的LSIMVC的性能优于最新的IMC方法。该代码可在https://github.com/justsmart/lsimvc中找到。
translated by 谷歌翻译
常规的多视图聚类试图基于所有观点的假设,以完全观察到所有观点的假设。但是,在诸如疾病诊断,多媒体分析和建议系统之类的实际应用中,常见的是,在许多情况下,并非所有样品的观点都可以使用,这导致常规多视图聚类方法的失败。在此不完整的多视图数据上的聚类称为不完整的多视图聚类。鉴于有前途的应用前景,近年来对不完整的多视图聚类的研究取得了明显的进步。但是,没有调查可以总结当前的进展并指出未来的研究方向。为此,我们回顾了最新的关于多视图聚类的研究。重要的是,我们提供一些框架来统一相应的不完整的多视图聚类方法,并从理论和实验角度对某些代表性方法进行深入的比较分析。最后,为研究人员提供了不完整的多视图聚类领域中的一些开放问题。
translated by 谷歌翻译
图像文本聚类(ITC)的目标是通过整合这些异质样品的多模式的互补和一致信息来找到正确的簇。但是,目前的大多数研究都根据理想的前提分析了ITC,即每种模式中的样本都是完整的。但是,在现实情况下,这种推定并不总是有效的。缺少的数据问题使图像文本特征学习性能退化,并最终会影响ITC任务中的概括能力。尽管已经提出了一系列方法来解决此不完整的图像文本群集问题(IITC),但仍然存在以下问题:1)大多数现有方法几乎不考虑异质特征域之间的明显差距。 2)对于缺少数据,很少保证由现有方法生成的表示形式适合聚类任务。 3)现有方法不利用内部和内部模式的潜在连接。在本文中,我们提出了一个聚类引起的生成不完整的图像文本聚类(CIGIT-C)网络,以应对上述挑战。更具体地说,我们首先使用特定于模态的编码器将原始功能映射到更独特的子空间。通过使用对抗生成网络在另一种模态上产生一种方式,可以彻底探索内部内部和模式之间的潜在连接。最后,我们使用两个KL DiverGence损失更新相应的模态特异性编码器。公共图像文本数据集的实验结果表明,建议的方法优于IITC作业更有效。
translated by 谷歌翻译
由于多源信息集成的能力,多视图聚类吸引了很多关注。尽管在过去几十年中已经提出了许多高级方法,但其中大多数通常忽略了弱监督信息的重要性,并且无法保留多种视图的特征属性,从而导致聚类性能不令人满意。为了解决这些问题,在本文中,我们提出了一种新颖的深度观看半监督聚类(DMSC)方法,该方法在网络填充过程中共同优化了三种损失,包括多视图集群损失,半监督的成对约束损失损失和多个自动编码器重建损失。具体而言,基于KL差异的多视图聚类损失被施加在多视图数据的共同表示上,以同时执行异质特征优化,多视图加权和聚类预测。然后,我们通过创新建议将成对约束集成到多视图聚类的过程中,通过执行所学到的必须链接样本的多视图表示(不能链接样本)是相似的(不同的),以便形成的聚类结构可以可以更可信。此外,与现有的竞争对手不同,该竞争对手仅保留网络填充期间每个异质分支的编码器,我们进一步建议调整完整的自动编码器框架,其中包含编码器和解码器。通过这种方式,可以缓解特定视图和视图共享特征空间的严重腐败问题,从而使整个培训程序更加稳定。通过在八个流行图像数据集上进行的全面实验,我们证明了我们提出的方法的性能要比最先进的多视图和单视竞争对手更好。
translated by 谷歌翻译
由于其通过深层神经网络的共同表示学习和聚类的能力,近年来,深层聚类引起了人们的关注。在其最新发展中,对比度学习已成为一种有效的技术,可实质性地提高深度聚类的性能。但是,现有的基于学习的基于对比的深层聚类算法主要集中于一些精心设计的增强(通常具有有限的转换以保留结构),被称为薄弱的增强,但不能超越弱化的增强,以探索更多的机会(随着更具侵略性的转变甚至严重的扭曲)。在本文中,我们提出了一种被称为强烈增强的对比聚类(SACC)的端到端深群集方法,该方法将传统的两夸大视图范式扩展到多种视图,并共同利用强大而弱的增强,以增强深层聚类。特别是,我们利用具有三重共享权重的骨干网络,在该网络中,强烈的增强视图和两个弱化的视图均融合在一起。基于主链产生的表示,弱进行弱化的视图对和强力视图对同时被利用用于实例级的对比度学习(通过实例投影仪)和群集级的对比度学习(通过群集投影仪),与主链一起可以以纯监督的方式共同优化。五个具有挑战性的图像数据集的实验结果表明,我们的SACC方法优于最先进的方法。该代码可在https://github.com/dengxiaozhi/sacc上找到。
translated by 谷歌翻译
尽管自我监督的学习技术通常用于通过建模多种观点来从未标记的数据中挖掘隐性知识,但尚不清楚如何在复杂且不一致的环境中执行有效的表示学习。为此,我们提出了一种方法,特别是一致性和互补网络(Coconet),该方法利用了严格的全局视图一致性和局部跨视图互补性,以维护正则化,从而从多个视图中全面学习表示形式。在全球阶段,我们认为关键知识在观点之间隐含地共享,并增强编码器以从数据中捕获此类知识可以提高学习表示表示的可区分性。因此,保留多种观点的全球一致性可确保获得常识。 Coconet通过利用基于广义切成薄片的Wasserstein距离利用有效的差异度量测量来对齐视图的概率分布。最后,在本地阶段,我们提出了一个启发式互补性因素,该因素是跨观看歧视性知识的,它指导编码者不仅要学习视图的可辨别性,而且还学习跨视图互补信息。从理论上讲,我们提供了我们提出的椰子的基于信息理论的分析。从经验上讲,为了研究我们方法的改善,我们进行了足够的实验验证,这表明椰子的表现优于最先进的自我监督方法,这证明了这种隐含的一致性和互补性可以增强正则化的能力潜在表示的可区分性。
translated by 谷歌翻译
归因图群集是图形分析字段中最重要的任务之一,其目的是将具有相似表示的节点分组到没有手动指导的情况下。基于图形对比度学习的最新研究在处理图形结构数据方面取得了令人印象深刻的结果。但是,现有的基于图形学习的方法1)不要直接解决聚类任务,因为表示和聚类过程是分开的; 2)过多地取决于图数据扩展,这极大地限制了对比度学习的能力; 3)忽略子空间聚类的对比度消息。为了适应上述问题,我们提出了一个通用框架,称为双重对比归因于图形聚类网络(DCAGC)。在DCAGC中,通过利用邻里对比模块,将最大化邻居节点的相似性,并提高节点表示的质量。同时,对比度自我表达模块是通过在自我表达层重建之前和之后最小化节点表示形式来构建的,以获得用于光谱群集的区分性自我表达矩阵。 DCAGC的所有模块均在统一框架中训练和优化,因此学习的节点表示包含面向群集的消息。与16种最先进的聚类方法相比,四个属性图数据集的大量实验结果显示了DCAGC的优势。本文的代码可在https://github.com/wangtong627/dual-contrastive-attributed-graph-cluster-clustering-network上获得。
translated by 谷歌翻译
最近,最大化的互信息是一种强大的无监测图表表示学习的方法。现有方法通常有效地从拓扑视图中捕获信息但忽略特征视图。为了规避这个问题,我们通过利用功能和拓扑视图利用互信息最大化提出了一种新的方法。具体地,我们首先利用多视图表示学习模块来更好地捕获跨图形上的特征和拓扑视图的本地和全局信息内容。为了模拟由特征和拓扑空间共享的信息,我们使用相互信息最大化和重建损耗最小化开发公共表示学习模块。要明确鼓励图形表示之间的多样性在相同的视图中,我们还引入了一个分歧正则化,以扩大同一视图之间的表示之间的距离。合成和实际数据集的实验证明了集成功能和拓扑视图的有效性。特别是,与先前的监督方法相比,我们所提出的方法可以在无监督的代表和线性评估协议下实现可比或甚至更好的性能。
translated by 谷歌翻译
由于在建模相互依存系统中,由于其高效用,多层图已经在许多领域获得了大量的研究。然而,多层图的聚类,其旨在将图形节点划分为类别或社区,仍处于新生阶段。现有方法通常限于利用MultiView属性或多个网络,并忽略更复杂和更丰富的网络框架。为此,我们向多层图形聚类提出了一种名为Multidayer agal对比聚类网络(MGCCN)的多层图形聚类的通用和有效的AutoEncoder框架。 MGCCN由三个模块组成:(1)应用机制以更好地捕获节点与邻居之间的相关性以获得更好的节点嵌入。 (2)更好地探索不同网络中的一致信息,引入了对比融合策略。 (3)MGCCN采用自我监督的组件,可迭代地增强节点嵌入和聚类。对不同类型的真实图数据数据的广泛实验表明我们所提出的方法优于最先进的技术。
translated by 谷歌翻译
现有的深度聚类方法依赖于对比学习的对比学习,这需要否定例子来形成嵌入空间,其中所有情况都处于良好分离状态。但是,否定的例子不可避免地引起阶级碰撞问题,损害了群集的表示学习。在本文中,我们探讨了对深度聚类的非对比表示学习,被称为NCC,其基于Byol,一种没有负例的代表性方法。首先,我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐,称为正抽样策略,该域避免了由否定示例引起的类碰撞问题,从而提高了集群内的紧凑性。其次,我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准,命名的原型是原型的对比损失或protocl,这可以最大化簇间距离。此外,我们在期望 - 最大化(EM)框架中制定了NCC,其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布,并且M-Step利用了所提出的损失优化在线网络。结果,NCC形成了一个嵌入空间,其中所有集群都处于分离良好,而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法,通过显着的余量。
translated by 谷歌翻译
深图形聚类,旨在揭示底层的图形结构并将节点划分为不同的群体,近年来引起了密集的关注。然而,我们观察到,在节点编码的过程中,现有方法遭受表示崩溃,这倾向于将所有数据映射到相同的表示中。因此,节点表示的鉴别能力是有限的,导致不满足的聚类性能。为了解决这个问题,我们提出了一种新颖的自我监督的深图聚类方法,通过以双向还原信息相关性来称呼双重关联减少网络(DCRN)。具体而言,在我们的方法中,我们首先将暹罗网络设计为编码样本。然后通过强制跨视图样本相关矩阵和跨视图特征相关矩阵分别近似两个标识矩阵,我们减少了双级的信息相关性,从而提高了所得特征的判别能力。此外,为了减轻通过在GCN中过度平滑引起的表示崩溃,我们引入了传播正规化术语,使网络能够利用浅网络结构获得远程信息。六个基准数据集的广泛实验结果证明了提出的DCRN对现有最先进方法的有效性。
translated by 谷歌翻译
在本文中,我们提出了一种新颖的细节多视图深度子空间网(AMVDSN),其深入探讨了多个视图中的一致性和特定信息,并通过考虑每个视图通过注意机制获得的动态贡献来熔化它们。与大多数多视图子空间学习方法不同,它们直接重建原始数据的数据点,或者在深层或浅层空间中学习表示时仅考虑一致性或互补性,我们提出的方法旨在查找明确认为共识和观点的联合潜在表示 - 多个视图之间的特定信息,然后对学习的联合潜在表示执行子空间群集。基础,不同的视图与表示学习有不同的贡献,我们引入了关注机制来导出每个视图的动态权重,这比以前的融合方法更好多视图子空间群集的领域。所提出的算法是直观的,并且由于神经网络框架,通过使用随机梯度下降(SGD)可以容易地优化,其与传统的子空间聚类方法相比,这也提供了强大的非线性表征能力。七个现实世界数据集的实验结果表明了我们提出的算法对某些最先进的子空间学习方法的有效性。
translated by 谷歌翻译