社交媒体在时装行业中的作用在较少年的情况下一直在盛开。在这项工作中，我们调查了社交媒体平台中时尚相关员额的情绪分析。这项任务有两个主要挑战。首先，必须共同考虑不同方式的信息以进行最终预测。在第二个地方，应考虑一些独特的时尚相关的属性。虽然大多数现有的作品侧重于传统的多模式情绪分析，但它们始终未能利用此任务中的时尚相关的属性。我们提出了一种新颖的框架，共同利用图像视觉，文本，文本以及时尚属性模态来确定情绪类别。我们的模型的一个特征是它提取了时尚属性并将它们与图像视觉信息集成了有效表示。此外，它通过相互关注机制利用时尚属性和邮政文本之间的相互关系。由于没有适合此任务的现有数据集，因此我们准备了超过12K时尚相关的社交媒体帖子的大规模情感分析数据集。进行广泛的实验以证明我们模型的有效性。

社交媒体网络已成为人们生活的重要方面，它是其思想，观点和情感的平台。因此，自动化情绪分析（SA）对于以其他信息来源无法识别人们的感受至关重要。对这些感觉的分析揭示了各种应用，包括品牌评估，YouTube电影评论和医疗保健应用。随着社交媒体的不断发展，人们以不同形式发布大量信息，包括文本，照片，音频和视频。因此，传统的SA算法已变得有限，因为它们不考虑其他方式的表现力。通过包括来自各种物质来源的此类特征，这些多模式数据流提供了新的机会，以优化基于文本的SA之外的预期结果。我们的研究重点是多模式SA的最前沿领域，该领域研究了社交媒体网络上发布的视觉和文本数据。许多人更有可能利用这些信息在这些平台上表达自己。为了作为这个快速增长的领域的学者资源，我们介绍了文本和视觉SA的全面概述，包括数据预处理，功能提取技术，情感基准数据集以及适合每个字段的多重分类方法的疗效。我们还简要介绍了最常用的数据融合策略，并提供了有关Visual Textual SA的现有研究的摘要。最后，我们重点介绍了最重大的挑战，并调查了一些重要的情感应用程序。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

与单峰数据相比，多模式数据可以提供更多功能来帮助模型分析数据的情感。先前的研究作品很少考虑令牌级的功能融合，很少有工作探索学习与多模式数据中情感相关的共同特征，以帮助模型融合多模式功能。在本文中，我们提出了一种对比度学习和多层融合（CLMLF）方法，用于多模式情感检测。具体来说，我们首先编码文本和图像以获取隐藏的表示形式，然后使用多层融合模块来对齐和融合文本和图像的令牌级特征。除了情感分析任务外，我们还设计了两个对比学习任务，基于标签的对比度学习和基于数据的对比学习任务，这将帮助该模型学习与多模式数据中情感相关的共同特征。与现有方法相比，对三个公开多模式数据集进行的广泛实验证明了我们对多模式情感检测的有效性。这些代码可在https://github.com/link-li/clmlf上使用

近年来，谣言对社会产生了毁灭性的影响，这使谣言发现成为重大挑战。但是，关于谣言检测的研究忽略了谣言内容中图像的强烈情绪。本文验证图像情绪是否提高了谣言检测效率。提出了由视觉和文字情绪组成的谣言检测中的多模式双重情感特征。据我们所知，这是第一个在谣言检测中使用视觉情感的研究。实际数据集上的实验验证了所提出的功能是否优于最先进的情感功能，并且可以在谣言探测器中扩展，同时提高其性能。

多模式的细粒情感分析最近由于其广泛的应用而引起了人们的关注。但是，现有的多模式细颗粒情感数据集最关注注释文本中的细粒元素，但忽略图像中的元素，这导致视觉内容中的细粒度元素没有得到应有的全部关注。在本文中，我们提出了一个新的数据集，即多模式方面类别情感分析（MACSA）数据集，其中包含超过21k的文本图像对。该数据集为文本和视觉内容提供细粒度的注释，并首先将方面类别用作枢轴，以对齐两种模态之间的细粒元素。基于我们的数据集，我们提出了多模式ACSA任务和基于多模式的对齐模型（MGAM），该模型（MGAM）采用了细粒度的跨模式融合方法。实验结果表明，我们的方法可以促进基线比较，以实现该语料库的未来研究。我们将使数据集和代码公开可用。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

我们提出了视觉和启发性语言变压器（Vault）。 Vault是流行的视觉和语言变压器（VILT）的扩展，并提高了视觉和语言任务的性能，这些任务涉及比图像字幕更复杂的文本输入，同时对训练和推理效率的影响最小。重要的是，Vilt通过使用浅图像编码器实现了有效的培训和视觉和语言任务的推断。但是，它是在字幕和类似的数据集上鉴定的，在该数据集中，语言输入简单，文字和描述性，因此缺乏语言多样性。因此，当使用野外多媒体数据（例如多模式社交媒体数据（在我们的工作，Twitter）中）时，从字幕语言数据以及任务多样性都有显着转变，我们确实找到了证据表明该语言vilt的能力是缺乏的。保险库的关键见解是将大型语言模型（例如Bert）的输出表示传播到Vilt的语言输入。我们表明，这种策略在涉及更丰富的语言输入和情感构造的视觉和语言任务上大大改善了毒品，例如Twitter-2015，Twitter-2015，Twitter-2017，MVSA-Single和MVSA-Multiple，但落后于纯粹的推理任务之后作为彭博Twitter文本图像关系数据集。我们已经在https://github.com/gchochla/vault上发布了所有实验的代码。

随着社交媒体平台从基于文本的论坛发展为多模式环境，社交媒体中错误信息的性质也正在发生相应的变化。利用这样一个事实，即图像和视频等视觉方式对用户更有利和吸引力，并且有时会毫不粗糙地浏览文本内容，否则传播器最近针对模式之间的上下文相关性，例如文本和图像。因此，许多研究工作已经发展为自动技术，用于检测基于Web的媒体中可能的跨模式不一致。在这项工作中，我们旨在分析，分类和确定现有方法，除了面临的挑战和缺点外，还要在多模式错误信息检测领域中发掘新的机会。

在社交媒体上分享了反疫苗职位，包括误导性帖子，并展示了在疫苗中产生混淆并减少了公众信心，导致疫苗犹豫不决。近年来目睹了在网上网络中各种语言和视觉形态的这种反疫苗柱的快速崛起，对有效内容适度和跟踪构成了巨大挑战。在利用文本信息上扩展了以前的工作以了解疫苗信息，本文介绍了INSTA-VAX，这是一个新的多模态数据集，包括与人类疫苗相关的64,957件Instagram帖子的样本。我们应用了两个培训的专家法官验证的众群注释程序到此数据集。然后，我们将几个最先进的NLP和计算机视觉分类器标记为检测帖子是否显示出反疫苗态度以及它们是否包含错误信息。广泛的实验和分析证明了多模式模型可以比单模模型更准确地将帖子分类，但仍需要改进，特别是在视觉情绪理解和外部知识合作。数据集和分类机有助于监测和跟踪疫苗讨论的社会科学和公共卫生努力，在打击疫苗错误信息问题。

人类通过不同的渠道表达感受或情绪。以语言为例，它在不同的视觉声学上下文下需要不同的情绪。为了精确了解人类意图，并减少歧义和讽刺引起的误解，我们应该考虑多式联路信号，包括文本，视觉和声学信号。至关重要的挑战是融合不同的特征模式以进行情绪分析。为了有效地融合不同的方式携带的信息，更好地预测情绪，我们设计了一种基于新的多主题的融合网络，这是由任何两个对方式之间的相互作用不同的观察来启发，它们是不同的，并且它们不同样有助于最终的情绪预测。通过分配具有合理关注和利用残余结构的声学 - 视觉，声学 - 文本和视觉文本特征，我们参加了重要的特征。我们对四个公共多模式数据集进行了广泛的实验，包括中文和三种英文中的一个。结果表明，我们的方法优于现有的方法，并可以解释双模相互作用在多种模式中的贡献。

Prior work on ideology prediction has largely focused on single modalities, i.e., text or images. In this work, we introduce the task of multimodal ideology prediction, where a model predicts binary or five-point scale ideological leanings, given a text-image pair with political content. We first collect five new large-scale datasets with English documents and images along with their ideological leanings, covering news articles from a wide range of US mainstream media and social media posts from Reddit and Twitter. We conduct in-depth analyses of news articles and reveal differences in image content and usage across the political spectrum. Furthermore, we perform extensive experiments and ablation studies, demonstrating the effectiveness of targeted pretraining objectives on different model components. Our best-performing model, a late-fusion architecture pretrained with a triplet objective over multimodal content, outperforms the state-of-the-art text-only model by almost 4% and a strong multimodal baseline with no pretraining by over 3%.

社交媒体营销在向广泛的受众群体推广品牌和产品价值方面起着至关重要的作用。为了提高其广告收入，诸如Facebook广告之类的全球媒体购买平台不断减少品牌有机帖子的覆盖范围，推动品牌在付费媒体广告上花费更多。为了有效地运行有机和付费社交媒体营销，有必要了解受众，调整内容以适合其兴趣和在线行为，这是不可能大规模手动进行的。同时，各种人格类型分类方案（例如Myers-Briggs人格类型指标）使得通过以统一和结构化的方式对受众行为进行分类，可以在更广泛的范围内揭示人格特质和用户内容偏好之间的依赖性。研究界尚待深入研究这个问题，而到目前为止，尚未广泛使用和全面评估，而不同人格特征对内容建议准确性的影响水平尚未得到广泛的利用和全面评估。具体而言，在这项工作中，我们通过应用一种新型人格驱动的多视图内容推荐系统，研究人格特征对内容推荐模型的影响，称为人格内容营销推荐引擎或Persic。我们的实验结果和现实世界案例研究不仅表明Persic执行有效的人格驱动的多视图内容建议，而且还允许采用可行的数字广告策略建议，当部署时能够提高数字广告效率超过420 ％与原始的人类指导方法相比。

Numerous machine learning (ML) and deep learning (DL)-based approaches have been proposed to utilize textual data from social media for anti-social behavior analysis like cyberbullying, fake news detection, and identification of hate speech mainly for highly-resourced languages such as English. However, despite having a lot of diversity and millions of native speakers, some languages like Bengali are under-resourced, which is due to a lack of computational resources for natural language processing (NLP). Similar to other languages, Bengali social media contents also include images along with texts (e.g., multimodal memes are posted by embedding short texts into images on Facebook). Therefore, only the textual data is not enough to judge them since images might give extra context to make a proper judgement. This paper is about hate speech detection from multimodal Bengali memes and texts. We prepared the only multimodal hate speech dataset for-a-kind of problem for Bengali, which we use to train state-of-the-art neural architectures (e.g., Bi-LSTM/Conv-LSTM with word embeddings, ConvNets + pre-trained language models, e.g., monolingual Bangla BERT, multilingual BERT-cased/uncased, and XLM-RoBERTa) to jointly analyze textual and visual information for hate speech detection. Conv-LSTM and XLM-RoBERTa models performed best for texts, yielding F1 scores of 0.78 and 0.82, respectively. As of memes, ResNet-152 and DenseNet-161 models yield F1 scores of 0.78 and 0.79, respectively. As for multimodal fusion, XLM-RoBERTa + DenseNet-161 performed the best, yielding an F1 score of 0.83. Our study suggests that text modality is most useful for hate speech detection, while memes are moderately useful.

Climate change has become one of the biggest challenges of our time. Social media platforms such as Twitter play an important role in raising public awareness and spreading knowledge about the dangers of the current climate crisis. With the increasing number of campaigns and communication about climate change through social media, the information could create more awareness and reach the general public and policy makers. However, these Twitter communications lead to polarization of beliefs, opinion-dominated ideologies, and often a split into two communities of climate change deniers and believers. In this paper, we propose a framework that helps identify denier statements on Twitter and thus classifies the stance of the tweet into one of the two attitudes towards climate change (denier/believer). The sentimental aspects of Twitter data on climate change are deeply rooted in general public attitudes toward climate change. Therefore, our work focuses on learning two closely related tasks: Stance Detection and Sentiment Analysis of climate change tweets. We propose a multi-task framework that performs stance detection (primary task) and sentiment analysis (auxiliary task) simultaneously. The proposed model incorporates the feature-specific and shared-specific attention frameworks to fuse multiple features and learn the generalized features for both tasks. The experimental results show that the proposed framework increases the performance of the primary task, i.e., stance detection by benefiting from the auxiliary task, i.e., sentiment analysis compared to its uni-modal and single-task variants.

近年来，在网上见证了令人反感的内容的泛滥，例如假新闻，宣传，错误信息和虚假信息。虽然最初这主要是关于文本内容，但随着时间的流逝，图像和视频越来越受欢迎，因为它们更容易消费，吸引更多的关注并比文本更广泛地传播。结果，研究人员开始利用不同的方式及其组合来解决在线多模式进攻内容。在这项研究中，我们提供了有关最新的多模式虚假信息检测的调查，该检测涵盖了各种模式组合：文本，图像，语音，视频，社交媒体网络结构和时间信息。此外，尽管有些研究集中于事实，但其他研究调查了内容的有害性。尽管虚假信息定义中的这两个组成部分（i）事实和（ii）有害性同样重要，但通常会孤立地研究它们。因此，我们主张在同一框架中考虑多种方式以及事实和有害性来解决虚假信息检测。最后，我们讨论当前的挑战和未来的研究方向

Twitter上的自动抑郁症检测可以帮助个人在早期阶段私下方便地了解其心理健康状况，然后再见心理健康专业人员。大多数现有的黑盒样深度学习方法用于抑郁症检测主要集中在改善分类性能上。但是，在健康研究中解释模型决策至关重要，因为决策通常可以是高风险和死亡。可靠的自动诊断精神健康问题在内的抑郁症应得到可靠的解释，以证明模型的预测是合理的。在这项工作中，我们提出了一个新颖的可解释模型，用于在Twitter上检测抑郁症。它包括一个新颖的编码器，结合了分层注意机制和前馈神经网络。为了支持心理语言学研究，我们的模型利用隐喻概念映射作为输入。因此，它不仅检测到沮丧的人，还可以确定此类用户推文和相关隐喻概念映射的功能。

人格检测是心理学和自动人格预测（或感知）（APP）的一个古老话题，是对不同类型的人类生成/交换内容（例如文本，语音，图像，视频，视频）对个性的自动化（计算）预测。这项研究的主要目的是自2010年以来对应用程序的自然语言处理方法进行浅（总体）审查。随着深度学习的出现并遵循NLP的转移学习和预先培训的模型，应用程序研究领域已经成为一个热门话题，因此在这篇评论中，方法分为三个；预先训练的独立，预训练的基于模型的多模式方法。此外，为了获得全面的比较，数据集为报告的结果提供了信息。

社交媒体的可用性和互动性使它们成为全球各地的主要新闻来源。社交媒体的普及诱惑犯罪分子通过使用诱人文本和误导性图像制作和传播假新闻来追求不道德的意图。因此，验证社交媒体新闻和发现假期至关重要。这项工作旨在分析社交媒体中文本和图像的多模态特征，以检测假新闻。我们提出了一个假新闻透露者（FNR）方法，利用转换学习，提取上下文和语义特征和对比丢失，以确定图像和文本之间的相似性。我们在两个真正的社交媒体数据集上申请了FNR。结果表明，与以前的作品相比，该方法达到了检测假新闻的更高准确性。

社交媒体的自杀意图检测是一种不断发展的研究，挑战了巨大的挑战。许多有自杀倾向的人通过社交媒体平台分享他们的思想和意见。作为许多研究的一部分，观察到社交媒体的公开职位包含有价值的标准，以有效地检测有自杀思想的个人。防止自杀的最困难的部分是检测和理解可能导致自杀的复杂风险因素和警告标志。这可以通过自动识别用户行为的突然变化来实现。自然语言处理技术可用于收集社交媒体交互的行为和文本特征，这些功能可以传递给特殊设计的框架，以检测人类交互中的异常，这是自杀意图指标。我们可以使用深度学习和/或基于机器学习的分类方法来实现快速检测自杀式思想。出于这种目的，我们可以采用LSTM和CNN模型的组合来检测来自用户的帖子的这种情绪。为了提高准确性，一些方法可以使用更多数据进行培训，使用注意模型提高现有模型等的效率。本文提出了一种LSTM-Incription-CNN组合模型，用于分析社交媒体提交，以检测任何潜在的自杀意图。在评估期间，所提出的模型的准确性为90.3％，F1分数为92.6％，其大于基线模型。