我们提出了一种预测搜索查询项目关系的有效方法。我们结合了预训练的变压器和LSTM模型，并使用对抗性训练，指数移动平均值，多样采样的辍学和基于多样性的集合来提高模型鲁棒性，以解决一个非常困难的问题，即预测以前从未见过的查询。我们所有的策略都集中在提高深度学习模型的鲁棒性上，并适用于使用深度学习模型的任何任务。采用我们的策略，我们在KDD CUP 2022产品替换分类任务中获得了第十名。

在2022年的亚马逊KDD杯中，我们旨在采用自然语言处理方法来提高搜索结果的质量，从而大大增强用户体验并与搜索引擎进行电子商务。我们讨论了这项竞赛的实用解决方案，在任务一中排名第六，任务第二和任务3中排名第三。

提高搜索结果的质量可以显着增强用户的体验和与搜索引擎的交战。尽管机器学习和数据挖掘领域的最新进展，但正确对特定用户搜索查询的项目进行了分类一直是一个长期的挑战，这仍然有很大的改进空间。本文介绍了“购物查询数据集”，这是一个很大的亚马逊搜索查询和结果的大型数据集，以促进研究以提高搜索结果的质量，以促进研究。该数据集包含大约1.3万个独特的查询和260万手动标记（查询，产品）相关性判断。该数据集具有多语言，其中包括英语，日语和西班牙语的查询。购物查询数据集用于KDDCUP'22挑战之一。在本文中，我们描述了数据集并介绍了三个评估任务以及基线结果：（i）对结果列表进行排名，（ii）将产品结果分类为相关性类别，以及（iii）确定给定查询的替代产品。我们预计这些数据将成为产品搜索主题的未来研究的黄金标准。

社交媒体的重要性在过去几十年中增加了流畅，因为它帮助人们甚至是世界上最偏远的角落保持联系。随着技术的出现，数字媒体比以往任何时候都变得更加相关和广泛使用，并且在此之后，假冒新闻和推文的流通中有一种复兴，需要立即关注。在本文中，我们描述了一种新的假新闻检测系统，可自动识别新闻项目是“真实的”或“假”，作为我们在英语挑战中的约束Covid-19假新闻检测中的工作的延伸。我们使用了一个由预先训练的模型组成的集合模型，然后是统计特征融合网络，以及通过在新闻项目或推文中的各种属性，如源，用户名处理，URL域和作者中的各种属性结合到统计特征中的各种属性。我们所提出的框架还规定了可靠的预测性不确定性以及分类任务的适当类别输出置信水平。我们在Covid-19假新闻数据集和Fakenewsnet数据集上评估了我们的结果，以显示所提出的算法在短期内容中检测假新闻以及新闻文章中的算法。我们在Covid-19数据集中获得了0.9892的最佳F1分，以及Fakenewsnet数据集的F1分数为0.9073。

文本分类是许多自然语言处理任务的组成部分，例如讽刺检测，情感分析和更多此类应用。许多电子商务网站，社交媒体/娱乐平台都使用此类模型来增强用户体验以产生流量，从而在其平台上获得收入。在本文中，我们将在Sharechat提供的印度视频共享社交网络服务MOJ上介绍了多语言滥用评论标识问题。该问题涉及在MOJ平台上的视频上使用13种区域性指示语言（例如印地语，泰卢固语，卡纳达语等）中检测滥用评论的问题。我们的解决方案利用了新颖的Muboost，这是印度语言模型（Muril）模型的Catboost分类器模型和多语言表示的合奏，以在指示文本分类任务上产生SOTA性能。我们能够在测试数据上达到平均F1分数为89.286，这比基线Muril模型的改进，F1分数为87.48。

对人类法官和现有的NLP系统，受人尊敬和屈尊的语言（PCL）具有巨大的有害影响，很难检测到。在Semeval-2022任务4中，我们提出了一个基于变压器的新型模型及其合奏，以准确了解PCL检测的这种语言上下文。为了促进对PCL的微妙和主观性质的理解，采用两种微调策略来捕获不同语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显着的结果，包括子任务中的1和第5位。

社交网络的快速发展以及互联网可用性的便利性加剧了虚假新闻和社交媒体网站上的谣言的泛滥。在共同19的流行病中，这种误导性信息通过使人们的身心生命处于危险之中，从而加剧了这种情况。为了限制这种不准确性的传播，从在线平台上确定虚假新闻可能是第一步。在这项研究中，作者通过实施了五个基于变压器的模型，例如Bert，Bert没有LSTM，Albert，Roberta和Bert＆Albert的混合体，以检测Internet的Covid 19欺诈新闻。Covid 19假新闻数据集已用于培训和测试模型。在所有这些模型中，Roberta模型的性能优于其他模型，通过在真实和虚假类中获得0.98的F1分数。

随着网络和在线百科全书的可访问性的增加，要管理的数据量正在不断增加。例如，在Wikipedia中，有数百万页用多种语言编写。这些页面包含通常缺乏文本上下文的图像，在概念上保持浮动，因此很难找到和管理。在这项工作中，我们介绍了我们设计的系统，用于参加Kaggle上的Wikipedia图像捕捉匹配挑战，其目的是使用与图像（URL和视觉数据）相关的数据来在大量可用图像中找到正确的标题。能够执行此任务的系统将改善大型在线百科全书上多媒体内容的可访问性和完整性。具体而言，我们提出了一个由最近的变压器模型提供支持的两个模型的级联，能够有效地推断出查询图像数据和字幕之间的相关得分。我们通过广泛的实验来验证，提出的两模型方法是处理大量图像和标题的有效方法，同时保持了推理时的整体计算复杂性。我们的方法取得了显着的结果，在Kaggle Challenge的私人排行榜上获得了0.53的归一化折扣累积增益（NDCG）值。

Detecting sarcasm and verbal irony from people's subjective statements is crucial to understanding their intended meanings and real sentiments and positions in social scenarios. This paper describes the X-PuDu system that participated in SemEval-2022 Task 6, iSarcasmEval - Intended Sarcasm Detection in English and Arabic, which aims at detecting intended sarcasm in various settings of natural language understanding. Our solution finetunes pre-trained language models, such as ERNIE-M and DeBERTa, under the multilingual settings to recognize the irony from Arabic and English texts. Our system ranked second out of 43, and ninth out of 32 in Task A: one-sentence detection in English and Arabic; fifth out of 22 in Task B: binary multi-label classification in English; first out of 16, and fifth out of 13 in Task C: sentence-pair detection in English and Arabic.

本文介绍了AILAB-UDINE团队为SMM4H 22共享任务开发的模型。我们探索了基于变压器的模型在文本分类，实体提取和实体归一化，解决任务1、2、5、6和10的极限。使用集合学习时的不同体系结构，以及生成模型的巨大潜力，以实现术语归一化。

社交媒体帖子包含有关医疗条件和与健康相关行为的潜在有价值的信息。生物重建VII任务3专注于通过识别推文中的药物和膳食补充剂的提及来挖掘这些信息。我们通过精细调整多个BERT样式语言模型来执行此任务以执行令牌级分类，并将它们组合成集合以生成最终预测。我们最好的系统由五个Megatron-Bert-345M型号组成，在看不见的测试数据上实现了0.764的严格F1得分。

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

通过捕获文本表示的组成性，大型语言模型在各种自然语言处理任务中取得了成功。尽管它们取得了巨大的成功，但这些向量表示未能捕获惯用多字表达式（MWES）的含义。在本文中，我们专注于使用二进制分类检测惯用表达式。我们使用一个数据集，该数据集包括英语和葡萄牙语中MWE的字面用法和惯用性。此后，我们在两个不同的设置中执行分类：零射门和一个镜头，以确定给定的句子是否包含成语。 n个任务的n射击分类是由训练和测试集之间的n个常见成语数定义的。在本文中，我们在设置中训练多个大型语言模型，并在零射击设置中获得0.73的F1分数（宏），一个射击设置为0.85的F1分数（宏）。可以在https://github.com/ashwinpathak20/idiomation_detection_using_using_few_shot_learning上找到我们工作的实现。

本文介绍了我们参与西班牙语（戒毒）共享任务2021的评论中毒性的检测，在伊比利亚语语言评估论坛的第三次研讨会上。共享任务分为两个相关的分类任务：（i）任务1：毒性检测和; （ii）任务2：毒性水平检测。他们专注于毒性评论的传播加剧了仇外问题，在与移民有关的不同在线新闻文章中发布。减轻这个问题的必要努力之一是检测评论中的毒性。我们的主要目标是在竞赛的官方指标基于竞争的官方指标：任务1的F1分数和任务2的亲密评估度量（CEM）的F1分数以及任务2的CO-Score 。要解决任务，我们使用两种类型的机器学习模型：（i）统计模型和（ii）用于语言理解（BERT）模型的深双双向变压器。我们在使用BETO的两个任务中获得了最佳结果，这是一款位于大型西班牙语法上的BERT模型。我们在任务1中获得了第三名官方排名，F1分数为0.5996，我们在任务2官方排名的第6位与0.7142的CEM达成了第6位。我们的结果表明：（i）伯特模型获得比文本评论中毒性检测的统计模型更好的结果; （ii）单语伯特模型在其预先训练的语言中的文本评论中具有多语言伯特模型的优势。

生物重建VII轨道3挑战重点是在Twitter用户时间表中识别药物名称。对于我们提交这一挑战，我们通过使用多种数据增强技术扩展了可用的培训数据。然后，增强数据用于微调在一般域推特内容上预先培训的语言模型的集合。拟议的方法优于先前的最先进的算法Kusuri，并在竞争中排名高，为我们所选择的客观函数重叠F1分数。

Understanding customer feedback is becoming a necessity for companies to identify problems and improve their products and services. Text classification and sentiment analysis can play a major role in analyzing this data by using a variety of machine and deep learning approaches. In this work, different transformer-based models are utilized to explore how efficient these models are when working with a German customer feedback dataset. In addition, these pre-trained models are further analyzed to determine if adapting them to a specific domain using unlabeled data can yield better results than off-the-shelf pre-trained models. To evaluate the models, two downstream tasks from the GermEval 2017 are considered. The experimental results show that transformer-based models can reach significant improvements compared to a fastText baseline and outperform the published scores and previous models. For the subtask Relevance Classification, the best models achieve a micro-averaged $F1$-Score of 96.1 % on the first test set and 95.9 % on the second one, and a score of 85.1 % and 85.3 % for the subtask Polarity Classification.

文本分类在许多实际应用中起着重要作用。在现实世界中，数据集非常小。大多数现有方法采用预训练的神经网络模型来处理这种数据集。但是，这些方法要么很难在移动设备上部署，因此它们的输出尺寸较大，或者无法完全提取短语和条款之间的深层语义信息。本文提出了一个基于多模型的深度学习框架，用于使用不平衡且极其小的数据集，用于短文本多类分类。我们的框架主要包括五层：编码器层使用Distilbert获得上下文敏感的动态词向量，这些词向量很难在传统的功能工程方法中表示。由于该层的变压器部分是蒸馏的，因此我们的框架被压缩。然后，我们使用接下来的两层提取深层语义信息。编码器层的输出发送到双向LSTM网络，并以单词和句子级别的LSTM层次提取特征矩阵，以获得细粒的语义表示。之后，最大式层将特征矩阵转换为较低维矩阵，仅保留明显的特征。最后，将特征矩阵视为完全连接的软磁层的输入，该输入包含一个可以将预测的线性向量转换为输出值的函数，作为每个分类中文本的概率。对两个公共基准测试的广泛实验证明了我们提出的方法对极小的数据集的有效性。它在精确，召回，准确性和F1得分方面保留最先进的基线性能，以及通过模型大小，训练时间和收敛时期，我们可以得出结论，可以更快，更轻松地部署我们的方法在移动设备上。

在目前的互联网时代，社交媒体平台容易抵达每个人，由于与演员，信条，性别，宗教甚至接受，人们往往必须应对威胁，身份攻击，仇恨和欺凌或拒绝概念。仇恨语音检测中的现有工作主要关注各个评论分类作为序列标签任务，并且经常无法考虑对话的上下文。在确定作者的意图和发布后的情绪时，谈话的上下文通常在促进推文背后的情绪时发挥着重要作用。本文介绍了哈索克 - IIITD团队 - IIITD的系统提出的系统，该系统是第一个共享任务，专注于检测来自推特上的HINDI英语代码混合对话的仇恨语音。我们使用神经网络接近此问题，利用变压器的交叉逻辑嵌入，并进一步向他们提供低资源仇恨语音分类，以便在音译后的印度文本中进行低资源仇恨语音分类。我们最好的表演系统，一项艰难的投票集合，XLM-Roberta和多语言伯特，实现了0.7253的宏F1得分，首先在整个排行榜榜上放置我们。

软件工程（SE）中的情感分析表明了承诺分析和支持各种发展活动。我们报告了经验研究的结果，以确定我们通过组合独立的SE特定情绪探测器的极性标签来确定开发集合发动机的可行性。我们的研究有两个阶段。在第一阶段，我们通过Lin等人从最近发表的两篇论文中选择了五个特定的情绪检测工具。 [31,32]，谁首先报告了独立的情绪探测器的负面结果，然后提出了改进的SE特异性情绪检测器，POME [31]。我们向第17,581个单位（句子/文件）报告来自六个目前可用情绪基准的17,581个单位（句子/文件）。我们发现现有工具可以在85-95％的情况下互补，即，一个是错误的，但另一个是对的。然而，这些工具的大多数基于投票的集合未能提高情绪检测的准确性。我们通过将极性标签和单词袋作为特征组合来开发Sentisead，一个受监督的工具。 Sentisead将各个工具的性能（F1分数）提高了4％（Over Senti4SD [5]） - 100％（通过Pome [31]）。在第二阶段，我们使用预先培训的变压器模型（PTM）进行比较和改进Sentisead基础架构。我们发现，带Roberta的Sentisead基础架构作为来自Lin等人的五个独立规则和浅学习的SE特定工具的集合。 [31,32]在六个数据集中提供0.805的最佳F1分数，而独立罗伯塔显示F1分数为0.801。