Text clustering and topic extraction are two important tasks in text mining. Usually, these two tasks are performed separately. For topic extraction to facilitate clustering, we can first project texts into a topic space and then perform a clustering algorithm to obtain clusters. To promote topic extraction by clustering, we can first obtain clusters with a clustering algorithm and then extract cluster-specific topics. However, this naive strategy ignores the fact that text clustering and topic extraction are strongly correlated and follow a chicken-and-egg relationship. Performing them separately fails to make them mutually benefit each other to achieve the best overall performance. In this paper, we propose an unsupervised text clustering and topic extraction framework (ClusTop) which integrates text clustering and topic extraction into a unified framework and can achieve high-quality clustering result and extract topics from each cluster simultaneously. Our framework includes four components: enhanced language model training, dimensionality reduction, clustering and topic extraction, where the enhanced language model can be viewed as a bridge between clustering and topic extraction. On one hand, it provides text embeddings with a strong cluster structure which facilitates effective text clustering; on the other hand, it pays high attention on the topic related words for topic extraction because of its self-attention architecture. Moreover, the training of enhanced language model is unsupervised. Experiments on two datasets demonstrate the effectiveness of our framework and provide benchmarks for different model combinations in this framework.

建筑聊天禁令的最大挑战是培训数据。所需的数据必须逼真，足以训练聊天禁止。我们创建一个工具，用于从Facebook页面的Facebook Messenger获取实际培训数据。在文本预处理步骤之后，新获得的数据集生成FVNC和示例数据集。我们使用返回越南（Phobert）的伯特来提取文本数据的功能。 K-means和DBSCAN聚类算法用于基于Phobert $ _ {Base} $的输出嵌入式群集任务。我们应用V测量分数和轮廓分数来评估聚类算法的性能。我们还展示了Phobert的效率与样本数据集和Wiki DataSet上的特征提取中的其他模型相比。还提出了一种结合聚类评估的GridSearch算法来找到最佳参数。由于群集如此多的对话，我们节省了大量的时间和精力来构建培训Chatbot的数据和故事情节。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。

Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

Recently, discrete latent variable models have received a surge of interest in both Natural Language Processing (NLP) and Computer Vision (CV), attributed to their comparable performance to the continuous counterparts in representation learning, while being more interpretable in their predictions. In this paper, we develop a topic-informed discrete latent variable model for semantic textual similarity, which learns a shared latent space for sentence-pair representation via vector quantization. Compared with previous models limited to local semantic contexts, our model can explore richer semantic information via topic modeling. We further boost the performance of semantic similarity by injecting the quantized representation into a transformer-based language model with a well-designed semantic-driven attention mechanism. We demonstrate, through extensive experiments across various English language datasets, that our model is able to surpass several strong neural baselines in semantic textual similarity tasks.

科学世界正在快速改变，新技术正在开发，新的趋势正在进行频率增加。本文介绍了对学术出版物进行科学分析的框架，这对监测研究趋势并确定潜在的创新至关重要。该框架采用并结合了各种自然语言处理技术，例如Word Embedding和主题建模。嵌入单词嵌入用于捕获特定于域的单词的语义含义。我们提出了两种新颖的科学出版物嵌入，即PUB-G和PUB-W，其能够在各种研究领域学习一般的语义含义以及特定于域的单词。此后，主题建模用于识别这些更大的研究领域内的研究主题集群。我们策划了一个出版物数据集，由两条会议组成，并从1995年到2020年的两项期刊从两个研究领域组成。实验结果表明，与其他基线嵌入式的基于主题连贯性，我们的PUB-G和PUB-W嵌入式与其他基线嵌入式相比优越。

文本情绪分析（也称为意见挖掘）是对实体表达的人们观点，评估，态度和情感的计算的研究。文本情绪分析可以分为文本级别的情感分析，森林级别的情感分析和方面级别的情感分析。基于方面的情感分析（ABSA）是情感分析领域中的精细任务，该任务旨在预测各个方面的极性。训练前神经模型的研究显着改善了许多自然语言处理任务的性能。近年来，培训模型（PTM）已在ABSA中应用。因此，有一个问题，即PTM是否包含ABSA的足够的句法信息。在本文中，我们探讨了最近的Deberta模型（解码增强的BERT，并引起注意），以解决基于方面的情感分析问题。 Deberta是一种基于Transformer的神经语言模型，它使用自我监督的学习来预先培训大量原始文本语料库。基于局部环境重点（LCF）机制，通过整合Deberta模型，我们为基于方面的情感分析的多任务学习模型。该实验导致了Semeval-2014最常用的笔记本电脑和餐厅数据集，而ACL Twitter数据集则表明，具有Deberta的LCF机制具有显着改善。

众所周知，歌曲和诗歌的翻译不仅破坏节奏和押韵模式，而且导致语义信息丢失。 Bhagavad Gita是一个古老的印度教哲学文本，最初是梵语，在Mahabharata战争之前，克里希纳和阿尔纳之间的谈话具有谈话。 Bhagavad Gita也是印度教的关键神圣文本之一，被称为印度教的吠陀语料库的最前沿。在过去的两个世纪里，西方学者对印度教哲学有很多兴趣，因此Bhagavad Gita已经翻译了多种语言。但是，没有多少工作验证了英语翻译的质量。最近由深度学习提供的语言模型的进展，不仅能够翻译，而是更好地了解语言和语义和情感分析。我们的作品受到深入学习方法供电的语言模型的最新进展。在本文中，我们使用语义和情绪分析比较Bhagavad Gita的选定翻译（主要来自梵语到英语）。我们使用手工标记的情绪数据集进行调整，用于调整已知为\ Textit的最先进的基于深度学习的语言模型{来自变压器的双向编码器表示}（BERT）。我们使用小说嵌入模型来为跨翻译的选定章节和经文提供语义分析。最后，我们使用上述模型进行情绪和语义分析，并提供结果可视化。我们的结果表明，虽然各自的Bhagavad Gita翻译中的风格和词汇量广泛变化，但情绪分析和语义相似性表明，传达的消息在整个翻译中大多相似。

Obtaining labelled data in a particular context could be expensive and time consuming. Although different algorithms, including unsupervised learning, semi-supervised learning, self-learning have been adopted, the performance of text classification varies with context. Given the lack of labelled dataset, we proposed a novel and simple unsupervised text classification model to classify cargo content in international shipping industry using the Standard International Trade Classification (SITC) codes. Our method stems from representing words using pretrained Glove Word Embeddings and finding the most likely label using Cosine Similarity. To compare unsupervised text classification model with supervised classification, we also applied several Transformer models to classify cargo content. Due to lack of training data, the SITC numerical codes and the corresponding textual descriptions were used as training data. A small number of manually labelled cargo content data was used to evaluate the classification performances of the unsupervised classification and the Transformer based supervised classification. The comparison reveals that unsupervised classification significantly outperforms Transformer based supervised classification even after increasing the size of the training dataset by 30%. Lacking training data is a key bottleneck that prohibits deep learning models (such as Transformers) from successful practical applications. Unsupervised classification can provide an alternative efficient and effective method to classify text when there is scarce training data.

在基于变压器的模型中通常观察到令牌均匀性，在经过变压器中经过堆叠的多个自我发场层后，不同的令牌共享大量相似信息。在本文中，我们建议使用每个变压器层的输出的奇异值的分布来表征令牌均匀性的现象，并从经验上说明，偏斜的奇异值分布可以减轻“令牌均匀性”问题。基于我们的观察结果，我们定义了奇异值分布的几种理想特性，并提出了一种新的转换函数，以更新奇异值。我们表明，除了减轻令牌均匀性外，转换功能还应保留原始嵌入空间中的当地邻域结构。我们提出的奇异价值变换函数应用于伯特，阿尔伯特，罗伯塔和德文尔特等一系列基于变压器的语言模型，并且在语义文本相似性评估和一系列胶水任务中观察到了改善的性能。我们的源代码可在https://github.com/hanqi-qi/tokenuni.git上找到。

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

无监督的对话结构学习是自然语言处理中的一个重要而有意义的任务。提取的对话结构和过程可以帮助分析人类对话，并在对话系统的设计和评估中发挥重要作用。传统的对话系统要求专家手动设计对话结构，这是非常昂贵的。但通过无监督的对话结构学习，可以自动获得对话结构，降低开发人员构建对话过程的成本。学习的对话结构可用于促进下游任务系统的对话生成，提高对话机器人回复的逻辑和一致性。在本文中，我们提出了一种基于伯特的无监督对话结构学习算法Dsbert（对话结构伯特）。与以前的SOTA型号VRNN和SVRNN不同，我们组合BERT和AutoEncoder，可以有效地组合上下文信息。为了更好地防止模型落入本地最佳解决方案并使对话状态分布更加均匀，合理，我们还提出了三个可用于对话结构学习的均衡损失功能。实验结果表明，Dsbert可以产生更接近真实结构的对话结构，可以将句子与不同的语义区分开到不同的隐藏状态。

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

社会科学的学术文献是记录人类文明并研究人类社会问题的文献。随着这种文献的大规模增长，快速找到有关相关问题的现有研究的方法已成为对研究人员的紧迫需求。先前的研究，例如SCIBERT，已经表明，使用特定领域的文本进行预训练可以改善这些领域中自然语言处理任务的性能。但是，没有针对社会科学的预训练的语言模型，因此本文提出了关于社会科学引文指数（SSCI）期刊上许多摘要的预培训模型。这些模型可在GitHub（https://github.com/s-t-full-text-knowledge-mining/ssci-bert）上获得，在学科分类和带有社会科学文学的抽象结构 - 功能识别任务方面表现出色。

源代码（MLONCODE）上的机器学习有望改变软件的交付方式。通过挖掘软件伪像之间的上下文和关系，mloncode通过代码自动生成，代码建议，代码自动标记和其他数据驱动的增强功能增强了软件开发人员的功能。对于许多任务中，代码的脚本级别表示足够，但是，在许多情况下，要考虑各种依赖关系和存储库结构的存储库级表示，例如，自动标记存储库具有主题或自动记录的存储库。代码等，用于计算存储库级表示的现有方法受（a）依赖代码的自然语言文档（例如，读书文件）（b）方法/脚本级表示的天真聚集，例如，通过串联或平均值。本文介绍了一个深度神经网络，该网络可直接从源代码中生成可公开可用的GitHub代码存储库的存储库嵌入。主题结合了一种注意机制，该机制将源代码，完整依赖关系图和脚本级别的文本信息投射到密集的存储库级表示中。为了计算存储库级别的表示，局部训练可以预测与存储库相关的主题，该主题是在公开可用的GitHub存储库数据集中，这些存储库与他们的地面真相主题标签一起爬行。我们的实验表明，局部计算的嵌入能够胜过多个基线，包括通过在存储库自动标记的任务下平均或串联来天真地结合方法级表示的基线。

专利数据是创新研究知识的重要来源。尽管专利对之间的技术相似性是用于专利分析的关键指标。最近，研究人员一直在使用基于不同NLP嵌入模型的专利矢量空间模型来计算专利对之间的技术相似性，以帮助更好地了解创新，专利景观，技术映射和专利质量评估。据我们所知，没有一项全面的调查来建立嵌入模型的性能以计算专利相似性指标的大图。因此，在这项研究中，我们根据专利分类性能概述了这些算法的准确性。在详细的讨论中，我们报告了部分，类和子类级别的前3个算法的性能。基于专利的第一个主张的结果表明，专利，贝特（Bert-For）和tf-idf加权单词嵌入具有最佳准确性，可以在亚类级别计算句子嵌入。根据第一个结果，不同类别中模型的性能各不相同，这表明专利分析中的研究人员可以利用本研究的结果根据他们使用的专利数据的特定部分选择最佳的适当模型。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.