在弱监督学习（WSL）中，对从语义规则和特定于任务的预训练模型获得的嘈杂标签进行了训练。规则对任务的概括有限，并且需要大量的手动工作，而预培训模型仅适用于有限任务。在这项工作中，我们建议利用基于及时的方法作为弱来源，以获取未注释数据的嘈杂标签。我们表明，任务不合时宜的提示是可以推广的，可用于获取用于不同口语理解（SLU）任务的嘈杂标签，例如情感分类，不足的检测和情感分类。这些提示还可以更新以添加特定于任务的上下文，从而为设计特定于任务的提示提供灵活性。我们证明，基于及时的方法为上述SLU任务生成可靠的标签，因此可以用作通用弱源在没有标记数据的情况下训练弱监督模型（WSM）。我们提出的WSL管道对基于迅速的弱源进行了训练，在所有三个基准SLU数据集上，对零F1的零型学习和少量学习的其他竞争性低资源基准优于其他竞争性低资源基准。所提出的方法还优于传统的基于规则的WSL管道在宏F1上的表现超过5％。

在文本情感分类中，相关标签的集合取决于域和应用程序方案，并且在模型开发时可能不知道。这与需要预定义的标签的经典学习范式相抵触。获得具有灵活标签的模型的解决方案是，将零局学习的范式用作自然语言推理任务，此外，它还增加了不需要任何标记的培训数据的优势。这就提出了一个问题，如何促使自然语言推断模型进行零击学习情绪分类。及时表述的选项包括单独的情感名称愤怒或“此文本表示愤怒”的陈述。在本文中，我们分析了基于自然推理的零射击分类器的敏感程度是对正在考虑的迅速考虑的更改：选择提示需要如何仔细选择？我们使用三种自然语言推论模型根据不同来源（推文，事件，博客）呈现不同语言寄存器的一组既定的情感数据集进行实验，并表明确实选择了特定及时配方的选择需要适合语料库。我们表明，可以通过多个提示的组合来应对这一挑战。与单个提示相比，这种合奏在整个语料库中更强大，并且与个人最佳提示的表现几乎相同。

The recent GPT-3 model (Brown et al., 2020) achieves remarkable few-shot performance solely by leveraging a natural-language prompt and a few task demonstrations as input context. Inspired by their findings, we study few-shot learning in a more practical scenario, where we use smaller language models for which fine-tuning is computationally efficient. We present LM-BFF-better few-shot fine-tuning of language models 1 -a suite of simple and complementary techniques for finetuning language models on a small number of annotated examples. Our approach includes (1) prompt-based fine-tuning together with a novel pipeline for automating prompt generation; and (2) a refined strategy for dynamically and selectively incorporating demonstrations into each context. Finally, we present a systematic evaluation for analyzing few-shot performance on a range of NLP tasks, including classification and regression. Our experiments demonstrate that our methods combine to dramatically outperform standard fine-tuning procedures in this low resource setting, achieving up to 30% absolute improvement, and 11% on average across all tasks. Our approach makes minimal assumptions on task resources and domain expertise, and hence constitutes a strong task-agnostic method for few-shot learning. 2 * The first two authors contributed equally. 1 Alternatively, language models' best friends forever. 2 Our implementation is publicly available at https:// github.com/princeton-nlp/LM-BFF.

少量学习时，基于及时的方法很强劲。然而，Perez等人。 （2021年）最近对他们的表现产生了疑问，因为它们难以在“真实”的几次拍摄设置中获得良好的结果，其中提示和超级参数无法在DEV集上调整。鉴于此，我们对PET进行了广泛的研究，该方法将文本指令与基于示例的FENETUNING结合起来。我们表明，如果正确配置，宠物在真正的几次拍摄设置中强烈执行，即，没有开发装置。这对这种强大的表现至关重要是宠物智能处理多个提示的能力。然后，我们通过在RAFT上运行PET来将我们的调查结果置于真实世界的测试中，直接从现实的NLP应用程序采取的任务的基准，没有标记的开发或测试集。宠物在筏上实现了新的艺术状态，并且在11个任务中靠近非专家人类进行了近距离进行。这些结果表明，基于及时的学习者像宠物Excel这样的真正的几次拍摄学习和支持我们的信念，即从指示中学习的信念将在人类少量学习能力的路径上发挥重要作用。

Pre-trained Language Models (PLMs) have been applied in NLP tasks and achieve promising results. Nevertheless, the fine-tuning procedure needs labeled data of the target domain, making it difficult to learn in low-resource and non-trivial labeled scenarios. To address these challenges, we propose Prompt-based Text Entailment (PTE) for low-resource named entity recognition, which better leverages knowledge in the PLMs. We first reformulate named entity recognition as the text entailment task. The original sentence with entity type-specific prompts is fed into PLMs to get entailment scores for each candidate. The entity type with the top score is then selected as final label. Then, we inject tagging labels into prompts and treat words as basic units instead of n-gram spans to reduce time complexity in generating candidates by n-grams enumeration. Experimental results demonstrate that the proposed method PTE achieves competitive performance on the CoNLL03 dataset, and better than fine-tuned counterparts on the MIT Movie and Few-NERD dataset in low-resource settings.

对于自然语言处理中的许多任务，将知识从一个域转移到另一个领域至关重要，尤其是当目标域中的可用数据量受到限制时。在这项工作中，我们在指定实体识别（NER）的背景下提出了一种新颖的域适应方法。我们提出了一种两步方法，该方法由可变基本模块和模板模块组成，该模块在简单的描述模式的帮助下利用了预训练的语言模型中捕获的知识。我们的方法简单而通用，可以在几次射击和零拍设置中应用。评估我们在许多不同数据集中的轻量级方法表明，它可以将最新基准的性能提高2-5％的F1分数。

最近，与“预训练，及时和预测”的新范式相比，与“预训练，微调”范式相比，新的范式“预训练，及时和预测”取得了显着的成就。在基于及时的GPT-3成功之后，一系列基于蒙版的语言模型（MLM）（例如Bert，Roberta）及时学习方法变得流行并广泛使用。但是，另一个有效的预训练的判别模型Electra可能被忽略了。在本文中，我们尝试使用拟议的替换代替令牌检测（RTD）基于基于的及时学习方法来完成零摄像的几个NLP任务。实验结果表明，基于RTD-Prompt学习的Electra模型可达到令人惊讶的最先进的零拍性能。在数字上，与MLM-Roberta-Large和MLM-Bert-Large相比，我们的RTD-Electra-Large在所有15个任务上平均提高了约8.4％和13.7％。特别是在SST-2任务上，我们的RTD-Electra-Large在没有任何培训数据的情况下达到了令人惊讶的90.1％精度。总体而言，与预先训练的蒙版语言模型相比，预先训练的代替令牌检测模型在零拍学习中的性能更好。因此，Electra是一位出色的零球学习者。源代码可在以下网址获得：https：//github.com/nishiwen1214/rtd-electra。

迅速的学习方法通​​过诱导更好的几次表现，在他们仍然遵循基于参数的学习范式的同时，引起了自然语言处理的波动。学习中的遗忘和死记硬背的记忆问题可能会遇到不稳定的概括问题。具体而言，香草及时的学习可能难以利用死记硬背的非典型实例，在完全监督的培训或过度贴身模式的情况下使用低射击数据。为了减轻此类局限性，我们以将知识从记忆中解耦的动机发展为有助于模型在概括和记忆之间取得平衡。与香草及时学习相反，重新启动构造了培训实例中的开放式知识店，并在输入，培训和推理过程中实现检索机制，从而使该模型能够从培训语料库中检索相关环境作为能力为提示增强。广泛的实验表明，Retroppt可以在几次射击和零拍设置中获得更好的性能。此外，我们进一步说明，我们提出的撤退可以通过新数据集获得更好的概括能力。对记忆的详细分析确实显示逆转可以减少语言模型对记忆的依赖；因此，改善下游任务的概括。

The remarkable success of pretrained language models has motivated the study of what kinds of knowledge these models learn during pretraining. Reformulating tasks as fillin-the-blanks problems (e.g., cloze tests) is a natural approach for gauging such knowledge, however, its usage is limited by the manual effort and guesswork required to write suitable prompts. To address this, we develop AUTOPROMPT, an automated method to create prompts for a diverse set of tasks, based on a gradient-guided search. Using AUTO-PROMPT, we show that masked language models (MLMs) have an inherent capability to perform sentiment analysis and natural language inference without additional parameters or finetuning, sometimes achieving performance on par with recent state-of-the-art supervised models. We also show that our prompts elicit more accurate factual knowledge from MLMs than the manually created prompts on the LAMA benchmark, and that MLMs can be used as relation extractors more effectively than supervised relation extraction models. These results demonstrate that automatically generated prompts are a viable parameter-free alternative to existing probing methods, and as pretrained LMs become more sophisticated and capable, potentially a replacement for finetuning.

我们提出了Patron，这是一种新方法，它使用基于及时的不确定性估计，用于在冷启动场景下进行预训练的语言模型进行微调的数据选择，即，没有初始标记的数据可用。在顾客中，我们设计（1）一种基于迅速的不确定性传播方法来估计数据点的重要性和（2）分区 - 然后 - 剥离（PTR）策略，以促进对注释的样品多样性。六个文本分类数据集的实验表明，赞助人的表现优于最强的冷启动数据选择基准，高达6.9％。此外，仅具有128个标签，顾客分别基于香草微调和及时的学习，获得了91.0％和92.1％的全面监督性能。我们的赞助人实施可在\ url {https://github.com/yueyu1030/patron}上获得。

最近的自然语言理解进展（NLU）已经被驱动，部分是由胶水，超级格，小队等的基准。事实上，许多NLU模型现在在许多任务中匹配或超过“人类水平”性能这些基准。然而，大多数这些基准测试都提供模型访问相对大量的标记数据进行培训。因此，该模型提供了比人类所需的更多数据，以实现强大的性能。这有动机侧重于侧重于改善NLU模型的少量学习性能。然而，缺乏少量射门的标准化评估基准，导致不同纸张中的不同实验设置。为了帮助加速这一工作的工作，我们介绍了线索（受限制的语言理解评估标准），这是评估NLU模型的几次拍摄学习功能的基准。我们证明，虽然最近的模型在获得大量标记数据时达到人类性能，但对于大多数任务，少量拍摄设置中的性能存在巨大差距。我们还展示了几个拍摄设置中替代模型家族和适应技术之间的差异。最后，我们讨论了在设计实验设置时讨论了评估真实少量学习绩效的实验设置，并提出了统一的标准化方法，以获得少量学习评估。我们的目标是鼓励对NLU模型的研究，可以概括为具有少数示例的新任务。线索的代码和数据可以在https://github.com/microsoft/clues提供。

How can we extend a pre-trained model to many language understanding tasks, without labeled or additional unlabeled data? Pre-trained language models (PLMs) have been effective for a wide range of NLP tasks. However, existing approaches either require fine-tuning on downstream labeled datasets or manually constructing proper prompts. In this paper, we propose nonparametric prompting PLM (NPPrompt) for fully zero-shot language understanding. Unlike previous methods, NPPrompt uses only pre-trained language models and does not require any labeled data or additional raw corpus for further fine-tuning, nor does it rely on humans to construct a comprehensive set of prompt label words. We evaluate NPPrompt against previous major few-shot and zero-shot learning methods on diverse NLP tasks: including text classification, text entailment, similar text retrieval, and paraphrasing. Experimental results demonstrate that our NPPrompt outperforms the previous best fully zero-shot method by big margins, with absolute gains of 12.8% in accuracy on text classification and 18.9% on the GLUE benchmark.

最近的几种方法，例如参数有效的微调（PEFT）和模式开发训练（PET），在标签筛选设置中取得了令人印象深刻的结果。但是，它们很难使用，因为它们会受到手动制作的提示的高度可变性，并且通常需要十亿参数语言模型才能达到高精度。为了解决这些缺点，我们提出了SETFIT（句子变压器微调），这是一个有效且迅速的框架，用于对句子变形金刚（ST）进行几次微调。 SetFit首先以对比的暹罗方式对少数文本对进行微调验证的st。然后将所得模型用于生成丰富的文本嵌入，这些嵌入方式用于训练分类头。这个简单的框架不需要任何提示或口头化，并且比现有技术少的参数较少，因此可以实现高精度。我们的实验表明，SetFit通过PEFT和PET技术获得了可比的结果，同时训练的速度更快。我们还表明，SETFIT可以通过简单地切换ST主体来应用于多语言设置。我们的代码可从https://github.com/huggingface/setFit以及我们的数据集获得，网址为https://huggingface.co/setfit。

使用弱监管的事先对情感分析的工作主要侧重于电影（IMDB），餐馆（Yelp），产品（亚马逊）等不同的评论。〜这方面的一个探索的字段是客户 - 代理聊天的客户聊天数据由于缺乏免费公共数据的可用性，客户支持。在这里，我们在内部数据集中使用弱监管对客户聊天进行情感分析。我们使用弱监管微调预先训练的语言模型（LM）Roberta作为情感分类器。我们的贡献如下：1）我们表明，通过使用弱情感分类器以及基于域的lexicon的规则作为标签函数（lf），我们可以使用弱监管培训一个相当准确的客户聊天情绪分类器。 2）我们将自定义训练模型与废弃的谷歌云NLP API进行了比较，以进行情感分析。我们表明，通过使用LFS注入特定于域的知识，即使具有弱监管，我们可以培训模型来处理一些特定于域的用例，而不是从架子云NLP NLP API处理一些具体的用例。 3）我们还展示了聊天中客户情绪如何与问题分辨率有关的分析。

提示将下游应用程序作为语言建模任务施放，与使用预训练的模型进行标准微调相比，已显示出样本有效的效率。但是，提示的一个陷阱是需要手动设计的模式，其结果可能是不直觉的，需要大量的验证集来调整。为了应对挑战，我们提出了一种全自动提示方法Autoseq：（1）我们在序列到序列模型上采用自然语言提示，从而实现自由形式生成和更大的标签搜索空间； （2）我们提出了标签序列 - 无限长度的短语以口头表达标签 - 这消除了手动模板的需求，并且比单个标签单词更具有表现力； （3）我们使用Beam Search自动生成大量的标签序列候选物，并提出对比度重新排列以获得最佳组合。 Autoseq显着胜过其他无手动设计方法，例如软提示调整，适配器调整和自动搜索单个标签单词；生成的标签序列比各种任务上的精选手动序列更好。我们的方法揭示了几次学习中序列模型的潜力，并阐明了通用通用和自动提示的途径。本文的源代码可以从https://github.com/thunlp/seq2seq-prompt获得。

预先训练的蒙版语言模型通过将下游任务作为文本填充来成功执行几次学习。但是，作为全镜头环境中的强大替代方案，诸如Electra之类的判别预训练模型不适合范式。在这项工作中，我们调整了基于及时的几次学习来进行电信，并表明它在广泛的任务中优于蒙面的语言模型。Electra是预先训练的，以区分令牌是产生还是原始。我们自然地将其扩展到基于迅速的几次学习，通过培训来评分目标选项的原创性，而无需引入新参数。我们的方法很容易适应涉及多token预测的任务，而无需额外的计算开销。分析表明，Electra学习分布与下游任务更好。

已显示迅速学习可以在大多数文本分类任务中实现近调调节性能，但很少有培训示例。对于样品稀缺的NLP任务是有利的。在本文中，我们试图将其应用于实际情况，即恢复信息提取，并增强现有方法，以使其更适用于简历信息提取任务。特别是，我们根据简历的文本特征创建了多组手动模板和语言器。此外，我们比较了蒙版语言模型（MLM）预培训语言模型（PLM）和SEQ2SEQ PLM在此任务上的性能。此外，我们改进了口头设计的设计方法，用于知识渊博的及时调整，以便为其他基于应用程序的NLP任务的迅速模板和语言设计的设计提供了示例。在这种情况下，我们提出了手动知识渊博的语言器（MKV）的概念。构造与应用程序方案相对应的知识渊博的口头表的规则。实验表明，基于我们的规则设计的模板和言语器比现有的手动模板更有效，更强大，并自动生成及时方法。已经确定，当前可用的自动提示方法无法与手动设计的及时模板竞争一些现实的任务方案。最终混淆矩阵的结果表明，我们提出的MKV显着解决了样本不平衡问题。

姿态检测的目标是确定以目标朝向目标的文本中表达的视点。这些观点或上下文通常以许多不同的语言表达，这取决于用户和平台，这可以是本地新闻插座，社交媒体平台，新闻论坛等。然而，姿态检测的大多数研究已经限于使用单一语言和几个有限的目标，在交叉舌姿态检测很少有效。此外，标记数据的非英语来源通常稀缺，并具有额外的挑战。最近，大型多语言语言模型在许多非英语任务上大大提高了性能，尤其是具有有限数量的示例。这突出了模型预培训的重要性及其从少数例子中学习的能力。在本文中，我们展示了对日期交叉姿态检测的最全面的研究：我们在6名语言系列中使用12种语言的12种不同的数据集进行实验，每个都有6个低资源评估设置。对于我们的实验，我们构建了模式开发培训，提出了添加一种新颖的标签编码器来简化言语程序。我们进一步提出了基于情绪的姿态数据进行预培训，这在与几个强的基线相比，在低拍摄环境中显示了大量的6％F1绝对的增长。

在本文中，我们描述了我们参与Case-2022的子任务1，即与休闲新闻语料库的事件因果关系识别。我们通过在少数带注释的示例（即几次配置）上利用一组简单但互补的技术来解决因果关系识别（CRI）任务。我们遵循一种基于迅速的预测方法，用于微调LMS，其中CRI任务被视为掩盖语言建模问题（MLM）。这种方法允许LMS在MLM问题上进行本地预先训练，可以直接生成对CRI特异性提示的文本响应。我们将此方法的性能与在整个数据集中训练的集合技术进行比较。我们表现​​最佳的提交仅接受了每班256个实例，整个数据集的一小部分培训，但能够获得第二好的精度（0.82），第三好的精度（0.82）和F1得分。 （0.85）非常接近获胜者团队（0.86）的报道。

Natural Language Inference (NLI) or Recognizing Textual Entailment (RTE) aims at predicting the relation between a pair of sentences (premise and hypothesis) as entailment, contradiction or semantic independence. Although deep learning models have shown promising performance for NLI in recent years, they rely on large scale expensive human-annotated datasets. Semi-supervised learning (SSL) is a popular technique for reducing the reliance on human annotation by leveraging unlabeled data for training. However, despite its substantial success on single sentence classification tasks where the challenge in making use of unlabeled data is to assign "good enough" pseudo-labels, for NLI tasks, the nature of unlabeled data is more complex: one of the sentences in the pair (usually the hypothesis) along with the class label are missing from the data and require human annotations, which makes SSL for NLI more challenging. In this paper, we propose a novel way to incorporate unlabeled data in SSL for NLI where we use a conditional language model, BART to generate the hypotheses for the unlabeled sentences (used as premises). Our experiments show that our SSL framework successfully exploits unlabeled data and substantially improves the performance of four NLI datasets in low-resource settings. We release our code at: https://github.com/msadat3/SSL_for_NLI.