写作时，一个人可能需要从听众那里预测问题，但是不同的社会团体可能会提出非常不同的问题。如果有人要解决他们想解决的问题，那么域专家会问什么样的后续问题，作者可以通过重写其原始帖子来更好地满足专家的信息需求？在本文中，我们探讨了社会意识到的问题产生的任务。我们从社交媒体中收集了一系列问题和帖子，包括有关问答者社交群体的背景信息。我们发现，专家和新手等不同的社会群体始终提出不同类型的问题。我们训练几种结合社会信息的文本生成模型，我们发现当不同的社交群体彼此提出高度不同的问题时，离散的社会代表模型优于仅文本模型。我们的工作为开发文本生成模型提供了一个框架，可以帮助作家预测高度不同的社会群体的信息期望。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

道德框架和情感会影响各种在线和离线行为，包括捐赠，亲环境行动，政治参与，甚至参与暴力抗议活动。自然语言处理中的各种计算方法（NLP）已被用来从文本数据中检测道德情绪，但是为了在此类主观任务中取得更好的性能，需要大量的手工注销训练数据。事实证明，以前对道德情绪注释的语料库已被证明是有价值的，并且在NLP和整个社会科学中都产生了新的见解，但仅限于Twitter。为了促进我们对道德修辞的作用的理解，我们介绍了道德基础Reddit语料库，收集了16,123个reddit评论，这些评论已从12个不同的子雷迪维特策划，由至少三个训练有素的注释者手工注释，用于8种道德情绪（即护理，相称性，平等，纯洁，权威，忠诚，瘦道，隐含/明确的道德）基于更新的道德基础理论（MFT）框架。我们使用一系列方法来为这种新的语料库（例如跨域分类和知识转移）提供基线道德句子分类结果。

社交媒体平台上的滥用内容的增长增加对在线用户的负面影响。对女同性恋，同性恋者，跨性别或双性恋者的恐惧，不喜欢，不适或不疑虑被定义为同性恋/转铁症。同性恋/翻译语音是一种令人反感的语言，可以总结为针对LGBT +人的仇恨语音，近年来越来越受到兴趣。在线同性恋恐惧症/ Transphobobia是一个严重的社会问题，可以使网上平台与LGBT +人有毒和不受欢迎，同时还试图消除平等，多样性和包容性。我们为在线同性恋和转鸟以及专家标记的数据集提供了新的分类分类，这将允许自动识别出具有同种异体/传递内容的数据集。我们受过教育的注释器并以综合的注释规则向他们提供，因为这是一个敏感的问题，我们以前发现未受训练的众包注释者因文化和其他偏见而诊断倡导性的群体。数据集包含15,141个注释的多语言评论。本文介绍了构建数据集，数据的定性分析和注册间协议的过程。此外，我们为数据集创建基线模型。据我们所知，我们的数据集是第一个已创建的数据集。警告：本文含有明确的同性恋，转基因症，刻板印象的明确陈述，这可能对某些读者令人痛苦。

Digital platforms, including online forums and helplines, have emerged as avenues of support for caregivers suffering from postpartum mental health distress. Understanding support seekers' experiences as shared on these platforms could provide crucial insight into caregivers' needs during this vulnerable time. In the current work, we provide a descriptive analysis of the concerns, psychological states, and motivations shared by healthy and distressed postpartum support seekers on two digital platforms, a one-on-one digital helpline and a publicly available online forum. Using a combination of human annotations, dictionary models and unsupervised techniques, we find stark differences between the experiences of distressed and healthy mothers. Distressed mothers described interpersonal problems and a lack of support, with 8.60% - 14.56% reporting severe symptoms including suicidal ideation. In contrast, the majority of healthy mothers described childcare issues, such as questions about breastfeeding or sleeping, and reported no severe mental health concerns. Across the two digital platforms, we found that distressed mothers shared similar content. However, the patterns of speech and affect shared by distressed mothers differed between the helpline vs. the online forum, suggesting the design of these platforms may shape meaningful measures of their support-seeking experiences. Our results provide new insight into the experiences of caregivers suffering from postpartum mental health distress. We conclude by discussing methodological considerations for understanding content shared by support seekers and design considerations for the next generation of support tools for postpartum parents.

随着人工智能系统变得越来越强大和普遍，人们对机器的道德或缺乏道德的关注变得越来越关注。然而，向机器讲授道德是一项艰巨的任务，因为道德仍然是人类中最激烈的争论问题之一，更不用说AI了。但是，部署到数百万用户的现有AI系统已经在做出充满道德影响的决策，这构成了一个看似不可能的挑战：教学机器的道德意义，而人类继续努力努力。为了探索这一挑战，我们介绍了Delphi，这是一个基于深层神经网络的实验框架，直接训练了描述性道德判断，例如，“帮助朋友”通常是不错的，而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况，德尔菲（Delphi）表现出强大的概括能力，而现成的神经网络模型表现出明显差的判断，包括不公正的偏见，证实了对明确教学机器的道德意义的必要性。然而，德尔菲并不完美，表现出对普遍性偏见和不一致的敏感性。尽管如此，我们还是展示了不完美的Delphi的积极用例，包括在其他不完美的AI系统中将其用作组件模型。重要的是，我们根据著名的道德理论来解释Delphi的运营化，这使我们提出了重要的未来研究问题。

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

在线仇恨言论已成为小时的需求。但是，由于几种地缘政治和文化原因，对此类活动的禁令是不可行的。为了减少问题的严重性，在本文中，我们介绍了一项新颖的任务，仇恨言语归一化，旨在削弱在线帖子表现出的仇恨强度。仇恨言语归一化的意图不是支持仇恨，而是为用户提供对非讨厌的垫脚石，同时为在线平台提供更多时间来监视用户行为的任何改进。为此，我们手动策划了平行语料库 - 仇恨文本及其标准化的同行（标准化文本较不憎恨，更良性）。我们介绍了NACL，这是一个简单而有效的仇恨言语归一化模型，该模型在三个阶段运行 - 首先，它测量了原始样本的仇恨强度；其次，它标识了其中的仇恨跨度；最后，它通过解释仇恨跨度来降低仇恨强度。我们进行了广泛的实验，以通过三向评估（内在，外部和人类研究）来衡量NaCl的功效。我们观察到，NaCl优于六个基准-NACL的强度预测得分为0.1365 RMSE，在SPAN识别中获得0.622 F1分数，而82.27 BLEU和80.05的差异和80.05的困惑为归一化​​文本生成。我们进一步显示了NACL在其他平台上的普遍性（Reddit，Facebook，GAB）。将NaCl的交互式原型放在一起进行用户研究。此外，该工具正在WIPRO AI的真实环境中部署，这是其在线平台上处理有害内容的任务的一部分。

感知毒性取决于会话上下文的用户帖子在目前的毒性检测数据集中是罕见的。因此，在现有数据集上培训的毒性探测器也将倾向于忽略上下文，在发生这种情况时使上下文敏感毒性更加困难。我们构建和公开发布10,000个帖子的数据集，其中有两种毒性标签：（i）注释者认为每个帖子作为上下文; （ii）注释者没有其他背景。基于此，我们介绍了一个新的任务，上下文敏感性估计，旨在识别如果也考虑上下文（前一篇文章），则识别感知毒性变化的帖子。然后，我们在此任务上评估机器学习系统，显示可以开发实际质量的分类器，我们表明，具有知识蒸馏的数据增强可以进一步提高性能。这些系统可用于增强具有更多上下文依赖的帖子的毒性检测数据集，或者建议当主持人应考虑父柱时，这通常可能是不必要的，否则可能会引入显着的额外成本。

在基于文本的分类器中测试公平性问题的一种常见方法是通过使用反事实来：如果更改输入中的敏感属性，则分类器输出是否会更改？现有的反事实生成方法通常依赖于单词列表或模板，产生不考虑语法，上下文或微妙敏感属性引用的简单反事实，并且可能会错过WordList创建者未考虑的问题。在本文中，我们介绍了一项为克服这些缺点而产生的反事实的任务，并证明了如何利用大型语言模型（LLM）来在此任务上取得进展。我们表明，这种基于LLM的方法可以产生现有方法无法实现的复杂反事实，从而比较了民事评论数据集中各种反事实生成方法的性能，并在评估毒性分类器时显示出它们的价值。

Context is vital for commonsense moral reasoning. "Lying to a friend" is wrong if it is meant to deceive them, but may be morally okay if it is intended to protect them. Such nuanced but salient contextual information can potentially flip the moral judgment of an action. Thus, we present ClarifyDelphi, an interactive system that elicits missing contexts of a moral situation by generating clarification questions such as "Why did you lie to your friend?". Our approach is inspired by the observation that questions whose potential answers lead to diverging moral judgments are the most informative. We learn to generate questions using Reinforcement Learning, by maximizing the divergence between moral judgements of hypothetical answers to a question. Human evaluation shows that our system generates more relevant, informative and defeasible questions compared to other question generation baselines. ClarifyDelphi assists informed moral reasoning processes by seeking additional morally consequential context to disambiguate social and moral situations.

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

Supervised approaches generally rely on majority-based labels. However, it is hard to achieve high agreement among annotators in subjective tasks such as hate speech detection. Existing neural network models principally regard labels as categorical variables, while ignoring the semantic information in diverse label texts. In this paper, we propose AnnoBERT, a first-of-its-kind architecture integrating annotator characteristics and label text with a transformer-based model to detect hate speech, with unique representations based on each annotator's characteristics via Collaborative Topic Regression (CTR) and integrate label text to enrich textual representations. During training, the model associates annotators with their label choices given a piece of text; during evaluation, when label information is not available, the model predicts the aggregated label given by the participating annotators by utilising the learnt association. The proposed approach displayed an advantage in detecting hate speech, especially in the minority class and edge cases with annotator disagreement. Improvement in the overall performance is the largest when the dataset is more label-imbalanced, suggesting its practical value in identifying real-world hate speech, as the volume of hate speech in-the-wild is extremely small on social media, when compared with normal (non-hate) speech. Through ablation studies, we show the relative contributions of annotator embeddings and label text to the model performance, and tested a range of alternative annotator embeddings and label text combinations.

使用样式转移模型来降低社交媒体评论的侵犯性可以帮助促进更具包容性的环境。但是，没有大量的数据集包含令人反感的文本及其不利的同行，并且具有有限标记数据的微调预审计模型可以导致样式传递文本中原始含义的丧失。为了解决这个问题，我们提供了两个主要贡献。首先，我们发布了第一个公开可用的，平行的反击红色评论及其风格转让的评论，由专家社会语言学家注释。然后，我们介绍了第一个话语感知的样式转移模型，这些模型可以有效地降低Reddit文本中的进攻性，同时保留原始文本的含义。这些模型是第一个检查评论与文本之间回复的推论链接的模型，以转移进攻性reddit文本的样式。我们提出了两种不同的方法，将话语关系与预验证的变压器模型集成在一起，并在我们的Reddit及其无罪分子同行的进攻评论的数据集中对其进行评估。相对于自动指标和人类评估的基线的改进表明，与最先进的话语 - 不可思议的模型相比，我们的话语感知模型在保持样式转移文本的含义方面更好。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

众包NLP数据集的反复挑战是，在制作示例时，人类作家通常会依靠重复的模式，从而导致缺乏语言多样性。我们介绍了一种基于工人和AI协作的数据集创建的新方法，该方法汇集了语言模型的生成力量和人类的评估力量。从现有的数据集，自然语言推理（NLI）的Multinli开始，我们的方法使用数据集制图自动识别示例来证明具有挑战性的推理模式，并指示GPT-3撰写具有相似模式的新示例。然后，机器生成的示例会自动过滤，并最终由人类人群工人修订和标记。最终的数据集Wanli由107,885个NLI示例组成，并在现有的NLI数据集上呈现出独特的经验优势。值得注意的是，培训有关Wanli的模型，而不是Multinli（$ 4 $ $倍）可改善我们考虑的七个外域测试集的性能，包括汉斯（Hans）的11％和对抗性NLI的9％。此外，将Multinli与Wanli结合起来比将其与其他NLI增强集相结合更有效。我们的结果表明，自然语言生成技术的潜力是策划增强质量和多样性的NLP数据集。

新闻文章修订历史为新闻文章中的叙事和事实演变提供了线索。为了促进对这一进化的分析，我们介绍了新闻修订历史记录的第一个公开可用的数据集。我们的数据集是大规模和多语言的；它包含120万篇文章，其中有460万款来自三个国家 /地区的英语和法语报纸来源，涵盖了15年的报道（2006 - 2021年）。我们定义文章级的编辑操作：加法，删除，编辑和重构，并开发高准确性提取算法以识别这些动作。为了强调许多编辑操作的事实性质，我们进行的分析表明，添加和删除的句子更可能包含更新事件，主要内容和报价，而不是不变的句子。最后，为了探索编辑操作是否可以预测，我们介绍了三个旨在预测版本更新过程中执行的动作的新任务。我们表明，这些任务对于人类专业而言是可能的，但对于大型NLP模型而言，这些任务具有挑战性。我们希望这可以刺激叙事框架的研究，并为追逐突发新闻的记者提供预测工具。

文本样式传输是自然语言生成中的重要任务，旨在控制生成的文本中的某些属性，例如礼貌，情感，幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史，最近由于深神经模型带来的有希望的性能而重大关注。在本文中，我们对神经文本转移的研究进行了系统调查，自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定，现有数据集和子任务，评估，以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey

为了实现长文档理解的构建和测试模型，我们引入质量，具有中文段的多项选择QA DataSet，具有约5,000个令牌的平均长度，比典型的当前模型更长。与经过段落的事先工作不同，我们的问题是由阅读整个段落的贡献者编写和验证的，而不是依赖摘要或摘录。此外，只有一半的问题是通过在紧缩时间限制下工作的注释器来应答，表明略读和简单的搜索不足以一直表现良好。目前的模型在此任务上表现不佳（55.4％），并且落后于人类性能（93.5％）。

在线巨魔增加了社会成本，并对个人造成心理损害。随着自动化帐户利用机器人进行拖钓的扩散，目标个人用户很难在定量和定性上处理这种情况。为了解决这个问题，我们专注于自动化对抗巨魔的方法，因为对战斗巨魔的反应鼓励社区用户在不损害言论自由的情况下保持持续的讨论。为此，我们为自动反响应生成提出了一个新颖的数据集。特别是，我们构建了一个配对数据集，其中包括巨魔评论和使用标记的响应策略的反响应，该策略使我们的数据集中的模型可以通过根据指定策略改变反响应来生成响应。我们执行了三个任务来评估数据集的有效性，并通过自动和人类评估评估结果。在人类评估中，我们证明了数据集中微调的模型显示出策略控制的句子生成的性能有了显着改善。