代码转换（CS）是多语言个体所表现出的常见语言现象，在一次对话中，它们倾向于在语言之间交替。 CS是一种复杂的现象，不仅包含语言挑战，而且还包含大量的复杂性，就其在说话者之间的动态行为而言。鉴于产生CS的因素因一个国家而异，并且从一个人到另一个人都不同，因此发现CS是一种依赖说话者的行为，在该行为中，外语被嵌入的频率在说话者之间有所不同。尽管几位研究人员从语言的角度研究了CS行为，但研究仍然缺乏从社会学和心理学角度预测用户CS行为的任务。我们提供了一项经验用户研究，我们研究用户的CS级别和性质特征之间的相关性。我们对双语者进行访谈，并收集有关他们的个人资料的信息，包括他们的人口统计学，个性特征和旅行经验。然后，我们使用机器学习（ML）根据其配置文件来预测用户的CS级别，在此我们确定建模过程中的主要影响因素。我们试验分类和回归任务。我们的结果表明，CS行为受到说话者之间的关系，旅行经验以及神经质和外向性人格特征的影响。

多种语言的扬声器倾向于在对话中的语言之间交替，该现象称为“代码切换”（CS）。CS是一种复杂的现象，不仅包括语言挑战，而且在讲话者的动态行为方面也包含大量复杂性。社会学家和心理学家研究了这种动态行为，确定了影响CS的因素。在本文中，我们对阿拉伯语 - 英语CS提供了实证用户研究，在那里我们展示了用户CS频率和字符特征之间的相关性。我们使用机器学习（ML）来验证调查结果，通知和确认现有理论。预测模型能够预测用户的CS频率，精度高于55％，其中旅行经验和人格特征在建模过程中起最大的作用。

代码切换是在对话期间交换语言时的语音现象。尽管对会话语言中的代码切换的自发性，但大多数现有工程通过读取语音而不是自发的语音来收集代码切换数据。Ascend（一个自发的中国英语数据集）介绍了香港收集的自发多转对话对话中英语代码切换语料库的高质量资源。我们报告了提升的设计和收集语音数据的程序，包括在这项工作中的注释。上升包括23个双语，这些双语流利，汉英都流利，而且由9.23小时的清洁语音组成。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

Code-Switching, a common phenomenon in written text and conversation, has been studied over decades by the natural language processing (NLP) research community. Initially, code-switching is intensively explored by leveraging linguistic theories and, currently, more machine-learning oriented approaches to develop models. We introduce a comprehensive systematic survey on code-switching research in natural language processing to understand the progress of the past decades and conceptualize the challenges and tasks on the code-switching topic. Finally, we summarize the trends and findings and conclude with a discussion for future direction and open questions for further investigation.

对于政治和社会科学以及语言学和自然语言处理（NLP），它们都很有趣。退出研究涵盖了各个议会内的讨论。相比之下，我们将高级NLP方法应用于2017年至2020年之间的六个国家议会（保加利亚，捷克语，法语，斯洛文尼亚，西班牙语和英国）的联合和比较分析，其笔录是Parlamint数据集收集的一部分。使用统一的方法，我们分析了讨论，情感和情感的主题。我们评估说话者的年龄，性别和政治取向是否可以从演讲中检测到。结果表明，分析国家之间的一些共同点和许多令人惊讶的差异。

Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

使用深度学习来产生类似人类的文本的自回归语言模型已变得越来越普遍。这样的模型为智能健康，金融和自动驾驶等领域的流行虚拟助手提供动力。尽管这些大语言模型的参数正在改善，但担心这些模型可能对社会中的所有亚组都没有平等。尽管对跨学科的AI公平性进行了越来越多的讨论，但缺乏系统的指标来评估公平在对话系统中的意义以及如何使不同人群参与评估循环。本文基于审议民主和科学技术研究的理论，提出了一个分析框架，以解开人类对话中的公平意义。使用此框架，我们进行了一项审计研究，以研究GPT-3如何应对有关关键科学和社会主题的不同亚人群的反应：气候变化和黑人生活问题（BLM）运动。我们的语料库包括在性别，种族和种族，教育水平，英语作为第一语言的GPT-3和3290个人之间的超过20,000轮对话，以及对问题的看法。我们发现，在观点和教育少数群体中，对GPT-3的用户经验实质上较差；但是，这两个小组获得了最大的知识增长，改变了聊天后对BLM和气候变化工作的态度改变。我们将这些用户的经验划分为对话差异，发现GPT-3在对教育和舆论少数群体群体做出反应时，与对多数群体的反应相比，它使用了更多的负面表达。我们讨论了我们的发现对集中多样性，公平和包容性的审议对话AI系统的含义。

本地语言识别（NLI）是培训（通过监督机器学习）的任务，该分类器猜测文本作者的母语。在过去的十年中，这项任务已经进行了广泛的研究，多年来，NLI系统的性能稳步改善。我们专注于NLI任务的另一个方面，即分析由\ emph {Aupplable}机器学习算法培训的NLI分类器的内部组件，以获取其分类决策的解释，并具有获得的最终目标，即获得最终的目标。深入了解语言现象````赋予说话者''的母语''。我们使用这种观点来解决NLI和（研究得多的）伴侣任务，即猜测是由本地人还是非本地人说的文本。使用三个不同出处的数据集（英语学习者论文的两个数据集和社交媒体帖子的数据集），我们研究哪种语言特征（词汇，形态学，句法和统计）最有效地解决了我们的两项任务，即，最大的表明说话者的L1。我们还提出了两个案例研究，一个关于西班牙语，另一个关于意大利英语学习者，其中我们分析了分类器对发现这些L1最重要的单个语言特征。总体而言，我们的研究表明，使用可解释的机器学习可能是TH的宝贵工具

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

社交媒体平台上的滥用内容的增长增加对在线用户的负面影响。对女同性恋，同性恋者，跨性别或双性恋者的恐惧，不喜欢，不适或不疑虑被定义为同性恋/转铁症。同性恋/翻译语音是一种令人反感的语言，可以总结为针对LGBT +人的仇恨语音，近年来越来越受到兴趣。在线同性恋恐惧症/ Transphobobia是一个严重的社会问题，可以使网上平台与LGBT +人有毒和不受欢迎，同时还试图消除平等，多样性和包容性。我们为在线同性恋和转鸟以及专家标记的数据集提供了新的分类分类，这将允许自动识别出具有同种异体/传递内容的数据集。我们受过教育的注释器并以综合的注释规则向他们提供，因为这是一个敏感的问题，我们以前发现未受训练的众包注释者因文化和其他偏见而诊断倡导性的群体。数据集包含15,141个注释的多语言评论。本文介绍了构建数据集，数据的定性分析和注册间协议的过程。此外，我们为数据集创建基线模型。据我们所知，我们的数据集是第一个已创建的数据集。警告：本文含有明确的同性恋，转基因症，刻板印象的明确陈述，这可能对某些读者令人痛苦。

我们使用不同的语言支持特征预处理方法研究特征密度（FD）的有效性，以估计数据集复杂性，这又用于比较估计任何训练之前机器学习（ML）分类器的潜在性能。我们假设估计数据集复杂性允许减少所需实验迭代的数量。这样我们可以优化ML模型的资源密集型培训，这是由于可用数据集大小的增加以及基于深神经网络（DNN）的模型的不断增加的普及而成为一个严重问题。由于训练大规模ML模型引起的令人惊叹的二氧化碳排放量，不断增加对更强大的计算资源需求的问题也在影响环境。该研究是在多个数据集中进行的，包括流行的数据集，例如用于培训典型情感分析模型的Yelp业务审查数据集，以及最近的数据集尝试解决网络欺凌问题，这是一个严重的社会问题，也是一个严重的社会问题一个更复杂的问题，形成了语言代表的观点。我们使用收集多种语言的网络欺凌数据集，即英语，日语和波兰语。数据集的语言复杂性的差异允许我们另外讨论语言备份的单词预处理的功效。

It does not matter whether it is a job interview with Tech Giants, Wall Street firms, or a small startup; all candidates want to demonstrate their best selves or even present themselves better than they really are. Meanwhile, recruiters want to know the candidates' authentic selves and detect soft skills that prove an expert candidate would be a great fit in any company. Recruiters worldwide usually struggle to find employees with the highest level of these skills. Digital footprints can assist recruiters in this process by providing candidates' unique set of online activities, while social media delivers one of the largest digital footprints to track people. In this study, for the first time, we show that a wide range of behavioral competencies consisting of 16 in-demand soft skills can be automatically predicted from Instagram profiles based on the following lists and other quantitative features using machine learning algorithms. We also provide predictions on Big Five personality traits. Models were built based on a sample of 400 Iranian volunteer users who answered an online questionnaire and provided their Instagram usernames which allowed us to crawl the public profiles. We applied several machine learning algorithms to the uniformed data. Deep learning models mostly outperformed by demonstrating 70% and 69% average Accuracy in two-level and three-level classifications respectively. Creating a large pool of people with the highest level of soft skills, and making more accurate evaluations of job candidates is possible with the application of AI on social media user-generated data.

Covid-19是由新型冠状病毒（SARS-COV-2）引起的疾病，于2019年12月下旬首次在中国武汉出现。不久之后，该病毒在全球范围内传播，并于3月被世界卫生组织宣布为大流行病。 2020年。这造成了世界各地和美国的许多变化，包括向在线学习的教育转变。在本文中，我们试图了解Covid-19-19的大流行和在线学习的增加如何影响大学生的情感福祉。我们使用几种机器学习和统计模型来分析卢布尔雅那大学公共行政学院，斯洛文尼亚大学，与国际大学，其他高等教育机构和学生协会一起收集的数据。我们的结果表明，与学生的学术生活有关的特征对他们的情感健康产生了最大的影响。其他重要因素包括学生对大学和政府对大流行的处理以及学生的财务安全的满意。

机器学习（ML）技术在教育方面越来越普遍，从预测学生辍学，到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长，迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中，我们阐明了这一复杂的景观绘制，以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育（ML4ED）论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说，技术问题的提出，目标，方法和解释结果与手头的教育问题保持一致。我们发现，在ML生命周期的两个部分中存在跨学科的差距，并且尤其突出：从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期，这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究，以及对ML社会影响的批判性分析。具体而言，它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。

Student success models might be prone to develop weak spots, i.e., examples hard to accurately classify due to insufficient representation during model creation. This weakness is one of the main factors undermining users' trust, since model predictions could for instance lead an instructor to not intervene on a student in need. In this paper, we unveil the need of detecting and characterizing unknown unknowns in student success prediction in order to better understand when models may fail. Unknown unknowns include the students for which the model is highly confident in its predictions, but is actually wrong. Therefore, we cannot solely rely on the model's confidence when evaluating the predictions quality. We first introduce a framework for the identification and characterization of unknown unknowns. We then assess its informativeness on log data collected from flipped courses and online courses using quantitative analyses and interviews with instructors. Our results show that unknown unknowns are a critical issue in this domain and that our framework can be applied to support their detection. The source code is available at https://github.com/epfl-ml4ed/unknown-unknowns.

人类交流越来越多地与AI产生的语言混合。在聊天，电子邮件和社交媒体中，AI系统会产生智能答复，自动完成和翻译。 AI生成的语言通常不被认为是人类语言的姿势，引起了人们对新型欺骗和操纵形式的担忧。在这里，我们研究了人类如何辨别AI产生的最个人化和结果形式之一 - 一种自我表现。在六个实验中，参与者（n = 4,650）试图识别由最先进的语言模型产生的自我表现。在专业，款待和浪漫的环境中，我们发现人类无法识别AI生成的自我表现。将定性分析与语言特征工程相结合，我们发现人类对语言的人类判断受到直观但有缺陷的启发式方法的困扰，例如将第一人称代词，真实的单词或家庭主题与人类相关联。我们表明，这些启发式方法使人类对产生的语言的判断可预测和可操纵，从而使AI系统能够产生比人类更具人类的语言。我们通过讨论解决方案（例如AI的重音或合理使用政策）来结束，以减少产生语言的欺骗潜力，从而限制人类直觉的颠覆。

在公共危机时期，寻求信息对于人们的自我保健和福祉至关重要。广泛的研究调查了经验理解和技术解决方案，以促进受影响地区的家庭公民寻求信息。但是，建立有限的知识是为了支持需要在其东道国发生危机的国际移民。当前的论文对居住在日本和美国（n = 14）的两名中国移民（n = 14）进行了访谈研究。参与者反思了他们在共同大流行期间寻求经验的信息。反思补充了两周的自我追踪，参与者保持了相关信息寻求实践的记录。我们的数据表明，参与者经常绕开语言绕道，或访问普通话资源以获取有关其东道国疫情爆发的信息。他们还进行了战略性利用普通话信息，以进行选择性阅读，交叉检查以及对日语或英语的共同信息的上下文化解释。尽管这种做法增强了参与者对共同相关信息收集和感官的有效性，但他们有时会通过有时认识的方式使人们处于不利地位。此外，参与者缺乏对审查以移民为导向的信息的认识或偏爱，尽管该信息可用，这些信息是由东道国公共当局发布的。在这些发现的基础上，我们讨论了改善国际移民在非本地语言和文化环境中寻求共同相关信息的解决方案。我们主张包容性危机基础设施，这些基础设施将吸引以当地语言流利程度，信息素养和利用公共服务的经验的不同水平的人们。

在这项研究中，我们研究了哪些程度专家和非专家在众包实验中就难度问题达成共识。我们要求非专家（瑞典语的第二语言学习者）和两组专家（瑞典语作为第二/外语的教师和CEFR专家）在众包实验中对多字表达式进行排名。我们发现，所有三个测试小组的最终排名都非常高，这表明在比较环境中产生的判断不受专业见解作为第二语言的专业见解的影响。