本文报告了基准数据驱动的自动共鸣手势生成的第二个基因挑战。参与的团队使用相同的语音和运动数据集来构建手势生成系统。所有这些系统生成的运动都使用标准化的可视化管道将视频渲染到视频中，并在几个大型众包用户研究中进行了评估。与比较不同的研究论文不同，结果差异仅是由于方法之间的差异，从而实现了系统之间的直接比较。今年的数据集基于18个小时的全身运动捕获，包括手指，参与二元对话的不同人。十个团队参加了两层挑战：全身和上身手势。对于每个层，我们都评估了手势运动的人类风格及其对特定语音信号的适当性。我们的评估使人类的忠诚度与手势适当性解脱，这是该领域的主要挑战。评估结果是一场革命和启示。某些合成条件被评为比人类运动捕获更明显的人类样。据我们所知，这从未在高保真的头像上展示过。另一方面，发现所有合成运动比原始运动捕获记录要小得多。其他材料可通过项目网站https://youngwoo-yoon.github.io/geneachallenge2022/获得

本文介绍了对体现药物（Genea）挑战2022的非语言行为的生成和评估的重生条目。Genea挑战提供了处理后的数据集并进行众包评估，以比较不同手势生成系统的性能。在本文中，我们探讨了基于多模式表示学习的自动手势生成系统。我们将WAVLM功能用于音频，FastText功能，用于文本，位置和旋转矩阵功能用于手势。每个模态都投影到两个不同的子空间：模态不变和特定于模态。为了学习模式间不变的共同点并捕获特定于模态表示的字符，在训练过程中使用了基于梯度逆转层的对抗分类器和模态重建解码器。手势解码器使用与音频中的节奏相关的所有表示和功能生成适当的手势。我们的代码，预培训的模型和演示可在https://github.com/youngseng/represture上找到。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

处理感官输入的机器学习系统的兴起使人与机器感知之间的比较有所增加。但是，这种比较面临着一个挑战：尽管机器对某些刺激的感知通常可以通过直接和明确的措施来探讨，但人类知识的大部分知识是潜在的，不完整的或不可用的。在这里，我们探讨了这种不对称性如何导致这种比较误解人类和机器感知的重叠。作为一个案例研究，我们考虑了人类对\ textit {对抗性语音}的感知 - 合成音频命令被自动语音识别系统识别为有效消息，但据报道，人类听众听到了无意义的噪音。在五个实验中，我们适应了人类心理物理学文献的任务设计，以表明即使受试者无法自由地抄写此类语音命令（以前的人类理解基准），他们也可以表现出其他形式的理解，包括从紧密匹配的对抗性语言中歧视对抗性演讲非语音（实验1--2），在对抗性语音（实验3--4）中开始完成的常见短语，并解决了对抗性语音中提出的简单数学问题（实验5） - 即使对于先前被描述为人类无法理解的刺激听众。我们建议在比较人类和机器感知时采用这种“敏感测试”，并讨论评估系统之间重叠的这种方法的更广泛的后果。

由于缺乏可用的数据集，模型和标准评估指标，因此以多模式数据为条件的现实，生动和类似人类的合成对话手势仍然是一个未解决的问题。为了解决这个问题，我们构建了人体表达式 - aauio-Text数据集，Beat，它具有76小时，高质量的，高质量的多模式数据，这些数据从30位扬声器中捕获了八种不同的情绪，用四种不同的语言，ii）32数以百万计的框架级别的情感和语义相关注释。我们对BEAT的统计分析表明，除了与音频，文本和说话者身份的已知相关性外，对话式手势与面部表情，情感和语义的相关性。基于此观察结果，我们提出了一个基线模型，即级联运动网络（CAMN），该模型由以上六种模式组成，该模式在级联的架构中建模以进行手势合成。为了评估语义相关性，我们引入了指标，语义相关性召回（SRGR）。定性和定量实验证明了指标的有效性，地面真相数据质量以及基线的最先进性能。据我们所知，BEAT是用于研究人类手势的最大运动捕获数据集，这可能有助于许多不同的研究领域，包括可控的手势合成，跨模式分析和情感手势识别。数据，代码和模型可在https://pantomatrix.github.io/beat/上获得。

我们提出了Zeroeggs，这是一个神经网络框架，用于语音驱动的手势生成，以零拍出样式控制。这意味着即使在训练过程中看不见的运动样式，也只能通过一个简短的运动剪辑来控制样式。我们的模型使用一个变性框架来学习样式嵌入，从而可以通过潜在的空间操纵或样式嵌入方式的混合和缩放来修改样式。我们框架的概率性质进一步使给定输入相同的各种输出的产生，以解决手势运动的随机性质。在一系列实验中，我们首先证明了模型对新的扬声器和样式的灵活性和概括性。然后，在一项用户研究中，我们表明我们的模型在运动，语音适当性和风格刻画方面的自然性，适当性和刻画的表现优于先前的最先进技术。最后，我们释放了包括手指在内的全身手势运动的高质量数据集，语音跨越了19种不同的样式。

由于几个因素之间的微妙权衡：参与者的隐私，生态有效性，数据保真度和后勤开销，记录野外未脚本人类互动的动态是具有挑战性的。为了解决这些问题，在社区精神上为社区的“数据集”之后，我们提出了会议生活实验室（Conflab）：一个新的概念，用于多模式多模式数据收集，野生野外社交对话。对于此处描述的Conflab的首次实例化，我们在一次大型国际会议上组织了现实生活中的专业网络活动。该数据集涉及48个会议参与者，捕捉了地位，熟人和网络动机的各种组合。我们的捕获设置改善了先前野外数据集的数据保真度，同时保留隐私敏感性：从非侵入性的架空视图中获得8个视频（1920x1080，60 fps），并具有定制的可穿戴传感器，并带有车载记录（完整9） - 轴IMU），具有隐私性的低频音频（1250 Hz）和基于蓝牙的接近度。此外，我们开发了用于采集时分布式硬件同步的自定义解决方案，并以高采样速率对身体关键点和动作进行了及时的连续注释。我们的基准测试展示了与野外隐私保护社交数据分析有关的一些开放研究任务：从高架摄像头视图，基于骨架的No-Audio扬声器检测和F-Formation检测中的关键点检测。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.

将文本输入转换为视频内容的任务已成为合成媒体生成的重要主题。已经提出了几种方法，其中一些方法在受限的任务中达到了近距离表现。在本文中，我们通过将文本转换为唇部标记来解决文本到视频生成问题的次要发音。但是，我们使用模块化，可控的系统体系结构进行此操作，并评估其每个组件。我们的标题名为Flexlip的系统分为两个单独的模块：文本到语音和语音到唇，都具有基本可控的深神经网络体系结构。这种模块化可以轻松替换其每个组件，同时还可以通过解开或投影输入功能来快速适应新的扬声器身份。我们表明，通过仅将数据的数据用于音频生成组件，而对于语音到唇部分量的5分钟，生成的唇部标记的客观度量与使用较大较大的唇部标记相当一组训练样本。我们还通过考虑数据和系统配置的几个方面，对系统的完整流进行了一系列客观评估措施。这些方面与培训数据的质量和数量有关，使用预审计的模型以及其中包含的数据以及目标扬声器的身份；关于后者，我们表明我们可以通过简单地更新模型中的嘴唇形状来对看不见的身份进行零拍的唇部适应。

Charisma is considered as one's ability to attract and potentially also influence others. Clearly, there can be considerable interest from an artificial intelligence's (AI) perspective to provide it with such skill. Beyond, a plethora of use cases opens up for computational measurement of human charisma, such as for tutoring humans in the acquisition of charisma, mediating human-to-human conversation, or identifying charismatic individuals in big social data. A number of models exist that base charisma on various dimensions, often following the idea that charisma is given if someone could and would help others. Examples include influence (could help) and affability (would help) in scientific studies or power (could help), presence, and warmth (both would help) as a popular concept. Modelling high levels in these dimensions for humanoid robots or virtual agents, seems accomplishable. Beyond, also automatic measurement appears quite feasible with the recent advances in the related fields of Affective Computing and Social Signal Processing. Here, we, thereforem present a blueprint for building machines that can appear charismatic, but also analyse the charisma of others. To this end, we first provide the psychological perspective including different models of charisma and behavioural cues of it. We then switch to conversational charisma in spoken language as an exemplary modality that is essential for human-human and human-computer conversations. The computational perspective then deals with the recognition and generation of charismatic behaviour by AI. This includes an overview of the state of play in the field and the aforementioned blueprint. We then name exemplary use cases of computational charismatic skills before switching to ethical aspects and concluding this overview and perspective on building charisma-enabled AI.

情绪可以提供自然的交流方式，以补充许多领域中社交机器人（例如文本和语音）现有的多模式能力。我们与112、223和151名参与者进行了三项在线研究，以调查使用情绪作为搜救（SAR）机器人的交流方式的好处。在第一个实验中，我们研究了通过机器人的情绪传达与SAR情况有关的信息的可行性，从而导致了从SAR情况到情绪的映射。第二项研究使用控制控制理论是推导此类映射的替代方法。此方法更灵活，例如允许对不同的情绪集和不同机器人进行调整。在第三个实验中，我们使用LED作为表达通道为外观受限的室外现场研究机器人创建了情感表达。在各种模拟的SAR情况下，使用这些情感表达式，我们评估了这些表达式对参与者（采用救援人员的作用）的影响。我们的结果和提议的方法提供了（a）有关情感如何帮助在SAR背景下传达信息的见解，以及（b）在（模拟）SAR通信环境中添加情绪为传播方式的有效性的证据。

超现实视觉效果的技术的最新进展引起了人们的关注，即政治演讲的深层视频很快将与真实的视频录制无法视觉区分。通信研究中的传统观念预测，当故事的同一版本被视为视频而不是文字时，人们会更频繁地跌倒假新闻。在这里，我们评估了41,822名参与者在一个实验中如何将真实的政治演讲与捏造区分开来，在该实验中，演讲被随机显示为文本，音频和视频的排列。我们发现获得音频和视觉沟通方式的访问提高了参与者的准确性。在这里，人类的判断更多地依赖于话语，视听线索比所说的语音内容。但是，我们发现反思性推理调节了参与者考虑视觉信息的程度：认知反射测试的表现较低与对所说内容的过度依赖有关。

神经语言模型有可能支持人类写作。但是，关于其整合和对写作和产出的影响仍然存在问题。为了解决这个问题，我们设计并比较了两个用于写作的用户界面与移动设备上的AI，这些用户界面操纵主动性和控制级别：1）使用连续生成的文本编写，AI添加了逐字文字和用户转向。 2）编写建议，AI建议短语和用户从列表中选择。在监督的在线研究（n = 18）中，参与者使用了这些原型和无AI的基线。我们收集了触摸互动，关于灵感和作者的评分以及访谈数据。有了AI的建议，人们的写作不那么积极，但觉得他们是作者。连续生成的文本减少了这种感知的作者身份，但编辑行为增加了。在这两种设计中，AI都会增加文本长度，并被认为会影响措辞。我们的发现为UI设计决策对用户体验和共同创造系统的产出的影响增加了新的经验证据。

我们建议并探讨可以将语言模型作为社会科学研究中特定人类亚人群的有效代理进行研究的可能性。人工智能工具的实践和研究应用有时受到有问题的偏见（例如种族主义或性别歧视）的限制，这些偏见通常被视为模型的统一特性。我们表明，一个这样的工具中的“算法偏见”（GPT-3语言模型）既是细粒度又是人口统计相关的，这意味着适当的条件会导致其准确地仿真来自各种人类的响应分布亚组。我们将此属性称为“算法忠诚度”，并在GPT-3中探索其范围。我们通过将模型调节在美国进行的多项大型调查中的数千个社会人口统计背景故事中调节，从而创建“硅样本”。然后，我们比较硅和人类样品，以证明GPT-3中包含的信息远远超出了表面相似性。它是细微的，多方面的，并反映了特征人类态度的思想，态度和社会文化背景之间的复杂相互作用。我们建议，具有足够算法的忠诚度的语言模型构成了一种新颖而有力的工具，可以促进各种学科的人类和社会的理解。

全球团队通常由基于语言的亚组组成，这些子组将互补信息汇总在一起以实现共同的目标。先前的研究概述了这些团队的两步工作沟通流。有团队会议使用所需的通用语言（即英语）；为了准备这些会议，人们以母语为母语的对话。在团队会议上的工作沟通通常不如亚组对话效率。在当前的研究中，我们研究了利用机器翻译（MT）的想法，以促进全球团队会议。我们假设在团队会议之前交换子组对话日志会提供上下文信息，从而受益于团队合作。 MT可以翻译这些日志，这可以以低成本的方式理解。为了检验我们的假设，我们进行了一个受试者间实验，其中有20名参与者执行了人事选择任务。每个四重奏包括两名英语母语者（NS）和两个母语是普通话的非母语说话者（NNS）。所有参与者都以其母语的亚组对话开始了这项任务，然后以英语开始了团队会议。我们在团队会议之前操纵了子组对话日志的交换：MT介导的交流与没有。分析参与者的主观经验，任务绩效和讨论深度通过他们的对话举动所反映的，这表明当MT介导的亚组对话日志交流而不是没有交流时，团队会议质量会提高。最后，我们对何时以及如何应用MT进行了思考，以增强语言障碍的全球团队合作。

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants' confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

舞蹈需要熟练的复杂动作，遵循音乐的节奏，音调和音色特征。正式地，在一段音乐上产生的舞蹈可以表达为建模高维连续运动信号的问题，该信号以音频信号为条件。在这项工作中，我们为解决这个问题做出了两项贡献。首先，我们提出了一种新颖的概率自回归体系结构，该体系结构使用多模式变压器编码器以先前的姿势和音乐背景为条件，以正常的流程为标准化姿势。其次，我们介绍了目前最大的3D舞蹈动机数据集，该数据集通过各种运动捕捉技术获得，包括专业和休闲舞者。使用此数据集，我们通过客观指标和一个用户研究将新模型与两个基准进行比较，并表明建模概率分布的能力以及能够通过大型运动和音乐背景进行的能力是必要的产生与音乐相匹配的有趣，多样和现实的舞蹈。

Since emotions are expressed through a combination of verbal and non-verbal channels, a joint analysis of speech and gestures is required to understand expressive human communication. To facilitate such investigations, this paper describes a new corpus named the "interactive emotional dyadic motion capture database" (IEMOCAP), collected by the Speech Analysis and Interpretation Laboratory (SAIL) at the University of Southern California (USC). This database was recorded from ten actors in dyadic sessions with markers on the face, head, and hands, which provide detailed information about their facial expression and hand movements during scripted and spontaneous spoken communication scenarios. The actors performed selected emotional scripts and also improvised hypothetical scenarios designed to elicit specific types of emotions (happiness, anger, sadness, frustration and neutral state). The corpus contains approximately twelve hours of data. The detailed motion capture information, the interactive setting to elicit authentic emotions, and the size of the database make this corpus a valuable addition to the existing databases in the community for the study and modeling of multimodal and expressive human communication.

爆发两年多后，Covid-19的大流行继续困扰世界各地的医疗系统，给稀缺资源带来压力，并夺走了人类的生命。从一开始，已经采用了各种基于AI的CoVID-19检测和监测工具，以试图通过及时诊断来阻止感染的潮流。特别是，已经建议计算机试听是一种非侵入性，成本效益和环保的替代方法，可通过声音通过声音来检测COVID-19的感染。但是，像所有AI方法一样，计算机试镜也很大程度上取决于可用数据的数量和质量，并且由于此类数据的敏感性，大规模的COVID-19声音数据集很难获取 - 除其他原因外。为此，我们介绍了COVYT数据集 - 一种新颖的Covid-19数据集，该数据集是从包含来自65位演讲者的8个小时以上语音的公共资源中收集的。与其他现有的COVID-19声音数据集相比，COVYT数据集的独特功能是，它包括所有65位扬声器的covid-19正和负样本。我们使用可解释的音频描述来分析Covid-19的声学表现，并使用可解释的音频描述，并研究几种分类场景，并调查一些分类场景，以将基于公平的言语的COVID进行适当的分配策略-19检测。