计算机视觉技术可以帮助自动化或部分自动化口面损伤的临床检查，以提供准确和客观的评估。为了开发此类自动化系统，我们评估了两种在口面评估视频中检测和时间分段（分析）重复的方法。从多伦多神经曲面数据集获得了患有肌萎缩性侧索硬化症（ALS）和健康对照（HC）个体的参与者的录制视频。检查了两种重复检测和解析方法：一种基于轨迹地标的工程特征和上嘴唇和下唇的朱红色 - 二连交界之间的距离（基线分析）的峰值检测（基线分析），另一种是使用预训练的变压器 - 基于repnet的基于深度学习模型（Dwibedi等，2020），该模型自动检测周期性，并在视频数据中解析周期性和半周期重复。在对两项口面评估任务的实验评估中 - 重复最大的口腔张开（打开）并重复“购买Bobby a Puppy”（BBP）（BBP） - repnet提供了比基于具有里程碑意义的方法更好的解析，并通过较高的平均相交量化的方法来量化。联合（IOU）关于地面真理手动解析。使用Repnet自动解析还根据BBP重复的持续时间清楚地分离了HC和ALS参与者，而基于里程碑的方法则不能。

这项研究旨在通过添加从野外视频中学到的唇部动画来使元角色更现实。为了实现这一目标，我们的方法是扩展Tacotron 2文本到语音合成器，以在一次通过时与MEL频谱一起生成唇部运动。编码器和栅极层的权重在LJ语音1.1数据集上进行了预训练，而解码器则在从LRS 3数据集中提取的93个TED谈话视频中重新训练。我们的新型解码器预测，使用OpenFace 2.0 Landmark预测器自动提取的标签，可以在时间上跨20个唇部标记位置位移。训练在7小时内使用不到5分钟的视频收敛。我们进行了前/后网络和预训练的编码器权重的消融研究，以证明音频和视觉语音数据之间传输学习的有效性。

在驾驶的背景下进行警觉性监控可改善安全性并挽救生命。基于计算机视觉的警报监视是一个活跃的研究领域。但是，存在警觉性监控的算法和数据集主要针对年轻人（18-50岁）。我们提出了一个针对老年人进行车辆警报监控的系统。通过设计研究，我们确定了适合在5级车辆中独立旅行的老年人的变量和参数。我们实施了一个原型旅行者监测系统，并评估了十个老年人（70岁及以上）的警报检测算法。我们以适合初学者或从业者的详细级别报告系统设计和实施。我们的研究表明，数据集的开发是开发针对老年人的警觉性监测系统的首要挑战。这项研究是迄今为止研究不足的人群中的第一项研究，并通过参与方法对未来的算法开发和系统设计具有影响。

在急诊室（ER）环境中，中风分类或筛查是一个普遍的挑战。由于MRI的慢速吞吐量和高成本，通常会进行快速CT而不是MRI。在此过程中通常提到临床测试，但误诊率仍然很高。我们提出了一个新型的多模式深度学习框架，深沉的中风，以通过识别较小的面部肌肉不协调的模式来实现计算机辅助中风的存在评估，并使怀疑急性环境中的中风的患者无能为力。我们提出的深雷克斯（Deepstroke）在中风分流器中容易获得一分钟的面部视频数据和音频数据，用于局部面部瘫痪检测和全球语音障碍分析。采用了转移学习来减少面部侵蚀偏见并提高普遍性。我们利用多模式的横向融合来结合低水平和高级特征，并为关节训练提供相互正则化。引入了新型的对抗训练以获得无身份和中风的特征。与实际急诊室患者进行的视频ADIO数据集进行的实验表明，与分类团队和ER医生相比，中风的表现要优于最先进的模型，并且取得更好的性能，比传统的敏感性高出10.94％，高7.37％的精度高出7.37％。当特异性对齐时，中风分类。同时，每个评估都可以在不到六分钟的时间内完成，这表明该框架的临床翻译潜力很大。

虽然先前以语音为导向的说话面部生成方法在改善合成视频的视觉质量和唇部同步质量方面取得了重大进展，但它们对唇部运动的关注较少，从而极大地破坏了说话面部视频的真实性。是什么导致运动烦恼，以及如何减轻问题？在本文中，我们基于最先进的管道对运动抖动问题进行系统分析，该管道使用3D面表示桥接输入音频和输出视频，并通过一系列有效的设计来改善运动稳定性。我们发现，几个问题可能会导致综合说话的面部视频中的烦恼：1）输入3D脸部表示的烦恼； 2）训练推导不匹配； 3）视频帧之间缺乏依赖建模。因此，我们提出了三种有效的解决方案来解决此问题：1）我们提出了一个基于高斯的自适应平滑模块，以使3D面部表征平滑以消除输入中的抖动； 2）我们在训练中对神经渲染器的输入数据增加了增强的侵蚀，以模拟推理中的变形以减少不匹配； 3）我们开发了一个音频融合的变压器生成器，以模拟视频帧之间的依赖性。此外，考虑到没有现成的指标来测量说话面部视频中的运动抖动，我们设计了一个客观的度量标准（运动稳定性指数，MSI），可以通过计算方差加速度的倒数来量化运动抖动。广泛的实验结果表明，我们方法对运动稳定的面部视频生成的优越性，其质量比以前的系统更好。

基于视觉的深度学习模型对于演讲和听力受损和秘密通信可能是有希望的。虽然这种非言语通信主要通过手势和面部表情调查，但到目前为止，洛杉状态（即打开/关闭）的解释/翻译系统没有跟踪努力的研究。为了支持这一发展，本文报告了两个新的卷积神经网络（CNN）模型用于嘴唇状态检测。建立两个突出的嘴唇地标检测器，DLIB和MediaPipe，我们用一组六个关键地标简化嘴唇状态模型，并使用它们对嘴唇状态分类的距离。因此，开发了两种模型以计算嘴唇的打开和关闭，因此，它们可以将符号分类为总数。调查不同的帧速率，唇部运动和面部角度以确定模型的有效性。我们早期的实验结果表明，在平均每秒6帧（FPS）和95.25％的平均水平检测精度的平均值相对较慢，DLIB的模型相对较慢。相比之下，带有MediaPipe的模型提供了更快的地标检测能力，平均FPS为20，检测精度为94.4％。因此，这两种模型都可以有效地将非口头语义中的嘴唇状态解释为自然语言。

远程光插图学（RPPG）是一种快速，有效，廉价和方便的方法，用于收集生物识别数据，因为它可以使用面部视频来估算生命体征。事实证明，远程非接触式医疗服务供应在COVID-19大流行期间是可怕的必要性。我们提出了一个端到端框架，以根据用户的视频中的RPPG方法来衡量人们的生命体征，包括心率（HR），心率变异性（HRV），氧饱和度（SPO2）和血压（BP）（BP）（BP）用智能手机相机捕获的脸。我们以实时的基于深度学习的神经网络模型来提取面部标志。通过使用预测的面部标志来提取多个称为利益区域（ROI）的面部斑块（ROI）。应用了几个过滤器，以减少称为血量脉冲（BVP）信号的提取的心脏信号中ROI的噪声。我们使用两个公共RPPG数据集培训和验证了机器学习模型，即Tokyotech RPPG和脉搏率检测（PURE）数据集，我们的模型在其上实现了以下平均绝对错误（MAE）：a），HR，1.73和3.95 BEATS- beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-beats-s-s-s-s-s-y-peats-beats-beats-beats-ship-s-s-s-in-chin-p-in-in-in-in-in-c--in-in-c-le-in-in- -t一下制。每分钟（bpm），b）分别为HRV，分别为18.55和25.03 ms，c）对于SPO2，纯数据集上的MAE为1.64。我们在现实生活环境中验证了端到端的RPPG框架，修订，从而创建了视频HR数据集。我们的人力资源估计模型在此数据集上达到了2.49 bpm的MAE。由于没有面对视频的BP测量不存在公开可用的RPPG数据集，因此我们使用了带有指标传感器信号的数据集来训练我们的模型，还创建了我们自己的视频数据集Video-BP。在我们的视频BP数据集中，我们的BP估计模型的收缩压（SBP）达到6.7 mmHg，舒张压（DBP）的MAE为9.6 mmHg。

在今天的数字错误信息的时代，我们越来越受到视频伪造技术构成的新威胁。这种伪造的范围从Deepfakes（例如，复杂的AI媒体合成方法）的经济饼（例如，精致的AI媒体合成方法）从真实视频中无法区分。为了解决这一挑战，我们提出了一种多模态语义法医法，可以发现超出视觉质量差异的线索，从而处理更简单的便宜赌注和视觉上有说服力的德国。在这项工作中，我们的目标是验证视频中看到的据称人士确实是通过检测他们的面部运动与他们所说的词语之间的异常对应。我们利用归因的想法，以了解特定于人的生物识别模式，将给定发言者与他人区分开来。我们使用可解释的行动单位（AUS）来捕捉一个人的面部和头部运动，而不是深入的CNN视觉功能，我们是第一个使用字样的面部运动分析。与现有的人特定的方法不同，我们的方法也有效地对抗专注于唇部操纵的攻击。我们进一步展示了我们的方法在培训中没有看到的一系列假装的效率，包括未经视频操纵的培训，这在事先工作中没有解决。

韵律在言语交流中起着至关重要的作用。韵律的声明已被广泛研究。但是，韵律特征不仅被视而不见，而且在视觉上是基于头部和面部运动的视觉上。本报告的目的是提出一种使用虚拟现实检查视听韵律的方法。我们表明，基于虚拟人的动画提供了与真正说话者视频录音相似的运动提示。虚拟现实的使用开辟了新的途径，以检查口头交流的多模式效应。我们讨论了研究人工耳蜗听众中韵律感知的框架中的方法。

参与者反复产生音节的Diadochokinetic语音任务（DDK）通常用作评估语音运动障碍的一部分。这些研究依赖于时间密集型，主观的手动分析，并且仅提供粗略的语音图片。本文介绍了两个深度神经网络模型，这些模型会自动从未注释，未转录的语音中分割辅音和元音。两种模型都在原始波形上工作，并使用卷积层进行特征提取。第一个模型基于LSTM分类器，然后是完全连接的层，而第二个模型则添加了更多的卷积层，然后是完全连接的层。这些模型预测的这些分割用于获得语音速率和声音持续时间的度量。年轻健康个体数据集的结果表明，我们的LSTM模型的表现优于当前的最新系统，并且与受过训练的人类注释相当。此外，在对帕金森氏病数据集的看不见的老年人进行评估时，LSTM模型还与受过训练的人类注释者相当。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

许多具有某种形式听力损失的人认为唇读是他们日常交流的主要模式。但是，寻找学习或提高唇部阅读技能的资源可能具有挑战性。由于对与同行和言语治疗师的直接互动的限制，Covid $ 19 $流行的情况进一步加剧了这一点。如今，Coursera和Udemy等在线MOOCS平台已成为多种技能开发的最有效培训形式。但是，在线口头资源很少，因为创建这样的资源是一个广泛的过程，需要数月的手动努力来记录雇用的演员。由于手动管道，此类平台也受到词汇，支持语言，口音和扬声器的限制，并且使用成本很高。在这项工作中，我们研究了用合成生成的视频代替真实的人说话视频的可能性。合成数据可用于轻松合并更大的词汇，口音甚至本地语言以及许多说话者。我们提出了一条端到端的自动管道，以使用最先进的通话标题视频发电机网络，文本到语音的模型和计算机视觉技术来开发这样的平台。然后，我们使用仔细考虑的口头练习进行了广泛的人类评估，以验证我们设计平台针对现有的唇读平台的质量。我们的研究具体地指出了我们方法开发大规模唇读MOOC平台的潜力，该平台可能会影响数百万听力损失的人。

将文本输入转换为视频内容的任务已成为合成媒体生成的重要主题。已经提出了几种方法，其中一些方法在受限的任务中达到了近距离表现。在本文中，我们通过将文本转换为唇部标记来解决文本到视频生成问题的次要发音。但是，我们使用模块化，可控的系统体系结构进行此操作，并评估其每个组件。我们的标题名为Flexlip的系统分为两个单独的模块：文本到语音和语音到唇，都具有基本可控的深神经网络体系结构。这种模块化可以轻松替换其每个组件，同时还可以通过解开或投影输入功能来快速适应新的扬声器身份。我们表明，通过仅将数据的数据用于音频生成组件，而对于语音到唇部分量的5分钟，生成的唇部标记的客观度量与使用较大较大的唇部标记相当一组训练样本。我们还通过考虑数据和系统配置的几个方面，对系统的完整流进行了一系列客观评估措施。这些方面与培训数据的质量和数量有关，使用预审计的模型以及其中包含的数据以及目标扬声器的身份；关于后者，我们表明我们可以通过简单地更新模型中的嘴唇形状来对看不见的身份进行零拍的唇部适应。

动物运动跟踪和姿势识别的进步一直是动物行为研究的游戏规则改变者。最近，越来越多的作品比跟踪“更深”，并解决了对动物内部状态（例如情绪和痛苦）的自动认识，目的是改善动物福利，这使得这是对该领域进行系统化的及时时刻。本文对基于计算机的识别情感状态和动物的疼痛的研究进行了全面调查，并涉及面部行为和身体行为分析。我们总结了迄今为止在这个主题中所付出的努力 - 对它们进行分类，从不同的维度进行分类，突出挑战和研究差距，并提供最佳实践建议，以推进该领域以及一些未来的研究方向。

Video synthesis methods rapidly improved in recent years, allowing easy creation of synthetic humans. This poses a problem, especially in the era of social media, as synthetic videos of speaking humans can be used to spread misinformation in a convincing manner. Thus, there is a pressing need for accurate and robust deepfake detection methods, that can detect forgery techniques not seen during training. In this work, we explore whether this can be done by leveraging a multi-modal, out-of-domain backbone trained in a self-supervised manner, adapted to the video deepfake domain. We propose FakeOut; a novel approach that relies on multi-modal data throughout both the pre-training phase and the adaption phase. We demonstrate the efficacy and robustness of FakeOut in detecting various types of deepfakes, especially manipulations which were not seen during training. Our method achieves state-of-the-art results in cross-manipulation and cross-dataset generalization. This study shows that, perhaps surprisingly, training on out-of-domain videos (i.e., videos with no speaking humans), can lead to better deepfake detection systems. Code is available on GitHub.

With the increase in health consciousness, noninvasive body monitoring has aroused interest among researchers. As one of the most important pieces of physiological information, researchers have remotely estimated the heart rate (HR) from facial videos in recent years. Although progress has been made over the past few years, there are still some limitations, like the processing time increasing with accuracy and the lack of comprehensive and challenging datasets for use and comparison. Recently, it was shown that HR information can be extracted from facial videos by spatial decomposition and temporal filtering. Inspired by this, a new framework is introduced in this paper to remotely estimate the HR under realistic conditions by combining spatial and temporal filtering and a convolutional neural network. Our proposed approach shows better performance compared with the benchmark on the MMSE-HR dataset in terms of both the average HR estimation and short-time HR estimation. High consistency in short-time HR estimation is observed between our method and the ground truth.

对任何自闭症谱系疾病的筛选是一种复杂的过程，通常涉及行为观察和基于问卷的测试的杂交。通常在受控环境中进行，此过程需要培训的临床医生或精神科医生进行此类评估。在移动平台上的技术进步浪潮中，已经在纳入移动和平板电脑设备上的这种评估时进行了多次尝试。在本文中，我们分析了使用这种筛选测试产生的视频。本文报道了使用观察者与显示屏距离的效果的第一次使用，同时向2-7岁的儿童作为自闭症的行为标记进行感官敏感性测试，在休闲家庭设置中使用如此的潜力很有希望。

Studying facial expressions is a notoriously difficult endeavor. Recent advances in the field of affective computing have yielded impressive progress in automatically detecting facial expressions from pictures and videos. However, much of this work has yet to be widely disseminated in social science domains such as psychology. Current state of the art models require considerable domain expertise that is not traditionally incorporated into social science training programs. Furthermore, there is a notable absence of user-friendly and open-source software that provides a comprehensive set of tools and functions that support facial expression research. In this paper, we introduce Py-Feat, an open-source Python toolbox that provides support for detecting, preprocessing, analyzing, and visualizing facial expression data. Py-Feat makes it easy for domain experts to disseminate and benchmark computer vision models and also for end users to quickly process, analyze, and visualize face expression data. We hope this platform will facilitate increased use of facial expression data in human behavior research.

背景：以自我为中心的视频已成为监测社区中四肢瘫痪者的手部功能的潜在解决方案，尤其是因为它在家庭环境中检测功能使用的能力。目的：开发和验证一个基于可穿戴视力的系统，以测量四肢植物患者的家庭使用。方法：开发并比较了几种用于检测功能手动相互作用的深度学习算法。最精确的算法用于从20名参与者在家庭中记录的65小时的无脚本视频中提取手部功能的度量。这些措施是：总记录时间（PERC）的交互时间百分比；单个相互作用的平均持续时间（DUR）；每小时互动数（NUM）。为了证明技术的临床有效性，以验证的措施与经过验证的手部功能和独立性的临床评估相关（逐渐定义了强度，敏感性和预性的评估 - GRASSP，上肢运动评分 - UEM和脊髓独立措施 - SICIM- SICIM- SICIM） 。结果：手动相互作用以0.80（0.67-0.87）的中位数得分自动检测到手动相互作用。我们的结果表明，较高的UEM和更好的预性与花费更长的时间相互作用有关，而较高的cim和更好的手动感觉会导致在以eg中心的视频记录期间进行的更多相互作用。结论：第一次，在四肢瘫痪者中，在不受约束的环境中自动估计的手部功能的度量已得到了国际接受的手部功能量度的验证。未来的工作将需要对基于以自我为中心的手工使用的绩效指标的可靠性和响应能力进行正式评估。

荧光吞咽研究（VFSS）是一种用于评估吞咽的金标成像技术，但VFSS录音的分析和评级是耗时，需要专门的培训和专业知识。研究人员已经证明，可以通过计算机视觉方法自动检测吞咽的咽部阶段，并通过计算机视觉方法本地化推注中的推注，促进新颖的自动VFSS分析技术的开发。但是，培训算法以执行这些任务需要很少可用的大量注释数据。我们证明，可以使用单一方法在一起解决咽期检测和推注定位的挑战。我们提出了一个深入学习的框架，以弱监督的方式共同解决咽期检测和推注定位，只需要临时阶段的初始和最终框架作为培训的地面真理注释。我们的方法源于观察结果，即咽部中的推注存在是最突出的视觉特征，在其上推断单个VFSS帧是否属于咽部阶段。我们在来自59个健康受试者的1245 VFS剪辑的数据集中进行了大量卷积神经网络（CNNS）进行了广泛的实验。我们证明，可以检测咽部阶段，其F1分数高于0.9。此外，通过处理CNN的类激活图，我们能够通过有前途的结果本地化推注，从未获得高于0.9的地面真理轨迹的相关性，而无需用于训练目的的推注定位的任何手动注释。一旦验证了吞咽障碍的更大的参与者样本，我们的框架将为VFSS分析开发智能工具的开发，以支持临床医生吞咽评估。