我们提出了一种自动方法,以根据从视频中提取的面部标志来估算自我报告的疼痛。对于每个视频序列,我们将面部分解为四个不同的区域,并通过使用这些区域的地标对面部运动的动态进行建模来衡量疼痛强度。基于革兰氏矩阵的公式用于代表固定等级的对称正极半明确矩阵Riemannian歧管上的地标轨迹。曲线拟合算法用于平滑轨迹,并执行时间对齐以计算歧管上的轨迹之间的相似性。然后对支持矢量回归分类器进行训练,以编码与自我报告的疼痛强度测量一致的疼痛强度水平。最后,进行每个区域的估计后期融合以获得最终的预测疼痛水平。提出的方法将在两个公开可用的数据集上进行评估,即UNBCMCMASTER肩部疼痛档案和Biovid热疼痛数据集。我们使用不同的测试协议将我们的方法与两个数据集的最新方法进行了比较,以显示所提出的方法的竞争力。
translated by 谷歌翻译
在这项工作中,我们解决了4D面部表情生成的问题。通常,通过对中性3D面动画来达到表达峰,然后回到中立状态来解决这一问题。但是,在现实世界中,人们表现出更复杂的表情,并从一个表达式转换为另一种表达。因此,我们提出了一个新模型,该模型在不同表达式之间产生过渡,并综合了长长的4D表达式。这涉及三个子问题:(i)建模表达式的时间动力学,(ii)它们之间的学习过渡,以及(iii)变形通用网格。我们建议使用一组3D地标的运动编码表达式的时间演变,我们学会通过训练一个具有歧管值的gan(Motion3dgan)来生成。为了允许生成组成的表达式,该模型接受两个编码起始和结尾表达式的标签。网格的最终顺序是由稀疏的2块网格解码器(S2D-DEC)生成的,该解码器将地标位移映射到已知网格拓扑的密集,每位vertex位移。通过明确处理运动轨迹,该模型完全独立于身份。五个公共数据集的广泛实验表明,我们提出的方法在以前的解决方案方面带来了重大改进,同时保留了良好的概括以看不见数据。
translated by 谷歌翻译
在本文中,我们解决了人类3D形状序列的比较和分类的任务。随着时间的推移,人类运动的非线性动力学和表面参数化的变化使这项任务非常具有挑战性。为了解决这个问题,我们建议将3D形状序列嵌入无限的尺寸空间,即Varifolds的空间,并具有来自给定的正定核的内部产品。更具体地说,我们的方法涉及两个步骤:1)表面表示为varifolds,该表示形式将指标等效到刚体运动,而不是参数化的不变性; 2)3D形状的序列由其无限尺寸Hankel矩阵得出的革兰氏矩阵表示。两个人类的两个3D序列的比较问题是作为两个革兰氏赫克矩阵的比较。关于CVSSP3D和DYNA数据集的广泛实验表明,我们的方法在3D人类序列运动检索中与最新的方法具有竞争力。实验代码可在https://github.com/cristal-3dsam/humancomparisonvarifolds上获得。
translated by 谷歌翻译
现有的多模式应力/疼痛识别方法通常独立地从不同模态中提取特征,因此忽略了交叉模式相关性。本文提出了一个新的几何框架,用于利用对称阳性定位(SPD)矩阵作为一种表示形式的多模式应力/疼痛检测,该代表结合了协方差和交叉稳定性的生理和行为信号的相关关系。考虑到SPD矩阵的Riemannian流形的非线性,众所周知的机器学习技术不适合对这些矩阵进行分类。因此,采用切线空间映射方法将派生的SPD矩阵序列映射到可将基于LSTM的网络用于分类的切线空间中的向量序列。提出的框架已在两个公共多模式数据集上进行了评估,这两者都取得了压力和疼痛检测任务的最新结果。
translated by 谷歌翻译
我们解决了人类反应生成的挑战性任务,该任务旨在基于输入动作产生相应的反应。大多数现有作品并不集中于产生和预测反应,并且在仅给出动作作为输入时就无法产生运动。为了解决这一限制,我们提出了一种新型的相互作用变压器(Interformer),该变压器由具有时间和空间浓度的变压器网络组成。具体而言,时间的注意力捕获了字符及其相互作用的运动的时间依赖性,而空间注意力则了解每个字符的不同身体部位与相互作用的一部分之间的依赖关系。此外,我们建议使用图形通过相互作用距离模块提高空间注意力的性能,以帮助关注两个字符的附近关节。关于SBU相互作用,K3HI和Duetdance数据集的广泛实验证明了Interformer的有效性。我们的方法是一般的,可用于产生更复杂和长期的相互作用。
translated by 谷歌翻译
文化遗产的理解和保存对于社会来说是一个重要的问题,因为它代表了其身份的基本方面。绘画代表了文化遗产的重要组成部分,并且是不断研究的主题。但是,观众认为绘画与所谓的HVS(人类视觉系统)行为严格相关。本文重点介绍了一定数量绘画的视觉体验期间观众的眼动分析。在进一步的详细信息中,我们引入了一种新的方法来预测人类的视觉关注,这影响了人类的几种认知功能,包括对场景的基本理解,然后将其扩展到绘画图像。拟议的新建筑摄入图像并返回扫描路径,这是一系列积分,具有引起观众注意力的很有可能性。我们使用FCNN(完全卷积的神经网络),其中利用了可区分的渠道选择和软弧度模块。我们还将可学习的高斯分布纳入网络瓶颈上,以模拟自然场景图像中的视觉注意力过程偏见。此外,为了减少不同域之间的变化影响(即自然图像,绘画),我们敦促模型使用梯度反转分类器从其他域中学习无监督的一般特征。在准确性和效率方面,我们的模型获得的结果优于现有的最先进的结果。
translated by 谷歌翻译
本文中描述的模型属于专为数据表示和降低尺寸而设计的非负矩阵分解方法的家族。除了保留数据阳性属性外,它还旨在在矩阵分解过程中保留数据结构。这个想法是在NMF成本函数中添加一个惩罚术语,以在原始数据点和转换数据点的成对相似性矩阵之间实现比例关系。新模型的解决方案涉及为系数矩阵得出新的参数化更新方案,这使得在用于群集和分类时可以提高还原数据的质量。将所提出的聚类算法与某些现有的基于NMF的算法以及应用于某些现实生活数据集时的某些基于多种学习的算法进行了比较。获得的结果显示了所提出的算法的有效性。
translated by 谷歌翻译
我们建议使用点云上的几何感知体系结构,考虑到学习局部结构的数据局部结构,以学习数据的局部结构,以学习数据的局部结构,以了解数据的局部结构,并使用点云上的几何感知体系结构来学习数据的局部结构,以考虑到局部数据结构。估计时间一致的3D变形,而无需在训练时间,通过利用周期一致性来进行密集的对应关系。除了学习密集对应的能力外,GNPM还可以实现潜在空间操作,例如插值和形状/姿势转移。我们在各种衣服的人类数据集上评估了GNPM,并表明它与需要在训练过程中需要密集对应的最新方法相当。
translated by 谷歌翻译
尽管最近的自动文本识别取得了进步,但在历史手稿方面,该性能仍然保持温和。这主要是因为缺乏可用的标记数据来训练渴望数据的手写文本识别(HTR)模型。由于错误率的降低,关键字发现系统(KWS)提供了HTR的有效替代方案,但通常仅限于封闭的参考词汇。在本文中,我们提出了一些学习范式,用于发现几个字符(n-gram)的序列,这些序列需要少量标记的训练数据。我们表明,对重要的n-gram的认识可以减少系统对词汇的依赖。在这种情况下,输入手写线图像中的vocabulary(OOV)单词可能是属于词典的n-gram序列。对我们提出的多代表方法进行了广泛的实验评估。
translated by 谷歌翻译
在整个计算科学中,越来越需要利用原始计算马力的持续改进,通过对蛮力的尺度锻炼的尺度增加,以增加网状元素数量的增加。例如,如果不考虑分子水平的相互作用,就不可能对纳米多孔介质的转运进行定量预测,即从紧密的页岩地层提取至关重要的碳氢化合物。同样,惯性限制融合模拟依赖于数值扩散来模拟分子效应,例如非本地转运和混合,而无需真正考虑分子相互作用。考虑到这两个不同的应用程序,我们开发了一种新颖的功能,该功能使用主动学习方法来优化局部细尺度模拟的使用来告知粗尺度流体动力学。我们的方法解决了三个挑战:预测连续性粗尺度轨迹,以推测执行新的精细分子动力学计算,动态地更新细度计算中的粗尺度,并量化神经网络模型中的不确定性。
translated by 谷歌翻译