As one of the most important psychic stress reactions, micro-expressions (MEs), are spontaneous and transient facial expressions that can reveal the genuine emotions of human beings. Thus, recognizing MEs (MER) automatically is becoming increasingly crucial in the field of affective computing, and provides essential technical support in lie detection, psychological analysis and other areas. However, the lack of abundant ME data seriously restricts the development of cutting-edge data-driven MER models. Despite the recent efforts of several spontaneous ME datasets to alleviate this problem, it is still a tiny amount of work. To solve the problem of ME data hunger, we construct a dynamic spontaneous ME dataset with the largest current ME data scale, called DFME (Dynamic Facial Micro-expressions), which includes 7,526 well-labeled ME videos induced by 671 participants and annotated by more than 20 annotators throughout three years. Afterwards, we adopt four classical spatiotemporal feature learning models on DFME to perform MER experiments to objectively verify the validity of DFME dataset. In addition, we explore different solutions to the class imbalance and key-frame sequence sampling problems in dynamic MER respectively on DFME, so as to provide a valuable reference for future research. The comprehensive experimental results show that our DFME dataset can facilitate the research of automatic MER, and provide a new benchmark for MER. DFME will be published via https://mea-lab-421.github.io.
translated by 谷歌翻译
Recognizing useful named entities plays a vital role in medical information processing, which helps drive the development of medical area research. Deep learning methods have achieved good results in medical named entity recognition (NER). However, we find that existing methods face great challenges when dealing with the nested named entities. In this work, we propose a novel method, referred to as ASAC, to solve the dilemma caused by the nested phenomenon, in which the core idea is to model the dependency between different categories of entity recognition. The proposed method contains two key modules: the adaptive shared (AS) part and the attentive conditional random field (ACRF) module. The former part automatically assigns adaptive weights across each task to achieve optimal recognition accuracy in the multi-layer network. The latter module employs the attention operation to model the dependency between different entities. In this way, our model could learn better entity representations by capturing the implicit distinctions and relationships between different categories of entities. Extensive experiments on public datasets verify the effectiveness of our method. Besides, we also perform ablation analyses to deeply understand our methods.
translated by 谷歌翻译
深度推荐系统共同利用检索和排名操作来产生建议结果。猎犬的目标是从整个项目中选择一小部分相关候选人,并具有高效率;尽管通常更精确但耗时的排名者应该以高精度识别检索到的候选人中的最佳项目。但是,猎犬和排名通常以较差的方式接受培训,从而在整体工作时会导致建议表现有限。在这项工作中,我们提出了一个新颖的DRS培训框架Corr(合作猎犬和Ranker的缩写),可以在其中相互加强猎犬和Ranker。一方面,从推荐数据和通过知识蒸馏的排名中学到了猎犬​​。知道排名更精确,知识蒸馏可能会为改善检索质量提供额外的弱点信号。另一方面,通过学习将真相的积极项目与从猎犬采样的硬性负面候选人中区分出来,对排名者进行了训练。随着迭代的进行,排名可能会变得更加精确,作为回报,这引起了猎犬的信息培训信号。同时,随着猎犬的改善,可以采样较难的负候选者,这有助于排名更高的判别能力。为了促进CORR的有效行为,引入了KL差异的渐近均匀近似,以便对采样项目进行知识蒸馏。此外,开发了一种可扩展和自适应策略,以有效地从猎犬那里进行采样。全面的实验研究是在四个大规模基准数据集中进行的,其中CORR改善了由于猎犬和Ranker之间的合作而产生的总体建议质量。
translated by 谷歌翻译
Egentric Assistant(AQTC)以负担中心为中心的问题驱动的任务完成是一项新颖的任务,可帮助AI助手从教学视频和脚本中学习,并逐步指导用户。在本文中,我们通过以两个阶段函数为中心的方法来处理AQTC,该方法由问题2函数模块组成,以使用相关函数和功能2answer模块将问题扎根,以基于历史步骤来预测操作。我们评估了每个模块中的几种可能的解决方案,并与给定基准相比获得了显着的收益。我们的代码可在\ url {https://github.com/starsholic/loveu-cvpr22-aqtc}上找到。
translated by 谷歌翻译
由于其适应性和从稀疏数据中学习的能力,分解机(FMS)被广泛用于推荐系统。但是,对于稀疏数据中无处不在的非相互作用特征,现有的FMS只能通过其嵌入的内部产物估算与这些特征相对应的参数。不可否认,他们无法学习这些功能的直接相互作用,这限制了模型的表现力。为此,我们首先提出了受混合启发的MixFM,以生成辅助培训数据以增强FMS。与需要人工成本和专业知识的现有增强策略不同,以收集其他信息,例如位置和领域,这些额外的数据仅由原始的数据组合而没有任何专业知识支持。更重要的是,如果要混合的父样本具有非相互作用的特征,则MixFM将建立其直接相互作用。其次,考虑到MixFM可能会产生冗余甚至有害实例,我们进一步提出了由显着性引导混合措施(称为SMFM)提供动力的新型分解机。在自定义显着性的指导下,SMFM可以生成更具翔实的邻居数据。通过理论分析,我们证明所提出的方法最大程度地减少了概括误差的上限,这对增强FMS具有有益的效果。值得注意的是,我们给出了FM的第一个概括结构,这意味着概括需要更多的数据,并且在足够的表示能力下需要较小的嵌入大小。最后,在五个数据集上进行的大量实验证实,我们的方法优于基准。此外,结果表明,“中毒”混合数据同样对FM变体有益。
translated by 谷歌翻译
端到端语音翻译(E2E-ST)由于其误差传播的潜力,较低的延迟和较少的参数而受到了越来越多的关注。但是,基于神经的方法对该任务的有效性受到可用培训语料库的严重限制,尤其是对于较少或不存在的域中三重障碍培训数据的领域适应性。在本文中,我们提出了一种新型的非参数方法,该方法利用特定于域的文本翻译语料库来实现E2E-ST系统的域适应性。为此,我们首先将一个附加的编码器纳入预先训练的E2E-ST模型中,以实现文本翻译建模,然后通过减少可用三重态训练数据中的通讯表示不匹配来统一解码器的输出表示形式,以实现文本和语音翻译任务。在域适应过程中,引入了K-Nearest-neighbor(KNN)分类器,以使用由域特异性文本翻译语料库构建的外部数据存储器生成最终的翻译分布,而采用通用输出表示来执行相似性搜索。 Europarl-St基准的实验表明,仅涉及内域文本翻译数据时,我们提出的方法在所有翻译方向上平均将基线显着提高了基线,即使表现出强大的强度内域微调方法。
translated by 谷歌翻译
由于许多有趣的现实世界应用在物流和在线广告中,我们考虑一个在线分配问题,受降低资源和上部资源限制,请求顺序到达,取样I.I.D。从未知的分发,我们需要及时判断有限的资源和下限要求。首先,了解可行性的衡量标准,即$ \ Alpha $,我们提出了一种新的算法,该算法获得1美元(\ frac {\ epsilon} {\ alpha-\ epsilon})$-offline问题的竞争率这提前了解整个请求。灵感来自先前的研究,该算法采用了一种创新的技术来动态更新阈值价格向量以进行决策。此外,提出了估计可行性最佳测量的优化方法,并在本文末尾的理论保证。基于此方法,如果我们容忍与参数$ \ eta $的略微违反下限约束,则该算法自然地扩展到设置而不具有强烈可行的假设,这涵盖了显着的无法探索的不可行情景。
translated by 谷歌翻译
随着训练有素的变形金刚的蓬勃发展,在文本对建模方面取得了显着进展,以支持相关的自然语言应用。为文本匹配开发了两行方法:基于交互的模型,其在文本对中执行完整交互,以及与暹罗编码器独立地编码该对的基于代表的模型。前者由于其深度的相互作用建模能力而达到了令人信服的性能,但在推理延迟中牺牲了牺牲。后者是有效的,并且广泛采用实际使用,然而,由于缺乏相互作用,遭受严重的性能下降。虽然一些事先作品试图将交互式知识集成到基于代表的模型中,但考虑到计算成本,它们只执行在顶层的延迟交互或知识。较低层中的交互式信息仍然缺失,这限制了基于代表的解决方案的性能。为了解决这个问题,我们提出了一种新颖的\ Texit {Virtual}交互机制,称为诚实,以在没有\ Textit {实际推理计算的基于代表的模型中启用完整和深度交互建模。具体地,asg询问基于表示的编码器进行虚拟交互,以模拟行为作为基于交互的模型。此外,从基于相互作用的编码器蒸馏的知识被视为监督信号,以承诺虚拟交互的有效性。由于虚拟交互仅在培训阶段发生,因此该公司不会增加推理成本。此外,我们设计了一个适应的延迟交互策略,以充分利用学习的虚拟互动知识。
translated by 谷歌翻译
在点击率(CTR)预测方案中,用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而,尽管正在广泛研究,但这些顺序方法仍然存在三个限制。首先,现有方法主要利用对用户行为的注意,这并不总是适用于CTR预测,因为用户经常点击与任何历史行为无关的新产品。其次,在真实场景中,很久以前存在许多具有运营的用户,但最近的次数相对不活跃。因此,难以通过早期行为精确地捕获用户的当前偏好。第三,不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题,我们提出了一种多互动关注网络(Mian),全面提取各种细粒度特征之间的潜在关系(例如,性别,年龄和用户档案)。具体而言,MIAN包含多交互式层(MIL),其集成了三个本地交互模块,通过顺序行为捕获用户偏好的多个表示,并同时利用细粒度的用户特定的以及上下文信息。此外,我们设计了一个全局交互模块(GIM)来学习高阶交互,平衡多个功能的不同影响。最后,脱机实验结果来自三个数据集,以及在大型推荐系统中的在线A / B测试,展示了我们提出的方法的有效性。
translated by 谷歌翻译
许多数据挖掘任务依靠图来模拟个人(节点)之间的关系结构。由于关系数据通常很敏感,因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击,该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功,但直接应用模型反转攻击(例如图形)导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距,我们对模型反转攻击对图神经网络(GNNS)进行了系统研究,这是本文中最新的图形分析工具之一。首先,在攻击者可以完全访问目标GNN模型的白色框设置中,我们提出GraphMi来推断私人训练图数据。具体而言,在GraphMi中,提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑,节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外,在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中,我们根据梯度估计和增强学习(RL-GraphMI)提出了两种方法。我们的实验结果表明,此类防御措施没有足够的有效性,并要求对隐私攻击进行更先进的防御能力。
translated by 谷歌翻译