In this work, we propose a family of novel quantum kernels, namely the Hierarchical Aligned Quantum Jensen-Shannon Kernels (HAQJSK), for un-attributed graphs. Different from most existing classical graph kernels, the proposed HAQJSK kernels can incorporate hierarchical aligned structure information between graphs and transform graphs of random sizes into fixed-sized aligned graph structures, i.e., the Hierarchical Transitive Aligned Adjacency Matrix of vertices and the Hierarchical Transitive Aligned Density Matrix of the Continuous-Time Quantum Walk (CTQW). For a pair of graphs to hand, the resulting HAQJSK kernels are defined by measuring the Quantum Jensen-Shannon Divergence (QJSD) between their transitive aligned graph structures. We show that the proposed HAQJSK kernels not only reflect richer intrinsic global graph characteristics in terms of the CTQW, but also address the drawback of neglecting structural correspondence information arising in most existing R-convolution kernels. Furthermore, unlike the previous Quantum Jensen-Shannon Kernels associated with the QJSD and the CTQW, the proposed HAQJSK kernels can simultaneously guarantee the properties of permutation invariant and positive definiteness, explaining the theoretical advantages of the HAQJSK kernels. Experiments indicate the effectiveness of the proposed kernels.
translated by 谷歌翻译
尽管将进化计算整合到增强学习中的新进展,但缺乏高性能平台可赋予合成性和大规模的并行性,这对与异步商业游戏相关的研究和应用造成了非平凡的困难。在这里,我们介绍了Lamarckian-一个开源平台,其支持进化增强学习可扩展到分布式计算资源的支持。为了提高训练速度和数据效率,拉马克人采用了优化的通信方法和异步进化增强学习工作流程。为了满足商业游戏和各种方法对异步界面的需求,Lamarckian量身定制了异步的马尔可夫决策过程界面,并设计了带有脱钩模块的面向对象的软件体系结构。与最先进的RLLIB相比,我们从经验上证明了Lamarckian在基准测试中具有多达6000 CPU核心的独特优势:i)i)在Google足球游戏上运行PPO时,采样效率和训练速度都翻了一番; ii)在乒乓球比赛中运行PBT+PPO时,训练速度的速度快13倍。此外,我们还提出了两种用例:i)如何将拉马克安应用于生成行为多样性游戏AI; ii)Lamarckian如何应用于游戏平衡测试的异步商业游戏。
translated by 谷歌翻译
预训练的语言模型在对话任务上取得了长足的进步。但是,这些模型通常在表面对话文本上进行训练,因此被证明在理解对话环境的主要语义含义方面是薄弱的。我们研究抽象含义表示(AMR)作为预训练模型的明确语义知识,以捕获预训练期间对话中的核心语义信息。特别是,我们提出了一个基于语义的前训练框架,该框架通过三个任务来扩展标准的预训练框架(Devlin等,2019)。根据AMR图表示。关于聊天聊天和面向任务的对话的理解的实验表明了我们的模型的优势。据我们所知,我们是第一个利用深层语义表示进行对话预训练的人。
translated by 谷歌翻译
为了减轻从头开始构建知识图(kg)的挑战,更一般的任务是使用开放式语料库中的三元组丰富一个kg,那里获得的三元组包含嘈杂的实体和关系。在保持知识代表的质量的同时,以新收获的三元组丰富一个公园,这是一项挑战。本文建议使用从附加语料库中收集的信息来完善kg的系统。为此,我们将任务制定为两个耦合子任务,即加入事件提取(JEE)和知识图融合(KGF)。然后,我们提出了一个协作知识图融合框架,以允许我们的子任务以交替的方式相互协助。更具体地说,探险家执行了由地面注释和主管提供的现有KG监督的JEE。然后,主管评估了探险家提取的三元组,并用高度排名的人来丰富KG。为了实施此评估,我们进一步提出了一种翻译的关系一致性评分机制,以对齐并将提取的三元组对齐为先前的kg。实验验证了这种合作既可以提高JEE和KGF的表现。
translated by 谷歌翻译
事件提取,旨在自动获取文档结构信息的技术,在许多领域中吸引了越来越多的关注。大多数现有工作通过将令牌视为不同的角色,令牌级多标签分类框架讨论此问题,同时忽略文档的编写方式。写作风格是一个特殊的内容,用于组织文件,它是相对固定在具有特殊领域的文档中(例如,财务,医疗文件等)。我们认为写作风格包含重要的线索来判断令牌的角色,这种模式的无知可能导致现有工作的性能下降。为此,我们将文档中的写作风格模拟作为参数角色的分布,即角色排名分配,并提出了一种基于角色排名分布的监督机制的事件提取模型,通过监督培训过程来捕获这种模式事件提取任务。我们将模型与在几个真实世界数据集上的最先进的方法进行比较。经验结果表明,我们的方法优于捕获模式的其他替代品。这验证了写入风格包含可以提高事件提取任务性能的有价值的信息。
translated by 谷歌翻译
最近,Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就,即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而,目前尚不清楚如何在更广泛的视觉问题上进行零射识别,例如对象检测和语义分割。在本文中,我们通过在现成的预训练的视觉模型,即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行,该语义分段处理在像素上时,而剪辑在图像上执行。为了解决处理粒度的差异,我们拒绝使用普遍的一级FCN基于FCN的框架,并倡导一个两级语义分割框架,其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明,这种简单的框架通过大型利润率超越了先前的最先进:+29.5 Hiou On Pascal VOC 2012 DataSet,+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现,我们希望本框架成为促进未来研究的基准。
translated by 谷歌翻译
行动预测旨在通过部分观察视频推断即将举行的人类行动,这是由于早期观察结果有限的信息有限。现有方法主要采用重建策略来处理此任务,期望从部分观察到完整视频来学习单个映射函数,以便于预测过程。在这项研究中,我们提出了来自两个新方面的部分视频查询生成“完整视频”功能调节的对抗性记忆网络(AMEMNet)。首先,键值结构化存储器发生器旨在将不同的部分视频存储为键存储器,并在具有门控机制和查询关注的值存储器中动态地写入完整视频。其次,我们开发了一个类感知判别者,以指导内存发生器在对抗训练时不仅提供现实,而且还提供鉴别的完整视频特征。通过RGB和光学流量的晚期融合给出了AMEMNET的最终预测结果。提供两个基准视频数据集,UCF-101和HMDB51的广泛实验结果,以证明所提出的AMEMNET模型在最先进的方法的有效性。
translated by 谷歌翻译
由于缺乏标签信息,异常检测是机器学习中的基本但具有挑战性的问题。在这项工作中,我们提出了一种新颖而强大的框架,称为SLA $ ^ 2 $ P,用于无监督的异常检测。在从原始数据中提取代表性嵌入后,我们将随机投影应用于特征,并将不同投影转换的特征视为属于不同的伪类。然后,我们在这些转换功能上培训一个分类器网络,以执行自我监督的学习。接下来,我们向变换特征添加对冲扰动,以减少预测标签的软MAX分数,并基于这些扰动特征对分类器的预测不确定性来降低预测标签和设计异常分数。我们的动机是,由于相对较小的数量和分散的异常模式,1)伪标签分类器的培训更集中学习正常数据的语义信息而不是异常数据; 2)正常数据的转换特征比异常的扰动更强大。因此,异常的扰动转化的特征不能良好分类,因此具有比正常样本的异常分数低。在图像,文本和固有的表格基准数据集上进行了广泛的实验,并表明SLA $ ^ 2 $ p实现了最先进的导致无监督的异常检测任务一致。
translated by 谷歌翻译
在这封信中提出了一种新的基于触诊的切口检测策略,潜在地用于机器人气管术。引入触觉传感器以通过轻轻接触测量特定喉部区域中的组织硬度。提出了内核融合方法以将平方指数(SE)内核与ornstein-uhlenbeck(OU)内核组合,以弄清楚现有内核功能在这种情况下的缺点是不够最佳的。此外,我们进一步规则化探索因子和贪婪因子,并且触觉传感器的移动距离和机器人基准的旋转角度在切口定位过程中被认为是采集策略中的新因素。我们进行了模拟和物理实验,以比较新提出的算法 - 重新分配采集策略与热气检测中的能量限制(RASEC),具有当前的触诊的采集策略。结果表明,具有融合内核的建议采集策略可以通过最高算法性能成功定位切口(平均精度0.932,平均召回0.973,平均F1得分0.952)。在机器人触发过程中,累积移动距离减少了50%,累积旋转角度减少了71.4%,没有牺牲在综合性能能力中。因此,证明RASEC可以有效地表明喉部区域中的切割区域,大大降低了能量损失。
translated by 谷歌翻译
我们介绍混音,一个用于对象检测的新培训范例,可以免费提高现有探测器的性能。混合通过利用不同优点的增强来增强数据增强,同时排除某些可能对培训可能有害的培训样本的强大增强。此外,它通过结合可以补偿这些错误的伪框来解决人类注释中的本地化噪声和丢失标签。通过对探测器的自动启动,可以使用这些混音功能,这可以用于预测对强大增强的训练难度,以及由于神经网络对标记错误的鲁棒性而产生可靠的伪框。发现混音是在Coco DataSet上的各种探测器上带来一致的改进。特别是,使用Reset-50 \ Cite {REN2015Faster}更快的R-CNN \ CITE {REN2015FAST}骨架的性能从41.7地图改进到44.0地图,以及CASCADE-RCNN \ CITE {CAI2018CASCADE}的准确性-small \ cite {liu2021swin}骨干从50.9地图提出到52.8地图。代码和模型将在\ url {https://github.com/mendelxu/mixtraining}上公开可用。
translated by 谷歌翻译