在语言处理的神经方法上的最新进展引发了人们对建立智能开放域聊天机器人的兴趣的复兴。但是,即使是最先进的神经聊天机器人也无法在对话框中每个回合产生令人满意的响应。一个实用的解决方案是为相同上下文生成多个响应候选者,然后执行响应排名/选择以确定哪个候选者是最好的。先前的响应选择中的工作通常使用从现有对话框形成的合成数据来训练响应排名者,通过使用地面真理响应作为单个适当的响应并通过随机选择或使用对抗方法来构建不适当的响应。在这项工作中,我们策划了一个数据集,其中为适当的(正)和不适当(负)手动注释了为相同对话框上下文产生的多个响应发生器的响应。我们认为,这样的培训数据可以更好地匹配实际的用例示例,从而使模型能够有效地对响应进行排名。有了这个新数据集,我们对最先进的响应选择方法进行了系统的评估,并证明,使用多个积极候选者和使用手动验证的硬性负面候选者的两种策略都可以与使用相比,可以带来重大的绩效提高对抗性训练数据,例如,召回@1分别增加了3%和13%。
translated by 谷歌翻译
尽管基于大型神经模型的聊天机器人通常可以在开放域对话中产生流利的响应,但一种显着的错误类型是矛盾或与上述对话转弯的不一致性。以前的工作将机器人响应中的矛盾检测视为类似于自然语言推断的任务,例如检测一对机器人话语之间的矛盾。但是,对话中的话语可能包含共同引用或省略号,并且使用这些话语可能并不总是足以识别矛盾。这项工作旨在通过重写所有机器人话语来恢复前因和省略号来改善矛盾检测。我们策划了一个新的数据集来重写话语,并在其上构建了重写模型。我们从经验上证明,该模型可以产生令人满意的重写,以使机器人说话更加完整。此外,使用重写的话语可以显着提高矛盾的检测性能,例如AUPR和关节准确度得分(检测矛盾以及证据)分别增加6.5%和4.5%(绝对增加)。
translated by 谷歌翻译
基于图形卷积的方法已成功应用于同质图上的表示学习,其中具有相同标签或相似属性的节点往往相互连接。由于这些方法使用的图形卷积网络(GCN)的同义假设,它们不适合异质图,其中具有不同标记或不同属性的节点往往相邻。几种方法试图解决这个异质问题,但是它们没有改变GCN的基本聚合机制,因为它们依靠求和操作员来汇总邻近节点的信息,这隐含地遵守同质假设。在这里,我们介绍了一种新颖的聚合机制,并开发了基于随机步行聚集的图形神经网络(称为RAW-GNN)方法。提出的方法将随机步行策略与图神经网络集成在一起。新方法利用广度优先的随机步行搜索来捕获同质信息和深度优先搜索以收集异性信息。它用基于路径的社区取代了传统社区,并基于经常性神经网络引入了新的基于路径的聚合器。这些设计使RAW-GNN适用于同质图和异质图。广泛的实验结果表明,新方法在各种同质图和异质图上实现了最先进的性能。
translated by 谷歌翻译
垂直联合学习(VFL)引起了很多关注,因为它可以以隐私的方式实现跨核数据合作。虽然大多数在VFL专注于线性和树模型的研究工作,但在VFL中尚未对深层模型(例如,神经网络)进行很好的研究。在本文中,我们专注于Splitnn,这是VFL中著名的神经网络框架,并确定了SplitNN中数据安全性和模型性能之间的权衡。简而言之,SplitNN通过交换梯度和转换数据来训练模型。一方面,SplitNN遭受了模型性能的损失,因为多方使用转换的数据而不是原始数据共同训练模型,并且丢弃了大量的低级特征信息。另一方面,通过在SplitNN中的较低层的汇总(即,数据的转换较小,保留了更低级别的功能)来提高模型性能的天真解决方案,使原始数据易受推理攻击的影响。为了减轻上述权衡,我们在VFL中提出了一个新的神经网络协议,称为安全远射聚合(SFA)。它改变了汇总转换数据并采用可移动掩码以保护原始数据的方式。实验结果表明,具有SFA的网络同时实现了数据安全性和高模型性能。
translated by 谷歌翻译
通常通过过去的选择来告知机器学习中的评估,例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较,但是随着出现更好的替代方案,评估选择变得不佳。这个问题在自然语言生成中尤其相关,该语言需要不断改善的数据集,指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易,我们介绍了GEMV2。新版本的一代,评估和指标基准为数据集,模型和指标开发人员提供了模块化基础架构,以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估,我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。
translated by 谷歌翻译
已经证明,提供对话模型,可以使开放域的对话更加丰富和引人入胜。现有模型将知识选择视为单独处理每个句子的句子排名或分类问题,忽略了后台文档中句子之间的内部语义连接。在这项工作中,我们建议自动将背景知识文档转换为文档语义图,然后在此类图上执行知识选择。我们的文档语义图通过使用句子节点来保留句子级信息,并提供句子之间的概念连接。我们共同将多任务学习用于句子级别和概念级知识选择,并表明它改善了句子级别的选择。我们的实验表明,我们的基于语义图的知识选择改进了知识选择任务和Holle的端到端响应生成任务的句子选择基线,并改善了WOW中看不见的主题的概括。
translated by 谷歌翻译
图形神经网络(GNN)在解决图形结构数据(即网络)方面的各种分析任务方面已广受欢迎。典型的gnns及其变体遵循一种消息的方式,该方式通过网络拓扑沿网络拓扑的特征传播过程获得网络表示,然而,它们忽略了许多现实世界网络中存在的丰富文本语义(例如,局部单词序列)。现有的文本丰富网络方法通过主要利用内部信息(例如主题或短语/单词)来整合文本语义,这些信息通常无法全面地挖掘文本语义,从而限制了网络结构和文本语义之间的相互指导。为了解决这些问题,我们提出了一个具有外部知识(TEKO)的新型文本富裕的图形神经网络,以充分利用文本丰富的网络中的结构和文本信息。具体而言,我们首先提出一个灵活的异质语义网络,该网络结合了文档和实体之间的高质量实体和互动。然后,我们介绍两种类型的外部知识,即结构化的三胞胎和非结构化实体描述,以更深入地了解文本语义。我们进一步为构建的异质语义网络设计了互惠卷积机制,使网络结构和文本语义能够相互协作并学习高级网络表示。在四个公共文本丰富的网络以及一个大规模的电子商务搜索数据集上进行了广泛的实验结果,这说明了Teko优于最先进的基线。
translated by 谷歌翻译
图形相似性学习是指计算两个图之间的相似性得分,这在许多现实的应用程序(例如视觉跟踪,图形分类和协作过滤)中需要。由于大多数现有的图形神经网络产生了单个图的有效图表,因此几乎没有努力共同学习两个图表并计算其相似性得分。此外,现有的无监督图相似性学习方法主要基于聚类,它忽略了图对中体现的有价值的信息。为此,我们提出了一个对比度图匹配网络(CGMN),以进行自我监督的图形相似性学习,以计算任何两个输入图对象之间的相似性。具体而言,我们分别在一对中为每个图生成两个增强视图。然后,我们采用两种策略,即跨视图相互作用和跨刻画相互作用,以实现有效的节点表示学习。前者求助于两种观点中节点表示的一致性。后者用于识别不同图之间的节点差异。最后,我们通过汇总操作进行图形相似性计算将节点表示形式转换为图形表示。我们已经在八个现实世界数据集上评估了CGMN,实验结果表明,所提出的新方法优于图形相似性学习下游任务的最新方法。
translated by 谷歌翻译
由于它们对处理图形结构数据的显着功率,图表卷积网络(GCNS)已广泛应用于各个领域。典型的GCN及其变体在同声源性假设下工作(即,具有相同类的节点容易彼此连接),同时忽略许多真实网络中存在的异源性(即,具有不同类别的节点倾向于形成边缘) 。现有方法通过主要聚集高阶邻域或梳理即时表示来处理异常的方法,这导致结果导致噪声和无关的信息。但这些方法没有改变在同性恋假设下工作的传播机制(这是GCN的基本部分)。这使得难以区分不同类别的节点的表示。为了解决这个问题,在本文中,我们设计了一种新的传播机制,可以根据节点对之间自动或异常改变传播和聚合过程。为了自适应地学习传播过程,我们在节点对之间引入两个奇妙程度的两个测量,这分别基于拓扑和属性信息来学习。然后,我们将学习的同音源于Graph卷积框架纳入图形卷积框架,该框架在端到端的架构中培训,使其能够超越奇妙的假设。更重要的是,我们理论上证明我们的模型可以根据他们的同意程度来限制节点之间的表示的相似性。 7个现实世界数据集的实验表明,这种新方法在异常或低意识下表现出最先进的方法,并在精梳性下获得竞争性能。
translated by 谷歌翻译
由于自我关注模块的二次空间和时间复杂性,基于变压器的模型在处理长序列中是不高的。为了解决此限制,建议通过分别通过低维投影和行选择来降低线性(模数对数因子)的二次复杂度。这两种型号本质上连接,并了解他们的连接,我们介绍了矩阵素描的理论框架。基于理论分析,我们提出了Skeinformer加速自我关注,进一步提高了三个精心设计的组件的自我关注的准确性:列采样,自适应行标准化和飞行员采样重新利用。关于长距离竞技场(LRA)基准的实验表明,我们的方法以始终如一的较小时间/空间占地面积优于替代方案。
translated by 谷歌翻译