新闻饲料推荐是一个重要的Web服务。近年来,预先接受了训练的语言模型(PLMS)被密集地应用于提高建议质量。然而,这些深度模型的利用在许多方面有限,例如缺乏可解释性并且与现有的倒指数系统不相容。最重要的是,基于PLMS的推荐人效率低下,因为用户侧信息的编码将采用巨大的计算成本。虽然计算可以用高效的变压器或蒸馏器加速计算,但是对于与超级长期新闻浏览历史相关联的活动用户来说仍然不足以及时建议。在这项工作中,我们从独特的角度解决了高效的新闻推荐问题。我们不依赖于整个输入(即,新闻文章的集合,而是浏览的新闻文章),我们认为用户的兴趣可以仅仅与这些代表关键字完全捕获。通过此激励,我们提出了GateFormer,在进入变压器之前将输入数据门控。门控模块是个性化的,轻量级和端到端的学习,使得它可以执行对信息用户输入的准确和有效的过滤。 GateFormer在实验中实现了高度令人印象深刻的性能,在那里它显着优于准确性和效率的现有加速方法。我们还令人惊讶地发现,即使有超过10倍的原始输入压缩,GateFormer仍然能够用SOTA方法维持映射。
translated by 谷歌翻译
基于会话的新闻推荐系统将下一个新闻推荐给用户,通过建模她/他在会话中嵌入的一系列新闻读/点击的潜在兴趣。通常,用户的兴趣是多种多样的,即有多种兴趣,与不同类型的新闻相对应,例如在会话中,有关独特主题的新闻。 %对这种多重兴趣进行建模对于精确的新闻建议至关重要。但是,大多数现有方法通常忽略了如此重要的特征,因此无法区分和建模用户的潜在多重兴趣,从而阻碍了下一个新闻的准确建议。因此,本文提出了新闻推荐的多功能新闻序列(分钟)模型。在几分钟内,设计了一个基于自我注意的新闻编码器,以学习每个新闻的信息嵌入信息,然后设计出一个新颖的平行兴趣网络,以提取新闻顺序中嵌入的潜在多重兴趣,以准备下一步 - 新建议。现实世界中数据集的实验结果表明,我们的模型可以比最新的模型获得更好的性能。
translated by 谷歌翻译
新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型,但它们主要以静态方式捕获文件级上的用户新交互。然而,在现实世界的情景中,新闻可以很复杂和多样化,盲目地将所有内容挤压到嵌入式矢量中,在提取与用户的个性化偏好兼容的信息中可以不太有效。此外,新闻推荐方案中的用户偏好可以是高度动态的,并且应该设计定制的动态机制以获得更好的推荐性能。在本文中,我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容,我们利用注意机制分别代表了从句子,元素和文档级别的消息。为了捕获用户的动态偏好,连续时间信息无缝地结合到关注权重的计算中。更具体地,我们设计了一个分层关注网络,其中下层学习不同句子和元素的重要性,并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符,我们首先通过结合绝对和相对时间信息来增强传统的关注机制,然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验,以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。
translated by 谷歌翻译
变形金刚是文本理解的强大模型。然而,由于其二次复杂性对输入序列长度的二次复杂性效率低下。虽然有很多关于变压器加速的方法,但它们仍然效率低于长序列或不够有效。在本文中,我们提出了FastFormer,即基于添加剂关注的高效变压器模型。在FastFormer中,我们首先使用添加剂注意机制来模拟全局上下文,而不是在令牌之间建模的成对相互建模,而不是建模。然后,基于与全局上下文表示的交互,进一步转换每个令牌表示。以这种方式,FastFormer可以实现具有线性复杂性的有效上下文建模。关于五个数据集的广泛实验表明,FastFormer比许多现有的变压器模型更有效,同时可以实现可比或甚至更好的长文本建模性能。
translated by 谷歌翻译
个性化新闻推荐旨在通过预测他们点击某些文章的可能性为读者提供有吸引力的文章。为了准确预测这种概率,已经提出了充足的研究,以积极利用物品的内容特征,例如单词,类别或实体。然而,我们观察到,文章的语境特征,例如CTR(点击率),流行度或新鲜度,最近被忽视或未充分利用。为了证明这是这种情况,我们在近期深度学习模型和天真的上下文模型之间进行了广泛的比较,我们设计得令人惊讶地发现后者很容易表现前者。此外,我们的分析表明,近期将过度复杂的深度学习业务应用于上下文功能的趋势实际上妨碍了推荐性能。根据这些知识,我们设计了一个有目的的简单上下文模块,可以通过大的边距提高上一个新闻推荐模型。
translated by 谷歌翻译
排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法,使用一组手工制作的功能。最近,研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束,以提取来自RAW数据的特征来排序任务,因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型,每个模型都呈现了一组神经网络组件,以提取用于排名的特征。在本文中,我们在不同方面比较文献中提出的模型,以了解每个模型的主要贡献和限制。在我们对文献的讨论中,我们分析了有前途的神经元件,并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比,其中排名的项目是结构化文档,答案,图像和视频。
translated by 谷歌翻译
在线新闻建议的一个关键挑战是帮助用户找到他们感兴趣的文章。传统新闻推荐方法通常使用单一新闻信息,这不足以编码新闻和用户表示。最近的研究使用多个频道新闻信息,例如标题,类别和机构,增强新闻和用户表示。然而,这些方法仅使用各种注意机制来熔化多视图嵌入,而不考虑上下文中包含的深度挖掘更高级别的信息。这些方法编码了在Word级别的新闻内容并共同培训了推荐网络中的注意参数,导致培训模型所需的更多Coreas。我们提出了一个事件提取的新闻推荐(EENR)框架,以克服这些缺点,利用事件提取到抽象的更高级别信息。 Eenr还使用两级策略来减少推荐网络后续部分的参数。我们在第一阶段通过外部语料库训练事件提取模块,并将训练型模型应用于新闻推荐数据集,以预测第二阶段的事件级信息,包括事件类型,角色和参数,包括事件类型,角色和参数。然后我们保险熔断多个频道信息,包括活动信息,新闻标题和类别,以编码新闻和用户。对现实世界数据集的广泛实验表明,我们的EENR方法可以有效地提高新闻建议的性能。最后,我们还探讨了利用更高抽象级别信息来替代新闻身体内容的合理性。
translated by 谷歌翻译
多文件摘要(MDS)是信息聚合的有效工具,它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是,首先,系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学,总结神经网络的设计策略,并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后,我们提出了与这个新的和令人兴奋的领域有关的几个方向。
translated by 谷歌翻译
本文对过去二十年来对自然语言生成(NLG)的研究提供了全面的审查,特别是与数据到文本生成和文本到文本生成深度学习方法有关,以及NLG的新应用技术。该调查旨在(a)给出关于NLG核心任务的最新综合,以及该领域采用的建筑;(b)详细介绍各种NLG任务和数据集,并提请注意NLG评估中的挑战,专注于不同的评估方法及其关系;(c)强调一些未来的强调和相对近期的研究问题,因为NLG和其他人工智能领域的协同作用而增加,例如计算机视觉,文本和计算创造力。
translated by 谷歌翻译
With the development of deep learning and Transformer-based pre-trained models like BERT, the accuracy of many NLP tasks has been dramatically improved. However, the large number of parameters and computations also pose challenges for their deployment. For instance, using BERT can improve the predictions in the financial sentiment analysis (FSA) task but slow it down, where speed and accuracy are equally important in terms of profits. To address these issues, we first propose an efficient and lightweight BERT (ELBERT) along with a novel confidence-window-based (CWB) early exit mechanism. Based on ELBERT, an innovative method to accelerate text processing on the GPU platform is developed, solving the difficult problem of making the early exit mechanism work more effectively with a large input batch size. Afterward, a fast and high-accuracy FSA system is built. Experimental results show that the proposed CWB early exit mechanism achieves significantly higher accuracy than existing early exit methods on BERT under the same computation cost. By using this acceleration method, our FSA system can boost the processing speed by nearly 40 times to over 1000 texts per second with sufficient accuracy, which is nearly twice as fast as FastBERT, thus providing a more powerful text processing capability for modern trading systems.
translated by 谷歌翻译
最近,深度学习模型已在工业推荐系统中广泛传播,并提高了建议质量。尽管取得了杰出的成功,但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力,我们探索了神经体系结构搜索(NAS)的潜力,并在推荐系统中引入了自动行为建模,互动探索和多层感知器(MLP)研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言,Ameir将完整的建议模型分为行为建模,交互探索,MLP聚合的三个阶段,并引入了一个新颖的搜索空间,其中包含三个量身定制的子空间,这些子空间涵盖了大多数现有方法,从而允许搜索更好的模型。为了有效,有效地找到理想的体系结构,Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索,并将搜索结果组装为最终结果。进一步的分析表明,Ameir的搜索空间可以涵盖大多数代表性推荐模型,这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明,AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法,具有较低的模型复杂性和可比的时间成本,表明所提出的方法的效率,效率和鲁棒性。
translated by 谷歌翻译
用户嵌入(用户的矢量化表示)对于推荐系统至关重要。已经提出了许多方法来为用户构建代表性,以找到用于检索任务的类似项目,并且已被证明在工业推荐系统中也有效。最近,人们发现使用多个嵌入式代表用户的能力,希望每个嵌入代表用户对某个主题的兴趣。通过多息表示,重要的是要对用户对不同主题的喜好进行建模以及偏好如何随时间变化。但是,现有方法要么无法估算用户对每个利息的亲和力,要么不合理地假设每个用户的每一个利息随时间而逐渐消失,从而损害了候选人检索的召回。在本文中,我们提出了多功能偏好(MIP)模型,这种方法不仅可以通过更有效地使用用户的顺序参与来为用户产生多种利益因此,可以按比例地从每个利息中检索候选人。在各种工业规模的数据集上进行了广泛的实验,以证明我们方法的有效性。
translated by 谷歌翻译
诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中,以封装最重要的信息,从而在帮助读者的理解中很重要。最近,随着神经体系结构的出现,已经做出了重大的研究工作,以推动自动文本摘要系统,以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中,我们提供了有关长期文档摘要的研究的全面概述,以及其研究环境的三个主要组成部分的系统评估:基准数据集,汇总模型和评估指标。对于每个组成部分,我们在长期汇总的背景下组织文献,并进行经验分析,以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征,摘要模型的多维分析以及摘要评估指标的综述。根据总体发现,我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。
translated by 谷歌翻译
现有的解释模型仅生成建议的文本,但仍然难以生产各种内容。在本文中,为了进一步丰富解释,我们提出了一项名为“个性化展示”的新任务,其中我们同时提供文本和视觉信息来解释我们的建议。具体来说,我们首先选择一个个性化图像集,该图与用户对推荐物品的兴趣最相关。然后,自然语言解释将相应地产生我们的选定图像。对于这项新任务,我们从Google Local(即〜maps)收集一个大规模数据集,并构建一个用于生成多模式说明的高质量子集。我们提出了一个个性化的多模式框架,可以通过对比度学习产生多样化和视觉上的解释。实验表明,我们的框架受益于不同方式作为输入,并且与以前的各种评估指标相比,能够产生更多样化和表达的解释。
translated by 谷歌翻译
学术研究是解决以前从未解决过的问题的探索活动。通过这种性质,每个学术研究工作都需要进行文献审查,以区分其Novelties尚未通过事先作品解决。在自然语言处理中,该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表,自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的,但直到最近,它被认为是作为科学多文件摘要问题的变种。然而,即使在今天,尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中,我们进行了一个元研究,从问题制定,数据集收集,方法方法,绩效评估和未来前景的角度来比较相关工作的现有文献,以便为读者洞察到国家的进步 - 最内容的研究,以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。
translated by 谷歌翻译
点击率(CTR)预测旨在估算用户单击项目的可能性,是在线广告的重要组成部分。现有方法主要尝试从用户的历史行为中挖掘用户兴趣,这些行为包含用户直接交互的项目。尽管这些方法取得了长足的进步,但通常会受到推荐系统的直接曝光和不活动相互作用的限制,因此无法挖掘所有潜在的用户利益。为了解决这些问题,我们提出了基于邻居相互作用的CTR预测(NI-CTR),该预测在异质信息网络(HIN)设置下考虑此任务。简而言之,基于邻居相互作用的CTR预测涉及HIN目标用户项目对的本地邻域以预测其链接。为了指导当地社区的表示形式,我们从显式和隐性的角度考虑了本地邻里节点之间的不同类型的相互作用,并提出了一种新颖的图形掩盖变压器(GMT),以有效地将这些类型的交互结合到为目标用户项目对生成高度代表性的嵌入。此外,为了提高针对邻居采样的模型鲁棒性,我们在嵌入邻里的嵌入式上执行了一致性正规化损失。我们对数百万个实例进行了两个现实世界数据集进行了广泛的实验,实验结果表明,我们所提出的方法的表现明显优于最先进的CTR模型。同时,全面的消融研究验证了我们模型每个组成部分的有效性。此外,我们已经在具有数十亿用户的微信官方帐户平台上部署了此框架。在线A/B测试表明,针对所有在线基线的平均CTR改进为21.9。
translated by 谷歌翻译
推荐系统是机器学习系统的子类,它们采用复杂的信息过滤策略来减少搜索时间,并向任何特定用户建议最相关的项目。混合建议系统以不同的方式结合了多种建议策略,以从其互补的优势中受益。一些混合推荐系统已经结合了协作过滤和基于内容的方法来构建更强大的系统。在本文中,我们提出了一个混合推荐系统,该系统将基于最小二乘(ALS)的交替正方(ALS)的协作过滤与深度学习结合在一起,以增强建议性能,并克服与协作过滤方法相关的限制,尤其是关于其冷启动问题。本质上,我们使用ALS(协作过滤)的输出来影响深度神经网络(DNN)的建议,该建议结合了大数据处理框架中的特征,上下文,结构和顺序信息。我们已经进行了几项实验,以测试拟议混合体架构向潜在客户推荐智能手机的功效,并将其性能与其他开源推荐人进行比较。结果表明,所提出的系统的表现优于几个现有的混合推荐系统。
translated by 谷歌翻译
预先接受的语言模型实现了最先进的导致各种自然语言处理(NLP)任务。 GPT-3表明,缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架,以预先培训大型知识增强型号,并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现,我们培养了百卢比的3.0泰坦参数型号,在PaddlePaddle平台上有高达260亿参数的泰坦。此外,我们设计了一种自我监督的对抗性损失和可控语言建模损失,以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放,我们向Ernie 3.0泰坦提出了一个在线蒸馏框架,教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明,Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。
translated by 谷歌翻译
冷门问题在推荐系统中通常被认可,并通过遵循一般想法来利用温暖用户的丰富互动记录来推断冷用户的偏好。但是,这些解决方案的性能受到温暖用户可用的记录量的限制。因此,基于几个用户的互动记录建立推荐系统仍然是不受欢迎或早期推荐平台的挑战性问题。本文着重于根据两个观察结果解决新闻推荐的几个建议问题。首先,在不同平台(即使是不同语言)的新闻可能会共享类似的主题。其次,对这些主题的用户偏好可以在不同平台上转移。因此,我们建议通过将用户新的偏好从富源源域转移到低资源的目标域来解决几个播放新闻推荐问题。为了用不同的语言桥接两个域,而没有任何重叠的用户和新闻,我们提出了一个新颖的无监督的交叉转移模型,作为在两个域中与语义上相似的新闻保持一致的新闻编码器。用户编码器是在对齐新闻编码的顶部构造的,并将用户偏好从源源转移到目标域。两个现实世界新闻推荐数据集的实验结果表明,与最先进的基线相比,我们提出的方法在解决几乎没有新闻建议方面的出色表现。
translated by 谷歌翻译
隐私保护是联合学习中的一个重要和有关的主题,特别是对于自然语言处理。在客户端设备中,用户每天由用户产生大量包含个人信息的文本。由于来自用户信息的直接应用可能会引起个人隐私,因此在联合学习中提出了许多方法来阻止来自客户端设备中的原始信息的中心模型。在本文中,我们尝试通过在保留语义时扭曲文本来更新语言。在实践中,我们利用最近提出的公制,邻近分布分配,以评估失真期间的语义保存。基于度量标准,我们提出了两个用于语义保存的失真,生成的一个和替代的框架。由于目前的自然语言处理领域中缺乏隐私相关任务,我们对命名实体识别和选区解析进行实验。我们的实验结果表明了我们扭曲的合理性和效率,作为个人隐私保护的方法。
translated by 谷歌翻译