评论包含有关产品特征和用户兴趣的丰富信息,因此通常用于提高建议系统性能。具体而言,先前的工作表明,共同学习进行审查生成可以改善评级预测性能。同时,这些模型制作的评论是推荐说明,为用户提供了有关预测评分的见解。但是,尽管现有模型可能会产生流利的人类样评论,但尚不清楚评论在多大程度上完全揭示了共同预测的评级背后的理由。在这项工作中,我们执行一系列评估,以探究最先进的模型及其审查生成部分。我们表明,生成的解释是脆弱的,需要进一步评估,然后才能作为估计评级的字面原理。
translated by 谷歌翻译
最近的模型可以产生流利和语法合成评论,同时准确预测用户评分。生成的评论表达了用户对相关产品的估计意见,通常被视为自然语言“理由”,共同预测的评级。但是,先前的研究发现,现有模型通常会产生重复性,普遍适用和通用的解释,从而导致非信息原理。此外,我们的分析表明,以前的模型生成的内容通常包含事实幻觉。这些问题要求采用新颖的解决方案,这些解决方案可以产生信息丰富的和事实扎根的解释。受到最新使用检索内容的启发,除了生成的参数知识外,我们建议用个性化的检索器增强发电机,在该发现者的启发下,猎犬的输出是增强发电机的外部知识。关于Yelp,TripAdvisor和Amazon Movie评论数据集的实验表明,我们的模型可以产生解释,即更可靠地需要进行现有评论,更多样化,并且由人类评估人员评为更有信息。
translated by 谷歌翻译
由于推荐基本上是比较(或排名)的过程,良好的解释应该向用户说明为什么一个项目被认为比另一个项目更好,即关于推荐项目的比较解释。理想情况下,在阅读解释之后,用户应达到与系统的相同的项目排名。不幸的是,尚未对这种比较解释支付的研究注意力。在这项工作中,我们开发了提取物和精炼架构,以解释来自推荐系统的一组排名项目之间的相对比较。对于每个推荐的项目,我们首先将一个句子从其相关审核中提取一个句子,最能诉诸于一组参考项的所需比较。然后,该提取的句子通过生成模型相对于目标用户进一步阐述,以更好地解释为什么建议该项目。我们根据BLEU设计一个新的解释质量指标,指导提取和细化组件的端到端培训,避免生成通用内容。对两个大型推荐基准数据集的广泛离线评估和针对一系列最先进的可解释的建议算法的严重用户研究表明了比较解释的必要性和我们解决方案的有效性。
translated by 谷歌翻译
使用个性化解释来支持建议,以增加信任和感知质量。但是,为了实际获取更好的建议,需要一种用户通过与解释进行交互来修改推荐标准的手段。我们介绍了一种新颖的技术,使用方面标记,学会从审查文本生成关于建议的个性化解释,并且我们表明人类用户明显更喜欢通过最先进技术产生的解释这些解释。我们的工作最重要的创新是它允许用户通过批评文本解释来对推荐作出反应:删除(对称添加)它们不喜欢的某些方面或不再相关(对称地是感兴趣的)。系统根据批评更新其用户模型和产生的建议。这是基于一种具有文本解释的单一和多步批判的新型无监督批评方法。两个现实世界数据集的实验表明,我们的系统是第一个在适应多步批评中表达的偏好方面实现良好性能的实验。
translated by 谷歌翻译
神经网络嵌入的成功使人们对使用知识图进行各种机器学习和信息检索任务产生了重新兴趣。特别是,基于图形嵌入的当前建议方法已显示出最新的性能。这些方法通常编码潜在的评级模式和内容功能。与以前的工作不同,在本文中,我们建议利用从图表中提取的嵌入,这些嵌入结合了从评分中的信息和文本评论中表达的基于方面的意见。然后,我们根据亚马逊和Yelp评论在六个域上生成的图表调整和评估最新的图形嵌入技术,优于基线推荐器。我们的方法具有提供解释的优势,该解释利用了用户对推荐项目的基于方面的意见。此外,我们还提供了使用方面意见作为可视化仪表板中的解释的建议的适用性的示例,该说明允许获取有关从输入图的嵌入中获得的有关类似用户的最喜欢和最不喜欢的方面的信息。
translated by 谷歌翻译
随着推荐系统变得越来越复杂和复杂,它们通常会缺乏公平和透明度。为建议提供强大而公正的解释,人们越来越关注,因为它可以帮助解决这些问题并提高推荐系统的信任度和信息性。然而,尽管事实是为人类生成了这种解释,这些人类对具有适当情绪的信息做出更强烈反应,但在为建议解释时,人们缺乏对情绪的考虑。发现当前的解释生成模型可以夸大某些情绪,而无需准确捕获基本的语调或含义。在本文中,我们提出了一种基于多头变压器的新方法,称为“情感感知变压器”,以解释推荐(情感者),以产生更健壮,公平和情感增强的解释。为了衡量产生的解释的语言质量和情感公平性,我们采用自动文本指标和人类的看法进行评估。在具有多个评估指标的三个广泛使用基准数据集上进行的实验表明,情感者在文本质量,解释性和对情感分布的公平性方面始终优于现有的最新解释生成模型。 Emoter的实施将作为开源工具包发布,以支持进一步的研究。
translated by 谷歌翻译
个性化的自然语言生成可解释的建议在证明为什么建议可能与用户的兴趣相匹配的原因中起着关键作用。现有模型通常通过软约束(例如〜方面计划)来控制发电过程。在有希望的同时,这些方法难以正确地生成特定的信息,这阻止了产生的解释内容丰富和多样化。在本文中,我们提出了UCEPIC,这是一个解释生成模型,该模型统一了可控个性化生成的方面计划和词汇约束。具体而言,我们首先通过提出的强大插入过程预先培训非人性化的文本生成器,以便模型能够生成包含词汇约束的句子。然后,我们演示了将方面计划和个性化引用纳入插入过程的方法,以获得个性化的解释。与先前由软限制控制的工作相比,UCEPIC结合了来自钥匙拼的特定信息,然后很大程度上提高了生成的解释的多样性和信息性。对RateBeer和Yelp的广泛实验表明,UCEPIC可以为建议产生高质量和不同的解释。
translated by 谷歌翻译
对话推荐系统(CRS)的注意力日益增长,该系统可作为基于对话和建议的以任务为基础的工具,以提供感兴趣的项目并探索用户偏好。但是,CRS中现有的工作未能向用户明确显示推理逻辑,并且整个CRS仍然是黑匣子。因此,我们提出了一个基于生成对话代理的解释,以解释他们为何采取行动的解释,提出了一个名为“解释建议”(EGCR)的新颖端到端框架。 EGCR结合了用户评论,以增强项目表示并提高整个对话的信息。据我们所知,这是对现实世界数据集上可解释的对话建议的第一个框架。此外,我们在一个基准的对话推荐数据集上评估了EGCR,并比其他最先进的模型在建议准确性和对话质量上获得更好的性能。最后,广泛的实验表明,生成的解释不仅具有高质量和解释性,而且使CRS更加值得信赖。我们将使我们的代码可为CRS社区做出贡献
translated by 谷歌翻译
神经网络嵌入的成功使人们对使用知识图进行各种机器学习和信息检索任务产生了重新兴趣。特别是,基于图嵌入的最新建议方法显示了最先进的性能。通常,这些方法编码潜在评级模式和内容功能。与以前的工作不同,在本文中,我们建议利用从图表中提取的嵌入,这些嵌入结合了从评分中的信息和文本评论中表达的基于方面的意见。然后,我们根据亚马逊和Yelp评论在六个域上生成的图表调整和评估最新的图形嵌入技术,优于基线推荐器。此外,我们的方法具有提供解释的优势,该解释涉及用户对推荐项目的基于方面意见的报道。
translated by 谷歌翻译
长期以来,不同的推荐任务通常需要设计特定于任务的架构和培训目标。结果,很难将学习的知识和表示从一个任务转移到另一个任务,从而限制了现有推荐方法的概括能力,例如,几乎无法将顺序推荐模型应用于审核生成方法。为了解决此类问题,考虑到语言几乎可以描述任何内容,语言基础是表示各种问题或任务的有力媒介,我们提出了一种灵活而统一的文本到文本范式,称为“预绘,个性化的提示和预测范式” (P5)为了推荐,该建议在共享框架中统一了各种建议任务。在P5中,将所有数据(例如用户项目交互,用户描述,项目元数据和用户评论)转换为通用格式 - 自然语言序列。来自自然语言的丰富信息有助于P5捕获更深入的语义,以进行个性化和建议。具体而言,P5在预处理过程中以相同的语言建模目标学习不同的任务。因此,它是各种下游建议任务的基础模型,可以轻松地与其他模式集成,并根据提示启用基于指导的建议。 P5将推荐系统从浅层模型到深模型到大型模型,并将彻底改变推荐系统的技术形式,向通用推荐引擎。借助对不同用户的自适应个性化提示,P5能够以零拍或几种方式进行预测,并大大减少了进行广泛微调的必要性。在几个建议基准中,我们进行实验以显示P5的有效性。我们以\ url {https://github.com/jeykigung/p5}发布源代码。
translated by 谷歌翻译
Recommender systems are ubiquitous in most of our interactions in the current digital world. Whether shopping for clothes, scrolling YouTube for exciting videos, or searching for restaurants in a new city, the recommender systems at the back-end power these services. Most large-scale recommender systems are huge models trained on extensive datasets and are black-boxes to both their developers and end-users. Prior research has shown that providing recommendations along with their reason enhances trust, scrutability, and persuasiveness of the recommender systems. Recent literature in explainability has been inundated with works proposing several algorithms to this end. Most of these works provide item-style explanations, i.e., `We recommend item A because you bought item B.' We propose a novel approach, RecXplainer, to generate more fine-grained explanations based on the user's preference over the attributes of the recommended items. We perform experiments using real-world datasets and demonstrate the efficacy of RecXplainer in capturing users' preferences and using them to explain recommendations. We also propose ten new evaluation metrics and compare RecXplainer to six baseline methods.
translated by 谷歌翻译
现有的解释模型仅生成建议的文本,但仍然难以生产各种内容。在本文中,为了进一步丰富解释,我们提出了一项名为“个性化展示”的新任务,其中我们同时提供文本和视觉信息来解释我们的建议。具体来说,我们首先选择一个个性化图像集,该图与用户对推荐物品的兴趣最相关。然后,自然语言解释将相应地产生我们的选定图像。对于这项新任务,我们从Google Local(即〜maps)收集一个大规模数据集,并构建一个用于生成多模式说明的高质量子集。我们提出了一个个性化的多模式框架,可以通过对比度学习产生多样化和视觉上的解释。实验表明,我们的框架受益于不同方式作为输入,并且与以前的各种评估指标相比,能够产生更多样化和表达的解释。
translated by 谷歌翻译
文本样式传输是自然语言生成中的重要任务,旨在控制生成的文本中的某些属性,例如礼貌,情感,幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史,最近由于深神经模型带来的有希望的性能而重大关注。在本文中,我们对神经文本转移的研究进行了系统调查,自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定,现有数据集和子任务,评估,以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey
translated by 谷歌翻译
会话推荐系统(CRS)已成为一个新兴的研究主题,试图通过交互式对话进行建议,这些对话通常由发电和建议模块组成。 CRS的先前工作倾向于将更多的外部和领域特定知识纳入项目评论,以提高性能。尽管事实的收集和注释特定于外部领域的信息需要大量的人类努力并脱离了普遍性,但过多的额外知识在它们之间带来了更大的困难。因此,我们建议从上下文中充分发现和提取内部知识。我们将实体级别和上下文级别的表示形式捕获为对建议的共同模拟用户的偏好,在这种情况下,时间吸引的注意力旨在强调实体级表示中最近出现的项目。我们进一步使用预训练的巴特来初始化生成模块,以减轻数据稀缺性并增强上下文建模。除了在流行数据集(REDIAIL)上进行实验外,我们还包括一个多域数据集(OpenDialKg)来显示我们模型的有效性。两个数据集的实验都表明,我们的模型在大多数评估指标上都具有更好的性能,其外部知识较少,并且可以很好地推广到其他领域。对建议和生成任务的其他分析证明了我们在不同情况下模型的有效性。
translated by 谷歌翻译
众所周知,端到端的神经NLP体系结构很难理解,这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚,即,解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后,我们通过将方法分为五类来介绍忠实解释的最新进展:相似性方法,模型内部结构的分析,基于反向传播的方法,反事实干预和自我解释模型。每个类别将通过其代表性研究,优势和缺点来说明。最后,我们从它们的共同美德和局限性方面讨论了上述所有方法,并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员,这项调查将为该领域提供可访问且全面的概述,为进一步探索提供基础。对于希望更好地了解自己的模型的用户,该调查将是一项介绍性手册,帮助选择最合适的解释方法。
translated by 谷歌翻译
近年来,人们对开发自然语言处理(NLP)中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能,例如对于模型预测而言重要的单词或短语。然而,在NLP中开发的神经模型通常以层次结构的方式构成单词语义,文本分类需要层次建模来汇总本地信息,以便处理主题和标签更有效地转移。因此,单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器,称为提示,该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别,而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明,我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果,并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。
translated by 谷歌翻译
生成反事实测试箱是测试NLP模型并使其像传统软件一样坚固且可靠的重要主体。在生成测试箱时,所需的特性是能够以灵活的方式控制测试案例生成以测试各种故障案例并以目标方式解释和修复它们。在这个方向上,通过手动编写生成受控反事实的规则,在先前的作品中取得了重大进展。但是,这种方法需要大量的手动监督,并且缺乏轻松引入新控件的灵活性。由PPLM的插件方法令人印象深刻的灵活性的激励,我们建议将插件的框架带入反事实测试案例生成任务。我们介绍了Casper,这是一种插件的反事实生成框架,以生成满足需求目标属性的测试用例。我们的插件模型可以在给定任何属性模型的情况下引导测试案例生成过程,而无需对模型的属性特定培训。在实验中,我们表明Casper有效地生成了反事实文本,该文本遵循属性模型提供的转向,同时流利,多样化并保留原始内容。我们还表明,CASPER的生成的反事实可用于增强训练数据,从而固定并使测试模型更加可靠。
translated by 谷歌翻译
Existing reference-free metrics have obvious limitations for evaluating controlled text generation models. Unsupervised metrics can only provide a task-agnostic evaluation result which correlates weakly with human judgments, whereas supervised ones may overfit task-specific data with poor generalization ability to other datasets. In this paper, we propose an unsupervised reference-free metric called CTRLEval, which evaluates controlled text generation from different aspects by formulating each aspect into multiple text infilling tasks. On top of these tasks, the metric assembles the generation probabilities from a pre-trained language model without any model training. Experimental results show that our metric has higher correlations with human judgments than other baselines, while obtaining better generalization of evaluating generated texts from different models and with different qualities.
translated by 谷歌翻译
最近的研究利用了先进的生成语言模型来生成自然语言解释(NLE),以了解某个文本可能会令人讨厌。我们提出了一系列解释提示方法,灵感来自思想链研究\ cite {wei2022chain},以生成高质量的nle,以实现隐式仇恨言论。我们基于选定的主流预训练的语言模型(PLM)建立基准,包括GPT-2,GPT-NEO,OPT,T5和BART,以及来自词汇,语义和忠实方面的各种评估指标。为了进一步评估人类感知产生的NLE的质量,我们雇用人类注释者来评估生成的NLE的信息性和清晰度。然后,我们检查哪种自动评估指标可以最好地与人类通知的信息性和清晰度度量分数相关。
translated by 谷歌翻译
大多数现有推荐系统仅基于评级数据,并且他们忽略了可能会增加建议质量的其他信息来源,例如文本评论或用户和项目特征。此外,这些系统的大多数仅适用于小型数据集(数千个观察)并且无法处理大型数据集(具有数百万观察结果)。我们提出了一种推荐人算法,该算法将评级建模技术(即潜在因子模型)与基于文本评论(即潜在Dirichlet分配)的主题建模方法组合,并且我们扩展了算法,使其允许添加额外的用户和项目 - 对系统的特定信息。我们使用具有不同大小的Amazon.com数据集来评估算法的性能,对应于23个产品类别。将建筑模型与四种其他型号进行比较后,我们发现将患有评级的文本评语相结合,导致更好的建议。此外,我们发现为模型添加额外的用户和项目功能会提高其预测精度,这对于中型和大数据集尤其如此。
translated by 谷歌翻译