由于用户不是最终的内容消费者，因此在内容市场中提供有意义的建议是具有挑战性的。取而代之的是，大多数用户是创意者的兴趣，与他们从事的项目相关，迅速而突然地改变。为了解决向内容创建者推荐图像的具有挑战性的任务，我们设计了一个recsys，以学习视觉样式的偏好，横向用户工作的项目的语义。我们分析了任务的挑战与语义驱动的基于内容的建议，提出评估设置并解释其在全球图像市场中的应用。该技术报告是ACM Recsys '22介绍的论文“学习用户在图像市场中的首选视觉样式”的扩展。

A large number of empirical studies on applying self-attention models in the domain of recommender systems are based on offline evaluation and metrics computed on standardized datasets, without insights on how these models perform in real life scenarios. Moreover, many of them do not consider information such as item and customer metadata, although deep-learning recommenders live up to their full potential only when numerous features of heterogeneous types are included. Also, typically recommendation models are designed to serve well only a single use case, which increases modeling complexity and maintenance costs, and may lead to inconsistent customer experience. In this work, we present a reusable Attention-based Fashion Recommendation Algorithm (AFRA), that utilizes various interaction types with different fashion entities such as items (e.g., shirt), outfits and influencers, and their heterogeneous features. Moreover, we leverage temporal and contextual information to address both short and long-term customer preferences. We show its effectiveness on outfit recommendation use cases, in particular: 1) personalized ranked feed; 2) outfit recommendations by style; 3) similar item recommendation and 4) in-session recommendations inspired by most recent customer actions. We present both offline and online experimental results demonstrating substantial improvements in customer retention and engagement.

推荐系统已被广泛用于各种领域，例如音乐，电影，电子购物。等等。在大多避免数字化之后，由于流行病而最近达到了技术转折点，使在线销售显着增长，并提供定量的定量性。有关艺术家和艺术品的在线数据。在这项工作中，我们提出了一个基于内容的推荐系统，依靠艺术品和艺术家的上下文元数据的图像。我们收集和注释的艺术品提供了高级和特定于艺术的信息，以创建一个完全独特的数据库，该数据库用于培训我们的模型。有了这些信息，我们在艺术品之间构建了一个接近图。同样，我们使用NLP技术来表征艺术家的实践，并从展览和其他活动历史中提取信息，以在艺术家之间创建近距离图。图形分析的力量使我们能够基于艺术品和艺术家的视觉和上下文信息的结合提供艺术品推荐系统。经过一组艺术专家的评估，与他们的专业评估相比，我们的平均最终评分为75％。

社交媒体营销在向广泛的受众群体推广品牌和产品价值方面起着至关重要的作用。为了提高其广告收入，诸如Facebook广告之类的全球媒体购买平台不断减少品牌有机帖子的覆盖范围，推动品牌在付费媒体广告上花费更多。为了有效地运行有机和付费社交媒体营销，有必要了解受众，调整内容以适合其兴趣和在线行为，这是不可能大规模手动进行的。同时，各种人格类型分类方案（例如Myers-Briggs人格类型指标）使得通过以统一和结构化的方式对受众行为进行分类，可以在更广泛的范围内揭示人格特质和用户内容偏好之间的依赖性。研究界尚待深入研究这个问题，而到目前为止，尚未广泛使用和全面评估，而不同人格特征对内容建议准确性的影响水平尚未得到广泛的利用和全面评估。具体而言，在这项工作中，我们通过应用一种新型人格驱动的多视图内容推荐系统，研究人格特征对内容推荐模型的影响，称为人格内容营销推荐引擎或Persic。我们的实验结果和现实世界案例研究不仅表明Persic执行有效的人格驱动的多视图内容建议，而且还允许采用可行的数字广告策略建议，当部署时能够提高数字广告效率超过420 ％与原始的人类指导方法相比。

Building a successful recommender system depends on understanding both the dimensions of people's preferences as well as their dynamics. In certain domains, such as fashion, modeling such preferences can be incredibly difficult, due to the need to simultaneously model the visual appearance of products as well as their evolution over time. The subtle semantics and non-linear dynamics of fashion evolution raise unique challenges especially considering the sparsity and large scale of the underlying datasets. In this paper we build novel models for the One-Class Collaborative Filtering setting, where our goal is to estimate users' fashion-aware personalized ranking functions based on their past feedback. To uncover the complex and evolving visual factors that people consider when evaluating products, our method combines high-level visual features extracted from a deep convolutional neural network, users' past feedback, as well as evolving trends within the community. Experimentally we evaluate our method on two large real-world datasets from Amazon.com, where we show it to outperform stateof-the-art personalized ranking measures, and also use it to visualize the high-level fashion trends across the 11-year span of our dataset.

现有的解释模型仅生成建议的文本，但仍然难以生产各种内容。在本文中，为了进一步丰富解释，我们提出了一项名为“个性化展示”的新任务，其中我们同时提供文本和视觉信息来解释我们的建议。具体来说，我们首先选择一个个性化图像集，该图与用户对推荐物品的兴趣最相关。然后，自然语言解释将相应地产生我们的选定图像。对于这项新任务，我们从Google Local（即〜maps）收集一个大规模数据集，并构建一个用于生成多模式说明的高质量子集。我们提出了一个个性化的多模式框架，可以通过对比度学习产生多样化和视觉上的解释。实验表明，我们的框架受益于不同方式作为输入，并且与以前的各种评估指标相比，能够产生更多样化和表达的解释。

使用计算笔记本（例如，Jupyter Notebook），数据科学家根据他们的先前经验和外部知识（如在线示例）合理化他们的探索性数据分析（EDA）。对于缺乏关于数据集或问题的具体了解的新手或数据科学家，有效地获得和理解外部信息对于执行EDA至关重要。本文介绍了eDassistant，一个jupyterlab扩展，支持EDA的原位搜索示例笔记本电脑和有用的API的推荐，由搜索结果的新颖交互式可视化供电。代码搜索和推荐是由最先进的机器学习模型启用的，培训在线收集的EDA笔记本电脑的大型语料库。进行用户学习，以调查埃迪卡斯特和数据科学家的当前实践（即，使用外部搜索引擎）。结果证明了埃迪斯坦特的有效性和有用性，与会者赞赏其对EDA的顺利和环境支持。我们还报告了有关代码推荐工具的几种设计意义。

Over the past years, fashion-related challenges have gained a lot of attention in the research community. Outfit generation and recommendation, i.e., the composition of a set of items of different types (e.g., tops, bottom, shoes, accessories) that go well together, are among the most challenging ones. That is because items have to be both compatible amongst each other and also personalized to match the taste of the customer. Recently there has been a plethora of work targeted at tackling these problems by adopting various techniques and algorithms from the machine learning literature. However, to date, there is no extensive comparison of the performance of the different algorithms for outfit generation and recommendation. In this paper, we close this gap by providing a broad evaluation and comparison of various algorithms, including both personalized and non-personalized approaches, using online, real-world user data from one of Europe's largest fashion stores. We present the adaptations we made to some of those models to make them suitable for personalized outfit generation. Moreover, we provide insights for models that have not yet been evaluated on this task, specifically, GPT, BERT and Seq-to-Seq LSTM.

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

下一篮子推荐考虑将一组项目推荐到用户将作为一个整体购买的下一个篮子。在本文中，我们为下一个篮子推荐开发了一种具有偏好，普及和转换（M2）的新颖混合模型。该方法在下一个篮子生成过程中模拟了三个重要因素：1）用户在项目中的“全球偏好”，2）项目的“全球受欢迎者和3”的过渡模式。与现有的基于内部网络的方法不同，M2不使用复杂的网络来模拟项目之间的转换，或为用户生成嵌入品。相反，它具有基于简单的编码器解码器的方法（ED-Trans），以更好地模拟项目之间的转换模式。我们将M2与不同组合的组合进行了比较，其中有5个现有的下一篮子推荐方法在4个公共基准数据集上推荐第一个，第二和第三篮子。我们的实验结果表明，M2显着优于所有任务中所有数据集的最先进的方法，提高了高达22.1％。此外，我们的消融研究表明，在推荐性能方面，ED-Trans比经常性神经网络更有效。我们还对下一个篮子推荐评估进行了彻底讨论了各种实验协议和评估指标。

新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型，但它们主要以静态方式捕获文件级上的用户新交互。然而，在现实世界的情景中，新闻可以很复杂和多样化，盲目地将所有内容挤压到嵌入式矢量中，在提取与用户的个性化偏好兼容的信息中可以不太有效。此外，新闻推荐方案中的用户偏好可以是高度动态的，并且应该设计定制的动态机制以获得更好的推荐性能。在本文中，我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容，我们利用注意机制分别代表了从句子，元素和文档级别的消息。为了捕获用户的动态偏好，连续时间信息无缝地结合到关注权重的计算中。更具体地，我们设计了一个分层关注网络，其中下层学习不同句子和元素的重要性，并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符，我们首先通过结合绝对和相对时间信息来增强传统的关注机制，然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验，以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。

Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art performance on recommender system benchmarks. However, making these methods practical and scalable to web-scale recommendation tasks with billions of items and hundreds of millions of users remains a challenge.Here we describe a large-scale deep recommendation engine that we developed and deployed at Pinterest. We develop a dataefficient Graph Convolutional Network (GCN) algorithm PinSage, which combines efficient random walks and graph convolutions to generate embeddings of nodes (i.e., items) that incorporate both graph structure as well as node feature information. Compared to prior GCN approaches, we develop a novel method based on highly efficient random walks to structure the convolutions and design a novel training strategy that relies on harder-and-harder training examples to improve robustness and convergence of the model.We deploy PinSage at Pinterest and train it on 7.5 billion examples on a graph with 3 billion nodes representing pins and boards, and 18 billion edges. According to offline metrics, user studies and A/B tests, PinSage generates higher-quality recommendations than comparable deep learning and graph-based alternatives. To our knowledge, this is the largest application of deep graph embeddings to date and paves the way for a new generation of web-scale recommender systems based on graph convolutional architectures.

推荐兴趣点是一个困难的问题，需要从基于位置的社交媒体平台中提取精确的位置信息。对于这种位置感知的推荐系统而言，另一个具有挑战性和关键的问题是根据用户的历史行为对用户的偏好进行建模。我们建议使用Transformers的双向编码器表示的位置感知建议系统，以便为用户提供基于位置的建议。提出的模型包含位置数据和用户偏好。与在序列中预测每个位置的下一项（位置）相比，我们的模型可以为用户提供更相关的结果。基准数据集上的广泛实验表明，我们的模型始终优于各种最新的顺序模型。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

在媒体流媒体的普及之后，许多视频流服务是不断购买新的视频内容来挖掘它们的潜在利润。因此，必须处理新添加的内容，以便建议给合适的用户。在本文中，我们通过探索各种深度学习功能提供视频建议的潜力来解决新的项目冷启动问题。调查的深度学习功能包括从视频内容中捕获视觉外观，音频和运动信息的功能。我们还探讨了不同的融合方法来评估这些功能模式如何组合以完全利用它们捕获的互补信息。关于电影建议的真实视频数据集的实验表明，深度学习功能优于手工制作的功能。特别是，使用深度学习音频功能和以自行信型的深度学习功能生成的建议优于MFCC和最先进的IDT功能。此外，与手工制作特征和文本元数据的各种深度学习特征的组合产生了显着的建议改善，而不是仅相结合的前者。

时尚推荐通常被拒绝，因为它是找到适合给定用户的查询服装或检索服装的互补物品的任务。在这项工作中，我们通过根据提议的敷料的样式添加附加语义层来解决问题。我们根据两个重要方面的样式建模：颜色组合图案背后隐藏的情绪和情感以及给定类型的社交事件所检索的服装的适当性。为了解决前者，我们依靠Shigenobu Kobayashi的颜色图像量表，这将情感模式和情绪与色彩三元组相关联。相反，通过从社交事件的图像中提取服装来分析后者。总体而言，我们集成了最先进的服装建议框架样式分类器和事件分类器，以便在给定的查询上建议建议。

基于会话的推荐系统（SBRS）表现出优于常规方法的性能。但是，它们在大规模工业数据集上显示出有限的可伸缩性，因为大多数模型都会学习一个嵌入每个项目。这导致了巨大的记忆要求（每项存储一个矢量），并且在稀疏的会话上具有冷启动或不受欢迎的项目的性能差。使用一个公共和一个大型工业数据集，我们在实验上表明，最先进的SBRS在稀疏项目的稀疏会议上的性能较低。我们提出了M2TREC，这是一种基于会话建议的元数据感知的多任务变压器模型。我们提出的方法学习了从项目元数据到嵌入的转换函数，因此是免费的（即，不需要学习一个嵌入每个项目）。它集成了项目元数据以学习各种项目属性的共享表示。在推论期间，将为与先前在培训期间观察到的项目共享的属性分配新的或不受欢迎的项目，因此将与这些项目具有相似的表示，从而使甚至冷启动和稀疏项目的建议。此外，M2TREC接受了多任务设置的培训，以预测会话中的下一个项目及其主要类别和子类别。我们的多任务策略使该模型收敛更快，并显着改善了整体性能。实验结果表明，使用我们在两个数据集中稀疏项目上提出的方法进行了显着的性能增长。

推荐系统是机器学习系统的子类，它们采用复杂的信息过滤策略来减少搜索时间，并向任何特定用户建议最相关的项目。混合建议系统以不同的方式结合了多种建议策略，以从其互补的优势中受益。一些混合推荐系统已经结合了协作过滤和基于内容的方法来构建更强大的系统。在本文中，我们提出了一个混合推荐系统，该系统将基于最小二乘（ALS）的交替正方（ALS）的协作过滤与深度学习结合在一起，以增强建议性能，并克服与协作过滤方法相关的限制，尤其是关于其冷启动问题。本质上，我们使用ALS（协作过滤）的输出来影响深度神经网络（DNN）的建议，该建议结合了大数据处理框架中的特征，上下文，结构和顺序信息。我们已经进行了几项实验，以测试拟议混合体架构向潜在客户推荐智能手机的功效，并将其性能与其他开源推荐人进行比较。结果表明，所提出的系统的表现优于几个现有的混合推荐系统。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.