客户寿命价值（LTV）是单个用户可以带给企业的预期总收入。它被广泛用于各种业务方案，以在获取新客户时做出运营决策。由于其复杂且可变的数据分布，建模LTV是一个具有挑战性的问题。现有方法要么直接从后验特征分布中学习，要么利用统计模型，这些模型对先前的分布做出了强有力的假设，这两者都无法捕获这些可变分布。在本文中，我们提出了一套完整的工业级LTV建模解决方案。具体而言，我们引入了一个订单依赖性单调网络（ODMN），该网络对不同时间跨度LTV之间的有序依赖关系进行建模，从而极大地改善了模型性能。我们进一步介绍了基于分裂和混合想法的多分销多专家（MDME）模块，该模块将严重不平衡的分布建模问题转换为一系列相对平衡的亚分布建模问题，因此大大降低了建模的复杂性。此外，引入了新的评估度量互助Gini，以更好地测量基于洛伦兹曲线的估计值和地面真相标签之间的分布差。 ODMN框架已成功部署在Kuaishou的许多业务场景中，并取得了出色的性能。对实际工业数据的广泛实验表明，与包括ZILN和两阶段XGBoost模型在内的最新基线相比，所提出的方法的优越性。

促销活动在电子商务平台上变得更加重要和普遍，以吸引客户和提升销售。但是，推荐系统中的点击率（CTR）预测方法无法处理此类情况，因为：1）他们无法概括为服务，因为在线数据分布是不确定的，因为可能正在推出的促销潜在的促销; 2）在不够重视方案信号的情况下，它们无法学习在每个场景中共存的不同特征表示模式。在这项工作中，我们提出了方案自适应混合的专家（相同），这是一个简单而有效的模型，用于促销和正常情况。从技术上讲，它通过采用多个专家来学习专家来遵循专家混合的想法，这些特征表示通过注意机制通过特征门控网络（FGN）进行调制。为了获得高质量的表示，我们设计了一个堆叠的并行关注单元（SPAU），以帮助每个专家更好地处理用户行为序列。为了解决分布不确定性，从时间序列预测的角度精确地设计了一组场景信号，并馈入FGN，其输出与来自每个专家的特征表示连接，以学会注意。因此，特征表示的混合是自适应的场景和用于最终的CTR预测。通过这种方式，每个专家都可以学习鉴别的表示模式。据我们所知，这是第一次推广感知CTR预测的研究。实验结果对现实世界数据集验证了同一的优势。在线A / B测试也表现出同样的促销期间在CTR上的显着增益和5.94％的IPV，分别在正常日内为3.93％和6.57％。

工业推荐系统通常提出包含来自多个子系统的结果的混合列表。实际上，每个子系统都使用自己的反馈数据进行了优化，以避免不同子系统之间的干扰。但是，我们认为，由于\ textit {数据稀疏}，此类数据使用可能会导致次优的在线性能。为了减轻此问题，我们建议从包含网络尺度和长期印象数据的\ textit {super-domain}中提取知识，并进一步协助在线推荐任务（下游任务）。为此，我们提出了一个新颖的工业\ textbf {k} nowl \ textbf {e} dge \ textbf {e} xtraction和\ textbf {p} lugging（\ textbf {keep}）框架，这是一个两阶段的框架其中包括1）超级域上有监督的预训练知识提取模块，以及2）将提取的知识纳入下游模型的插件网络。这使得对在线推荐的逐步培训变得友好。此外，我们设计了一种有效的经验方法，用于在大规模工业系统中实施Keep时保持和介绍我们的动手经验。在两个现实世界数据集上进行的实验表明，保持可以实现有希望的结果。值得注意的是，Keep也已部署在阿里巴巴的展示广告系统上，带来了$+5.4 \％$ CTR和$+4.7 \％\％$ rpm的提升。

大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是，现实世界中的视频数据通常会表现出不平衡的长尾巴分布，从而导致模型偏见对头等阶层，并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法，以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布（类内部分布）和各种数据（类间分布）的总体分布，以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模，该模型可以共同考虑头等阶层和尾部类别，并将知识从头等阶层显着转移，以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

本文使用机器学习方法对建模用户行为进行建模的开放精算数学问题，以预测非寿命保险产品的购买意图。一家公司了解用户与其网站的互动是有价值的，因为它为消费者行为提供了丰富和个性化的洞察力。用户行为建模的大多数现有研究旨在解释或预测搜索引擎结果页面或在赞助搜索中估计点击率。这些模型基于关于网页的用户检测模式的概念和网页的项目表示。调查建模用户行为以预测商业网站的购买意图的问题，我们观察到用户的意图会产生高依赖，对用户如何在用户访问的不同网页的方式导航网站，什么样的网页用户互动，用户在每个网页上花了多少时间。灵感来自这些发现，我们提出了两种不同的方式代表用户会话的特征，导致了基于用户点击的购买预测的两个模型：一个基于馈送前向神经网络，另一个基于经常性神经网络。我们通过使用用户的人口统计特征将上述两种模型与模型进行比较，检查用户点击用户点击的歧视以预测购买意图。我们的实验结果表明，根据标准分类评估指标，我们的点击基础模型显着优于人口统计模型，并且基于用户点击的顺序表示的模型比基于点击特征工程的模型产生略大的性能。

监督学习已被广​​泛用于攻击分类，需要高质量的数据和标签。但是，数据通常是不平衡的，很难获得足够的注释。此外，有监督的模型应遵守现实世界的部署问题，例如防御看不见的人造攻击。为了应对挑战，我们提出了一个半监督的细粒攻击分类框架，该框架由编码器和两个分支机构结构组成，并且该框架可以推广到不同的监督模型。具有残留连接的多层感知器用作提取特征并降低复杂性的编码器。提出了复发原型模块（RPM）以半监督的方式有效地训练编码器。为了减轻数据不平衡问题，我们将重量任务一致性（WTC）引入RPM的迭代过程中，通过将较大的权重分配给损失函数中较少样本的类别。此外，为了应对现实世界部署中的新攻击，我们提出了一种主动调整重新采样（AAR）方法，该方法可以更好地发现看不见的样本数据的分布并调整编码器的参数。实验结果表明，我们的模型优于最先进的半监督攻击检测方法，分类精度提高了3％，训练时间降低了90％。

基于历史行为数据的行为预测具有实际的现实意义。它已在推荐，预测学习成绩等中应用。随着用户数据描述的完善，新功能的发展以及多个数据源的融合，包含多种行为的异质行为数据变得越来越普遍。在本文中，我们旨在纳入行为预测的异质用户行为和社会影响。为此，本文提出了一个长期术语内存（LSTM）的变体，该变体可以在对行为序列进行建模时考虑上下文信息，该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外，基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。

非侵入性负载监控（NILM）是将总功率消耗分为单个子组件的任务。多年来，已经合并了信号处理和机器学习算法以实现这一目标。关于最先进的方法，进行了许多出版物和广泛的研究工作，以涉及最先进的方法。科学界最初使用机器学习工具的尼尔姆问题制定和描述的最初兴趣已经转变为更实用的尼尔姆。如今，我们正处于成熟的尼尔姆时期，在现实生活中的应用程序方案中尝试使用尼尔姆。因此，算法的复杂性，可转移性，可靠性，实用性和普遍的信任度是主要的关注问题。这篇评论缩小了早期未成熟的尼尔姆时代与成熟的差距。特别是，本文仅对住宅电器的尼尔姆方法提供了全面的文献综述。本文分析，总结并介绍了大量最近发表的学术文章的结果。此外，本文讨论了这些方法的亮点，并介绍了研究人员应考虑的研究困境，以应用尼尔姆方法。最后，我们表明需要将传统分类模型转移到一个实用且值得信赖的框架中。

事实证明，丰富的用户行为数据对于点击率（CTR）预测应用程序具有很高的价值，尤其是在工业推荐，搜索或广告系统中。但是，由于在线服务时间的严格要求，现实世界系统不仅可以充分利用长期用户行为。大多数以前的作品都采用基于检索的策略，在此策略中，首先检索了少数用户行为以进行后续注意。但是，基于检索的方法是最佳的，会造成或多或少的信息损失，并且很难平衡检索算法的有效性和效率。在本文中，我们提出了SDIM（基于采样的深度兴趣建模），这是一种简单但有效的基于采样的端到端方法，用于建模长期用户行为。我们从多个哈希功能中采样，以生成候选项目和用户行为序列中的每个项目的哈希签名，并通过直接收集与具有相同哈希签名的候选项目相关的行为项来获得用户兴趣。我们在理论上和实验上表明，所提出的方法在基于标准的基于注意力的模型上对长期用户行为进行建模，同时更快。我们还介绍了系统中SDIM的部署。具体而言，我们通过设计一个名为BSE（行为序列编码）的单独模块（行为序列编码），将行为序列哈希（这是最耗时的部分）解脱出最耗时的部分。 BSE对于CTR服务器是无延迟的，使我们能够建模极长的用户行为。进行离线和在线实验，以证明SDIM的有效性。 SDIM现在已在线部署在Meituan应用程序的搜索系统中。

作为在Internet交换路由到达性信息的默认协议，边界网关协议（BGP）的流量异常行为与互联网异常事件密切相关。 BGP异常检测模型通过其实时监控和警报功能确保互联网上的稳定路由服务。以前的研究要么专注于特征选择问题或数据中的内存特征，同时忽略特征之间的关系和特征中的精确时间相关（无论是长期还是短期依赖性）。在本文中，我们提出了一种用于捕获来自BGP更新流量的异常行为的多视图模型，其中使用黄土（STL）方法的季节性和趋势分解来减少原始时间序列数据中的噪声和图表网络中的噪声（GAT）用于分别发现功能中的特征关系和时间相关性。我们的结果优于异常检测任务的最先进的方法，平均F1分别在平衡和不平衡数据集上得分高达96.3％和93.2％。同时，我们的模型可以扩展以对多个异常进行分类并检测未知事件。

The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.

In recent years, semi-supervised graph learning with data augmentation (DA) is currently the most commonly used and best-performing method to enhance model robustness in sparse scenarios with few labeled samples. Differing from homogeneous graph, DA in heterogeneous graph has greater challenges: heterogeneity of information requires DA strategies to effectively handle heterogeneous relations, which considers the information contribution of different types of neighbors and edges to the target nodes. Furthermore, over-squashing of information is caused by the negative curvature that formed by the non-uniformity distribution and strong clustering in complex graph. To address these challenges, this paper presents a novel method named Semi-Supervised Heterogeneous Graph Learning with Multi-level Data Augmentation (HG-MDA). For the problem of heterogeneity of information in DA, node and topology augmentation strategies are proposed for the characteristics of heterogeneous graph. And meta-relation-based attention is applied as one of the indexes for selecting augmented nodes and edges. For the problem of over-squashing of information, triangle based edge adding and removing are designed to alleviate the negative curvature and bring the gain of topology. Finally, the loss function consists of the cross-entropy loss for labeled data and the consistency regularization for unlabeled data. In order to effectively fuse the prediction results of various DA strategies, the sharpening is used. Existing experiments on public datasets, i.e., ACM, DBLP, OGB, and industry dataset MB show that HG-MDA outperforms current SOTA models. Additionly, HG-MDA is applied to user identification in internet finance scenarios, helping the business to add 30% key users, and increase loans and balances by 3.6%, 11.1%, and 9.8%.

Model bias triggered by long-tailed data has been widely studied. However, measure based on the number of samples cannot explicate three phenomena simultaneously: (1) Given enough data, the classification performance gain is marginal with additional samples. (2) Classification performance decays precipitously as the number of training samples decreases when there is insufficient data. (3) Model trained on sample-balanced datasets still has different biases for different classes. In this work, we define and quantify the semantic scale of classes, which is used to measure the feature diversity of classes. It is exciting to find experimentally that there is a marginal effect of semantic scale, which perfectly describes the first two phenomena. Further, the quantitative measurement of semantic scale imbalance is proposed, which can accurately reflect model bias on multiple datasets, even on sample-balanced data, revealing a novel perspective for the study of class imbalance. Due to the prevalence of semantic scale imbalance, we propose semantic-scale-balanced learning, including a general loss improvement scheme and a dynamic re-weighting training framework that overcomes the challenge of calculating semantic scales in real-time during iterations. Comprehensive experiments show that dynamic semantic-scale-balanced learning consistently enables the model to perform superiorly on large-scale long-tailed and non-long-tailed natural and medical datasets, which is a good starting point for mitigating the prevalent but unnoticed model bias.

对人类流动性进行建模有助于了解人们如何访问资源并在城市中彼此进行身体接触，从而有助于各种应用，例如城市规划，流行病控制和基于位置的广告。下一个位置预测是单个人类移动性建模中的一项决定性任务，通常被视为序列建模，用Markov或基于RNN的方法解决。但是，现有模型几乎不关注单个旅行决策的逻辑和人口集体行为的可重复性。为此，我们提出了一个因果关系和空间约束的长期和短期学习者（CSLSL），以进行下一个位置预测。 CSLSL利用基于多任务学习的因果结构来明确对“ $ \ rightarrow $ wher wher wher wher whit $ \ rightarrow $ where where where”，a.k.a.”接下来，我们提出一个空间约束损失函数作为辅助任务，以确保旅行者目的地的预测和实际空间分布之间的一致性。此外，CSLSL采用了名为Long and Short-Charturer（LSC）的模块，以了解不同时间跨度的过渡规律。在三个现实世界数据集上进行的广泛实验表明，CSLSL的性能改善了基准，并确认引入因果关系和一致性约束的有效性。该实现可在https://github.com/urbanmobility/cslsl上获得。

交通速度预测是许多有价值应用程序的关键，由于其各种影响因素，它也是一项具有挑战性的任务。最近的工作试图通过各种混合模型获得更多信息，从而提高了预测准确性。但是，这些方法的空间信息采集方案存在两级分化问题。建模很简单，但包含很少的空间信息，或者建模是完整的，但缺乏灵活性。为了基于确保灵活性引入更多空间信息，本文提出了IRNET（可转让的交叉点重建网络）。首先，本文将相交重建为与相同结构的虚拟交集，从而简化了道路网络的拓扑结构。然后，将空间信息细分为交叉信息和交通流向的序列信息，并通过各种模型获得时空特征。第三，一种自我发项机制用于融合时空特征以进行预测。在与基线的比较实验中，不仅预测效应，而且转移性能具有明显的优势。

操作网络通常依靠机器学习模型来进行许多任务，包括检测异常，推断应用程序性能和预测需求。然而，不幸的是，模型精度会因概念漂移而降低，从而，由于从软件升级到季节性到用户行为的变化，功能和目标预测之间的关系会发生变化。因此，缓解概念漂移是操作机器学习模型的重要组成部分，尽管它很重要，但在网络或一般的回归模型的背景下，概念漂移并未得到广泛的探索。因此，对于当前依赖机器学习模型的许多常见网络管理任务，如何检测或减轻它并不是一件好事。不幸的是，正如我们所展示的那样，通过使用新可用的数据经常重新培训模型可以充分缓解概念漂移，甚至可以进一步降低模型的准确性。在本文中，我们表征了美国主要大都市地区的大型蜂窝网络中的概念漂移。我们发现，概念漂移发生在许多重要的关键性能指标（KPI）上，独立于模型，训练集大小和时间间隔，因此需要采用实用方法来检测，解释和减轻它。为此，我们开发了特征（叶）的局部误差近似。叶检测到漂移；解释最有助于漂移的功能和时间间隔；并使用遗忘和过度采样来减轻漂移。我们使用超过四年的蜂窝KPI数据来评估叶子与行业标准的缓解方法。在美国，我们对主要的细胞提供商进行的初步测试表明，LEAF在各种KPI和模型上都是有效的。叶子始终优于周期性，并触发重新培训，同时还要降低昂贵的重新经营操作。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

良好的研究努力致力于利用股票预测中的深度神经网络。虽然远程依赖性和混沌属性仍然是在预测未来价格趋势之前降低最先进的深度学习模型的表现。在这项研究中，我们提出了一个新的框架来解决这两个问题。具体地，在将时间序列转换为复杂网络方面，我们将市场价格系列转换为图形。然后，从映射的图表中提取参考时间点和节点权重之间的关联的结构信息以解决关于远程依赖性和混沌属性的问题。我们采取图形嵌入式以表示时间点之间的关联作为预测模型输入。节点重量被用作先验知识，以增强时间关注的学习。我们拟议的框架的有效性通过现实世界股票数据验证，我们的方法在几个最先进的基准中获得了最佳性能。此外，在进行的交易模拟中，我们的框架进一步获得了最高的累积利润。我们的结果补充了复杂网络方法在金融领域的现有应用，并为金融市场中决策支持的投资应用提供了富有识别的影响。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。