In cost-per-click (CPC) or cost-per-impression (CPM) advertising campaigns, advertisers always run the risk of spending the budget without getting enough conversions. Moreover, the bidding on advertising inventory has few connections with propensity one that can reach to target cost-per-acquisition (tCPA) goals. To address this problem, this paper presents a bid optimization scenario to achieve the desired tCPA goals for advertisers. In particular, we build the optimization engine to make a decision by solving the rigorously formalized constrained optimization problem, which leverages the bid landscape model learned from rich historical auction data using non-parametric learning. The proposed model can naturally recommend the bid that meets the advertisers' expectations by making inference over advertisers' historical auction behaviors, which essentially deals with the data challenges commonly faced by bid landscape modeling: incomplete logs in auctions, and uncertainty due to the variation and fluctuations in advertising bidding behaviors. The bid optimization model outperforms the baseline methods on real-world campaigns, and has been applied into a wide range of scenarios for performance improvement and revenue liftup.

In computational advertising, a challenging problem is how to recommend the bid for advertisers to achieve the best return on investment (ROI) given budget constraint. This paper presents a bid recommendation scenario that discovers the concavity changes in click prediction curves. The recommended bid is derived based on the turning point from significant increase (i.e. concave downward) to slow increase (convex upward). Parametric learning based method is applied by solving the corresponding constraint optimization problem. Empirical studies on real-world advertising scenarios clearly demonstrate the performance gains for business metrics (including revenue increase, click increase and advertiser ROI increase).

在线实时竞标（RTB）是一款复杂的拍卖游戏，广告商在发生用户请求时很难为广告印象出价。考虑到显示成本，投资回报率（ROI）和其他有影响力的关键绩效指标（KPI），大型广告平台试图平衡动态各个目标之间的权衡。为了应对挑战，我们提出了一种基于强化学习（RL）的多目标参与者侵犯算法，名为Motiac，因为它具有各种目标的优化问题。在MOTIAC中，特定于特定的代理商具有不同的目标和观点的异步更新全球网络，从而实现了强大的招标政策。与以前的RL模型不同，所提出的MOTIAC可以同时完成复杂的招标环境中的多目标任务。此外，我们在数学上证明我们的模型将收敛到帕累托最优性。最后，从腾讯上进行大规模真实世界的商业数据集进行实验，验证了Motiac的有效性与一系列最近的方法

实时竞标是编程广告的新范式。广告商希望做出使用\ textbf {需求端平台}来提高其广告活动的性能的聪明选择。现有的方法正在努力为由于随机招标行为而为优化提供令人满意的解决方案。在本文中，我们提出了具有功能优化的RTB的多代理增强学习体系结构。我们设计了四个代理商竞标环境：基于三个Lagrange-Multiplier的功能优化代理和一个基线代理（没有功能优化的任何属性）首先，已将许多属性分配给每个代理，包括偏见或无偏的胜利概率，Lagrange乘数，然后单击单击 - 通过率。为了评估拟议的RTB策略的性能，我们证明了十个顺序模拟拍卖活动的结果。结果表明，具有功能性动作和奖励的代理商分别具有偏见和公正的获胜信息，具有最重要的平均获胜率和赢得盈余。实验评估表明，我们的方法显着提高了运动的功效和盈利能力。

关于日益增长的直播媒介的一种普遍信念是，其价值在于其“实时”组成部分。我们通过比较实时事件需求的价格弹性如何在直播中和之后的生活中进行了比较，从而研究了这种信念。我们使用来自大型直播平台的独特且丰富的数据来做到这一点，该数据使消费者可以在流中期后购买录制版本的直播版本。在我们背景下的一个挑战是，存在高维混杂因素，其与治疗政策（即价格）和兴趣结果（即需求）的关系是复杂的，并且仅部分知道。我们通过使用广义正交随机森林框架来解决这一挑战，以进行异质治疗效果估计。我们发现在整个事件生命周期中，需求价格弹性的时间弹性都显着。具体而言，随着时间的流逝，需求变得越来越敏感，直到直播一天，那天就变成了无弹性。在生活后的时期，对录制版本的需求仍然对价格敏感，但远低于在播放前的时期。我们进一步表明，价格弹性的这种时间变化是由此类事件固有的质量不确定性以及在直播过程中与内容创建者进行实时互动的机会所驱动的。

This work shows how to leverage causal inference to understand the behavior of complex learning systems interacting with their environment and predict the consequences of changes to the system. Such predictions allow both humans and algorithms to select the changes that would have improved the system performance. This work is illustrated by experiments on the ad placement system associated with the Bing search engine.

本文介绍了寻求信息（是）任务，概念和算法的信息重新分类。拟议的分类系统提供了新的维度，以研究寻求任务和方法的信息。新尺寸包括搜索迭代，搜索目标类型和程序的数量，以实现这些目标。寻求任务的信息沿着这些尺寸呼叫合适的计算解决方案的差异。然后，该文章评论了符合每个新类别的机器学习解决方案。该论文结束了对系统的评估活动进行了审查。

我们利用离线增强学习（RL）模型在现实世界中有预算限制的情况下进行连续的目标促销。在我们的应用程序中，移动应用程序旨在通过向客户发送现金奖金并在每个时间段内控制此类现金奖金的成本来促进客户保留。为了实现多任务目标，我们提出了预算限制的加强学习，以进行顺序促销（BCRLSP）框架，以确定要发送给用户的现金奖金的价值。我们首先找出目标策略和相关的Q值，这些Q值是使用RL模型最大化用户保留率的。然后添加线性编程（LP）模型以满足促销成本的限制。我们通过最大化从RL模型中汲取的动作的Q值来解决LP问题。在部署期间，我们将离线RL模型与LP模型相结合，以在预算约束下生成强大的策略。使用在线和离线实验，我们通过证明BCRLSP达到的长期客户保留率和比各种基线更低的成本来证明我们方法的功效。利用近乎实时的成本控制方法，提出的框架可以轻松地使用嘈杂的行为政策和/或满足灵活的预算约束。

移动通知已成为社交网络服务的主要通信渠道，以使用户了解和参与。随着越来越多的移动应用程序向用户推出通知，他们不断面临关于发送什么，何时以及如何发送的决定。缺乏研究和方法论通常会导致启发式决策。许多通知到达不适当的时刻或引入太多中断，未能为用户提供价值并激发用户的投诉。在本文中，我们探讨了移动通知和用户参与度之间交互的独特功能。我们提出了一个国家过渡框架，以定量评估通知的有效性。在此框架内，我们开发了一个假设对数线性结构和Weibull分布的徽章通知的生存模型。我们的结果表明，与逻辑回归模型相比，该模型对应用程序的灵活性和卓越的预测准确性具有更大的灵活性。特别是，我们提供了一个在线用例，以进行通知交付时间优化，以显示我们如何做出更好的决策，推动更多用户参与度并为用户提供更多价值。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

发现新的超链接使Web爬网程序能够找到尚未索引的新页面。这对于集中的爬行者来说尤为重要，因为他们努力提供对网络的特定部分的全面分析，从而优先考虑发现内容的变化的新页面。在文献中，通常同​​时考虑超链接和内容的变化。但是，还有证据表明这两种改变不一定是相关的。此外，关于预测变化的许多研究假设页面的长期可用，这在实践中是无法实现的。这项工作的目的是提供一种方法来使用短历史有效地检测新的链接。为此，我们使用一周的间隔使用十个爬网的数据集。我们的研究包括三个部分。首先，我们通过分析新的倒出数量的经验属性来获得数据的洞察力。我们观察到这些属性平均随着时间的推移稳定，但在目标页面内外页面的超链接出现的超链接之间存在很大的差异（分别分别是内部和外部倒降）。接下来，我们为三个目标提供统计模型：链路变化率，新链接的存在以及新链接的数量。这些模型包括文献中早些时候使用的功能，以及在这项工作中引入的新功能。我们分析了特征之间的相关性，并调查了他们的信息。一个值得注意的发现是，如果目标页面的历史不可用，那么我们的新功能，代表相关页面的历史，对于目标页面中的新链接最预测。最后，我们将排名方法作为聚焦爬虫的准则，以有效地发现新页面，这对相应的目标实现了出色的性能。

管理折扣促销活动（“ Markdown”）是经营电子商务业务的重要组成部分，这里的效率低下可能会严重阻碍零售商的盈利能力。解决此问题的传统方法在很大程度上取决于价格弹性建模。但是，价格弹性建模的部分信息性质，以及保护盈利能力的不可谈判的责任，意味着机器学习从业人员经常必须经过巨大的时间来定义衡量离线模型质量的策略。面对这一点，许多零售商依靠基于规则的方法，因此可以通过机器学习来捕获的盈利能力获得可观的收益。在本文中，我们介绍了两个新颖的端到端降价管理系统，以优化零售商旅程的不同阶段的赌注。第一个系统“ ITHAX”制定了无需估算的理性供应方定价策略，并且可以用作“冷启动”解决方案，以收集降价数据，同时保持收入控制。第二个系统“ Prosotheus”为价格弹性提供了一个完整的降价优化的框架。我们详细描述了特定的建模和验证程序，在我们的经验中，这对于建立在现实世界中稳健性能的系统至关重要。与我们经验丰富的运营团队在受控的在线测试中做出的决策相比，这两种降级系统都具有卓越的盈利能力，相对于手动策略，改善了86％（Promotheus）和79％（ITHAX）。这些系统已被部署以在ASOS.com上管理Markdown，并且可以在各种零售电子商务环境中进行价格优化的价格优化。

在电子商务平台中，如果赞助搜索显示出意外的广告项目，则用户不太可能使用有机搜索，这将是该平台的隐藏成本。为了将隐藏成本纳入拍卖机制，这有助于为该平台创造积极的增长，我们转向储备价设计，以决定我们是否出售流量，并在收入和用户体验之间建立健康的关系。我们提出了一个动态的储备价格设计框架，以更有效地销售流量，并以最低的用户体验成本销售流量，同时向广告商保留长期激励措施，以真实地揭示其估值。还提出了分布式算法在生产环境中使用十亿个比例数据计算储备价。离线评估和在线AB测试的实验表明，这是一种简单有效的方法，可适当地用于工业生产中。它已经完全部署在Lazada赞助的搜索的生产中。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

本文在动态定价的背景下调查预先存在的离线数据对在线学习的影响。我们在$ t $期间的销售地平线上研究单一产品动态定价问题。每个时段的需求由产品价格根据具有未知参数的线性需求模型确定。我们假设在销售地平线开始之前，卖方已经有一些预先存在的离线数据。离线数据集包含$ N $示例，其中每个标准是由历史价格和相关的需求观察组成的输入输出对。卖方希望利用预先存在的离线数据和顺序在线数据来最大限度地减少在线学习过程的遗憾。我们的特征在于在线学习过程的最佳遗憾的脱机数据的大小，位置和分散的联合效果。具体而言，离线数据的大小，位置和色散由历史样本数量为$ n $，平均历史价格与最佳价格$ \ delta $之间的距离以及历史价格的标准差价Sigma $分别。我们表明最佳遗憾是$ \ widetilde \ theta \ left（\ sqrt {t} \ wedge \ frac {t} {（n \ wedge t）\ delta ^ 2 + n \ sigma ^ 2} \右）$，基于“面对不确定性”原则的“乐观主义”的学习算法，其遗憾是最佳的对数因子。我们的结果揭示了对脱机数据的大小的最佳遗憾率的惊人变换，我们称之为阶段转型。此外，我们的结果表明，离线数据的位置和分散也对最佳遗憾具有内在效果，我们通过逆平面法量化了这种效果。

在线广告收入占发布者的收入流越来越多的份额，特别是对于依赖谷歌和Facebook等技术公司广告网络的中小型出版商而言。因此，出版商可能会从准确的在线广告收入预测中获益，以更好地管理其网站货币化战略。但是，只能获得自己的收入数据的出版商缺乏出版商广告总市场的整体视图，这反过来限制了他们在他们未来的在线广告收入中产生见解的能力。为了解决这一业务问题，我们利用了一个专有的数据库，包括来自各种各样的地区的大量出版商的Google Adsense收入。我们采用时间融合变压器（TFT）模型，这是一种新的基于关注的架构，以预测出版商的广告收入。我们利用多个协变量，不仅包括出版商自己的特征，还包括其他出版商的广告收入。我们的预测结果优于多个时间范围的几个基准深度学习时间系列预测模型。此外，我们通过分析可变重要性重量来识别显着的特征和自我注意重量来解释结果，以揭示持久的时间模式。

Crowdsourcing, in which human intelligence and productivity is dynamically mobilized to tackle tasks too complex for automation alone to handle, has grown to be an important research topic and inspired new businesses (e.g., Uber, Airbnb). Over the years, crowdsourcing has morphed from providing a platform where workers and tasks can be matched up manually into one which leverages data-driven algorithmic management approaches powered by artificial intelligence (AI) to achieve increasingly sophisticated optimization objectives. In this paper, we provide a survey presenting a unique systematic overview on how AI can empower crowdsourcing - which we refer to as AI-Empowered Crowdsourcing(AIEC). We propose a taxonomy which divides algorithmic crowdsourcing into three major areas: 1) task delegation, 2) motivating workers, and 3) quality control, focusing on the major objectives which need to be accomplished. We discuss the limitations and insights, and curate the challenges of doing research in each of these areas to highlight promising future research directions.

在线算法是算法设计中的重要分支。设计具有有界竞争比率的在线算法（在最坏情况性能方面）可能是艰难的并且通常依赖于特定于问题的假设。由生成对抗净净净（GAN）的对抗训练的启发和在线算法的竞争比率基于最坏情况的输入，我们采用深度神经网络来学习从头开始进行资源分配和定价问题的在线算法对于最坏情况的输入，可以最小化离线最佳和学习的在线算法之间的性能差距的目标。具体而言，我们分别利用两个神经网络作为算法和对手，让他们播放零和游戏，而对验证负责产生最坏情况的输入，而算法基于对手提供的输入学习最佳策略。为了确保算法网络的更好收敛（到所需的在线算法），我们提出了一种新颖的每轮更新方法来处理顺序决策，以便在不同的回合中断复杂依赖性，以便可以为每种可能的动作完成更新，而不是只有采样的行动。据我们所知，我们的作品是首次使用深度神经网络来设计一个在最坏情况性能保证的角度的在线算法。实证研究表明，我们的更新方法确保了纳什均衡的融合，并且学习算法在各种设置下优于最先进的在线算法。

瀑布推荐系统（RS）是移动应用程序中RS的流行形式，是推荐的项目流，这些项目由连续页面组成，可以通过滚动浏览。在Waterfall RS中，当用户完成浏览页面时，Edge（例如，手机）将向Cloud Server发送请求，以获取新的建议页面，称为分页请求机制。 RSS通常将大量项目放入一页中，以减少众多分页请求中的过度资源消耗，但是，这将降低RSS根据用户的实时兴趣及时续订建议的能力，并导致贫穷的用户。经验。直观地，在页面内插入其他请求以更新频率的建议可以减轻问题。但是，以前的尝试，包括非自适应策略（例如，统一插入请求）最终会导致资源过度消费。为此，我们设想了一项名为智能请求策略设计（IRSD）的Edge Intelligence的新学习任务。它旨在通过根据用户的实时意图确定请求插入的适当情况来提高瀑布RSS的有效性。此外，我们提出了一种新的自适应请求插入策略的范式，名为基于Uplift的On-Ending Smart请求框架（AdareQuest）。 AdareQuest 1）通过将实时行为与基于基于注意力的神经网络相匹配的历史兴趣来捕获用户意图的动态变化。 2）估计根据因果推理插入的请求带来的用户购买的反事实提升。 3）通过在在线资源约束下最大化效用功能来确定最终请求插入策略。我们在离线数据集和在线A/B测试上进行了广泛的实验，以验证AdareQuest的有效性。

机器学习渗透到许多行业，这为公司带来了新的利益来源。然而，在人寿保险行业中，机器学习在实践中并未被广泛使用，因为在过去几年中，统计模型表明了它们的风险评估效率。因此，保险公司可能面临评估人工智能价值的困难。随着时间的流逝，专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论，并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异，并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中，已经开发了Python库。已经调整了不同的开源机器学习算法，以适应人寿保险数据的特殊性，即检查和截断。此类模型可以轻松地从该SCOR库中应用，以准确地模拟人寿保险风险。