Classifying forecasting methods as being either of a "machine learning" or "statistical" nature has become commonplace in parts of the forecasting literature and community, as exemplified by the M4 competition and the conclusion drawn by the organizers. We argue that this distinction does not stem from fundamental differences in the methods assigned to either class. Instead, this distinction is probably of a tribal nature, which limits the insights into the appropriateness and effectiveness of different forecasting methods. We provide alternative characteristics of forecasting methods which, in our view, allow to draw meaningful conclusions. Further, we discuss areas of forecasting which could benefit most from cross-pollination between the ML and the statistics communities.

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

本文介绍了一个集成预测方法，通过减少特征和模型选择假设来显示M4Competitiation数据集的强劲结果，称为甜甜圈（不利用人为假设）。我们的假设减少，主要由自动生成的功能和更多样化的集合模型组成，显着优于Montero-Manso等人的统计特征的集合方法FForma。 （2020）。此外，我们用长短期内存网络（LSTM）AutoEncoder调查特征提取，并发现此类特征包含传统统计特征方法未捕获的重要信息。合奏加权模型使用LSTM功能和统计功能准确地结合模型。特征重要性和交互的分析表明，单独的统计数据的LSTM特征略有优势。聚类分析表明，不同的基本LSTM功能与大多数统计特征不同。我们还发现，通过使用新模型增强合奏来增加加权模型的解决方案空间是加权模型学习使用的东西，解释了准确性的一部分。最后，我们为集合的最佳组合和选择提供了正式的前后事实分析，通过M4数据集的线性优化量化差异。我们还包括一个简短的证据，模型组合优于模型选择，后者。

自成立以来，选择建模领域一直由理论驱动的建模方法主导。机器学习提供了一种用于建模行为的替代数据驱动方法，越来越越来越欣赏我们的领域。机器学习模型的交叉授粉，技术和实践有助于克服当前理论驱动的建模范式中遇到的问题和限制，例如模型选择的主观劳动密集型搜索过程，无法使用文本和图像数据。然而，尽管使用机器学习的进步来改善选择建模实践的潜在好处，但选择建模领域已经犹豫了拥抱机器学习。本讨论文件旨在巩固用于使用机器学习模型，技术和实践的知识，以获得选择建模，并讨论其潜力。因此，我们希望不仅希望在选择建模中进一步集成机器学习的情况是有益的，而且还可以进一步方便。为此，我们澄清了两个建模范式之间的相似性和差异;我们审查了机器学习选择建模;我们探讨了拥抱机器学习模式和技术的机会领域，以改善我们的实践。要结束本讨论文件，我们提出了一系列的研究问题，必须解决，以更好地了解机器学习如何受益选择建模。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

概率机器学习越来越越来越多地向医学，经济，政治和超越的关键决策促进。我们需要证据支持所产生的决定是充分创建的。为了帮助发展对这些决定的信任，我们开发了一个分类划分的分类划分，在分析中的信任可以分解：（1）在现实世界目标的翻译中对特定培训数据的目标，（2）在训练数据上翻译培训数据到一个具体的数学问题，（3）在使用算法来解决所述的数学问题，（4）在使用特定代码实现的选择算法。我们详细介绍了每一步的信任如何失败，并用两种案例研究说明我们的分类法：分析小额信贷和经济学家预测2020年2020年总统选举的疗效分析。最后，我们描述了各种各样的方法，可用于增加我们分类的每一步的信任。我们的分类学突出了关于信任的现有研究工作倾向于集中注意力的步骤，以及建立信任的步骤尤其具有挑战性。

如今，包括水文学在内的各种应用领域，概率的预测正在受到越来越多的关注。几种机器学习概念和方法与通过应对相关挑战的形式化和优化概率预测实现相关。尽管如此，目前，概率的水文预测文献中缺少着重于此类概念和方法的实际意义评论。尽管在同一文献中从机器学习中受益的研究工作中有明显的加剧，但这种缺席仍然存在，尽管最近出现了实质性的相关进展，尤其是在概率水文后处理领域，传统上为水文学家提供了概率学家的概率学家。水文预测实施。在此，我们旨在填补这一特定空白。在我们的综述中，我们强调了可以导致研究概念和方法有效普及的关键思想和信息，因为这种强调可以支持该领域的成功实施和进一步的科学发展。在相同的前瞻性方向上，我们确定了开放的研究问题，并提出了将来要探索的想法。

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

近年来，机器学习（ML），深度学习（DL）和人工智能（AI）的普及已急剧上升。尽管受欢迎程度激增，但ML和DL算法的内部运作被认为是不透明的，并且它们与经典数据分析工具的关系仍然存在争议。通常认为ML和DL主要在做出预测方面出色。但是，最近，它们越来越多地用于传统上统计模型涵盖的经典分析任务。此外，最近对ML的评论专门针对DL，缺少综合具有不同优势和一般原则的ML算法财富。在这里，我们提供了ML和DL领域的全面概述，从其历史发展，现有算法家庭，与传统统计工具的差异以及通用ML原则的差异。然后，我们讨论为什么以及何时ML和DL模型在预测任务上表现出色，以及它们可以为推理提供传统统计方法的替代方法，从而突出了当前和新兴的生态问题应用程序。最后，我们总结了新兴趋势，例如科学和因果ML，可解释的AI以及负责的AI，这些AI可能会在未来显着影响生态数据分析。

The literature on machine learning in the context of data streams is vast and growing. However, many of the defining assumptions regarding data-stream learning tasks are too strong to hold in practice, or are even contradictory such that they cannot be met in the contexts of supervised learning. Algorithms are chosen and designed based on criteria which are often not clearly stated, for problem settings not clearly defined, tested in unrealistic settings, and/or in isolation from related approaches in the wider literature. This puts into question the potential for real-world impact of many approaches conceived in such contexts, and risks propagating a misguided research focus. We propose to tackle these issues by reformulating the fundamental definitions and settings of supervised data-stream learning with regard to contemporary considerations of concept drift and temporal dependence; and we take a fresh look at what constitutes a supervised data-stream learning task, and a reconsideration of algorithms that may be applied to tackle such tasks. Through and in reflection of this formulation and overview, helped by an informal survey of industrial players dealing with real-world data streams, we provide recommendations. Our main emphasis is that learning from data streams does not impose a single-pass or online-learning approach, or any particular learning regime; and any constraints on memory and time are not specific to streaming. Meanwhile, there exist established techniques for dealing with temporal dependence and concept drift, in other areas of the literature. For the data streams community, we thus encourage a shift in research focus, from dealing with often-artificial constraints and assumptions on the learning mode, to issues such as robustness, privacy, and interpretability which are increasingly relevant to learning in data streams in academic and industrial settings.

COVID-19的大流行提出了对多个领域决策者的流行预测的重要性，从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测，但是它具有一些关键的差异，并且仍然是一项非平凡的任务。疾病的传播受到人类行为，病原体动态，天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议，捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作，这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步，并介绍了一个概念框架来导航它们。首先，我们列举了与流行病预测相关的大量流行病学数据集和新的数据流，捕获了各种因素，例如有症状的在线调查，零售和商业，流动性，基因组学数据等。接下来，我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式，以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战，包括预测信息。最后，我们重点介绍了整个预测管道中发现的一些挑战和开放问题。

Probabilistic forecasting, i.e. estimating the probability distribution of a time series' future given its past, is a key enabler for optimizing business processes. In retail businesses, for example, forecasting demand is crucial for having the right inventory available at the right time at the right place. In this paper we propose DeepAR, a methodology for producing accurate probabilistic forecasts, based on training an auto-regressive recurrent network model on a large number of related time series. We demonstrate how by applying deep learning techniques to forecasting, one can overcome many of the challenges faced by widely-used classical approaches to the problem. We show through extensive empirical evaluation on several real-world forecasting data sets accuracy improvements of around 15% compared to state-of-the-art methods.

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

电力行业正在大力实施智能网格技术，以提高可靠性，可用性，安全性和效率。该实施需要技术进步，标准和法规的发展以及测试和计划。智能电网载荷预测和管理对于降低需求波动和改善连接发电机，分销商和零售商的市场机制至关重要。在政策实施或外部干预措施中，有必要分析其对电力需求的影响的不确定性，以使系统对需求的波动更加准确。本文分析了外部干预的不确定性对电力需求的影响。它实现了一种结合概率和全局预测模型的框架，使用深度学习方法来估计干预措施的因果影响分布。通过预测受影响实例的反事实分布结果，然后将其与实际结果进行对比来评估因果效应。我们将COVID-19锁定对能源使用的影响视为评估这种干预对电力需求分布的不均匀影响的案例研究。我们可以证明，在澳大利亚和某些欧洲国家的最初封锁期间，槽通常比峰值更大的下降，而平均值几乎不受影响。

在多标签学习中，单个数据点与多个目标标签相关联的多任务学习的特定情况，在文献中广泛假定，为了获得最佳准确性，应明确建模标签之间的依赖性。这个前提导致提供的方法的扩散，以学习和预测标签，例如，一个标签的预测会影响对其他标签的预测。即使现在人们承认，在许多情况下，最佳性能并不需要一种依赖模型，但此类模型在某些情况下继续超越独立模型，这暗示了其对其性能的替代解释以外的标签依赖性，而文献仅是文献才是最近开始解开。利用并扩展了最近的发现，我们将多标签学习的原始前提转移到其头上，并在任务标签之间没有任何可衡量的依赖性的情况下特别处理联合模型的问题；例如，当任务标签来自单独的问题域时。我们将洞察力从这项研究转移到建立转移学习方法，该方法挑战了长期以来的假设，即任务的可转移性来自源和目标域或模型之间相似性的测量。这使我们能够设计和测试一种传输学习方法，该方法是模型驱动的，而不是纯粹的数据驱动，并且它是黑匣子和模型不合时式（可以考虑任何基本模型类）。我们表明，从本质上讲，我们可以根据源模型容量创建任务依赖性。我们获得的结果具有重要的含义，并在多标签和转移学习领域为将来的工作提供了明确的方向。

机器学习（ML）为生物处理工程的发展做出了重大贡献，但其应用仍然有限，阻碍了生物过程自动化的巨大潜力。用于模型构建自动化的ML可以看作是引入另一种抽象水平的一种方式，将专家的人类集中在生物过程开发的最认知任务中。首先，概率编程用于预测模型的自动构建。其次，机器学习会通过计划实验来测试假设并进行调查以收集信息性数据来自动评估替代决策，以收集基于模型预测不确定性的模型选择的信息数据。这篇评论提供了有关生物处理开发中基于ML的自动化的全面概述。一方面，生物技术和生物工程社区应意识到现有ML解决方案在生物技术和生物制药中的应用的限制。另一方面，必须确定缺失的链接，以使ML和人工智能（AI）解决方案轻松实施在有价值的生物社区解决方案中。我们总结了几个重要的生物处理系统的ML实施，并提出了两个至关重要的挑战，这些挑战仍然是生物技术自动化的瓶颈，并减少了生物技术开发的不确定性。没有一个合适的程序；但是，这项综述应有助于确定结合生物技术和ML领域的潜在自动化。

我们概述了新兴机会和挑战，以提高AI对科学发现的效用。AI为行业的独特目标与AI科学的目标创造了识别模式中的识别模式与来自数据的发现模式之间的紧张。如果我们解决了与域驱动的科学模型和数据驱动的AI学习机之间的“弥补差距”相关的根本挑战，那么我们预计这些AI模型可以改变假说发电，科学发现和科学过程本身。