This paper reviews existing work in software engineering that applies statistical causal inference methods. These methods aim at estimating causal effects from observational data. The review covers 32 papers published between 2010 and 2022. Our results show that the application of statistical causal inference methods is relatively recent and that the corresponding research community remains relatively fragmented.

发现新药是寻求并证明因果关系。作为一种新兴方法利用人类的知识和创造力，数据和机器智能，因果推论具有减少认知偏见并改善药物发现决策的希望。尽管它已经在整个价值链中应用了，但因子推理的概念和实践对许多从业者来说仍然晦涩难懂。本文提供了有关因果推理的非技术介绍，审查了其最新应用，并讨论了在药物发现和开发中采用因果语言的机会和挑战。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

通过分析大量数据来提供决策支持，大数据正在改革许多工业域。大数据测试旨在确保大数据系统在维护数据的性能和质量时运行平稳且无错误。但是，由于数据的多样性和复杂性，测试大数据具有挑战性。虽然众多研究对大数据测试进行了综合审查，但解决了测试技术和挑战的综合性尚未混淆。因此，我们对大数据测试技术（2010年 - 2021年）进行了系统审查。本文通过突出显示每个处理阶段的技术来讨论测试数据的处理。此外，我们讨论了挑战和未来的方向。我们的发现表明，已经使用不同的功能，非功能性和组合（功能和非功能性）测试技术来解决与大数据相关的特定问题。同时，在MapReduce验证阶段，大多数测试挑战都面临。此外，组合测试技术是与其他技术相结合的应用技术之一（即随机测试，突变测试，输入空间分区和等价测试），以解决在大数据测试期间面临的各种功能故障挑战。

背景：软件测试领域正在增长和迅速发展。目的：基于分配给出版物的关键字，我们试图确定主要的研究主题，并了解它们的联系和发展方式。方法：我们应用共同字分析将测试研究的拓扑结构映射为一个网络，在该网络中，由作者分配的关键字通过表明出版物中共发生的边缘连接。关键字是根据边缘密度和连接频率聚类的。我们检查了最受欢迎的关键字，将集群汇总到高级研究主题中，检查主题如何连接并检查该领域的变化。结果：测试研究可以分为16个高级主题和18个子主题。创建指导，自动化测试生成，进化和维护以及测试魔术与其他主题具有特别牢固的联系，突出了其多学科性质。新兴关键字与Web和移动应用程序，机器学习，能源消耗，自动化程序修复和测试生成有关，而在Web应用程序，测试隔壁和机器学习之间形成了许多主题之间的新兴联系。随机和基于需求的测试显示潜在下降。结论：我们的观察，建议和地图数据为探索挑战和联系的领域和灵感提供了更深入的了解。

背景：机器学习（ML）可以实现有效的自动测试生成。目的：我们表征了新兴研究，检查测试实践，研究人员目标，应用的ML技术，评估和挑战。方法：我们对97个出版物的样本进行系统文献综述。结果：ML生成系统，GUI，单位，性能和组合测试的输入或改善现有生成方法的性能。 ML还用于生成测试判决，基于属性的和预期的输出序列。经常基于神经网络和强化学习的监督学习通常是基于Q学习的 - 很普遍，并且某些出版物还采用了无监督或半监督的学习。使用传统的测试指标和与ML相关的指标（例如准确性）评估（半/非 - ）监督方法，而经常使用与奖励功能相关的测试指标来评估强化学习。结论：工作到尽头表现出巨大的希望，但是在培训数据，再探术，可伸缩性，评估复杂性，所采用的ML算法以及如何应用 - 基准和可复制性方面存在公开挑战。我们的发现可以作为该领域研究人员的路线图和灵感。

This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.

在各个域中应用机器学习（ML）的快速升级导致更多关注ML组件的质量。然后，旨在提高ML组件质量并安全地将其集成到基于ML的系统中的技术和工具的增长。尽管这些工具中的大多数都使用Bugs的生命周期，但没有标准的错误来评估其性能，比较它们并讨论其优势和弱点。在这项研究中，我们首先研究了基于ML的系统中错误的可重复性和可验证性，并显示了每个错误的最重要因素。然后，我们探索在基于ML的软件系统中生成错误基准的挑战，并提供一个错误基准缺陷4ML，该缺陷4ML满足标准基准的所有标准，即相关性，可重复性，公平性，可验证性和可用性。该故障负载基准测试包含ML开发人员在GitHub和堆栈溢出上报告的113个错误，使用两个最受欢迎的ML框架：TensorFlow和Keras。缺陷4ML还解决了基于ML的软件系统软件可靠性工程的重要挑战，例如：1）框架的快速变化，通过为不同版本的框架提供各种错误，2）代码便携性，通过在不同的ML框架中提供相似的错误，3 ）错误可重复性，通过提供有关所需依赖关系和数据的完整信息，以及4）通过介绍指向错误的起源的链接来提供有关所需依赖性和数据的完整信息。基于ML的系统从业人员和研究人员可以评估其测试工具和技术的缺陷4ML。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

数据科学任务可以被视为了解数据的感觉或测试关于它的假设。从数据推断的结论可以极大地指导我们做出信息做出决定。大数据使我们能够与机器学习结合执行无数的预测任务，例如鉴定患有某种疾病的高风险患者并采取可预防措施。然而，医疗保健从业者不仅仅是仅仅预测的内容 - 它们也对输入特征和临床结果之间的原因关系感兴趣。了解这些关系将有助于医生治疗患者并有效降低风险。通常通过随机对照试验鉴定因果关系。当科学家和研究人员转向观察研究并试图吸引推论时，这种试验通常是不可行的。然而，观察性研究也可能受到选择和/或混淆偏差的影响，这可能导致错误的因果结论。在本章中，我们将尝试突出传统机器学习和统计方法中可能出现的一些缺点，以分析观察数据，特别是在医疗保健数据分析域中。我们将讨论因果化推理和方法，以发现医疗领域的观测研究原因。此外，我们将展示因果推断在解决某些普通机器学习问题等中的应用，例如缺少数据和模型可运输性。最后，我们将讨论将加强学习与因果关系相结合的可能性，作为反击偏见的一种方式。

机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。

方法比较对于为应用研究人员提供建议和指导至关重要，这些研究人员通常必须从多种可用的方法中进行选择。尽管文献中存在许多比较，但这些比较通常不是中立的，而是一种新颖的方法。除了选择设计和对研究结果的正确报告外，有关这种方法比较研究的基础数据还有不同的方法。大多数关于统计方法的手稿都依赖于仿真研究，并提供单个现实世界数据集作为激励和说明所研究方法的示例。相反，在监督学习的背景下，通常使用所谓的基准测试数据集评估方法，即作为社区中黄金标准的现实世界数据。另一方面，在这种情况下，仿真研究不那么普遍。本文的目的是调查这些方法之间的差异和相似性，讨论它们的优势和缺点，并最终开发新的方法来评估挑选两全其​​美的方法。为此，我们借用不同背景的想法，例如混合方法研究和临床方案评估。

负责任的AI被广泛认为是我们时代最大的科学挑战之一，也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战，最近已经发布了许多AI伦理原则框架，AI系统应该符合这些框架。但是，没有进一步的最佳实践指导，从业者除了真实性之外没有什么。同样，在算法级别而不是系统级的算法上进行了重大努力，主要集中于数学无关的道德原则（例如隐私和公平）的一部分。然而，道德问题在开发生命周期的任何步骤中都可能发生，从而超过AI算法和模型以外的系统的许多AI，非AI和数据组件。为了从系统的角度操作负责任的AI，在本文中，我们采用了一种面向模式的方法，并根据系统的多媒体文献综述（MLR）的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上，我们专注于AI系统利益相关者可以在实践中采取的模式，以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组：多层次治理模式，可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。

主张神经符号人工智能（NESY）断言，将深度学习与象征性推理相结合将导致AI更强大，而不是本身。像深度学习一样成功，人们普遍认为，即使我们最好的深度学习系统也不是很擅长抽象推理。而且，由于推理与语言密不可分，因此具有直觉的意义，即自然语言处理（NLP）将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查，目的是回答Nesy是否确实符合其承诺的问题：推理，分布概括，解释性，学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响，例如规则和语义网络，语言结构和关系结构，以及隐式或明确的推理是否有助于更高的承诺分数。我们发现，将逻辑编译到神经网络中的系统会导致满足最NESY的目标，而其他因素（例如知识表示或神经体系结构的类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上，特别是与人类级别的推理有关的许多差异，这会影响有关模型架构的决策并推动结论，这些结论在整个研究中并不总是一致的。因此，我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展，我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。

因果关系的概念在人类认知中起着重要作用。在过去的几十年中，在许多领域（例如计算机科学，医学，经济学和教育）中，因果推论已经得到很好的发展。随着深度学习技术的发展，它越来越多地用于针对反事实数据的因果推断。通常，深层因果模型将协变量的特征映射到表示空间，然后设计各种客观优化函数，以根据不同的优化方法公正地估算反事实数据。本文重点介绍了深层因果模型的调查，其核心贡献如下：1）我们在多种疗法和连续剂量治疗下提供相关指标； 2）我们从时间开发和方法分类的角度综合了深层因果模型的全面概述； 3）我们协助有关相关数据集和源代码的详细且全面的分类和分析。

The number of scientific publications continues to rise exponentially, especially in Computer Science (CS). However, current solutions to analyze those publications restrict access behind a paywall, offer no features for visual analysis, limit access to their data, only focus on niches or sub-fields, and/or are not flexible and modular enough to be transferred to other datasets. In this thesis, we conduct a scientometric analysis to uncover the implicit patterns hidden in CS metadata and to determine the state of CS research. Specifically, we investigate trends of the quantity, impact, and topics for authors, venues, document types (conferences vs. journals), and fields of study (compared to, e.g., medicine). To achieve this we introduce the CS-Insights system, an interactive web application to analyze CS publications with various dashboards, filters, and visualizations. The data underlying this system is the DBLP Discovery Dataset (D3), which contains metadata from 5 million CS publications. Both D3 and CS-Insights are open-access, and CS-Insights can be easily adapted to other datasets in the future. The most interesting findings of our scientometric analysis include that i) there has been a stark increase in publications, authors, and venues in the last two decades, ii) many authors only recently joined the field, iii) the most cited authors and venues focus on computer vision and pattern recognition, while the most productive prefer engineering-related topics, iv) the preference of researchers to publish in conferences over journals dwindles, v) on average, journal articles receive twice as many citations compared to conference papers, but the contrast is much smaller for the most cited conferences and journals, and vi) journals also get more citations in all other investigated fields of study, while only CS and engineering publish more in conferences than journals.

结构性因果模型（SCM）提供了一种原则方法，可以从经济学到医学的学科中的观察和实验数据中识别因果关系。但是，通常以图形模型表示的SCM不仅可以依靠数据，而要支持域知识的支持。在这种情况下，一个关键的挑战是缺乏以系统的方式将先验（背景知识）编码为因果模型的方法学框架。我们提出了一个称为因果知识层次结构（CKH）的抽象，用于将先验编码为因果模型。我们的方法基于医学中“证据水平”的基础，重点是对因果信息的信心。使用CKH，我们提出了一个方法学框架，用于编码来自各种信息源的因果研究，并将它们组合起来以得出SCM。我们在模拟数据集上评估了我们的方法，并与敏感性分析的地面真实因果模型相比，证明了整体性能。

The optimal liability framework for AI systems remains an unsolved problem across the globe. In a much-anticipated move, the European Commission advanced two proposals outlining the European approach to AI liability in September 2022: a novel AI Liability Directive and a revision of the Product Liability Directive. They constitute the final, and much-anticipated, cornerstone of AI regulation in the EU. Crucially, the liability proposals and the EU AI Act are inherently intertwined: the latter does not contain any individual rights of affected persons, and the former lack specific, substantive rules on AI development and deployment. Taken together, these acts may well trigger a Brussels effect in AI regulation, with significant consequences for the US and other countries. This paper makes three novel contributions. First, it examines in detail the Commission proposals and shows that, while making steps in the right direction, they ultimately represent a half-hearted approach: if enacted as foreseen, AI liability in the EU will primarily rest on disclosure of evidence mechanisms and a set of narrowly defined presumptions concerning fault, defectiveness and causality. Hence, second, the article suggests amendments, which are collected in an Annex at the end of the paper. Third, based on an analysis of the key risks AI poses, the final part of the paper maps out a road for the future of AI liability and regulation, in the EU and beyond. This includes: a comprehensive framework for AI liability; provisions to support innovation; an extension to non-discrimination/algorithmic fairness, as well as explainable AI; and sustainability. I propose to jump-start sustainable AI regulation via sustainability impact assessments in the AI Act and sustainable design defects in the liability regime. In this way, the law may help spur not only fair AI and XAI, but potentially also sustainable AI (SAI).

我们的许多实验旨在发现数据生成机制（即现象）背后的原因和效果。最重要的是，阐明一个模型，该模型可以使我们能够进一步探索手头上的现象和/或允许我们准确预测它。从根本上讲，这种模型可能是通过因果方法来得出的（与观察或经验平均值相反）。在这种方法中，需要因果发现来创建因果模型，然后可以应用该因果模型来推断干预措施的影响，并回答我们可能拥有的任何假设问题（即以什么IFS的形式）。本文为因果发现和因果推断提供了一个案例，并与传统的机器学习方法进行了对比。都是从公民和结构工程的角度来看。更具体地说，本文概述了因果关系的关键原理以及因果发现和因果推断的最常用算法和包。最后，本文还提出了一系列示例和案例研究，介绍了如何为我们的领域采用因果概念。