Health systems rely on commercial prediction algorithms to identify and help patients with complex health needs. We show that a widely used algorithm, typical of this industry-wide approach and affecting millions of patients, exhibits significant racial bias: At a given risk score, Black patients are considerably sicker than White patients, as evidenced by signs of uncontrolled illnesses. Remedying this disparity would increase the percentage of Black patients receiving additional help from 17.7 to 46.5%. The bias arises because the algorithm predicts health care costs rather than illness, but unequal access to care means that we spend less money caring for Black patients than for White patients. Thus, despite health care cost appearing to be an effective proxy for health by some measures of predictive accuracy, large racial biases arise. We suggest that the choice of convenient, seemingly effective proxies for ground truth can be an important source of algorithmic bias in many contexts.

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

机器学习（ML）越来越多地用于支持高风险的决策，这是由于其相对于人类评估的优势预测能力的承诺而欠的趋势。但是，决策目标与观察到的作为训练ML模型的标签的结果中捕获的内容之间经常存在差距。结果，机器学习模型可能无法捕获决策标准的重要维度，从而阻碍了他们的决策支持。在这项工作中，我们探讨了历史专家决策作为组织信息系统中通常可用的丰富（但不完美）的信息来源，并表明它可以利用它来弥合决策目标与算法目标之间的差距。当数据中的每个案例都由单个专家评估并提出基于影响函数的方法作为解决此问题的解决方案时，我们会间接考虑估计专家一致性的问题。然后，我们将估计的专家一致性通过培训时间标签合并方法纳入预测模型。这种方法使ML模型可以在有推断的专家一致性和观察标签的情况下向专家学习。我们还提出了通过混合和延期模型来利用推断一致性的替代方法。在我们的经验评估中，专注于儿童虐待热线筛查的背景下，我们表明（1）有一些高风险案例，其风险是专家考虑的，但在目标标签中没有完全捕获用于培训已部署模型和培训的目标标签（2）提出的方法可显着提高这些情况的精度。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

疾病鉴定是观察健康研究中的核心，常规活动。队列影响下游分析，例如如何表征病情，定义患者的风险以及研究哪些治疗方法。因此，至关重要的是要确保选定的队列代表所有患者，而与他们的人口统计学或社会决定因素无关。虽然在构建可能影响其公平性的表型定义时有多种潜在的偏见来源，但在表型领域中考虑不同定义在患者亚组中的影响并不是标准。在本文中，我们提出了一组最佳实践来评估表型定义的公平性。我们利用预测模型中常用的既定公平指标，并将其与常用的流行病学队列描述指标联系起来。我们描述了一项针对克罗恩病和2型糖尿病的实证研究，每个研究都有从两组患者亚组（性别和种族）中从文献中获取的多种表型定义。我们表明，根据不同的公平指标和亚组，不同的表型定义表现出较大和不同的性能。我们希望拟议的最佳实践可以帮助构建公平和包容的表型定义。

人类服务系统做出关键决策，影响社会中的个人。美国儿童福利系统做出了这样的决定，从筛查热线报告的报告报告，涉嫌虐待或忽视儿童保护性调查，使儿童接受寄养，再到将儿童返回永久家庭环境。这些对儿童生活的复杂而有影响力的决定取决于儿童福利决策者的判断。儿童福利机构一直在探索使用包括机器学习（ML）的经验，数据信息的方法来支持这些决策的方法。本文描述了ML支持儿童福利决策的概念框架。 ML框架指导儿童福利机构如何概念化ML可以解决的目标问题；兽医可用的管理数据用于构建ML；制定和开发ML规格，以反映机构正在进行的相关人群和干预措施；随着时间的流逝，部署，评估和监视ML作为儿童福利环境，政策和实践变化。道德考虑，利益相关者的参与以及避免框架的影响和成功的共同陷阱。从摘要到具体，我们描述了该框架的一种应用，以支持儿童福利决策。该ML框架虽然以儿童福利为中心，但可以推广用于解决其他公共政策问题。

超重和肥胖仍然是一个主要的全球性公共健康问题，并确定增加未来体重增加风险的个性化模式在预防肥胖症和许多与肥胖症相关的次螯症方面具有至关重要的作用。在这项工作中，我们使用规则发现方法来研究这个问题，通过呈现提供真正的解释性和同时优化所识别模式的准确性（经常正确）的准确性（适用于许多样本）的方法来研究这个问题。具体而言，我们扩展了一个已建立的子组 - 发现方法以生成类型X-> Y的所需规则，并显示如何从X侧提取最高特征，作为Y的最佳预测因子。在我们的肥胖问题中，X是指来自非常大的和多站点EHR数据的提取功能，y表示大量的重量。使用我们的方法，我们还广泛地比较了由个人性别，年龄，种族，保险类型，邻里类型和收入水平决定的22层模式中的模式中的差异和不平等。通过广泛的实验，我们对未来危险体重增加的预测变量显示出新的和互补结果。

这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此，我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战，这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题，旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作，包括决策者，建模者和潜在影响社区的成员，以严格评估数据驱动的算法的特定设计的合理性和使用系统。

肥胖是一个重大的健康问题，增加了各种主要慢性病的风险，如糖尿病，癌症和中风。虽然通过横断面BMI录音识别的肥胖作用已经过分研究，但BMI轨迹的作用远远不大。在这项研究中，我们利用从大型和地理位置的EHR数据集中提取的BMI轨迹捕获大约200万个人的健康状况为期六年的健康状况。我们根据BMI轨迹定义九个新的可解释和基于证据的变量，以使用K-Means聚类方法将患者聚类为子组。我们在人口统计学，社会经济和生理测量变量方面彻底审查了每个集群特征，以指定簇中患者的不同性质。在我们的实验中，已被重新建立肥胖，高血压，阿尔茨海默和痴呆症的肥胖，高血压，阿尔茨海默氏症和痴呆症的直接关系，并且已经发现有几种慢性疾病的特异性特征的不同簇符合或与现有的知识体系互补。

Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with. Data is frequently imperfect in ways that allow these algorithms to inherit the prejudices of prior decision makers. In other cases, data may simply reflect the widespread biases that persist in society at large. In still others, data mining can discover surprisingly useful regularities that are really just preexisting patterns of exclusion and inequality. Unthinking reliance on data mining can deny historically disadvantaged and vulnerable groups full participation in society. Worse still, because the resulting discrimination is almost always an unintentional emergent property of the algorithm's use rather than a conscious choice by its programmers, it can be unusually hard to identify the source of the problem or to explain it to a court. This Essay examines these concerns through the lens of American antidiscrimination law-more particularly, through Title

大型和深度电子医疗保健记录（EHR）数据集的可用性有可能更好地了解现实世界中的患者旅行，并鉴定出新的患者亚组。基于ML的EHR数据集合主要是工具驱动的，即基于可用或新开发的方法的构建。但是，这些方法，它们的输入要求以及最重要的是，通常难以解释产量，尤其是没有深入的数据科学或统计培训。这危害了需要进行可行且具有临床意义的解释的最后一步。这项研究研究了使用大型EHR数据集和多种聚类方法进行临床研究的方法进行大规模进行患者分层分析的方法。我们已经开发了几种工具来促进无监督的患者分层结果的临床评估和解释，即模式筛查，元聚类，替代建模和策展。这些工具可以在分析中的不同阶段使用。与标准分析方法相比，我们证明了凝结结果并优化分析时间的能力。在元聚类的情况下，我们证明了患者簇的数量可以从72减少到3。在另一个分层的结果中，通过使用替代模型，我们可以迅速确定如果有血液钠测量值可用，则可以对心力衰竭患者进行分层。由于这是对所有心力衰竭患者进行的常规测量，因此表明数据偏差。通过使用进一步的队列和特征策展，可以去除这些患者和其他无关的特征以提高临床意义。这些示例显示了拟议方法的有效性，我们希望鼓励在该领域的进一步研究。

机器学习（ML）技术在教育方面越来越普遍，从预测学生辍学，到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长，迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中，我们阐明了这一复杂的景观绘制，以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育（ML4ED）论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说，技术问题的提出，目标，方法和解释结果与手头的教育问题保持一致。我们发现，在ML生命周期的两个部分中存在跨学科的差距，并且尤其突出：从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期，这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究，以及对ML社会影响的批判性分析。具体而言，它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。

Tuberculosis (TB), an infectious bacterial disease, is a significant cause of death, especially in low-income countries, with an estimated ten million new cases reported globally in $2020$. While TB is treatable, non-adherence to the medication regimen is a significant cause of morbidity and mortality. Thus, proactively identifying patients at risk of dropping off their medication regimen enables corrective measures to mitigate adverse outcomes. Using a proxy measure of extreme non-adherence and a dataset of nearly $700,000$ patients from four states in India, we formulate and solve the machine learning (ML) problem of early prediction of non-adherence based on a custom rank-based metric. We train ML models and evaluate against baselines, achieving a $\sim 100\%$ lift over rule-based baselines and $\sim 214\%$ over a random classifier, taking into account country-wide large-scale future deployment. We deal with various issues in the process, including data quality, high-cardinality categorical data, low target prevalence, distribution shift, variation across cohorts, algorithmic fairness, and the need for robustness and explainability. Our findings indicate that risk stratification of non-adherent patients is a viable, deployable-at-scale ML solution.

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

Pseudo Artificial Intelligence bias (PAIB) is broadly disseminated in the literature, which can result in unnecessary AI fear in society, exacerbate the enduring inequities and disparities in access to and sharing the benefits of AI applications, and waste social capital invested in AI research. This study systematically reviews publications in the literature to present three types of PAIBs identified due to: a) misunderstandings, b) pseudo mechanical bias, and c) over-expectations. We discussed the consequences of and solutions to PAIBs, including certifying users for AI applications to mitigate AI fears, providing customized user guidance for AI applications, and developing systematic approaches to monitor bias. We concluded that PAIB due to misunderstandings, pseudo mechanical bias, and over-expectations of algorithmic predictions is socially harmful.

Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

医院住宿时间（LOS）是最重要的医疗保健度量之一，反映了医院的服务质量，有助于改善医院调度和管理。LOS预测有助于成本管理，因为留在医院的患者通常在资源受到严重限制的情况下这样做。在这项研究中，我们通过机器学习和统计方法审查了LOS预测的论文。我们的文献综述考虑了对卒中患者LOS预测的研究研究。一些受访的研究表明，作者达成了相应的结论。例如，患者的年龄被认为是一些研究中卒中患者LOS的重要预测因子，而其他研究则认为年龄不是一个重要因素。因此，在该领域需要额外的研究以进一步了解卒中患者LOS的预测因子。

有许多可用于选择优先考虑治疗的可用方法，包括基于治疗效果估计，风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应（RATY）指标作为一种简单常见的指标系列，用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则，率是不可知的，并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器，并证明了一个中央限位定理，可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由，以及用于测试关于治疗效果中的异质性的假设的框架，与优先级规则相关。我们对速率的定义嵌套了许多现有度量，包括QINI系数，以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中，使用来自Sprint和Accor-BP随机对照试验的数据，我们发现没有明显的证据证明异质治疗效果。另一方面，在大量的营销审判中，我们在一些数字广告活动的治疗效果中发现了具有的强大证据，并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。

医学中的机器学习利用了财富的医疗保健数据来提取知识，促进临床决策，最终改善护理。然而，在缺乏人口统计分集的数据集上培训的ML模型可以在适用于不足的人群时产生次优绩效（例如少数民族，社会经济地位较低），因此延续了健康差异。在这项研究中，我们评估了四种型分类，以预测高氯血症 - 一种经常由ICU人口中的侵袭性流体给药的条件 - 并将其在种族，性别和保险亚组中进行比较。我们观察到，除了基于实验室的患者的模型性能之外，还要添加社会决定因素特征。 40个模型 - 亚组中的40分，亚组测试产生了显着不同的AUC分数，提示在将ML模型应用于社会决定簇子组时的差异。我们敦促未来的研究人员设计主动调整潜在偏见的模型，并包括他们研究中的子组报告。