估计医疗状况的患病率或发生的人口比例是医疗保健和公共卫生中的一个基本问题。准确地估计各组之间的相对患病率（例如，捕获疾病比男性更频繁地影响女性）促进了有效且公平的健康政策，这些政策优先考虑那些受疾病影响不成比例的群体。但是，当医疗状况低估时，很难估计相对患病率。在这项工作中，我们提供了一种基于积极未标记的学习框架的基础，可以准确估计不足以说明的医疗状况的相对患病率。我们表明，在普遍做出的协变量假设下 - 即，以症状为条件的疾病的可能性在整个群体之间保持恒定 - 我们可以恢复相对的患病率，即使没有限制性的假设，通常是在正面的未标记的学习中，即使没有限制性假设无法恢复绝对患病率。我们提供了一系列关于合成和实际健康数据的实验，这些实验证明了我们方法比基线更准确地恢复相对患病率的能力，该方法的鲁棒性具有合理的违反协变量偏移假设的侵犯。

随着机器学习（ML）模型在临床应用中获得吸引力，了解临床医生和社会偏见对ML模型的影响越来越重要。尽管用于模型训练的标签可能会出现偏见，但这些偏见的许多来源尚未得到充分研究。在本文中，我们重点介绍了不同的审查制度（即，患者组的测试率差异）是临床ML模型可能会放大的标签偏差来源，可能造成损害。许多患者风险分层模型都使用标签的临床医生诊断和实验室测试的结果进行培训。没有测试结果的患者通常会分配负标签，该标签假设未经测试的患者没有经历结果。由于订单受到临床和资源考虑因素的影响，因此在患者人群中进行测试可能不统一，从而导致不同的审查制度。同等风险患者的不同审查制度会导致某些组的承诺，进而对此类组的有偏见的标签进行审查。在标准ML管道中使用此类偏见的标签可能会导致患者组的模型性能差距。在这里，我们从理论和经验上表征了不同的条件，在这些条件下，不同的审查制度或承诺会影响跨亚组的模型绩效。我们的发现呼吁人们注意不同的审查制度，作为临床ML模型中标签偏差的来源。

机器学习（ML）越来越多地用于支持高风险的决策，这是由于其相对于人类评估的优势预测能力的承诺而欠的趋势。但是，决策目标与观察到的作为训练ML模型的标签的结果中捕获的内容之间经常存在差距。结果，机器学习模型可能无法捕获决策标准的重要维度，从而阻碍了他们的决策支持。在这项工作中，我们探讨了历史专家决策作为组织信息系统中通常可用的丰富（但不完美）的信息来源，并表明它可以利用它来弥合决策目标与算法目标之间的差距。当数据中的每个案例都由单个专家评估并提出基于影响函数的方法作为解决此问题的解决方案时，我们会间接考虑估计专家一致性的问题。然后，我们将估计的专家一致性通过培训时间标签合并方法纳入预测模型。这种方法使ML模型可以在有推断的专家一致性和观察标签的情况下向专家学习。我们还提出了通过混合和延期模型来利用推断一致性的替代方法。在我们的经验评估中，专注于儿童虐待热线筛查的背景下，我们表明（1）有一些高风险案例，其风险是专家考虑的，但在目标标签中没有完全捕获用于培训已部署模型和培训的目标标签（2）提出的方法可显着提高这些情况的精度。

合成健康数据在共享数据以支持生物医学研究和创新医疗保健应用的发展时有可能减轻隐私问题。基于机器学习，尤其是生成对抗网络（GAN）方法的现代方法生成的现代方法继续发展并表现出巨大的潜力。然而，缺乏系统的评估框架来基准测试方法，并确定哪些方法最合适。在这项工作中，我们引入了一个可推广的基准测试框架，以评估综合健康数据的关键特征在实用性和隐私指标方面。我们将框架应用框架来评估来自两个大型学术医疗中心的电子健康记录（EHRS）数据的合成数据生成方法。结果表明，共享合成EHR数据存在公用事业私人关系权衡。结果进一步表明，在每个用例中，在所有标准上都没有明确的方法是最好的，这使得为什么需要在上下文中评估合成数据生成方法。

偏见标志着病史，导致影响边缘化群体的不平等护理。观察数据中缺失的模式通常反映了这些群体差异，但是算法对群体特定缺失的算法公平含义尚不清楚。尽管具有潜在的影响，但归因通常还是被遗忘的预处理步骤。充其量，从业者通过优化整体绩效来指导选级选择，而忽略了这种预处理如何加强不平等。我们的工作通过研究插补如何影响下游算法的公平性来质疑这种选择。首先，我们提供了临床存在机制与特定组的遗失模式之间关系的结构化视图。然后，通过模拟和现实世界实验，我们证明了插补选择会影响边缘化的群体绩效，并且没有归因策略始终降低差异。重要的是，我们的结果表明，当前的做法可能危害健康平等，因为在人口层面上类似地执行插补策略可能会以不同的方式影响边缘化的群体。最后，我们提出了缓解因机器学习管道的忽视步骤而导致的不平等的建议。

疾病鉴定是观察健康研究中的核心，常规活动。队列影响下游分析，例如如何表征病情，定义患者的风险以及研究哪些治疗方法。因此，至关重要的是要确保选定的队列代表所有患者，而与他们的人口统计学或社会决定因素无关。虽然在构建可能影响其公平性的表型定义时有多种潜在的偏见来源，但在表型领域中考虑不同定义在患者亚组中的影响并不是标准。在本文中，我们提出了一组最佳实践来评估表型定义的公平性。我们利用预测模型中常用的既定公平指标，并将其与常用的流行病学队列描述指标联系起来。我们描述了一项针对克罗恩病和2型糖尿病的实证研究，每个研究都有从两组患者亚组（性别和种族）中从文献中获取的多种表型定义。我们表明，根据不同的公平指标和亚组，不同的表型定义表现出较大和不同的性能。我们希望拟议的最佳实践可以帮助构建公平和包容的表型定义。

无监督的学习通常用于揭示数据中的群集。然而，不同类型的噪声可能会妨碍来自真实世界的时间序列数据的有用模式的发现。在这项工作中，我们专注于减轻疾病表型群体任务中的间隔审查的干扰。我们开发了一个深入的生成，连续时间模型，时间序列数据串联时间系列，同时纠正审查时间。我们提供了在无噪声模型下的数据中识别群集和延迟条目的条件。

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.

We consider semi-supervised binary classification for applications in which data points are naturally grouped (e.g., survey responses grouped by state) and the labeled data is biased (e.g., survey respondents are not representative of the population). The groups overlap in the feature space and consequently the input-output patterns are related across the groups. To model the inherent structure in such data, we assume the partition-projected class-conditional invariance across groups, defined in terms of the group-agnostic feature space. We demonstrate that under this assumption, the group carries additional information about the class, over the group-agnostic features, with provably improved area under the ROC curve. Further assuming invariance of partition-projected class-conditional distributions across both labeled and unlabeled data, we derive a semi-supervised algorithm that explicitly leverages the structure to learn an optimal, group-aware, probability-calibrated classifier, despite the bias in the labeled data. Experiments on synthetic and real data demonstrate the efficacy of our algorithm over suitable baselines and ablative models, spanning standard supervised and semi-supervised learning approaches, with and without incorporating the group directly as a feature.

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

英国生物银行标准化表型代码的目的与住院的患者有关，但对于许多在门诊环境中接受治疗的患者缺失但缺失。我们描述了一种表型识别方法，该方法为所有英国生物库参与者施加了表型代码。材料和方法POPDX（基于人群的客观表型通过深度推断）是双线性机器学习框架，用于同时估计1,538个表型代码的概率。我们从英国生物库中提取了392,246个人的表型和健康相关信息，以进行POPDX开发和评估。共有12,803个ICD-10患者的诊断代码被转换为1,538个Phecodes，作为黄金标准标签。对POPDX框架进行了评估，并将其与自动多型识别的其他可用方法进行了比较。结果POPDX可以预测训练中罕见甚至未观察到的表型。我们证明了22种疾病类别的自动多型识别及其在识别与每种表型相关的关键流行病学特征方面的应用。结论POPDX有助于为下游研究提供明确定义的队列。这是一种通用方法，可以应用于具有不同但不完整数据的其他生物库。

在制定政策指南时，随机对照试验（RCT）代表了黄金标准。但是，RCT通常是狭窄的，并且缺乏更广泛的感兴趣人群的数据。这些人群中的因果效应通常是使用观察数据集估算的，这可能会遭受未观察到的混杂和选择偏见。考虑到一组观察估计（例如，来自多项研究），我们提出了一个试图拒绝偏见的观察性估计值的元偏值。我们使用验证效应，可以从RCT和观察数据中推断出的因果效应。在拒绝未通过此测试的估计器之后，我们对RCT中未观察到的亚组的外推性效应产生了保守的置信区间。假设至少一个观察估计量在验证和外推效果方面是渐近正常且一致的，我们为我们算法输出的间隔的覆盖率概率提供了保证。为了促进在跨数据集的因果效应运输的设置中，我们给出的条件下，即使使用灵活的机器学习方法用于估计滋扰参数，群体平均治疗效应的双重稳定估计值也是渐近的正常。我们说明了方法在半合成和现实世界数据集上的特性，并表明它与标准的荟萃分析技术相比。

实际上，决策算法通常经过表现出各种偏见的数据培训。决策者通常旨在根据假定或期望公正的基础真相目标做出决策，即同样分布在社会显着的群体中。在许多实际设置中，无法直接观察到地面真相，相反，我们必须依靠数据中的地面真相（即偏置标签）的有偏见的代理度量。此外，通常会选择性地标记数据，即，即使是有偏见的标签，也仅对获得积极决策的数据的一小部分观察到。为了克服标签和选择偏见，最近的工作提议学习随机性，通过i）在每个时间步长的在线培训新政策，ii）执行公平性作为绩效的限制。但是，现有方法仅使用标记的数据，忽略了大量未标记的数据，因此在不同时间学到的决策策略的不稳定性和差异很大。在本文中，我们提出了一种基于实用公平决策的各种自动编码器的新方法。我们的方法学习了一个无偏的数据表示，利用标记和未标记的数据，并使用表示形式在在线过程中学习策略。使用合成数据，我们从经验上验证我们的方法根据差异较低的地面真相会收敛到最佳（公平）策略。在现实世界实验中，我们进一步表明，我们的培训方法不仅提供了更稳定的学习过程，而且还产生了比以前的方法更高的公平性和效用的政策。

受益于医疗保健数据的数字化和计算能力的发展，机器学习方法越来越多地用于医疗领域。在医疗保健机器学习中已经确定了公平性问题，导致对有限医疗资源的不公平分配或某些群体的健康风险过多。因此，解决公平问题最近引起了医疗保健社区的越来越多的关注。然而，机器学习的机器学习与机器学习中的公平性的交集仍在研究中。在这篇综述中，我们通过暴露公平问题，总结可能的偏见，整理缓解方法并指出挑战以及未来的机会来建立桥梁。

越来越多地部署算法和模型来为人们提供决定，不可避免地会影响他们的生活。结果，负责开发这些模型的人必须仔细评估他们对不同人群的影响并偏爱群体公平，也就是说，确保由敏感人口属性（例如种族或性别）确定的群体不会受到不公正的对待。为了实现这一目标，这些人口统计学属性的可用性（意识）是评估这些模型影响的人的基本基础。不幸的是，收集和存储这些属性通常与行业实践以及有关数据最小化和隐私的立法冲突。因此，即使是从开发它们的公司内部，也很难衡量训练有素的模型的群体公平性。在这项工作中，我们通过使用量化技术来解决在敏感属性不认识的情况下衡量群体公平性的问题，这是一项与直接提供群体级别的患病率估算（而不是个人级别的类标签）有关的监督学习任务。我们表明，量化方法特别适合解决未通行问题的公平性，因为它们是可行的不可避免的分配变化，同时将（理想的）目标取消了（不可避免的）允许（不良）的副作用的（理想的）目标个人敏感属性的推断。更详细地说，我们表明，在不认识下的公平性可以作为量化问题，并通过量化文献中的可靠方法解决。我们表明，这些方法在五个实验方案中测量人口统计学的先前方法都优于以前的方法，这对应于使分类器公平性估计不认识的重要挑战。

This paper investigates how hate speech varies in systematic ways according to the identities it targets. Across multiple hate speech datasets annotated for targeted identities, we find that classifiers trained on hate speech targeting specific identity groups struggle to generalize to other targeted identities. This provides empirical evidence for differences in hate speech by target identity; we then investigate which patterns structure this variation. We find that the targeted demographic category (e.g. gender/sexuality or race/ethnicity) appears to have a greater effect on the language of hate speech than does the relative social power of the targeted identity group. We also find that words associated with hate speech targeting specific identities often relate to stereotypes, histories of oppression, current social movements, and other social contexts specific to identities. These experiments suggest the importance of considering targeted identity, as well as the social contexts associated with these identities, in automated hate speech classification.

Faced with distribution shift between training and test set, we wish to detect and quantify the shift, and to correct our classifiers without test set labels. Motivated by medical diagnosis, where diseases (targets), cause symptoms (observations), we focus on label shift, where the label marginal p(y) changes but the conditional p(x|y) does not. We propose Black Box Shift Estimation (BBSE) to estimate the test distribution p(y). BBSE exploits arbitrary black box predictors to reduce dimensionality prior to shift correction. While better predictors give tighter estimates, BBSE works even when predictors are biased, inaccurate, or uncalibrated, so long as their confusion matrices are invertible. We prove BBSE's consistency, bound its error, and introduce a statistical test that uses BBSE to detect shift. We also leverage BBSE to correct classifiers. Experiments demonstrate accurate estimates and improved prediction, even on high-dimensional datasets of natural images.