Importance: Social determinants of health (SDOH) are known to be associated with increased risk of suicidal behaviors, but few studies utilized SDOH from unstructured electronic health record (EHR) notes. Objective: To investigate associations between suicide and recent SDOH, identified using structured and unstructured data. Design: Nested case-control study. Setting: EHR data from the US Veterans Health Administration (VHA). Participants: 6,122,785 Veterans who received care in the US VHA between October 1, 2010, and September 30, 2015. Exposures: Occurrence of SDOH over a maximum span of two years compared with no occurrence of SDOH. Main Outcomes and Measures: Cases of suicide deaths were matched with 4 controls on birth year, cohort entry date, sex, and duration of follow-up. We developed an NLP system to extract SDOH from unstructured notes. Structured data, NLP on unstructured data, and combining them yielded seven, eight and nine SDOH respectively. Adjusted odds ratios (aORs) and 95% confidence intervals (CIs) were estimated using conditional logistic regression. Results: In our cohort, 8,821 Veterans committed suicide during 23,725,382 person-years of follow-up (incidence rate 37.18 /100,000 person-years). Our cohort was mostly male (92.23%) and white (76.99%). Across the six common SDOH as covariates, NLP-extracted SDOH, on average, covered 84.38% of all SDOH occurrences. All SDOH, measured by structured data and NLP, were significantly associated with increased risk of suicide. The SDOH with the largest effects was legal problems (aOR=2.67, 95% CI=2.46-2.89), followed by violence (aOR=2.26, 95% CI=2.11-2.43). NLP-extracted and structured SDOH were also associated with suicide. Conclusions and Relevance: NLP-extracted SDOH were always significantly associated with increased risk of suicide among Veterans, suggesting the potential of NLP in public health studies.

Objective: Social Determinants of Health (SDOH) influence personal health outcomes and health systems interactions. Health systems capture SDOH information through structured data and unstructured clinical notes; however, clinical notes often contain a more comprehensive representation of several key SDOH. The objective of this work is to assess the SDOH information gain achievable by extracting structured semantic representations of SDOH from the clinical narrative and combining these extracted representations with available structured data. Materials and Methods: We developed a natural language processing (NLP) information extraction model for SDOH that utilizes a deep learning entity and relation extraction architecture. In an electronic health record (EHR) case study, we applied the SDOH extractor to a large existing clinical data set with over 200,000 patients and 400,000 notes and compared the extracted information with available structured data. Results: The SDOH extractor achieved 0.86 F1 on a withheld test set. In the EHR case study, we found 19\% of current tobacco users, 10\% of drug users, and 32\% of homeless patients only include documentation of these risk factors in the clinical narrative. Conclusions: Patients who are at-risk for negative health outcomes due to SDOH may be better served if health systems are able to identify SDOH risk factors and associated social needs. Structured semantic representations of text-encoded SDOH information can augment existing structured, and this more comprehensive SDOH representation can assist health systems in identifying and addressing social needs.

Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.

治疗效应的预测方法异质性陈述的重点是基线风险，作为治疗效果的强大预测指标，并为RCT环境中基于风险的治疗效应异质性提供了指导。这项研究的目的是使用标准化的可伸缩框架将这种方法扩展到观测设置。拟议的框架包括五个步骤：1）研究目的的定义，即人口，治疗，比较者和感兴趣的结果； 2）识别相关数据库； 3）开发感兴趣结果的预测模型； 4）在调整观察到的混杂状态后，对预测风险的层中相对和绝对治疗效果的估计； 5）结果。我们通过评估血管紧张素转换酶（ACE）抑制剂与β受体阻滞剂对三个疗效和三个观测数据库中的六个安全结果的影响来证明我们的框架。提出的框架可以补充任何比较有效性研究。我们提供了一个公开可用的R软件包，以将此框架应用于映射到观察性医学结果伙伴关系伙伴关系模型的任何数据库。在我们的演示中，急性心肌梗死风险低的患者对所有三种疗效结果都获得了可忽略的绝对收益，尽管他们在最高风险季度更为明显，尤其是对于心力衰竭的住院治疗。但是，即使调整了观察到的混杂，诊断失败也显示出残余失衡的证据。我们的框架允许评估风险层面的差异治疗效果，这为考虑替代治疗之间的利益障碍权衡提供了机会。

Pretrained transformer models have achieved state-of-the-art results in many tasks and benchmarks recently. Many state-of-the-art Language Models (LMs), however, do not scale well above the threshold of 512 input tokens. In specialized domains though (such as legal, scientific or biomedical), models often need to process very long text (sometimes well above 10000 tokens). Even though many efficient transformers have been proposed (such as Longformer, BigBird or FNet), so far, only very few such efficient models are available for specialized domains. Additionally, since the pretraining process is extremely costly in general - but even more so as the sequence length increases - it is often only in reach of large research labs. One way of making pretraining cheaper is the Replaced Token Detection (RTD) task, by providing more signal during training, since the loss can be computed over all tokens. In this work, we train Longformer models with the efficient RTD task on legal data to showcase that pretraining efficient LMs is possible using much less compute. We evaluate the trained models on challenging summarization tasks requiring the model to summarize long texts to show to what extent the models can achieve good performance on downstream tasks. We find that both the small and base models outperform their baselines on the in-domain BillSum and out-of-domain PubMed tasks in their respective parameter range. We publish our code and models for research purposes.

影响重症患者护理的许多基本问题会带来类似的分析挑战：医生无法轻易估计处于危险的医疗状况或治疗的影响，因为医疗状况和药物的因果影响是纠缠的。他们也无法轻易进行研究：没有足够的高质量数据来进行高维观察性因果推断，并且通常无法在道德上进行RCT。但是，机械知识可获得，包括如何吸收人体药物，并且这些知识与有限数据的结合可能就足够了 - 如果我们知道如何结合它们。在这项工作中，我们提出了一个框架，用于在这些复杂条件下对重症患者的因果影响估算：随着时间的流逝，药物与观察之间的相互作用，不大的患者数据集以及可以代替缺乏数据的机械知识。我们将此框架应用于影响重症患者的极其重要的问题，即癫痫发作和大脑中其他潜在有害的电气事件的影响（称为癫痫样活动 - EA）对结局。鉴于涉及的高赌注和数据中的高噪声，可解释性对于解决此类复杂问题的故障排除至关重要。我们匹配的小组的解释性使神经科医生可以执行图表审查，以验证我们的因果分析的质量。例如，我们的工作表明，患者经历了高水平的癫痫发作般的活动（75％的EA负担），并且未经治疗的六个小时的窗口未受治疗，平均而言，这种不良后果的机会增加了16.7％。作为严重的大脑损伤，终生残疾或死亡。我们发现患有轻度但长期EA的患者（平均EA负担> = 50％）患有不良结果的风险增加了11.2％。

症状检查已成为收集症状和诊断患者的重要工具，最大限度地减少临床人员的参与。我们开发了一种机器学习支持的系统，智能曲线，超越传统症状，通过与电子医疗记录（EMR）紧密的双向集成。在EMR衍生的患者历史上，我们的系统将患者的首席投诉识别自由文本条目，然后询问一系列离散问题以获得相关的症状学。患者特定数据用于预测详细的ICD-10-CM代码以及药物，实验室和成像订单。然后将患者的反应和临床决策支持（CDS）预测插入EMR。要培训机器学习组件的智能路程，我们使用了超过2500万级初级保健遭遇的新型数据集和100万患者的自由文本原因的参赛作品。这些数据集用于构建：（1）基于长的短期存储器（LSTM）的患者历史表示，（2）用于首发投诉提取的微调变压器模型，（3）一个用于问题测序的随机林模型， （4）用于CDS预测的前馈网络。我们的系统总共支持337名患者的首席投诉，该投诉共同组成了Kaiser Permanente的所有初级保健费用。

医院住宿时间（LOS）是最重要的医疗保健度量之一，反映了医院的服务质量，有助于改善医院调度和管理。LOS预测有助于成本管理，因为留在医院的患者通常在资源受到严重限制的情况下这样做。在这项研究中，我们通过机器学习和统计方法审查了LOS预测的论文。我们的文献综述考虑了对卒中患者LOS预测的研究研究。一些受访的研究表明，作者达成了相应的结论。例如，患者的年龄被认为是一些研究中卒中患者LOS的重要预测因子，而其他研究则认为年龄不是一个重要因素。因此，在该领域需要额外的研究以进一步了解卒中患者LOS的预测因子。

Most research studying social determinants of health (SDoH) has focused on physician notes or structured elements of the electronic medical record (EMR). We hypothesize that clinical notes from social workers, whose role is to ameliorate social and economic factors, might provide a richer source of data on SDoH. We sought to perform topic modeling to identify robust topics of discussion within a large cohort of social work notes. We retrieved a diverse, deidentified corpus of 0.95 million clinical social work notes from 181,644 patients at the University of California, San Francisco. We used word frequency analysis and Latent Dirichlet Allocation (LDA) topic modeling analysis to characterize this corpus and identify potential topics of discussion. Word frequency analysis identified both medical and non-medical terms associated with specific ICD10 chapters. The LDA topic modeling analysis extracted 11 topics related to social determinants of health risk factors including financial status, abuse history, social support, risk of death, and mental health. In addition, the topic modeling approach captured the variation between different types of social work notes and across patients with different types of diseases or conditions. We demonstrated that social work notes contain rich, unique, and otherwise unobtainable information on an individual's SDoH.

Associazione Medici Diabetologi（AMD）收集并管理着全球最大的糖尿病患者记录集合之一，也称为AMD数据库。本文介绍了一个正在进行的项目的初步结果，该项目的重点是人工智能和机器学习技术的应用，以概念化，清洁和分析如此重要且有价值的数据集，目的是提供预测性见解，以更好地支持糖尿病学家的诊断糖尿病学家和治疗选择。

与痴呆症相关的认知障碍（CI）在全球范围内影响超过5500万人，并且每3秒钟以一个新病例的速度迅速增长。随着临床试验反复出现的失败，早期诊断至关重要，但是在低水平和中等收入国家中，全球75％的痴呆症病例未被诊断为90％。众所周知，当前的诊断方法是复杂的，涉及对医学笔记，大量认知测试，昂贵的脑部扫描或脊柱液体测试的手动审查。与CI相关的信息经常在电子健康记录（EHR）中找到，并且可以为早期诊断提供重要线索，但是专家的手动审查是繁琐的，并且容易发生。该项目开发了一种新型的最新自动筛选管道，用于可扩展和高速发现EHR中的CI。为了了解EHR中复杂语言结构的语言环境，构建了一个8,656个序列的数据库，以训练基于注意力的深度学习自然语言处理模型以对序列进行分类。使用序列级别分类器开发了基于逻辑回归的患者级别预测模型。深度学习系统的精度达到了93％，AUC = 0.98，以识别其EHR中没有较早诊断，与痴呆有关的诊断代码或与痴呆有关的药物的患者。否则，这些患者将未被发现或检测到太晚。 EHR筛选管道已部署在Neurahealthnlp中，这是一种用于自动化和实时CI筛选的Web应用程序，只需将EHR上传到浏览器中即可。 Neurahealthnlp更便宜，更快，更容易获得，并且胜过当前的临床方法，包括基于文本的分析和机器学习方法。它使得早期诊断可在稀缺的医疗服务中可行，但可访问的互联网或蜂窝服务。

Importance: The prevalence of severe mental illnesses (SMIs) in the United States is approximately 3% of the whole population. The ability to conduct risk screening of SMIs at large scale could inform early prevention and treatment. Objective: A scalable machine learning based tool was developed to conduct population-level risk screening for SMIs, including schizophrenia, schizoaffective disorders, psychosis, and bipolar disorders,using 1) healthcare insurance claims and 2) electronic health records (EHRs). Design, setting and participants: Data from beneficiaries from a nationwide commercial healthcare insurer with 77.4 million members and data from patients from EHRs from eight academic hospitals based in the U.S. were used. First, the predictive models were constructed and tested using data in case-control cohorts from insurance claims or EHR data. Second, performance of the predictive models across data sources were analyzed. Third, as an illustrative application, the models were further trained to predict risks of SMIs among 18-year old young adults and individuals with substance associated conditions. Main outcomes and measures: Machine learning-based predictive models for SMIs in the general population were built based on insurance claims and EHR.

我们提出了一种新颖的基准和相关的评估指标，用于评估文本匿名方法的性能。文本匿名化定义为编辑文本文档以防止个人信息披露的任务，目前遭受了面向隐私的带注释的文本资源的短缺，因此难以正确评估各种匿名方法提供的隐私保护水平。本文介绍了标签（文本匿名基准），这是一种新的开源注释语料库，以解决此短缺。该语料库包括欧洲人权法院（ECHR）的1,268个英语法院案件，并充满了有关每个文档中出现的个人信息的全面注释，包括其语义类别，标识符类型，机密属性和共同参考关系。与以前的工作相比，TAB语料库旨在超越传统的识别（仅限于检测预定义的语义类别），并且明确标记了这些文本跨越的标记，这些文本应该被掩盖，以掩盖该人的身份受到保护。除了介绍语料库及其注释层外，我们还提出了一套评估指标，这些指标是针对衡量文本匿名性的性能而定制的，无论是在隐私保护和公用事业保护方面。我们通过评估几个基线文本匿名模型的经验性能来说明基准和提议的指标的使用。完整的语料库及其面向隐私的注释准则，评估脚本和基线模型可在以下网址提供：

30天的医院再入院是一个长期存在的医疗问题，会影响患者的发病率和死亡率，每年造成数十亿美元的损失。最近，已经创建了机器学习模型来预测特定疾病患者的住院再入院风险，但是不存在任何模型来预测所有患者的风险。我们开发了一个双向长期记忆（LSTM）网络，该网络能够使用随时可用的保险数据（住院访问，门诊就诊和药物处方）来预测任何入院患者的30天重新入选，无论其原因如何。使用历史，住院和入院后数据时，表现最佳模型的ROC AUC为0.763（0.011）。 LSTM模型显着优于基线随机森林分类器，表明了解事件的顺序对于模型预测很重要。与仅住院数据相比，与住院数据相比，将30天的历史数据纳入也显着改善了模型性能，这表明患者入院前的临床病史，包括门诊就诊和药房数据是重新入院的重要贡献者。我们的结果表明，机器学习模型能够使用结构化保险计费数据以合理的准确性来预测住院再入院的风险。由于可以从网站中提取计费数据或同等代理人，因此可以部署此类模型以识别有入院风险的患者，或者分配更多可靠的随访（更近的后续后续，家庭健康，邮寄药物） - 出院后风险患者。

临床笔记是健康记录的重要组成部分。本文评估了如何使用自然语言处理（NLP）来确定肿瘤患者急性护理使用（ACU）的风险，一旦化疗开始。使用结构化健康数据（SHD）的风险预测现在是标准的，但是使用自由文本格式的预测很复杂。本文探讨了自由文本注释用于预测ACU而不是SHD的使用。将深度学习模型与手动设计的语言功能进行了比较。结果表明，SHD模型最少胜过NLP模型。具有SHD的L1型逻辑回归的C统计量为0.748（95％-CI：0.735，0.762），而具有语言功能的相同模型达到0.730（95％-CI：0.717，0.745）和基于变形金属的模型模型达到了0.702（95％-CI：0.688，0.717）。本文展示了如何在临床应用中使用语言模型，并强调了不同患者群体的风险偏见如何不同，即使仅使用自由文本数据。

大型和深度电子医疗保健记录（EHR）数据集的可用性有可能更好地了解现实世界中的患者旅行，并鉴定出新的患者亚组。基于ML的EHR数据集合主要是工具驱动的，即基于可用或新开发的方法的构建。但是，这些方法，它们的输入要求以及最重要的是，通常难以解释产量，尤其是没有深入的数据科学或统计培训。这危害了需要进行可行且具有临床意义的解释的最后一步。这项研究研究了使用大型EHR数据集和多种聚类方法进行临床研究的方法进行大规模进行患者分层分析的方法。我们已经开发了几种工具来促进无监督的患者分层结果的临床评估和解释，即模式筛查，元聚类，替代建模和策展。这些工具可以在分析中的不同阶段使用。与标准分析方法相比，我们证明了凝结结果并优化分析时间的能力。在元聚类的情况下，我们证明了患者簇的数量可以从72减少到3。在另一个分层的结果中，通过使用替代模型，我们可以迅速确定如果有血液钠测量值可用，则可以对心力衰竭患者进行分层。由于这是对所有心力衰竭患者进行的常规测量，因此表明数据偏差。通过使用进一步的队列和特征策展，可以去除这些患者和其他无关的特征以提高临床意义。这些示例显示了拟议方法的有效性，我们希望鼓励在该领域的进一步研究。

近年来，临床语言处理引起了很多关注，导致了新的模型或疾病表型，死亡率预测和其他任务的方法。不幸的是，这些方法中的许多方法都经过不同的实验设置（例如数据源，培训和测试拆分，指标，评估标准等）的测试，从而使其难以比较方法并确定最新方法。为了解决这些问题并促进可重复性和比较，我们通过一组四个临床语言理解任务，标准培训，开发，验证和测试集介绍了临床语言理解评估（线索）基准，从模拟数据以及软件中得出的测试集工具包。我们希望这些数据能够在方法之间进行直接比较，提高可重复性，并减少为这些临床语言理解任务开发新型模型或方法的进入的障碍。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

自我披露的心理健康诊断是在没有临床措施的情况下用作心理健康状况的基础真理注释，这是过去十年来大多数心理健康语言计算研究背后的结论。但是，精神病是动态的。先前的抑郁诊断可能不再表明个人的心理健康，无论是由于治疗还是其他缓解因素。我们问：随着时间的推移，心理健康诊断的自我诊断的自我限制在多大程度上？我们分析了五年前在社交媒体上披露抑郁症诊断的个人的最新活动，反过来又对社交媒体上心理健康状况的表现有了新的了解。我们还提供了扩展的证据，证明使用自被诊断的数据集中存在与人格相关的偏差。我们的发现激发了三个实用建议，用于改善使用自lif诊诊断策划的心理健康数据集：1）注释诊断日期和精神病合并症； 2）使用倾向得分匹配的样本对照组； 3）识别和删除选择偏差引入的虚假相关性。

使用现实世界数据的背景临床研究可能会受益于利用临床报告，这是一种特别丰富的非结构化培养基。为此，自然语言处理可以提取相关信息。使用预训练的语言模型基于转移学习的方法已在大多数NLP应用程序中实现了最先进的方法；但是，公开可用的模型缺乏接触专业语言，尤其是在医学领域。目标我们旨在评估将语言模型适应法国临床报告对下游医疗NLP任务的影响。方法我们利用从2017年8月至2021年7月在大巴黎大学医院（APHP）收集的2100万临床报告的语料库，以生产两种有关专业语言的卡梅蒙德体系结构：一项从Scratch中进行了再培训，另一个以Cammembert作为其初始化。我们使用两个法国注释的医学数据集将我们的语言模型与原始的Camembert网络进行比较，从而评估了Wilcoxon测试改进的统计意义。结果我们在临床报告上预估计的模型将APMED（APHP特定任务）的平均F1分数提高了3个百分点，达到91％，这是统计学上显着的改善。他们还达到了与Quaero上的原始Camembert相当的性能。这些结果适用于很少的预训练样品开始，从而对微调和划痕版本构成了这些结果。结论我们确认以前的文献表明，适应通才培训的语言模型（例如Camenbert on Specialty Corpora）改善了其下游临床NLP任务的性能。我们的结果表明，与微调相比，从头开始进行重新培训不会引起统计学上显着的性能增长。