在本文中,我们提出了一种使用神经网络的生存分析模型,以及可伸缩优化算法。直接应用最大似然估计(MLE)缩短数据的一个关键技术挑战是评估目标函数及其梯度相对于模型参数需要计算积分。为了解决这一挑战,我们认识到,可以将用于审查数据的MEE视为差分方程约束优化问题,这是一种新颖的视角。在此连接之后,我们通过普通微分方程模拟事件时间的分布,并利用有效的颂歌求解器并伴随敏感性分析来数值评估可能性和梯度。使用这种方法,我们能够1)提供广泛的连续时间存活分布,无需强大的结构假设,2)使用神经网络获得强大的特征表示,3)允许在大规模应用中使用模型估计模型随机梯度下降。通过仿真研究和现实世界数据示例,我们展示了所提出的方法与现有的最先进的深度学习生存分析模型相比的有效性。已在HTTPS://github.com/Jiaqima/soden公开提供拟议的SODEN方法。
translated by 谷歌翻译
生存分析是事实建模的艺术,在临床治疗决策中起着重要作用。最近,已经提出了由神经ODE建立的连续时间模型进行生存分析。然而,由于神经ODE求解器的计算复杂性很高,神经ODE的训练很慢。在这里,我们提出了一种有效的替代方案,用于柔性连续时间模型,称为生存混合物密度网络(生存MDN)。生存MDN适用于混合密度网络(MDN)的输出的可逆阳性功能。尽管MDN产生灵活的实价分布,但可逆正函数将模型映射到时间域,同时保留可拖动密度。使用四个数据集,我们表明生存MDN的性能优于或类似于一致性的连续和离散时间基准,集成的brier得分和集成的二项式对数可能性。同时,生存MDN的速度也比基于ODE的模型和离散模型中规避的分类问题快。
translated by 谷歌翻译
神经网络(深度学习)是人工智能中的现代模型,并且在生存分析中已被利用。尽管以前的作品已经显示出一些改进,但培训出色的深度学习模型需要大量数据,这在实践中可能不存在。为了应对这一挑战,我们开发了一个基于Kullback-Leibler(KL)深度学习程序,以将外部生存预测模型与新收集的活动时间数据整合在一起。时间依赖性的KL歧视信息用于衡量外部数据和内部数据之间的差异。这是考虑使用先前信息来处理深度学习生存分析中的简短数据问题的第一项工作。仿真和实际数据结果表明,与以前的工作相比,所提出的模型可实现更好的性能和更高的鲁棒性。
translated by 谷歌翻译
从电子健康记录(EHR)数据中进行有效学习来预测临床结果,这通常是具有挑战性的,因为在不规则的时间段记录的特征和随访的损失以及竞争性事件(例如死亡或疾病进展)。为此,我们提出了一种生成的事实模型,即Survlatent Ode,该模型采用了基于基于微分方程的复发性神经网络(ODE-RNN)作为编码器,以有效地对不规则采样的输入数据进行潜在状态的动力学有效地参数化。然后,我们的模型利用所得的潜在嵌入来灵活地估计多个竞争事件的生存时间,而无需指定事件特定危害功能的形状。我们展示了我们在Mimic-III上的竞争性能,这是一种从重症监护病房收集的自由纵向数据集,预测医院死亡率以及DANA-FARBER癌症研究所(DFCI)的数据,以预测静脉血栓症(静脉血栓症(DFCI)(DFCI)( VTE),是癌症患者的生命并发症,死亡作为竞争事件。幸存ODE优于分层VTE风险组的当前临床标准Khorana风险评分,同时提供临床上有意义且可解释的潜在表示。
translated by 谷歌翻译
神经网络中的大多数工作都集中在给定一组协变量的情况下估计连续响应变量的条件平均值。在本文中,我们考虑使用神经网络估算有条件的分布函数,以审查和未经审查的数据。该算法建立在与时间依赖性协变量有关COX回归的数据结构上。在不施加任何模型假设的情况下,我们考虑了基于条件危险函数是唯一未知的非参数参数的损失函数,可以应用不明显的优化方法。通过仿真研究,我们显示了所提出的方法具有理想的性能,而部分可能性方法和传统的神经网络具有$ l_2 $损失产量的偏向估计,当模型假设违反。我们进一步用几个现实世界数据集说明了提出的方法。提出的方法的实现可在https://github.com/bingqing0729/nncde上获得。
translated by 谷歌翻译
由于存在抗抗,因此仅由于例如损失跟踪而仅部分已知的抗抗,因此仅存在抗抗,因此存在于回归建模的具有挑战性。这些问题经常在医疗应用中出现,使生存分析成为医疗保健的生物统计学和机器学习的关键努力,Cox回归模型是最常用的模型。我们描述了一种基于COX回归的学习混合物来模拟各个生存分布的生存分析回归模型的新方法。我们提出了对该模型的预期最大化算法的近似,该算法对混合组进行了艰难的分配,以进行优化效率。在每个组分配中,我们使用深神经网络的每个组内的危险比以及每个混合物组分非参数的基线危害。我们对多个现实世界数据集进行实验,并查看种族和性别患者的死亡率。我们强调了校准在医疗保健环境中的重要性,并证明我们的方法在鉴别性能和校准方面表明了古典和现代生存分析基线,在少数人口统计数据上具有大的收益。
translated by 谷歌翻译
机器学习渗透到许多行业,这为公司带来了新的利益来源。然而,在人寿保险行业中,机器学习在实践中并未被广泛使用,因为在过去几年中,统计模型表明了它们的风险评估效率。因此,保险公司可能面临评估人工智能价值的困难。随着时间的流逝,专注于人寿保险行业的修改突出了将机器学习用于保险公司的利益以及通过释放数据价值带来的利益。本文回顾了传统的生存建模方法论,并通过机器学习技术扩展了它们。它指出了与常规机器学习模型的差异,并强调了特定实现在与机器学习模型家族中面对审查数据的重要性。在本文的补充中,已经开发了Python库。已经调整了不同的开源机器学习算法,以适应人寿保险数据的特殊性,即检查和截断。此类模型可以轻松地从该SCOR库中应用,以准确地模拟人寿保险风险。
translated by 谷歌翻译
有效的决策需要了解预测中固有的不确定性。在回归中,这种不确定性可以通过各种方法估算;然而,许多这些方法对调谐进行费力,产生过度自确性的不确定性间隔,或缺乏敏锐度(给予不精确的间隔)。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地,一个网络近似于累积分布函数,第二网络近似于其逆。我们将此方法称为合作网络(CN)。理论分析表明,优化的固定点处于理想化的解决方案,并且该方法是渐近的与地面真理分布一致。凭经验,学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法,包括预测来自电子健康记录的糖尿病患者的A1C值,其中不确定是至关重要的。在合成数据中,所提出的方法与基本上匹配地面真理。在真实世界数据集中,CN提高了许多性能度量的结果,包括对数似然估计,平均误差,覆盖估计和预测间隔宽度。
translated by 谷歌翻译
用于生存预测的深层神经网络在歧视方面超过了经典方法,这是患者根据事件的秩序。相反,诸如COX比例危害模型之类的经典方法显示出更好的校准,即对基础分布事件的正确时间预测。特别是在医学领域,预测单个患者的存活至关重要,歧视和校准都是重要的绩效指标。在这里,我们提出了离散的校准生存(DC),这是一个新型的深层神经网络,用于歧视和校准的生存预测,在三个医疗数据集的歧视中优于竞争生存模型,同时在所有离散时间模型中实现最佳校准。 DC的增强性能可以归因于两个新型功能,即可变的时间输出节点间距和新颖的损耗项,可优化未经审查和审查的患者数据的使用。我们认为,DCS是临床应用基于深度学习的生存预测和良好校准的重要一步。
translated by 谷歌翻译
内核生存分析模型借助内核函数估计了个体生存分布,该分布衡量了任意两个数据点之间的相似性。可以使用深内核存活模型来学习这种内核函数。在本文中,我们提出了一种名为“生存内核”的新的深内核生存模型,该模型以模型解释和理论分析的方式将大型数据集扩展到大型数据集。具体而言,根据最近开发的训练集压缩方案,用于分类和回归,将培训数据分为簇,称为内核网,我们将其扩展到生存分析设置。在测试时间,每个数据点表示为这些簇的加权组合,每个数据点可以可视化。对于生存核的特殊情况,我们在预测的生存分布上建立了有限样本误差,该误差是最佳的,该误差是最佳的。尽管使用上述内核网络压缩策略可以实现测试时间的可伸缩性,但训练过程中的可伸缩性是通过基于XGBoost(例如Xgboost)的暖启动程序和加速神经建筑搜索的启发式方法来实现的。在三个不同大小的标准生存分析数据集(大约300万个数据点)上,我们表明生存核具有很高的竞争力,并且在一致性指数方面经过测试的最佳基线。我们的代码可在以下网址找到:https://github.com/georgehc/survival-kernets
translated by 谷歌翻译
通过最大可能性培训的深层模型已经为生存分析取得了最先进的结果。尽管采取了这一培训计划,从业人员可以在其他标准下评估模型,例如在选择的时间范围内的二进制分类损失,例如,如此。 Brier得分(BS)和Bernoulli日志似然(BLL)。由于最大可能性不直接优化这些标准,最大可能性培训的模型可能具有较差的BS或BLL。直接优化BS等标准需要通过审查分布逆加权,估计本身也需要失败分布的逆加权。但也不是众所周知的。为了解决这种困境,我们介绍了逆加权的生存游戏,以培训失败和审查模型以及BS或BLL等标准。在这些游戏中,每个模型的目标是由重量估计构建的,其中包含另一个模型,其中重新加权模型在训练期间固定。当损失是正确的时,我们表明游戏总是具有真正的失败和审查分布作为静止点。这意味着游戏中的模型不会留下正确的分布。我们构建一个静止点是独一无二的一个案例。我们表明这些游戏在模拟上优化了BS,然后在现实世界癌症和危险性患者数据上应用这些原则。
translated by 谷歌翻译
时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性,在时间点过程的背景下,它们是捕获异步序列中的模式的有希望的选择。在本文中,我们首先审查了最近的研究强调和困难,在深处时间点过程建模异步事件序列,可以得出四个领域:历史序列的编码,条件强度函数的制定,事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型,并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外,我们扩展了历史编码器和条件强度函数家族,并提出了一种GRANGER因果区发现框架,用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示,所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明,具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。
translated by 谷歌翻译
机器学习在医疗保健中的应用通常需要处理时间到事实的预测任务,包括不良事件的预测,重新住院或死亡。由于失去随访,此类结果通常受到审查。标准的机器学习方法不能直接地应用于具有审查结果的数据集。在本文中,我们提出了Auton-Survival,这是一个开源存储库,用于简化审查的活动时间或生存数据的工具。Auton Survival包括用于生存回归的工具,存在域移位,反事实估计,风险分层的表型,评估以及治疗效果的估计。通过采用大量SEER肿瘤学发病率数据的现实世界案例研究,我们证明了Auton Survival迅速支持数据科学家在回答复杂健康和流行病学问题方面的能力。
translated by 谷歌翻译
学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是,大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程(DeepStpp),这是一款整合时空点流程的深层动力学模型。我们的方法灵活,高效,可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数,由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集,我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上,我们的模型展示了最先进的基线的卓越性能。
translated by 谷歌翻译
加速故障时间(AFT)模型假设故障时间与一组协变量之间的对数线性关系。与其他在危险功能上起作用的流行生存模型相反,协变量的影响直接对失败时间,其解释是直观的。未指定误差分布的半参数AFT模型对于与分布假设的不同是灵活且鲁棒的。由于理想的功能,这类模型被认为是对审查失败时间数据分析的流行COX模型的有希望的替代方法。但是,在这些AFT模型中,通常假定为平均值的线性预测指标。在建模平均值时,很少有研究解决了预测因素的非线性。在过去的几十年中,深度神经网络(DNNS)在各种领域都获得了杰出的成功。 DNN具有许多显着的优势,并且已被证明在解决非线性方面特别有用。通过利用此优势,我们建议使用GEHAN型损失拟合AFT模型中的DNN,并结合子采样技术。通过广泛的刺激研究研究了拟议DNN和基于等级的AFT模型(DEEPR-AFT)的有限样品特性。当预测因子是非线性时,DeepR-AFT在其参数或半摩米特里对应物上显示出卓越的性能。对于线性预测指标,当协变量的尺寸较大时,DEEPR-AFT的性能更好。使用两个真实数据集说明了所提出的DeepR-AFT,这证明了其优越性。
translated by 谷歌翻译
纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言,在流行病学队列研究和临床登记处,我们面临的问题是在研究早期阶段中可以从数据中学到的问题,只有基线表征和一个后续测量。灵感来自最近的进步,允许将深度学习与动态建模相结合,我们调查这些方法是否可用于揭示复杂结构,特别是对于每个单独的两个观察时间点的极端小数据设置。然后,通过利用个体的相似性,可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器(VAES)如何作为深度学习方法,可以与普通微分方程(ODES)相关联用于动态建模,然后具体研究这种方法的可行性,即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务,以提供统计的视角。使用模拟数据,我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹,以及使用具有类似轨迹的个体群体,以及其崩溃的地方。结果表明,即使在极端的小数据设置中,这种动态深度学习方法也可能是有用的,但需要仔细调整。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
针对组织病理学图像数据的临床决策支持主要侧重于强烈监督的注释,这提供了直观的解释性,但受专业表现的束缚。在这里,我们提出了一种可解释的癌症复发预测网络(Ecarenet),并表明没有强注释的端到端学习提供最先进的性能,而可以通过注意机制包括可解释性。在前列腺癌生存预测的用例上,使用14,479个图像和仅复发时间作为注释,我们在验证集中达到0.78的累积动态AUC,与专家病理学家(以及在单独测试中的AUC为0.77放)。我们的模型是良好的校准,输出生存曲线以及每位患者的风险分数和群体。利用多实例学习层的注意重量,我们表明恶性斑块对预测的影响较高,从而提供了对预测的直观解释。我们的代码可在www.github.com/imsb-uke/ecarenet上获得。
translated by 谷歌翻译
We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a blackbox differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.
translated by 谷歌翻译
Real-time individual endpoint prediction has always been a challenging task but of great clinic utility for both patients and healthcare providers. With 6,879 chronic kidney disease stage 4 (CKD4) patients as a use case, we explored the feasibility and performance of gated recurrent units with decay that models Weibull probability density function (GRU-D-Weibull) as a semi-parametric longitudinal model for real-time individual endpoint prediction. GRU-D-Weibull has a maximum C-index of 0.77 at 4.3 years of follow-up, compared to 0.68 achieved by competing models. The L1-loss of GRU-D-Weibull is ~66% of XGB(AFT), ~60% of MTLR, and ~30% of AFT model at CKD4 index date. The average absolute L1-loss of GRU-D-Weibull is around one year, with a minimum of 40% Parkes serious error after index date. GRU-D-Weibull is not calibrated and significantly underestimates true survival probability. Feature importance tests indicate blood pressure becomes increasingly important during follow-up, while eGFR and blood albumin are less important. Most continuous features have non-linear/parabola impact on predicted survival time, and the results are generally consistent with existing knowledge. GRU-D-Weibull as a semi-parametric temporal model shows advantages in built-in parameterization of missing, native support for asynchronously arrived measurement, capability of output both probability and point estimates at arbitrary time point for arbitrary prediction horizon, improved discrimination and point estimate accuracy after incorporating newly arrived data. Further research on its performance with more comprehensive input features, in-process or post-process calibration are warranted to benefit CKD4 or alike terminally-ill patients.
translated by 谷歌翻译