技术在康复领域发挥着重要作用,改善患者结果并降低医疗保健成本。然而,现有的方法缺乏临床验证,鲁棒性和易用性。我们提出Tele-EventNet,这是一个由两个组件组成的新颖系统:实时反馈模型和整体性能评估模型。实时反馈模型展示了对运动正确性的反馈,易于理解使用颜色标记突出显示的指令。整体绩效评估模型学会了联合数据的映射到分数,由临床医生的表现提供。该模型通过从联合数据中提取临床批准的特征来实现这一点。此外,这些特征与AutoEncoder一起编码到较低的尺寸空间。提出了一种新的多尺度CNN-LSTM网络,以通过利用在多个尺度提取的功能来学习对分数的性能数据的映射。所提出的系统显示出高度改善的分数预测和优于最先进的康复模型。
translated by 谷歌翻译
与经典信号处理和基于机器学习的框架相比,基于深度学习的方法基于深度学习的方法显着提高了分类准确性。但大多数是由于脑电图数据中存在的受试者间可变性而无法概括对象无关的任务的主题依赖性研究。在这项工作中,提出了一种新的深度学习框架,其能够进行独立的情感识别,由两部分组成。首先,提出了具有通道关注自动泊车的无监督的长短期存储器(LSTM),用于获取主体不变的潜航向量子空间,即每个人的EEG数据中存在的内部变量。其次,提出了一种具有注意力框架的卷积神经网络(CNN),用于对从提出的LSTM获得的编码的较低的潜在空间表示对具有通道 - 注意自身形拓的编码的低潜空间表示的任务。通过注意机制,所提出的方法可以突出EEG信号的显着时间段,这有助于所考虑的情绪,由结果验证。已经使用公共数据集进行了验证的方法,用于EEG信号,例如Deap DataSet,SEED数据集和CHB-MIT数据集。所提出的端到端深度学习框架消除了不同手工工程特征的要求,并提供了一个单一的全面任务不可知性EEG分析工具,能够对主题独立数据进行各种EEG分析。
translated by 谷歌翻译
Stroke is known as a major global health problem, and for stroke survivors it is key to monitor the recovery levels. However, traditional stroke rehabilitation assessment methods (such as the popular clinical assessment) can be subjective and expensive, and it is also less convenient for patients to visit clinics in a high frequency. To address this issue, in this work based on wearable sensing and machine learning techniques, we develop an automated system that can predict the assessment score in an objective manner. With wrist-worn sensors, accelerometer data is collected from 59 stroke survivors in free-living environments for a duration of 8 weeks, and we map the week-wise accelerometer data(3 days per week) to the assessment score by developing signal processing and predictive model pipeline. To achieve this, we propose two types of new features, which can encode the rehabilitation information from both paralysed and non-paralysed sides while suppressing the high level noises such as irrelevant daily activities. Based on the proposed features, we further develop the longitudinal mixed-effects model with Gaussian process prior (LMGP), which can model the random effects caused by different subjects and time slots (during the 8 weeks). Comprehensive experiments are conducted to evaluate our system on both acute and chronic patients, and the promising results suggest its effectiveness.
translated by 谷歌翻译
从视频和动态数据自动活动识别是一种重要的机器学习问题,其应用范围从机器人到智能健康。大多数现有的作品集中在确定粗动作,如跑步,登山,或切割植物,其具有相对长的持续时间。这对于那些需要细微动作中的高时间分辨率识别应用的一个重要限制。例如,在中风恢复,定量康复剂量需要区分具有亚秒持续时间的运动。我们的目标是弥合这一差距。为此,我们引入了一个大规模,多数据集,StrokeRehab,为包括标记高时间分辨率微妙的短期操作的新动作识别基准。这些短期的行为被称为功能性原语和由河段,运输,重新定位,稳定作用,和空转的。所述数据集由高品质的惯性测量单元的传感器和执行的日常生活像馈送,刷牙等的活动41中风影响的病人的视频数据的,我们表明,基于分割产生嘈杂状态的最先进的现有机型预测时,对这些数据,这往往会导致行动超量。为了解决这个问题,我们提出了高分辨率的活动识别,通过语音识别技术的启发,它是基于一个序列到序列模型,直接预测的动作序列的新方法。这种方法优于国家的最先进的电流在StrokeRehab数据集的方法,以及对标准的基准数据集50Salads,早餐,和拼图。
translated by 谷歌翻译
在急诊室(ER)环境中,中风分类或筛查是一个普遍的挑战。由于MRI的慢速吞吐量和高成本,通常会进行快速CT而不是MRI。在此过程中通常提到临床测试,但误诊率仍然很高。我们提出了一个新型的多模式深度学习框架,深沉的中风,以通过识别较小的面部肌肉不协调的模式来实现计算机辅助中风的存在评估,并使怀疑急性环境中的中风的患者无能为力。我们提出的深雷克斯(Deepstroke)在中风分流器中容易获得一分钟的面部视频数据和音频数据,用于局部面部瘫痪检测和全球语音障碍分析。采用了转移学习来减少面部侵蚀偏见并提高普遍性。我们利用多模式的横向融合来结合低水平和高级特征,并为关节训练提供相互正则化。引入了新型的对抗训练以获得无身份和中风的特征。与实际急诊室患者进行的视频ADIO数据集进行的实验表明,与分类团队和ER医生相比,中风的表现要优于最先进的模型,并且取得更好的性能,比传统的敏感性高出10.94%,高7.37%的精度高出7.37%。当特异性对齐时,中风分类。同时,每个评估都可以在不到六分钟的时间内完成,这表明该框架的临床翻译潜力很大。
translated by 谷歌翻译
Seizure type identification is essential for the treatment and management of epileptic patients. However, it is a difficult process known to be time consuming and labor intensive. Automated diagnosis systems, with the advancement of machine learning algorithms, have the potential to accelerate the classification process, alert patients, and support physicians in making quick and accurate decisions. In this paper, we present a novel multi-path seizure-type classification deep learning network (MP-SeizNet), consisting of a convolutional neural network (CNN) and a bidirectional long short-term memory neural network (Bi-LSTM) with an attention mechanism. The objective of this study was to classify specific types of seizures, including complex partial, simple partial, absence, tonic, and tonic-clonic seizures, using only electroencephalogram (EEG) data. The EEG data is fed to our proposed model in two different representations. The CNN was fed with wavelet-based features extracted from the EEG signals, while the Bi-LSTM was fed with raw EEG signals to let our MP-SeizNet jointly learns from different representations of seizure data for more accurate information learning. The proposed MP-SeizNet was evaluated using the largest available EEG epilepsy database, the Temple University Hospital EEG Seizure Corpus, TUSZ v1.5.2. We evaluated our proposed model across different patient data using three-fold cross-validation and across seizure data using five-fold cross-validation, achieving F1 scores of 87.6% and 98.1%, respectively.
translated by 谷歌翻译
纵向电子健康记录(EHR)数据的可用性增加导致改善对疾病的理解和新颖表型的发现。大多数聚类算法仅关注患者轨迹,但具有类似轨迹的患者可能具有不同的结果。寻找不同轨迹和结果的患者亚组可以引导未来的药物开发,改善临床试验的招募。我们使用可以加权的重建,结果和聚类损耗开发经常性神经网络自动拓群体以群集EHR数据,以查找不同类型的患者群集。我们展示我们的模型能够从数据偏差和结果差异中发现已知的集群,表现优于基线模型。我们展示了29,222,229美元糖尿病患者的模型性能,显示出发现患有不同轨迹和不同结果的患者的簇,可用于帮助临床决策。
translated by 谷歌翻译
肌肉骨骼和神经系统疾病是老年人行走问题的最常见原因,它们通常导致生活质量降低。分析步行运动数据手动需要训练有素的专业人员,并且评估可能并不总是客观的。为了促进早期诊断,最近基于深度学习的方法显示了自动分析的有希望的结果,这些方法可以发现传统的机器学习方法中未发现的模式。我们观察到,现有工作主要应用于单个联合特征,例如时间序列的联合职位。由于发现了诸如通常较小规模的医疗数据集的脚之间的距离(即步幅宽度)之类的挑战,因此这些方法通常是优选的。结果,我们提出了一种解决方案,该解决方案明确地将单个关节特征和关节间特征作为输入,从而使系统免于从小数据中发现更复杂的功能。由于两种特征的独特性质,我们引入了一个两流框架,其中一个流从关节位置的时间序列中学习,另一个从相对关节位移的时间序列中学习。我们进一步开发了一个中层融合模块,以将发现的两个流中发现的模式结合起来进行诊断,从而导致数据互补表示,以获得更好的预测性能。我们使用3D骨架运动的基准数据集涉及45例肌肉骨骼和神经系统疾病的患者,并实现95.56%的预测准确性,效果优于最先进的方法,从而验证了我们的系统。
translated by 谷歌翻译
老年人的数量越来越多,对医疗保健以及特别是康复医疗保健令人担忧。辅助技术和辅助机器人特别可能有助于改善这一过程。我们开发一个能够向患者展示康复锻炼的机器人教练,观看患者进行练习并给予他的反馈,以提高他的表现并鼓励他。该系统的HRI基于我们的研究与康复治疗师和目标人群的团队。系统依赖于人类运动分析。我们开发了一种学习概率表达的方法,从专家演示中学习理想运动。使用使用Microsoft Kinect V2捕获的位置和取向特征采用高斯混合模型。为了评估患者的动作,我们提出了一个时间的多级分析,暂时和空间上识别并解释了身体部位误差。该分析与分类算法相结合允许机器人提供教练建议,以使患者提高他的运动。三次康复演习的评价表明了提出的学习和评估Kinaesthetic运动的方法。
translated by 谷歌翻译
人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用,从传感器获得的先前看不见的数据序列中。识别,理解和预测复杂人类行动的能力能够构建许多重要的应用,例如智能监视系统,人力计算机界面,医疗保健,安全和军事应用。近年来,计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型,并分析它们,以提供用于解决人类行动识别问题的深度学习算法的当前进展,以突出其优势和缺点。基于文献中报道的识别精度的定量分析,我们的研究确定了动作识别中最新的深层体系结构,然后为该领域的未来工作提供当前的趋势和开放问题。
translated by 谷歌翻译
电子医疗保健记录是可用于患者分层的重要信息来源,以探索新型疾病表型。但是,它们可能具有挑战性,因为数据往往稀疏和不规则地采样。解决这些限制的一种方法是学习密集的嵌入,其代表使用经常性神经网络AutoEncoder(RNN-AE)的单个患者轨迹。该过程可以易于对不需要的数据偏差影响。我们表明,使用先前提出的RNN-AE模型的患者嵌入和群集可能受到轨迹偏差的影响,这意味着结果由每个患者轨迹中包含的数据量主导,而不是临床相关细节。我们调查了2个数据集(来自不同医院)和2个疾病区域的偏差,以及使用患者轨迹的不同部分。我们使用2个以前公布的基线方法的结果表示事件到最终轨迹的情况下特别强烈的偏见。我们提出了一种方法,可以使用RNN-AE顶部的对抗培训方案来克服这个问题。我们的研究结果表明,我们的方法可以减少所有情况下的轨迹偏差。
translated by 谷歌翻译
Assessing the physical condition in rehabilitation scenarios is a challenging problem, since it involves Human Activity Recognition (HAR) and kinematic analysis methods. In addition, the difficulties increase in unconstrained rehabilitation scenarios, which are much closer to the real use cases. In particular, our aim is to design an upper-limb assessment pipeline for stroke patients using smartwatches. We focus on the HAR task, as it is the first part of the assessing pipeline. Our main target is to automatically detect and recognize four key movements inspired by the Fugl-Meyer assessment scale, which are performed in both constrained and unconstrained scenarios. In addition to the application protocol and dataset, we propose two detection and classification baseline methods. We believe that the proposed framework, dataset and baseline results will serve to foster this research field.
translated by 谷歌翻译
人类的情感和心理状态以自动化的方式估计,面临许多困难,包括从差或没有时间分辨率的标签中学习,从很少有数据的数据集中学习(通常是由于机密性约束),并且(非常)很长 - 野外视频。由于这些原因,深度学习方法倾向于过度合适,也就是说,在最终回归任务上获得概括性差的潜在表示。为了克服这一点,在这项工作中,我们介绍了两个互补的贡献。首先,我们引入了一种新型的关系损失,以解决多标签回归和序数问题,该问题规则学习并导致更好的概括。拟议的损失使用标签矢量间歇间信息来通过将批次标签距离与潜在特征空间中的距离进行对齐,从而学习更好的潜在表示。其次,我们利用了两个阶段的注意体系结构,该体系结构通过使用相邻夹中的功能作为时间上下文来估计每个剪辑的目标。我们评估了关于连续影响和精神分裂症严重程度估计问题的提议方法,因为两者之间存在方法论和背景相似之处。实验结果表明,所提出的方法的表现优于所有基准。在精神分裂症的领域中,拟议的方法学优于先前的最先进的利润率,其PCC的PCC绩效高达78%的绩效(85%)(85%),并且比以前的工作高得多(Uplift FiftLift最多40%)。在情感识别的情况下,我们在OMG和AMIGOS数据集上都以CCC为基础的先前基于以前的方法。对于Amigos而言,我们的唤醒和价值分别均优于先前的SOTA CCC,分别为9%和13%,在OMG数据集中,我们的效果均优于先前的视力,唤醒和价值均高达5%。
translated by 谷歌翻译
视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型,但已经发现预测帧的定量评估非常具有挑战性。在这种情况下,我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估(IISC PVQA)数据库,该数据库由300个视频组成,通过在不同的数据集上应用不同的预测模型,并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明,人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施,并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能,以有效地捕获预测视频的质量,具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处,以及从重新置于帧差异中提取的深度特征。我们表明,我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供:https://nagabhushansn95.github.io/publications/2020/pvqa
translated by 谷歌翻译
呼吸率(RR)是重要的生物标志物,因为RR变化可以反映严重的医学事件,例如心脏病,肺部疾病和睡眠障碍。但是,不幸的是,标准手动RR计数容易出现人为错误,不能连续执行。这项研究提出了一种连续估计RR,RRWAVENET的方法。该方法是一种紧凑的端到端深度学习模型,不需要特征工程,可以将低成本的原始光摄影学(PPG)用作输入信号。对RRWAVENET进行了独立于主题的测试,并与三个数据集(BIDMC,Capnobase和Wesad)中的基线进行了比较,并使用三个窗口尺寸(16、32和64秒)进行了比较。 RRWAVENET优于最佳窗口大小为1.66 \ pm 1.01、1.59 \ pm 1.08的最佳绝对错误的最新方法,每个数据集每分钟每分钟呼吸0.96。在远程监视设置(例如在WESAD数据集中),我们将传输学习应用于其他两个ICU数据集,将MAE降低到1.52 \ pm每分钟0.50呼吸,显示此模型可以准确且实用的RR对负担得起的可穿戴设备进行准确估算。我们的研究表明,在远程医疗和家里,远程RR监测的可行性。
translated by 谷歌翻译
基于电动机图像(MI)的脑电脑界面(BCIS)允许通过解码神经生理现象来控制几种应用,这些现象通常通过使用非侵入性技术被脑电图(EEG)记录。尽管在基于MI的BCI的进展方面很大,但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战,特别是在独立的方式。为了克服这些挑战,我们提出了Min2Net,这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中,以从脑电图中学习紧凑且识别的潜在表示,并同时执行分类。这种方法降低了预处理的复杂性,导致EEG分类的显着性能改善。实验结果以本语独立的方式表明,MIN2Net优于最先进的技术,在SMR-BCI和OpenBMI数据集中分别实现了6.72%的F1分数提高,以及2.23%。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用,而无需校准。
translated by 谷歌翻译
中风康复旨在通过功能运动的重复实践来增加神经塑性,但由于重复不足,对恢复可能具有最小的影响。最佳培训内容和数量目前未知,因为不存在测量它们的实用工具。在这里,我们呈现Primseq,一个管道来分类和计算在笔划康复中培训的功能动作。我们的方法集成了可穿戴传感器来捕获上体运动,深度学习模型来预测运动序列,以及对Tally Motions的算法。训练有素的模型将康复活动分解成组件功能运动,优于竞争性机器学习方法。 Primseq进一步在人类专家的时间和劳动力成本的一小部分中量化了这些动作。我们展示了以前看不见的中风患者的Primseq的能力,这是一系列上肢电机损伤。我们预计这些进步将支持在中风康复中定量给药试验所需的严格测量。
translated by 谷歌翻译
我们提出了一种使用流生理时间序列的端到端模型,以准确预测低氧血症的近期风险,低氧血症是一种罕见但威胁生命的疾病,已知在手术期间造成严重的患者伤害。受到以下事实的启发:低氧血症事件是根据未来观察到的低spo2(即血氧饱和度)实例定义的,我们提出的模型使对未来的低spo2实例和低氧血症结果的混合推断,并由关节序列启用同时优化标签预测的判别解码器的自动编码器,以及对数据重建和预测进行了培训的两个辅助解码器,它们无缝地学习上下文的潜在表示,这些表示捕获了当前状态之间的过渡到未来状态。所有解码器都共享一个基于内存的编码器,有助于捕获患者测量的全局动态。对于一个主要的学术医学中心进行了72,081次手术的大型手术队列,我们​​的模型优于所有基础,包括最先进的低氧预测系统使用的模型。能够以临床上可接受的警报对近期低氧事件的警报进行分辨率的实时预测,尤其是更关键的持续性低氧血症,我们提出的模型在改善临床决策和减轻围手术期的减轻负担方面有希望。
translated by 谷歌翻译
背景:以自我为中心的视频已成为监测社区中四肢瘫痪者的手部功能的潜在解决方案,尤其是因为它在家庭环境中检测功能使用的能力。目的:开发和验证一个基于可穿戴视力的系统,以测量四肢植物患者的家庭使用。方法:开发并比较了几种用于检测功能手动相互作用的深度学习算法。最精确的算法用于从20名参与者在家庭中记录的65小时的无脚本视频中提取手部功能的度量。这些措施是:总记录时间(PERC)的交互时间百分比;单个相互作用的平均持续时间(DUR);每小时互动数(NUM)。为了证明技术的临床有效性,以验证的措施与经过验证的手部功能和独立性的临床评估相关(逐渐定义了强度,敏感性和预性的评估 - GRASSP,上肢运动评分 - UEM和脊髓独立措施 - SICIM- SICIM- SICIM) 。结果:手动相互作用以0.80(0.67-0.87)的中位数得分自动检测到手动相互作用。我们的结果表明,较高的UEM和更好的预性与花费更长的时间相互作用有关,而较高的cim和更好的手动感觉会导致在以eg中心的视频记录期间进行的更多相互作用。结论:第一次,在四肢瘫痪者中,在不受约束的环境中自动估计的手部功能的度量已得到了国际接受的手部功能量度的验证。未来的工作将需要对基于以自我为中心的手工使用的绩效指标的可靠性和响应能力进行正式评估。
translated by 谷歌翻译
基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法,也许是由于它们的数学精度,已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的:$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声,但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中,可伸缩性问题是一个重要的挑战,但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性,并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距,并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰(Ilya Chevryev)和安德烈·科米利津(Andrey Kormilitzin)的早期论文,它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的,这种方式在很大程度上对数据类型不可知。
translated by 谷歌翻译