中风康复旨在通过功能运动的重复实践来增加神经塑性，但由于重复不足，对恢复可能具有最小的影响。最佳培训内容和数量目前未知，因为不存在测量它们的实用工具。在这里，我们呈现Primseq，一个管道来分类和计算在笔划康复中培训的功能动作。我们的方法集成了可穿戴传感器来捕获上体运动，深度学习模型来预测运动序列，以及对Tally Motions的算法。训练有素的模型将康复活动分解成组件功能运动，优于竞争性机器学习方法。 Primseq进一步在人类专家的时间和劳动力成本的一小部分中量化了这些动作。我们展示了以前看不见的中风患者的Primseq的能力，这是一系列上肢电机损伤。我们预计这些进步将支持在中风康复中定量给药试验所需的严格测量。

从视频和动态数据自动活动识别是一种重要的机器学习问题，其应用范围从机器人到智能健康。大多数现有的作品集中在确定粗动作，如跑步，登山，或切割植物，其具有相对长的持续时间。这对于那些需要细微动作中的高时间分辨率识别应用的一个重要限制。例如，在中风恢复，定量康复剂量需要区分具有亚秒持续时间的运动。我们的目标是弥合这一差距。为此，我们引入了一个大规模，多数据集，StrokeRehab，为包括标记高时间分辨率微妙的短期操作的新动作识别基准。这些短期的行为被称为功能性原语和由河段，运输，重新定位，稳定作用，和空转的。所述数据集由高品质的惯性测量单元的传感器和执行的日常生活像馈送，刷牙等的活动41中风影响的病人的视频数据的，我们表明，基于分割产生嘈杂状态的最先进的现有机型预测时，对这些数据，这往往会导致行动超量。为了解决这个问题，我们提出了高分辨率的活动识别，通过语音识别技术的启发，它是基于一个序列到序列模型，直接预测的动作序列的新方法。这种方法优于国家的最先进的电流在StrokeRehab数据集的方法，以及对标准的基准数据集50Salads，早餐，和拼图。

日常生活的活动措施（ADL）是整体健康状况的重要指标，但难以测量诊所。使用手腕磨损的加速度计自动和准确的人类活动识别（HAR）可以实现ADL的实用和成本高效的远程监控。开发高质量Har中的关键障碍是缺乏大型标记的数据集和在将小型策级数据集培训的模型应用于现实生活中的不均匀数据的连续流时缺乏大型标记数据集和性能损失。在这项工作中，我们设计了一个自我监督的学习范例，以创建可以跨设备和主题概括的加速度计数据的强大表示。我们展示了这种代表可以使用很少的标签分离日常生活活动并实现强大的RAR准确性（在多个基准数据集上）。我们还提出了一种分割算法，可以识别突出活动的段，并在连续的现实生活数据上升高掌握。

Assessing the physical condition in rehabilitation scenarios is a challenging problem, since it involves Human Activity Recognition (HAR) and kinematic analysis methods. In addition, the difficulties increase in unconstrained rehabilitation scenarios, which are much closer to the real use cases. In particular, our aim is to design an upper-limb assessment pipeline for stroke patients using smartwatches. We focus on the HAR task, as it is the first part of the assessing pipeline. Our main target is to automatically detect and recognize four key movements inspired by the Fugl-Meyer assessment scale, which are performed in both constrained and unconstrained scenarios. In addition to the application protocol and dataset, we propose two detection and classification baseline methods. We believe that the proposed framework, dataset and baseline results will serve to foster this research field.

Stroke is known as a major global health problem, and for stroke survivors it is key to monitor the recovery levels. However, traditional stroke rehabilitation assessment methods (such as the popular clinical assessment) can be subjective and expensive, and it is also less convenient for patients to visit clinics in a high frequency. To address this issue, in this work based on wearable sensing and machine learning techniques, we develop an automated system that can predict the assessment score in an objective manner. With wrist-worn sensors, accelerometer data is collected from 59 stroke survivors in free-living environments for a duration of 8 weeks, and we map the week-wise accelerometer data(3 days per week) to the assessment score by developing signal processing and predictive model pipeline. To achieve this, we propose two types of new features, which can encode the rehabilitation information from both paralysed and non-paralysed sides while suppressing the high level noises such as irrelevant daily activities. Based on the proposed features, we further develop the longitudinal mixed-effects model with Gaussian process prior (LMGP), which can model the random effects caused by different subjects and time slots (during the 8 weeks). Comprehensive experiments are conducted to evaluate our system on both acute and chronic patients, and the promising results suggest its effectiveness.

闭环大脑刺激是指捕获诸如脑电图（EEG）之类的神经生理学措施，迅速识别感兴趣的神经事件，并产生听觉，磁性或电刺激，从而精确地与大脑过程相互作用。这是一种基本神经科学的新方法，也许是临床应用，例如恢复降解记忆功能；但是，现有工具很昂贵，繁琐，并且具有有限的实验灵活性。在本文中，我们提出了Portiloop，这是一种基于深度学习的，便携式和低成本的闭环刺激系统，能够靶向特定的脑振荡。我们首先记录可以从市售组件构建的开放式软件实现。我们还提供了快速，轻巧的神经网络模型和探索算法，该算法自动优化了所需的脑振荡的模型超参数。最后，我们在实时睡眠主轴检测的具有挑战性的测试案例中验证了该技术，结果可与大规模在线数据注释主轴数据集（MODA；组共识）上的离线专家绩效相当。社区可以提供软件和计划，作为开放科学计划，旨在鼓励进一步开发并推动闭环神经科学研究。

来自世界卫生组织的现行指南表明，萨尔科夫-2冠状病毒导致新型冠状病毒疾病（Covid-19），通过呼吸液滴或通过接触传输。当受污染的双手触摸嘴巴，鼻子或眼睛的粘膜时，会发生接触传输。此外，病原体也可以通过受污染的手从一个表面转移到另一个表面，这便于通过间接接触传输。因此，手卫生极为重要，无法防止萨尔库夫-2病毒的传播。此外，手工洗涤和/或手摩擦也破坏了其他病毒和细菌的传播，引起常见的感冒，流感和肺炎，从而降低了整体疾病负担。可穿戴设备（如Smartwatches）的巨大扩散，包括加速，旋转，磁场传感器等，以及人工智能的现代技术，如机器学习和最近深度学习，允许开发准确的应用人类活动的认可和分类，如：步行，攀爬楼梯，跑步，拍手，坐着，睡觉等。在这项工作中，我们评估了基于当前智能手​​表的自动系统的可行性，该智能手表能够识别何时受试者洗涤或摩擦它的手，以监测频率和持续时间的参数，并评估手势的有效性。我们的初步结果显示了分别为深度和标准学习技术的约95％和约94％的分类准确性。

可穿戴设备，不断收集用户的各种传感器数据，增加了无意和敏感信息的推论的机会，例如在物理键盘上键入的密码。我们彻底看看使用电拍摄（EMG）数据的潜力，这是一个新的传感器模式，这是市场新的，但最近在可穿戴物的上下文中受到关注，用于增强现实（AR），用于键盘侧通道攻击。我们的方法是基于使用Myo Armband收集传感器数据的逼真场景中对象攻击之间的神经网络。在我们的方法中，与加速度计和陀螺相比，EMG数据被证明是最突出的信息来源，增加了击键检测性能。对于我们对原始数据的端到端方法，我们报告了击键检测的平均平衡准确性，击键检测的平均高度高精度为52级，为不同优势密码的密钥识别约32％ 。我们创建了一个广泛的数据集，包括从37个志愿者录制的310 000次击键，它可作为开放式访问，以及用于创建给定结果的源代码。

全球2019百万人被感染，450万失去了持续的Covid-19大流行病。直到疫苗变得广泛的可用，预防措施和安全措施，如戴着面具，身体疏远，避免面对面触摸是一些抑制病毒传播的主要手段。脸部触摸是一种强迫性的人Begvior，在不进行持续派生的情况下，不能防止，即使那么它是不可避免的。为了解决这个问题，我们设计了一种基于SmartWatch的解决方案，Covidalert，利用了随机森林算法，从SmartWatch训练了加速度计和陀螺数据，以检测到面部的手动转换，并向用户发送快速触觉警报。 Covidalert是高能量的，因为它使用STA / LTA算法作为网守，在用户处于非活动状态时缩短手表上随机林模型的使用。我们的系统的整体准确性为88.4％，具有低假阴性和误报。我们还通过在商业化石Gen 5 Smartwatch上实现了系统的活力。

声学和视觉感测可以在人操纵时支持容器重量和其内容量的非接触式估计。但是，Opaquent和透明度（包括容器和内容的透明度）以及材料，形状和尺寸的可变性都会使这个问题具有挑战性。在本文中，我们向基准方法提出了一个开放框架，用于估计容器的容量，以及其内容的类型，质量和量。该框架包括数据集，明确定义的任务和性能测量，基线和最先进的方法，以及对这些方法的深入比较分析。使用单独的音频或音频和视觉数据的组合使用具有音频的神经网络的深度学习，用于分类内容的类型和数量，无论是独立的还是共同。具有视觉数据的回归和几何方法是优选的，以确定容器的容量。结果表明，使用仅使用Audio作为输入模块的方法对内容类型和级别进行分类，可分别获得加权平均F1-得分高达81％和97％。估计仅具有视觉视觉的近似接近和填充质量的容器容量，具有视听，多级算法达到65％的加权平均容量和质量分数。

背景：以自我为中心的视频已成为监测社区中四肢瘫痪者的手部功能的潜在解决方案，尤其是因为它在家庭环境中检测功能使用的能力。目的：开发和验证一个基于可穿戴视力的系统，以测量四肢植物患者的家庭使用。方法：开发并比较了几种用于检测功能手动相互作用的深度学习算法。最精确的算法用于从20名参与者在家庭中记录的65小时的无脚本视频中提取手部功能的度量。这些措施是：总记录时间（PERC）的交互时间百分比；单个相互作用的平均持续时间（DUR）；每小时互动数（NUM）。为了证明技术的临床有效性，以验证的措施与经过验证的手部功能和独立性的临床评估相关（逐渐定义了强度，敏感性和预性的评估 - GRASSP，上肢运动评分 - UEM和脊髓独立措施 - SICIM- SICIM- SICIM） 。结果：手动相互作用以0.80（0.67-0.87）的中位数得分自动检测到手动相互作用。我们的结果表明，较高的UEM和更好的预性与花费更长的时间相互作用有关，而较高的cim和更好的手动感觉会导致在以eg中心的视频记录期间进行的更多相互作用。结论：第一次，在四肢瘫痪者中，在不受约束的环境中自动估计的手部功能的度量已得到了国际接受的手部功能量度的验证。未来的工作将需要对基于以自我为中心的手工使用的绩效指标的可靠性和响应能力进行正式评估。

双相情感障碍是一种心理健康障碍，导致情绪波动，从令人沮丧到狂热。双相障碍的诊断通常是根据患者访谈进行的，并从患者的护理人员获得的报告。随后，诊断取决于专家的经验，并且可以与其他精神障碍的疾病混淆。双极性障碍诊断中的自动化过程可以帮助提供定量指标，并让患者的更容易观察较长的时间。此外，在Covid-19大流行期间，对遥控和诊断的需求变得尤为重要。在本论文中，我们根据声学，语言和视觉方式的患者录制来创建一种多模态决策系统。该系统培养在双极障碍语料库上。进行综合分析单峰和多模式系统，以及各种融合技术。除了使用单向特征处理整个患者会话外，还研究了剪辑的任务级调查。在多模式融合系统中使用声学，语言和视觉特征，我们实现了64.8％的未加权平均召回得分，这提高了在该数据集上实现的最先进的性能。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

基于标记的光运动捕获（OMC）系统和相关的肌肉骨骼（MSK）建模预测提供了能够洞悉体内关节和肌肉载荷的能力，并有助于临床决策。但是，OMC系统基于实验室，昂贵，需要视线。一种广泛使用的替代方案是惯性运动捕获（IMC）系统，该系统具有便携式，用户友好且相对较低的成本，尽管它不如OMC系统准确。不管选择运动捕获技术的选择，都需要使用MSK模型来获取运动学和动力学输出，这是一种计算昂贵的工具，越来越多地通过机器学习（ML）方法近似。在这里，我们提出了一种ML方法，将IMC数据映射到从OMC输入数据计算出的人类上限MSK输出。从本质上讲，我们试图从相对易于获取的IMC数据中预测高质量的MSK输出。我们使用同一受试者同时收集的OMC和IMC数据来训练ML（前馈多层感知器）模型，该模型可预测IMC测量值的基于OMC的MSK输出。我们证明我们的ML预测与所需的基于OMC的MSK估计值具有很高的一致性。因此，这种方法将有助于将基于OMC的系统不可行的“实验室到现场”的技术发挥作用。

目的：我们提出了一个正式的框架，用于使用统一的运动原始图（MPS）作为基本手术动作来建模手术任务，以实现不同数据集的更客观的标记和聚集，并培训通用模型，以实现手术动作识别。方法：我们使用我们的框架来创建上下文和运动原始骨料外科手术集（指南针），包括来自三个公共可用数据集（拼图，桌子，桌子和Rosma）的六个干燥LAB手术任务标签。提出了标记手术环境和自动转换为MPS的方法。我们提出了一项任务（Loto）交叉验证方法，以评估模型概括为看不见的任务的能力。结果：我们的上下文标签方法达到了众包的共识标签与专家外科医生之间的几乎完美的一致性。对MPS的任务进行分割，可以生成单独的左右笔录，并显着改善Loto的性能。我们发现，如果对具有相同上下文的任务和/或来自同一数据集的任务进行了培训，则MP细分模型的性能最佳。结论：所提出的框架可以基于上下文和细粒度的MPS对外科数据进行高质量的标记。使用MPS对外科手术任务进行建模可以使不同数据集的汇总用于训练动作识别模型，这些模型可以比在手势级别训练的模型更好地概括地看不见的任务。意义：我们的正式框架和汇总数据集可以支持用于手术过程分析，技能评估，错误检测和自治的模型和算法的开发。

简介：手功能是中风后独立性的中心决定因素。在家庭环境中测量手用途是为了评估新干预措施的影响，并需要新颖的可穿戴技术。以自我为中心的视频可以在上下文中捕获手动相互作用，并显示在双边任务（用于稳定或操纵）过程中如何使用受影响的手。需要自动化方法来提取此信息。目的：使用基于人工智能的计算机视觉来对中风后在家中记录的以自我为中心的视频进行手工使用和手工角色进行分类。方法：21个中风幸存者参加了这项研究。使用随机的森林分类器，慢速神经网络和手对象检测器神经网络来识别在家中的手用和手工作用。剩余的受试者 - 划线验证（LOSOCV）用于评估三种模型的性能。根据Mathews相关系数（MCC）计算模型的组间差异。结果：对于手用检测，手对象检测器的性能明显高于其他模型。使用该模型在LOSOCV中使用该模型的宏平均MCC为受影响更大的手的0.50 +-0.23，而受影响较小的手的宏观MCC为0.58 +-0.18。手部角色分类在LOSOCV中的宏平均MCC对于所有模型而言接近零。结论：使用以自我为中心的视频来捕获家里的中风幸存者的手用途。姿势估计以跟踪手指运动可能有益于将来的手部角色分类。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.

在急诊室（ER）环境中，中风分类或筛查是一个普遍的挑战。由于MRI的慢速吞吐量和高成本，通常会进行快速CT而不是MRI。在此过程中通常提到临床测试，但误诊率仍然很高。我们提出了一个新型的多模式深度学习框架，深沉的中风，以通过识别较小的面部肌肉不协调的模式来实现计算机辅助中风的存在评估，并使怀疑急性环境中的中风的患者无能为力。我们提出的深雷克斯（Deepstroke）在中风分流器中容易获得一分钟的面部视频数据和音频数据，用于局部面部瘫痪检测和全球语音障碍分析。采用了转移学习来减少面部侵蚀偏见并提高普遍性。我们利用多模式的横向融合来结合低水平和高级特征，并为关节训练提供相互正则化。引入了新型的对抗训练以获得无身份和中风的特征。与实际急诊室患者进行的视频ADIO数据集进行的实验表明，与分类团队和ER医生相比，中风的表现要优于最先进的模型，并且取得更好的性能，比传统的敏感性高出10.94％，高7.37％的精度高出7.37％。当特异性对齐时，中风分类。同时，每个评估都可以在不到六分钟的时间内完成，这表明该框架的临床翻译潜力很大。

时间动作分割（TAS）旨在在长期未经修剪的动作序列中对作用进行分类和定位。随着深度学习的成功，出现了许多深入的行动分割模型。但是，很少有TAS仍然是一个具有挑战性的问题。这项研究提出了一个基于少数骨架的TA的有效框架，包括数据增强方法和改进的模型。此处介绍了基于运动插值的数据增强方法，以解决数据不足的问题，并可以通过合成动作序列大大增加样品数量。此外，我们将连接式时间分类（CTC）层与设计用于基于骨架的TA的网络以获得优化的模型。利用CTC可以增强预测和地面真理之间的时间一致性，并进一步改善细分段的分割结果指标。对公共和自我结构的数据集进行了广泛的实验，包括两个小规模数据集和一个大规模数据集，显示了两种建议方法在改善基于少数骨架的TAS任务的性能方面的有效性。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.