人类姿势预测是一个充满挑战的问题，涉及复杂的人体运动和姿势动态。在环境中有多个人的情况下，一个人的运动也可能受到他人的运动和动态运动的影响。尽管以前有一些针对多人动态姿势预测问题的作品，但它们通常将整个姿势序列作为时间序列（忽略关节之间的基本关系）建模，或者仅一次输出一个人的未来姿势序列。在本文中，我们提出了一种新方法，称为社会运动变压器（SOM形态），用于多人3D姿势预测。我们的变压器架构独特地将人类运动输入作为关节序列而不是时间序列建模，从而使我们能够对关节进行注意，同时预测并联每个关节的整个未来运动序列。我们表明，通过这种问题重新进行，Somoformer自然会通过使用场景中所有人的关节作为输入查询来扩展到多人场景。我们的模型使用学识渊博的嵌入来表示关节，人身份和全球地位的类型，了解关节之间和人之间的关系，更强烈地参加了来自同一或附近的人的关节。 Somoformer的表现优于SOMOF基准以及CMU-MOCAP和MUPOTS-3D数据集的长期运动预测的最先进方法。出版后将提供代码。
translated by 谷歌翻译
近年来，人们对多任务学习的兴趣越来越多。在这项工作中，我们通过合并模型应在模型不应该执行的两项辅助任务的两种辅助任务和对抗性任务中，提出了多任务学习的广义概念。我们采用必要的条件分析（NCA）作为数据驱动的方法来确定这些任务应该属于哪个类别。我们的新颖拟议框架，对抗性多任务神经网络（AMT），对NCA确定的对抗性任务进行惩罚，由NCA确定为场景识别在整体视频理解（HVU）数据集中，以改善动作识别。这更颠覆了一个普遍的假设，即应始终鼓励模型在多任务学习中完成所有任务。同时，AMT仍然保留多任务学习作为现有方法的概括的所有好处，并将对象识别作为辅助任务来帮助行动识别。我们介绍了HVU的两个具有挑战性的场景不变的测试分裂，其中对模型进行了对训练中未遇到的动作场合共发生的评估。我们表明，我们的方法将准确性提高了约3％，并鼓励模型参与动作功能，而不是相关的偏见场景功能。
translated by 谷歌翻译
我们首次建议使用基于多个实例学习的无卷积变压器模型，称为多个实例神经图像变压器（Minit），以分类T1Weighted（T1W）MRIS。我们首先介绍了为神经图像采用的几种变压器模型。这些模型从输入体积提取非重叠的3D块，并对其线性投影进行多头自我注意。另一方面，Minit将输入MRI的每个非重叠的3D块视为其自己的实例，将其进一步分为非重叠的3D贴片，并在其上计算了多头自我注意力。作为概念验证，我们通过训练模型来评估模型的功效，以确定两个公共数据集的T1W-MRIS：青少年脑认知发展（ABCD）和青少年酒精和神经发展联盟（NCANDA）（NCANDA） 。博学的注意力图突出了有助于识别脑形态计量学性别差异的体素。该代码可在https://github.com/singlaayush/minit上找到。
translated by 谷歌翻译
多年来，卷积神经网络（CNN）已成为多种计算机视觉任务的事实上的标准。尤其是，基于开创性体系结构（例如具有跳过连接的U形模型）或具有金字塔池的Artous卷积的深度神经网络已针对广泛的医学图像分析任务量身定制。此类架构的主要优点是它们容易拘留多功能本地功能。然而，作为一般共识，CNN无法捕获由于卷积操作的固有性能的内在特性而捕获长期依赖性和空间相关性。另外，从全球信息建模中获利的变压器源于自我发项机制，最近在自然语言处理和计算机视觉方面取得了出色的表现。然而，以前的研究证明，局部和全局特征对于密集预测的深层模型至关重要，例如以不同的形状和配置对复杂的结构进行分割。为此，本文提出了TransDeeplab，这是一种新型的DeepLab样纯变压器，用于医学图像分割。具体而言，我们用移动的窗口利用层次旋转式变形器来扩展DeepLabV3并建模非常有用的空间金字塔池（ASPP）模块。对相关文献的彻底搜索结果是，我们是第一个用基于纯变压器模型对开创性DeepLab模型进行建模的人。关于各种医学图像分割任务的广泛实验证明，我们的方法在视觉变压器和基于CNN的方法的合并中表现出色或与大多数当代作品相提并论，并显着降低了模型复杂性。代码和训练有素的模型可在https://github.com/rezazad68/transdeeplab上公开获得
translated by 谷歌翻译
神经科学研究的一种基本方法是基于神经心理学和行为措施，即某些因素（例如，与生活事件相关）是否与结果（例如抑郁症）有关。近年来，深度学习已成为通过预测一系列因素的结果并确定推动预测的最“信息性”的结果，成为进行此类分析的潜在替代方法。但是，这种方法的影响有限，因为其发现与支持假设的因素的统计意义无关。在本文中，我们根据排列测试的概念提出了一种灵活且可扩展的方法，该方法将假设检验集成到数据驱动的深度学习分析中。我们将我们的方法应用于对青春期酒精和神经发育联盟（NCANDA）的621名青少年参与者的年度自我报告评估，以预测负面价，这是根据NIMH研究领域标准（RDOC）的重大抑郁症的症状。我们的方法成功地识别了进一步解释症状的危险因素类别。
translated by 谷歌翻译
将机器学习算法转换为临床应用需要解决与解释性有关的挑战，例如考虑混杂变量（或元数据）的影响。混杂变量会影响输入训练数据和目标输出之间的关系。当我们在此类数据上训练模型时，混杂的变量会偏向于学习功能的分布。最近有前途的解决方案元数据归一化（MDN）估计了基于不可训练的封闭形式解决方案的元数据与每个特征之间的线性关系。但是，该估计受到迷你批量的样本量的限制，因此可能导致该方法在训练过程中不稳定。在本文中，我们通过应用罚款方法（称为PDMN）扩展了MDN方法。我们将问题投入到双层嵌套的优化问题中。然后，我们使用惩罚方法近似此优化问题，以便MDN层中的线性参数可以训练并在所有样本上学习。这使PMDN可以插入任何架构，甚至可以运行批处理级操作，例如变形金刚和经常性模型。我们在合成实验中使用PMDN和MDN的混杂因素和更大的独立性表现出了更大的独立性，并且在合成实验中和多标签的多站点的磁共振图像数据集（MRIS）。
translated by 谷歌翻译
帕金森氏病（PD）是一种神经系统疾病，具有各种可观察到的与运动相关的症状，例如运动缓慢，震颤，肌肉僵硬和姿势受损。 PD通常通过评估运动障碍系统（例如运动障碍协会统一帕金森氏病评级量表（MDS-UPDRS））的评分系统来诊断PD。使用个体视频记录的自动严重性预测为无侵入性监测运动障碍提供了有希望的途径。但是，PD步态数据的大小有限阻碍模型能力和临床潜力。由于这种临床数据的稀缺性，并受到自我监督的大规模语言模型（例如GPT-3）的最新进展的启发，我们将人类运动预测用作有效的自我监督预训练的任务来估计运动障碍的严重性。我们介绍步态预测和损伤估计变压器，该变压器首先在公共数据集中进行预测以预测步态运动，然后应用于临床数据以预测MDS-UPDRS步态障碍的严重性。我们的方法的表现优于以前的方法，这些方法仅依赖于临床数据，从而达到了0.76的F1得分，精度为0.79，召回率为0.75。使用GaitForemer，我们展示了公共人类运动数据存储库如何通过学习通用运动表示来帮助临床用例。该代码可从https://github.com/markendo/gaitforemer获得。
translated by 谷歌翻译
随着在敏感应用中广泛使用复杂的机器学习模型，了解他们的决策已成为一项重要任务。对表格数据进行培训的模型在解释其基本决策过程的解释方面取得了重大进展，该过程具有少量的离散功能。但是，将这些方法应用于高维输入（例如图像）并不是一项琐碎的任务。图像由原子水平的像素组成，并不具有任何解释性。在这项工作中，我们试图使用带注释的图像的高级可解释特征来提供解释。我们利用游戏理论的Shapley价值框架，该框架在XAI问题中广泛接受。通过开发一条管道来生成反事实并随后使用它来估计莎普利值，我们获得了具有强大的公理保证的对比度和可解释的解释。
translated by 谷歌翻译
尽管它们的准确性很高，但由于未知的决策过程和潜在的偏见，现代复杂的图像分类器不能被敏感任务受到信任。反事实解释非常有效地为这些黑盒算法提供透明度。然而，生成可能对分类器输出产生一致影响并揭示可解释的特征更改的反事实是一项非常具有挑战性的任务。我们介绍了一种新颖的方法，可以使用验证的生成模型为图像分类器生成因果关系但可解释的反事实解释，而无需进行任何重新训练或调节。该技术中的生成模型不可能在与目标分类器相同的数据上进行训练。我们使用此框架来获得对比度和因果关系，并作为黑盒分类器的全球解释。在面部属性分类的任务上，我们通过提供因果和对比特征属性以及相应的反事实图像来展示不同属性如何影响分类器输出。
translated by 谷歌翻译
数码相机的加速使用引起了人们对隐私和安全性的日益关注，尤其是在诸如行动识别之类的应用程序中。在本文中，我们提出了一个优化框架，以沿着人类行动识别管道提供强大的视觉隐私保护。我们的框架参数化了相机镜头，以成功地降低视频的质量，以抑制隐私属性并防止对抗性攻击，同时保持相关功能以进行活动识别。我们通过广泛的模拟和硬件实验来验证我们的方法。
translated by 谷歌翻译