Surgical activity recognition and prediction can help provide important context in many Robot-Assisted Surgery (RAS) applications, for example, surgical progress monitoring and estimation, surgical skill evaluation, and shared control strategies during teleoperation. Transformer models were first developed for Natural Language Processing (NLP) to model word sequences and soon the method gained popularity for general sequence modeling tasks. In this paper, we propose the novel use of a Transformer model for three tasks: gesture recognition, gesture prediction, and trajectory prediction during RAS. We modify the original Transformer architecture to be able to generate the current gesture sequence, future gesture sequence, and future trajectory sequence estimations using only the current kinematic data of the surgical robot end-effectors. We evaluate our proposed models on the JHU-ISI Gesture and Skill Assessment Working Set (JIGSAWS) and use Leave-One-User-Out (LOUO) cross-validation to ensure the generalizability of our results. Our models achieve up to 89.3\% gesture recognition accuracy, 84.6\% gesture prediction accuracy (1 second ahead) and 2.71mm trajectory prediction error (1 second ahead). Our models are comparable to and able to outperform state-of-the-art methods while using only the kinematic data channel. This approach can enable near-real time surgical activity recognition and prediction.
translated by 谷歌翻译
冠状病毒疾病或Covid-19是由SARS-COV-2病毒引起的一种传染病。该病毒引起的第一个确认病例是在2019年12月底在中国武汉市发现的。然后,此案遍布全球,包括印度尼西亚。因此,联合19案被WHO指定为全球大流行。可以使用多种方法(例如深神经网络(DNN))预测COVID-19病例的增长,尤其是在印度尼西亚。可以使用的DNN模型之一是可以预测时间序列的深变压器。该模型经过多种测试方案的培训,以获取最佳模型。评估是找到最佳的超参数。然后,使用预测天数,优化器,功能数量以及与长期短期记忆(LSTM)(LSTM)和复发性神经网络(RNN)的先前模型进行比较的最佳超参数设置进行了进一步的评估。 。所有评估均使用平均绝对百分比误差(MAPE)的度量。基于评估的结果,深层变压器在使用前层归一化时会产生最佳的结果,并预测有一天的MAPE值为18.83。此外,接受Adamax优化器训练的模型在其他测试优化器中获得了最佳性能。 Deep Transformer的性能还超过了其他测试模型,即LSTM和RNN。
translated by 谷歌翻译
在本文中,我们开发了一个神经网络模型,以从观察到的人类运动历史中预测未来的人类运动。我们提出了一种非自动回归的变压器体系结构,以利用其平行性质,以便在测试时更容易训练和快速,准确的预测。所提出的结构将人类运动预测分为两个部分:1)人类轨迹,即随着时间的推移,髋关节3D位置和2)人类姿势,这是所有其他关节3D位置,相对于固定的髋关节。我们建议同时做出两个预测,因为共享表示可以改善模型性能。因此,该模型由两组编码器和解码器组成。首先,应用于编码器输出的多头注意模块改善了人类轨迹。其次,应用于与解码器输出相连的编码器输出的另一个多头自发项模块有助于学习时间依赖性。我们的模型非常适合于测试准确性和速度方面的机器人应用,并且相对于最新方法比较。我们通过机器人跟踪任务证明了我们作品的现实适用性,这是我们提议的模型充满挑战而实用的案例研究。
translated by 谷歌翻译
人类活动识别是计算机视觉中的新出现和重要领域,旨在确定个体或个体正在执行的活动。该领域的应用包括从体育中生成重点视频到智能监视和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)的组合来从数据和复发性神经网络(RNN)中进行特征提取来确定数据的时间依赖性。本文提出并设计了两个用于人类活动识别的变压器神经网络:一个经常性变压器(RET),这是一个专门的神经网络,用于对数据序列进行预测,以及视觉变压器(VIT),一种用于提取显着的变压器的变压器(VIT)图像的特征,以提高活动识别的速度和可扩展性。我们在速度和准确性方面提供了对拟议的变压器神经网络与现代CNN和基于RNN的人类活动识别模型的广泛比较。
translated by 谷歌翻译
在诸如对象跟踪的应用中,时间序列数据不可避免地携带缺失的观察。在基于深度学习的模型的成功之后,对于各种序列学习任务,这些模型越来越替换对象跟踪应用中的经典方法,以推断对象的运动状态。虽然传统的跟踪方法可以处理缺失的观察,但默认情况下,大多数深度同行都不适合这一点。迄今为止,本文介绍了一种基于变压器的方法,用于在可变输入长度轨迹数据中处理缺失的观察。通过连续增加所需推理任务的复杂性,间接地形成模型。从再现无噪声轨迹开始,该模型然后学会从嘈杂的输入中推断出来的轨迹。通过提供缺失的令牌,二进制编码的缺失事件,该模型将学习进入缺少数据,并且Infers在其余输入上调整完整的轨迹。在连续缺失事件序列的情况下,该模型则用作纯预测模型。该方法的能力在反映原型对象跟踪方案的综合数据和实际数据上进行了证明。
translated by 谷歌翻译
Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.
translated by 谷歌翻译
通过准确,及时的流量预测,可以预先预测受影响的交通状况,以指导机构和居民适当地应对交通模式的变化。但是,例如,关于交通预测的现有作品主要依赖于仅在1小时以下的短期预测的历史流量模式。为了更好地管理未来的道路能力并适应社会和人类的影响,提出一个灵活而全面的框架以预测公共用户和运输机构的长期交通状况至关重要。在本文中,考虑到社交媒体的功能,弥合了强大的长期交通预测的差距。首先实施了相关研究和线性回归模型,以评估两个时间序列数据,流量强度和Twitter数据强度之间的相关性的重要性。然后将两个时间序列数据提供给我们提出的社会意识框架,即交通扭转变压器,该框架将大自然语言表示形式集成到时间序列记录中以进行长期流量预测。大西雅图地区的实验结果表明,我们提出的模型在所有评估矩阵中都优于基线模型。这个由NLP加入的社会感知框架可以成为交通代理机构的网络交通预测和管理的宝贵实现。
translated by 谷歌翻译
我们向多人3D运动轨迹预测提出了一种新颖的框架。我们的主要观察是,人类的行动和行为可能高度依赖于其他人。因此,不是以隔离预测每个人类姿势轨迹,我们引入了一种多范围变压器模型,该模型包含用于各个运动的局部运动和用于社交交互的全局范围编码器。然后,通过将相应的姿势作为查询来参加本地和全球范围编码器特征,对变压器解码器对每个人进行预测。我们的模型不仅优于长期3D运动预测的最先进的方法,而且还产生了不同的社交互动。更有趣的是,我们的模型甚至可以通过自动将人分为不同的交互组来同时预测15人运动。具有代码的项目页面可在https://jiahunwang.github.io/mrt/处获得。
translated by 谷歌翻译
基于变压器模型架构的最近深入学习研究在各种域和任务中展示了最先进的性能,主要是在计算机视觉和自然语言处理域中。虽然最近的一些研究已经实施了使用电子健康记录数据的临床任务的变压器,但它们的范围,灵活性和全面性有限。在本研究中,我们提出了一种灵活的基于变换器的EHR嵌入管道和预测模型框架,它引入了利用了医疗域唯一的数据属性的现有工作流程的几个新颖修改。我们展示了灵活设计的可行性,在重症监护病房的案例研究中,我们的模型准确地预测了七种临床结果,这些临床结果与多个未来的时间范围有关的入院和患者死亡率。
translated by 谷歌翻译
多元长序列时间序列预测(M-LSTF)是一个实用但具有挑战性的问题。与传统的计时器序列预测任务不同,M-LSTF任务从两个方面更具挑战性:1)M-LSTF模型需要在多个时间功能之间和多个时间序列之间学习时间序列模式; 2)在滚动预测设置下,两个连续训练样本之间的相似性随着预测长度的增加而增加,这使模型更容易过度拟合。在本文中,我们提出了一个可推广的内存驱动变压器,以靶向M-LSTF问题。具体而言,我们首先提出一个全局级内存组件,以通过集成多个时间序列功能来驱动预测过程。此外,我们采用了一种进步的方式来训练我们的模型以提高其普遍性,在这种情况下,我们逐渐向培训样品引入伯努利的噪音。已经在多个字段上对五个不同的数据集进行了广泛的实验。实验结果表明,我们的方法可以无缝地插入不同的基于变压器的模型中,以提高其性能至大约30%。特别是,这是我们最好的知识专门关注M-LSTF任务的第一项工作。
translated by 谷歌翻译
Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.
translated by 谷歌翻译
单眼3D人姿势估计技术有可能大大增加人类运动数据的可用性。单位图2D-3D提升使用图卷积网络(GCN)的表现最佳模型,通常需要一些手动输入来定义不同的身体关节之间的关系。我们提出了一种基于变压器的新型方法,该方法使用更广泛的自我发场机制来学习代表关节的代币序列。我们发现,使用中间监督以及堆叠编码器福利性能之间的剩余连接。我们还建议,将错误预测作为多任务学习框架的一部分,可以通过允许网络弥补其置信度来改善性能。我们进行广泛的消融研究,以表明我们的每项贡献都会提高性能。此外,我们表明我们的方法的表现超过了最新的单帧3D人类姿势估计的最新技术状态。我们的代码和训练有素的模型可在GitHub上公开提供。
translated by 谷歌翻译
通过深度学习(DL)大大扩展了数据驱动故障诊断模型的范围。然而,经典卷积和反复化结构具有计算效率和特征表示的缺陷,而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题,我们提出了一种新颖的时变电片(TFT)模型,其灵感来自序列加工的香草变压器大规模成功。特别是,我们设计了一个新的笨蛋和编码器模块,以从振动信号的时频表示(TFR)中提取有效抽象。在此基础上,本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究,我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比,证明了所提出的方法的优越性。
translated by 谷歌翻译
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 Englishto-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.0 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. * Equal contribution. Listing order is random. Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. Ashish, with Illia, designed and implemented the first Transformer models and has been crucially involved in every aspect of this work. Noam proposed scaled dot-product attention, multi-head attention and the parameter-free position representation and became the other person involved in nearly every detail. Niki designed, implemented, tuned and evaluated countless model variants in our original codebase and tensor2tensor. Llion also experimented with novel model variants, was responsible for our initial codebase, and efficient inference and visualizations. Lukasz and Aidan spent countless long days designing various parts of and implementing tensor2tensor, replacing our earlier codebase, greatly improving results and massively accelerating our research.† Work performed while at Google Brain.‡ Work performed while at Google Research.
translated by 谷歌翻译
本文描述了一个新颖的机器学习(ML)框架,用于热带气旋强度和轨道预测,结合了多种ML技术并利用了多种数据源。我们的多模式框架(称为Hurricast)有效地结合了时空数据和统计数据,通过提取具有深度学习的编码器编码器体系结构的特征,并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测,评估我们的模型,并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外,将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测,从而通过现有方法突出显示互补物业。总而言之,我们的工作表明,利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。
translated by 谷歌翻译
机器翻译历史上的重要突破之一是变压器模型的发展。不仅对于各种翻译任务,而且对于大多数其他NLP任务都是革命性的。在本文中,我们针对一个基于变压器的系统,该系统能够将德语用源句子转换为其英语的对应目标句子。我们对WMT'13数据集的新闻评论德语 - 英语并行句子进行实验。此外,我们研究了来自IWSLT'16数据集的培训中包含其他通用域数据以改善变压器模型性能的效果。我们发现,在培训中包括IWSLT'16数据集,有助于在WMT'13数据集的测试集中获得2个BLEU得分点。引入定性分析以分析通用域数据的使用如何有助于提高产生的翻译句子的质量。
translated by 谷歌翻译
变压器已成为自然语言处理(NLP)字段中的De-Facto标准。他们也在计算机视觉和其他域中获得了势头。变形金刚可以使人工智能(AI)模型能够动态地关注其输入的某些部分,因此更有效地关注某些部分。灵感来自变形金刚的成功,我们采用了这种技术来预测在多个视野中的战略飞行偏离需求。这项工作是为了支持斜切式的移动应用程序,PAIR,将预测的偏离需求显示为通用航空(GA)飞行运营商,因此他们可以更好地了解繁忙时期离开延误潜力的意识。涉及Pacer以前设计的基于规则的预测方法的现场示范表明,离职需求的预测准确性仍然具有改进的空间。本研究致力于提高来自两个关键方面的预测精度:更好的数据源和鲁棒预测算法。我们利用了两个数据来源,航空系统性能指标(ASPM)和系统广播信息管理(游泳)作为我们的输入。然后,我们用时间融合变压器(TFT)接受了预测的预测模型,用于五个不同的机场。案例研究表明,TFT通过大幅度的传统预测方法可以更好地表现优于传统的预测方法,它们可以在各种机场和更好的解释性方面导致更好的预测。
translated by 谷歌翻译
为了提高风能生产的安全性和可靠性,短期预测已成为最重要的。这项研究的重点是挪威大陆架的多步时时空风速预测。图形神经网络(GNN)体系结构用于提取空间依赖性,具有不同的更新功能以学习时间相关性。这些更新功能是使用不同的神经网络体系结构实现的。近年来,一种这样的架构,即变压器,在序列建模中变得越来越流行。已经提出了对原始体系结构的各种改动,以更好地促进时间序列预测,本研究的重点是告密者Logsparse Transformer和AutoFormer。这是第一次将logsparse变压器和自动形态应用于风预测,并且第一次以任何一种或告密者的形式在时空设置以进行风向预测。通过比较时空长的短期记忆(LSTM)和多层感知器(MLP)模型,该研究表明,使用改变的变压器体系结构作为GNN中更新功能的模型能够超越这些功能。此外,我们提出了快速的傅立叶变压器(FFTRANSFORMER),该变压器是基于信号分解的新型变压器体系结构,由两个单独的流组成,分别分析趋势和周期性成分。发现FFTRANSFORMER和自动成型器可在10分钟和1小时的预测中取得优异的结果,而FFTRANSFORMER显着优于所有其他模型的4小时预测。最后,通过改变图表表示的连通性程度,该研究明确说明了所有模型如何利用空间依赖性来改善局部短期风速预测。
translated by 谷歌翻译
我们提出了一种新颖的基于变压器的架构,用于3D人类运动的生成建模任务。以前的工作通常依赖于基于RNN的模型,考虑到更短的预测视野迅速达到静止和通常难以置信的状态。最近的研究表明,频域中的隐式时间表示也是有效地制定预定地平线的预测。我们的重点是学习自向学习时空陈述,从而在短期和长期生成合理的未来发展。该模型学习骨骼关节的高尺寸嵌入,以及如何通过去耦的时间和空间自我关注机制来组成时间相干的姿势。我们的双重关注概念允许模型直接访问电流和过去信息,并明确捕获结构和时间依赖项。我们凭经验显示,这有效地了解潜在的运动动态,并减少自动回归模型中观察到的误差累积。我们的模型能够在长视程中产生准确的短期预测和产生合理的运动序列。我们在HTTPS://github.com/eth-Ation-Transformer中公开公开提供我们的代码。
translated by 谷歌翻译
最近,基于注意的编码器 - 解码器(AED)模型对多个任务的端到端自动语音识别(ASR)显示了高性能。在此类模型中解决了过度控制,本文介绍了轻松关注的概念,这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配,其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务,华尔街日志(WSJ)和LibRisPeech的影响。我们发现,在用外部语言模型解码时,随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中,我们为基于变压器的端到端语音识别设置了一个新的基准,以3.65%的单词错误率,最优于13.1%的相对状态,同时仅引入单个HyperParameter。
translated by 谷歌翻译