We examined multiple deep neural network (DNN) architectures for suitability in predicting neurotransmitter concentrations from labeled in vitro fast scan cyclic voltammetry (FSCV) data collected on carbon fiber electrodes. Suitability is determined by the predictive performance in the "out-of-probe" case, the response to artificially induced electrical noise, and the ability to predict when the model will be errant for a given probe. This work extends prior comparisons of time series classification models by focusing on this specific task. It extends previous applications of machine learning to FSCV task by using a much larger data set and by incorporating recent advancements in deep neural networks. The InceptionTime architecture, a deep convolutional neural network, has the best absolute predictive performance of the models tested but was more susceptible to noise. A naive multilayer perceptron architecture had the second lowest prediction error and was less affected by the artificial noise, suggesting that convolutions may not be as important for this task as one might suspect.

我们展示了一个新的数据集和基准，其目的是在大脑活动和眼球运动的交叉口中推进研究。我们的数据集EEGEYENET包括从三种不同实验范式中收集的356个不同受试者的同时脑电图（EEG）和眼睛跟踪（ET）录像。使用此数据集，我们还提出了一种评估EEG测量的凝视预测的基准。基准由三个任务组成，难度越来越高：左右，角度幅度和绝对位置。我们在该基准测试中运行大量实验，以便根据经典机器学习模型和大型神经网络提供实心基线。我们释放了我们的完整代码和数据，并提供了一种简单且易于使用的界面来评估新方法。

眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。

在实践中，非常苛刻，有时无法收集足够大的标记数据数据集以成功培训机器学习模型，并且对此问题的一个可能解决方案是转移学习。本研究旨在评估如何可转让的时间序列数据和哪些条件下的不同域之间的特征。在训练期间，在模型的预测性能和收敛速度方面观察到转移学习的影响。在我们的实验中，我们使用1,500和9,000个数据实例的减少数据集来模仿现实世界的条件。使用相同的缩小数据集，我们培训了两组机器学习模型：那些随着转移学习的培训和从头开始培训的机器学习模型。使用四台机器学习模型进行实验。在相同的应用领域（地震学）以及相互不同的应用领域（地震，语音，医学，金融）之间进行知识转移。我们在训练期间遵守模型的预测性能和收敛速度。为了确认所获得的结果的有效性，我们重复了实验七次并应用了统计测试以确认结果的重要性。我们研究的一般性结论是转移学习可能会增加或不会对模型的预测性能或其收敛速度产生负面影响。在更多细节中分析收集的数据，以确定哪些源域和目标域兼容以用于传输知识。我们还分析了目标数据集大小的效果和模型的选择及其超参数对转移学习的影响。

目的：脑电图（EEG）和肌电图（EMG）是两个非侵入性的生物信号，它们在人类机器界面（HMI）技术（EEG-HMI和EMG-HMI范式）中广泛用于康复，用于康复的物理残疾人。将脑电图和EMG信号成功解码为各自的控制命令是康复过程中的关键步骤。最近，提出了几个基于卷积的神经网络（CNN）架构，它们直接将原始的时间序列信号映射到决策空间中，并同时执行有意义的特征提取和分类的过程。但是，这些网络是根据学习给定生物信号的预期特征量身定制的，并且仅限于单个范式。在这项工作中，我们解决了一个问题，即我们可以构建一个单个体系结构，该架构能够从不同的HMI范式中学习不同的功能并仍然成功地对其进行分类。方法：在这项工作中，我们引入了一个称为Controanet的单个混合模型，该模型基于CNN和Transformer架构，该模型对EEG-HMI和EMG-HMI范式同样有用。 Contranet使用CNN块在模型中引入电感偏置并学习局部依赖性，而变压器块则使用自我注意机制来学习信号中的长距离依赖性，这对于EEG和EMG信号的分类至关重要。主要结果：我们在三个属于EEG-HMI和EMG-HMI范式的公开数据集上评估并比较了Contronet与最先进的方法。 Contranet在所有不同类别任务（2级，3类，4级和10级解码任务）中的表现优于其对应。意义：结果表明，与当前的最新算法状态相比，从不同的HMI范式中学习不同的特征并概述了矛盾。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

Designing efficient and labor-saving prosthetic hands requires powerful hand gesture recognition algorithms that can achieve high accuracy with limited complexity and latency. In this context, the paper proposes a compact deep learning framework referred to as the CT-HGR, which employs a vision transformer network to conduct hand gesture recognition using highdensity sEMG (HD-sEMG) signals. The attention mechanism in the proposed model identifies similarities among different data segments with a greater capacity for parallel computations and addresses the memory limitation problems while dealing with inputs of large sequence lengths. CT-HGR can be trained from scratch without any need for transfer learning and can simultaneously extract both temporal and spatial features of HD-sEMG data. Additionally, the CT-HGR framework can perform instantaneous recognition using sEMG image spatially composed from HD-sEMG signals. A variant of the CT-HGR is also designed to incorporate microscopic neural drive information in the form of Motor Unit Spike Trains (MUSTs) extracted from HD-sEMG signals using Blind Source Separation (BSS). This variant is combined with its baseline version via a hybrid architecture to evaluate potentials of fusing macroscopic and microscopic neural drive information. The utilized HD-sEMG dataset involves 128 electrodes that collect the signals related to 65 isometric hand gestures of 20 subjects. The proposed CT-HGR framework is applied to 31.25, 62.5, 125, 250 ms window sizes of the above-mentioned dataset utilizing 32, 64, 128 electrode channels. The average accuracy over all the participants using 32 electrodes and a window size of 31.25 ms is 86.23%, which gradually increases till reaching 91.98% for 128 electrodes and a window size of 250 ms. The CT-HGR achieves accuracy of 89.13% for instantaneous recognition based on a single frame of HD-sEMG image.

产量估计是葡萄园管理中的强大工具，因为它允许种植者微调实践以优化产量和质量。但是，目前使用手动抽样进行估计，这是耗时和不精确的。这项研究表明，近端成像的应用与深度学习相结合，以进行葡萄园中的产量估计。使用车辆安装的传感套件进行连续数据收集，并使用商业收益率监控器在收获时结合了地面真实收益数据的收集，可以生成一个23,581个收益点和107,933张图像的大数据集。此外，这项研究是在机械管理的商业葡萄园中进行的，代表了一个充满挑战的图像分析环境，但在加利福尼亚中央山谷中的一组常见条件。测试了三个模型架构：对象检测，CNN回归和变压器模型。对象检测模型在手工标记的图像上进行了训练以定位葡萄束，并将束数量或像素区域求和以与葡萄产量相关。相反，回归模型端到端训练，以预测图像数据中的葡萄产量，而无需手动标记。结果表明，在代表性的保留数据集上，具有相当的绝对百分比误差为18％和18.5％的变压器和具有像素区域处理的对象检测模型。使用显着映射来证明CNN模型的注意力位于葡萄束的预测位置附近以及葡萄树冠的顶部。总体而言，该研究表明，近端成像和深度学习对于大规模预测葡萄群的适用性。此外，端到端建模方法能够与对象检测方法相当地执行，同时消除了手工标记的需求。

射频干扰（RFI）缓解仍然是寻找无线电技术的主要挑战。典型的缓解策略包括原点方向（DOO）滤波器，如果在天空上的多个方向上检测到信号，则将信号分类为RFI。这些分类通常依赖于信号属性的估计，例如频率和频率漂移速率。卷积神经网络（CNNS）提供了对现有过滤器的有希望的补充，因为它们可以接受培训以直接分析动态光谱，而不是依赖于推断的信号属性。在这项工作中，我们编译了由标记的动态谱的图像组组成的几个数据集，并且我们设计和训练了可以确定在另一扫描中检测到的信号是否在另一扫描中检测到的CNN。基于CNN的DOO滤波器优于基线2D相关模型以及现有的DOO过滤器在一系列指标范围内，分别具有99.15％和97.81％的精度和召回值。我们发现CNN在标称情况下将传统的DOO过滤器施加6-16倍，减少了需要目视检查的信号数。

衡量心理工作量的主要原因是量化执行任务以预测人类绩效的认知成本。不幸的是，一种评估具有一般适用性的心理工作量的方法。这项研究提出了一种新型的自我监督方法，用于从脑电图数据中使用深度学习和持续的大脑率，即认知激活的指标，而无需人类声明性知识，从而从脑电图数据进行了精神负荷建模。该方法是可培训的卷积复发性神经网络，该神经网络可通过空间保留脑电图数据的光谱地形图训练，以适合大脑速率变量。发现证明了卷积层从脑电图数据中学习有意义的高级表示的能力，因为受试者内模型的测试平均绝对百分比误差平均为11％。尽管确实提高了其准确性，但增加了用于处理高级表示序列的长期期内存储层并不重要。发现指出，认知激活的高级高水平表示存在准稳定的块，因为它们可以通过卷积诱导，并且似乎随着时间的流逝而彼此依赖，从而直观地与大脑反应的非平稳性质相匹配。跨主体模型，从越来越多的参与者的数据诱导，因此包含更多的可变性，获得了与受试者内模型相似的精度。这突出了人们在人们之间诱发的高级表示的潜在普遍性，这表明存在非依赖于受试者的认知激活模式。这项研究通过为学者提供一种用于心理工作负载建模的新型计算方法来促进知识的体系，该方法旨在通常适用，不依赖于支持可复制性和可复制性的临时人工制作的模型。

美国宇航局的全球生态系统动力学调查（GEDI）是一个关键的气候使命，其目标是推进我们对森林在全球碳循环中的作用的理解。虽然GEDI是第一个基于空间的激光器，明确优化，以测量地上生物质的垂直森林结构预测，这对广泛的观测和环境条件的大量波形数据的准确解释是具有挑战性的。在这里，我们提出了一种新颖的监督机器学习方法来解释GEDI波形和全球标注冠层顶部高度。我们提出了一种基于深度卷积神经网络（CNN）集合的概率深度学习方法，以避免未知效果的显式建模，例如大气噪声。该模型学会提取概括地理区域的强大特征，此外，产生可靠的预测性不确定性估计。最终，我们模型产生的全球顶棚顶部高度估计估计的预期RMSE为2.7米，低偏差。

呼吸率（RR）是重要的生物标志物，因为RR变化可以反映严重的医学事件，例如心脏病，肺部疾病和睡眠障碍。但是，不幸的是，标准手动RR计数容易出现人为错误，不能连续执行。这项研究提出了一种连续估计RR，RRWAVENET的方法。该方法是一种紧凑的端到端深度学习模型，不需要特征工程，可以将低成本的原始光摄影学（PPG）用作输入信号。对RRWAVENET进行了独立于主题的测试，并与三个数据集（BIDMC，Capnobase和Wesad）中的基线进行了比较，并使用三个窗口尺寸（16、32和64秒）进行了比较。 RRWAVENET优于最佳窗口大小为1.66 \ pm 1.01、1.59 \ pm 1.08的最佳绝对错误的最新方法，每个数据集每分钟每分钟呼吸0.96。在远程监视设置（例如在WESAD数据集中），我们将传输学习应用于其他两个ICU数据集，将MAE降低到1.52 \ pm每分钟0.50呼吸，显示此模型可以准确且实用的RR对负担得起的可穿戴设备进行准确估算。我们的研究表明，在远程医疗和家里，远程RR监测的可行性。

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。

Wearable sensors for measuring head kinematics can be noisy due to imperfect interfaces with the body. Mouthguards are used to measure head kinematics during impacts in traumatic brain injury (TBI) studies, but deviations from reference kinematics can still occur due to potential looseness. In this study, deep learning is used to compensate for the imperfect interface and improve measurement accuracy. A set of one-dimensional convolutional neural network (1D-CNN) models was developed to denoise mouthguard kinematics measurements along three spatial axes of linear acceleration and angular velocity. The denoised kinematics had significantly reduced errors compared to reference kinematics, and reduced errors in brain injury criteria and tissue strain and strain rate calculated via finite element modeling. The 1D-CNN models were also tested on an on-field dataset of college football impacts and a post-mortem human subject dataset, with similar denoising effects observed. The models can be used to improve detection of head impacts and TBI risk evaluation, and potentially extended to other sensors measuring kinematics.

目前，由精确的径向速度（RV）观察结果受到恒星活性引入的虚假RV信号的限制。我们表明，诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号（由于星形/张图引起的）。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号（例如Haywood等人，2014年）。取而代之的是，我们仅使用对光谱线平均形状的更改进行系统地删除活动信号，也没有有关收集观测值的信息。我们对模拟数据（使用SOAP 2.0软件生成； Dumusque等人，2014年生成）和从Harps-N太阳能望远镜（Dumusque等，2015; Phillips等人2015; 2016; Collier训练）培训了机器学习模型。 Cameron等人2019）。我们发现，这些技术可以从模拟数据（将RV散射从82 cm/s提高到3 cm/s）以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动（将RV散射从82 cm/s提高到3 cm/s）。 （将RV散射从1.753 m/s提高到1.039 m/s，提高了约1.7倍）。将来，这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号，并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

雷达传感器逐渐成为道路车辆的广泛设备，在自主驾驶和道路安全中发挥着至关重要的作用。广泛采用雷达传感器增加了不同车辆的传感器之间干扰的可能性，产生损坏的范围曲线和范围 - 多普勒地图。为了从范围 - 多普勒地图中提取多个目标的距离和速度，需要减轻影响每个范围分布的干扰。本文提出了一种全卷积神经网络，用于汽车雷达干扰缓解。为了在真实的方案中培训我们的网络，我们介绍了具有多个目标和多个干扰的新数据集的现实汽车雷达信号。为了我们的知识，我们是第一个在汽车雷达领域施加体重修剪的施加量，与广泛使用的辍学相比获得了优越的结果。虽然最先前的作品成功地估计了汽车雷达信号的大小，但我们提出了一种可以准确估计相位的深度学习模型。例如，我们的新方法将相对于普通采用的归零技术的相位估计误差从12.55度到6.58度降低了一半。考虑到缺乏汽车雷达干扰缓解数据库，我们将释放开源我们的大规模数据集，密切复制了多次干扰案例的现实世界汽车场景，允许其他人客观地比较他们在该域中的未来工作。我们的数据集可用于下载：http：//github.com/ristea/arim-v2。

The occurrence of vacuum arcs or radio frequency (rf) breakdowns is one of the most prevalent factors limiting the high-gradient performance of normal conducting rf cavities in particle accelerators. In this paper, we search for the existence of previously unrecognized features related to the incidence of rf breakdowns by applying a machine learning strategy to high-gradient cavity data from CERN's test stand for the Compact Linear Collider (CLIC). By interpreting the parameters of the learned models with explainable artificial intelligence (AI), we reverse-engineer physical properties for deriving fast, reliable, and simple rule-based models. Based on 6 months of historical data and dedicated experiments, our models show fractions of data with a high influence on the occurrence of breakdowns. Specifically, it is shown that the field emitted current following an initial breakdown is closely related to the probability of another breakdown occurring shortly thereafter. Results also indicate that the cavity pressure should be monitored with increased temporal resolution in future experiments, to further explore the vacuum activity associated with breakdowns.

在过去的几年中，深度学习用于脑电图（EEG）分类任务一直在迅速增长，但其应用程序受到EEG数据集相对较小的限制。数据扩展包括在培训过程中人为地增加数据集的大小，它一直是在计算机视觉或语音等应用程序中获得最新性能的关键要素。尽管文献中已经提出了一些脑电图数据的增强转换，但它们对跨任务的绩效的积极影响仍然难以捉摸。在这项工作中，我们提出了对主要现有脑电图增强的统一和详尽的分析，该分析在常见的实验环境中进行了比较。我们的结果强调了为睡眠阶段分类和大脑计算机界面界面的最佳数据增强，在某些情况下显示预测功率改善大于10％。