校准仍然是脑电脑接口(BCI)中用户体验的重要问题。甚至在开始使用BCI之前,常见的实验设计往往涉及提高认知疲劳的冗长的训练期。通过依赖于先进的机器学习技术,例如转移学习,可以减少或抑制这种依赖的校准。在Riemannian BCI上建立,我们提出了一种简单有效的方案,可以在不同主题记录的数据上培训分类器,以减少校准,同时保持良好的性能。本文的主要新颖性是提出一种独特的方法,可以应用于非常不同的范式。为了展示这种方法的稳健性,我们对三个BCI范例的多个数据集进行了元分析:事件相关的电位(P300),电机图像和SSVEP。依靠MoABB开源框架来确保实验的再现性和统计分析,结果清楚地表明,该方法可以应用于任何类型的BCI范例,并且在大多数情况下都可以显着提高分级性可靠性。我们指出了一些关键特征,以进一步提高转移学习方法。
translated by 谷歌翻译
汇集操作引起的翻译不变性是卷积神经网络的固有属性,这有助于诸如分类的许多计算机视觉任务。然而,为了利用旋转不变的任务,卷积架构需要特定的旋转不变层或广泛的数据增强,以从给定空间配置的不同旋转版本中学习。将图像展开到其极性坐标中提供了更明显的表示,以训练卷积架构,因为旋转不变性变为平移,因此可以从单个图像中学习给定场景的视觉上不同但其他等同的旋转版本。我们展示了两个基于视觉的太阳辐照性预测挑战(即使用地面拍摄的天空图像或卫星图像),即该预处理步骤通过标准化场景表示来显着提高预测结果,同时将培训时间减少4倍4倍。使用旋转增强数据。此外,该变换放大了围绕旋转中心的区域,导致更准确的短期辐照度预测。
translated by 谷歌翻译
尽管准确的预测,但葡萄糖水平预测的数据驱动模型通常不会提供有意义的见解。然而,在医学中的背景理解至关重要,特别是糖尿病管理。在本文中,我们介绍了HAT-NET:一个混合模型,从生理模型中蒸馏到深度神经网络中的知识。它模拟葡萄糖,胰岛素和碳水化合物的扩散,通过具有由颂歌专家模型限制的经常性注意网络定制的生物启发深度学习架构。我们申请患有2型糖尿病患者的葡萄糖水平预测。它实现了竞争性表演,同时提供胰岛素和碳水化合物随时间扩散的合理测量。
translated by 谷歌翻译
随着脑成像技术和机器学习工具的出现,很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像(FMRI)测量的脑活动的感知自然图像的精确重建。在这项工作中,我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计,基准数据集和评估指标方面检查这些方法,并在标准化评估指标上呈现公平的性能评估。最后,我们讨论了现有研究的优势和局限,并提出了潜在的未来方向。
translated by 谷歌翻译
现代深度学习应用程序需要越来越多地计算培训最先进的模型。为了解决这一需求,大型企业和机构使用专用的高性能计算集群,其建筑和维护既昂贵又远远超出大多数组织的预算。结果,一些研究方向成为几个大型工业甚至更少的学术作用者的独家领域。为了减轻这种差异,较小的团体可以汇集他们的计算资源并运行有利于所有参与者的协作实验。这种范式称为网格或志愿者计算,在众多科学领域看到了成功的应用。然而,由于高延迟,不对称带宽以及志愿者计算独特的几个挑战,使用这种用于机器学习的方法是困难的。在这项工作中,我们仔细分析了这些约束,并提出了一种专门用于协作培训的新型算法框架。我们展示了我们在现实条件下的SWAV和Albert预先预价的方法的有效性,并在成本的一小部分中实现了与传统设置相当的性能。最后,我们提供了一份成功的协作语言模型预先追溯的详细报告,有40名参与者。
translated by 谷歌翻译
太阳能的高效整合到电力组合中取决于其间歇性的可靠预期。预测由云覆盖动态产生的太阳辐照度的时间变异的有希望的方法是基于地面天空图像或卫星图像序列的分析。尽管结果令人鼓舞,但现有深度学习方法的经常性限制在于对过去观察的反应而不是积极预期未来事件的无处不在的趋势。这导致频繁的时间滞后和有限的预测突发事件的能力。为了解决这一挑战,我们介绍了Eclipse,一种时空神经网络架构,即模型从天空图像模拟云运动,不仅预测未来的辐照水平,而且还可以在本地辐照度图上提供更丰富的信息。我们表明Eclipse预期关键事件,并在产生视觉上现实期货的同时降低时间延误。
translated by 谷歌翻译
生物学的最新见解表明,智力不仅从神经元之间的连接中出现,而是单独的神经元肩部比以前预期的计算责任更多。这种观点在不断变化不同的加强学习环境的背景下,目前的方法仍然主要采用静态激活功能。在这项工作中,我们激励为什么理性适合适应性激活函数以及为什么将其纳入神经网络至关重要。灵感来自剩余网络中的复发,我们得出了一个有理单位在残留连接下关闭的条件,并制定了自然的正规化版本:复发性理性。我们证明,用(反复间)的Rational Activations的流行算法导致Atari Games的一致性改进,特别是将简单的DQN转化为稳定的方法,竞争DDQN和Rainbow。
translated by 谷歌翻译
在过去几年中,图像分析的工业和社会应用中,神经网络分类器的越来越常见使用令人印象深刻的进展。然而,这种方法对算法偏压敏感,即阳性预测的欠或过度表示或在图像的特定子组中的更高预测误差。然后,我们在本文中介绍了一种新的方法来发动基于神经网络的分类器中的算法偏压。我们的方法是神经网络架构不可知的和缩放到大规模训练的图像集。它确实只使用基于Wassersein-2的损失函数超载了基于Wasserstein-2的正则化术语,我们基于预测分布的Gateaux衍生物,我们使用新模型对特定输出预测的影响传播了特定输出预测的影响。该型号是算法的合理性,使我们可以使用标准随机梯度 - 下降策略来使用我们的正则损耗。它的良好行为是在参考成人人口普查,Mnist,Celeba数据集中进行评估。
translated by 谷歌翻译