在过去的几年中,深度学习用于脑电图(EEG)分类任务一直在迅速增长,但其应用程序受到EEG数据集相对较小的限制。数据扩展包括在培训过程中人为地增加数据集的大小,它一直是在计算机视觉或语音等应用程序中获得最新性能的关键要素。尽管文献中已经提出了一些脑电图数据的增强转换,但它们对跨任务的绩效的积极影响仍然难以捉摸。在这项工作中,我们提出了对主要现有脑电图增强的统一和详尽的分析,该分析在常见的实验环境中进行了比较。我们的结果强调了为睡眠阶段分类和大脑计算机界面界面的最佳数据增强,在某些情况下显示预测功率改善大于10%。
translated by 谷歌翻译
数值验证是机器学习研究的核心,因为它允许评估新方法的实际影响,并确认理论和实践之间的一致性。然而,该领域的快速发展构成了一些挑战:研究人员面临着大量的方法来比较,有限的透明度和最佳实践的共识以及乏味的重新实施工作。结果,验证通常是非常部分的,这可能会导致错误的结论,从而减慢研究的进展。我们提出了Benchopt,这是一个协作框架,旨在在跨编程语言和硬件体系结构的机器学习中自动化,复制和发布优化基准。 Benchopt通过提供用于运行,共享和扩展实验的现成工具来简化社区的基准测试。为了展示其广泛的可用性,我们在三个标准学习任务上展示基准:$ \ ell_2 $ regulaine的逻辑回归,套索和RESNET18用于图像分类的培训。这些基准强调了关键的实际发现,这些发现对这些问题的最新问题更加细微,这表明在实际评估中,魔鬼在细节上。我们希望Benchopt能在社区中促进合作工作,从而改善研究结果的可重复性。
translated by 谷歌翻译
鉴于一些观察到的数据和概率生成模型,贝叶斯推论的目的是获得可能产生数据的模型潜在参数的分布。对于大型人群研究,这项任务是具有挑战性的,在大量人群研究中,在数百名受试者的队列中进行了数千次测量,从而产生了大规模的潜在参数空间。这种较大的基数使现成的变异推理(VI)在计算上是不切实际的。在这项工作中,我们设计了可以有效解决大型人口研究的结构化VI家族。为此,我们的主要思想是在不同的I.I.D.上共享参数化和学习。由模型板拟合的生成模型中的变量。我们将此概念板摊销命名,并说明了其权利的强大协同作用,从而导致表达性,简短的参数化和更快的数量级,以训练大型层次分布分布。我们通过一个充满挑战的神经影像学示例来说明PAVI的实际实用性,该示例具有一百万个潜在参数,这表明了朝着可扩展和表现力的变异推理迈出的重要一步。
translated by 谷歌翻译
设计对某些数据转换不变的学习系统对于机器学习至关重要。从业人员通常可以通过选择网络体系结构(例如使用卷积进行翻译或使用数据扩展。但是,在网络中实现真正的不变性可能很困难,并且并不总是知道数据不变。学习数据增强策略的最新方法需要持有数据,并且基于双重优化问题,这些问题很复杂,可以解决并且通常在计算上要求。在这项工作中,我们仅从培训数据中研究了学习不断增长的新方法。使用直接在网络中构建的可学习的增强层,我们证明我们的方法非常通用。它可以结合任何类型的可区分扩展,并应用于计算机视觉之外的广泛学习问题。我们提供的经验证据表明,基于二线优化的现代自动数据增强技术比现代自动数据增强技术更容易,更快,同时取得了可比的结果。实验表明,虽然通过自动数据增强传递到模型的不传导受到模型表达性的限制,但我们方法所产生的不变性对设计不敏感。
translated by 谷歌翻译
Bilevel优化是在机器学习的许多领域中最小化涉及另一个功能的价值函数的问题。在大规模的经验风险最小化设置中,样品数量很大,开发随机方法至关重要,而随机方法只能一次使用一些样品进行进展。但是,计算值函数的梯度涉及求解线性系统,这使得很难得出无偏的随机估计。为了克服这个问题,我们引入了一个新颖的框架,其中内部问题的解决方案,线性系统的解和主要变量同时发展。这些方向是作为总和写成的,使其直接得出无偏估计。我们方法的简单性使我们能够开发全球差异算法,其中所有变量的动力学都会降低差异。我们证明,萨巴(Saba)是我们框架中著名的传奇算法的改编,具有$ o(\ frac1t)$收敛速度,并且在polyak-lojasciewicz的假设下实现了线性收敛。这是验证这些属性之一的双光线优化的第一种随机算法。数值实验验证了我们方法的实用性。
translated by 谷歌翻译
来自脑电图(EEG)和磁脑电图(MEG)的非侵入性电生理学信号的定量分析归结为鉴定时间模式,例如诱发反应,神经振荡的短暂爆发,以及闪烁的数据清洁。几项作品表明,这些模式可以通过无监督的方式有效提取,例如使用卷积词典学习。这导致基于事件的数据描述。鉴于这些事件,一个自然的问题是估算某些认知任务和实验操作如何调节其发生的情况。为了解决这个问题,我们提出了一种点过程方法。虽然过去曾在神经科学中使用点过程,尤其是用于单细胞记录(尖峰列车),但诸如卷积词典学习之类的技术使它们可以基于EEG/MEG信号来适应人类研究。我们开发了一个新型的统计点过程模型驱动的时间点过程(DRIPP) - 点过程模型的强度函数与一组与刺激事件相对应的点过程链接。我们得出了一种快速而有原则的期望最大化(EM)算法,以估计该模型的参数。模拟显示,可以从足够长的信号中识别模型参数。标准MEG数据集的结果表明,我们的方法论揭示了与事件相关的神经反应,并引起了诱导和分离,并隔离了非任务特定的时间模式。
translated by 谷歌翻译
推断基于实验观察的随机模型的参数是科学方法的核心。特别具有挑战性的设置是当模型强烈不确定时,即当不同的参数集产生相同的观察时。这在许多实际情况下出现,例如在推断无线电源的距离和功率时(是源关闭和弱或远远强,且强大且强大?)或估计电生理实验的放大器增益和底层脑活动。在这项工作中,我们通过利用由辅助观察集共享全局参数传达的附加信息来阐明这种不确定性的新方法。我们的方法基于对贝叶斯分层模型的标准化流程扩展了基于仿真的推断(SBI)的最新进展。我们通过模拟和实际EEG数据将其应用于可用于分析解决方案的激励示例,以便将其验证我们的提案,然后将其从计算神经科学逆变众所周知的非线性模型。
translated by 谷歌翻译
View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/
translated by 谷歌翻译
Edge computing is changing the face of many industries and services. Common edge computing models offload computing which is prone to security risks and privacy violation. However, advances in deep learning enabled Internet of Things (IoTs) to take decisions and run cognitive tasks locally. This research introduces a decentralized-control edge model where most computation and decisions are moved to the IoT level. The model aims at decreasing communication to the edge which in return enhances efficiency and decreases latency. The model also avoids data transfer which raises security and privacy risks. To examine the model, we developed SAFEMYRIDES, a scene-aware ridesharing monitoring system where smart phones are detecting violations at the runtime. Current real-time monitoring systems are costly and require continuous network connectivity. The system uses optimized deep learning that run locally on IoTs to detect violations in ridesharing and record violation incidences. The system would enhance safety and security in ridesharing without violating privacy.
translated by 谷歌翻译
Cognitive Computing (COC) aims to build highly cognitive machines with low computational resources that respond in real-time. However, scholarly literature shows varying research areas and various interpretations of COC. This calls for a cohesive architecture that delineates the nature of COC. We argue that if Herbert Simon considered the design science is the science of artificial, cognitive systems are the products of cognitive science or 'the newest science of the artificial'. Therefore, building a conceptual basis for COC is an essential step into prospective cognitive computing-based systems. This paper proposes an architecture of COC through analyzing the literature on COC using a myriad of statistical analysis methods. Then, we compare the statistical analysis results with previous qualitative analysis results to confirm our findings. The study also comprehensively surveys the recent research on COC to identify the state of the art and connect the advances in varied research disciplines in COC. The study found that there are three underlaying computing paradigms, Von-Neuman, Neuromorphic Engineering and Quantum Computing, that comprehensively complement the structure of cognitive computation. The research discuss possible applications and open research directions under the COC umbrella.
translated by 谷歌翻译