对外部刺激做出反应的触觉传入,例如(RA)和Pacinian(PC)传入,可以使复杂的动作(例如抓住,抚摸和识别对象)。要深入了解这些动作引起的触觉感觉,需要揭示触觉传入的活动。为此,我们为振动刺激的每种触觉传入开发了一个计算模型,结合了有限元分析有限元方法(FEM)分析和代表神经特征的泄漏的集成和火力模型。该计算模型可以轻松估计触觉传入的神经活动,而无需测量生物学数据。使用FEM分析计算的皮肤变形被取代为集成与火力模型,作为计算每种触觉传入的膜电位的电流输入。我们使用报道的生物学数据在集成和火力模型中优化了参数。然后,我们计算了数值模型对正弦,二氢和白噪声机械刺激的响应,以验证提出的数值模型。从结果来看,计算模型很好地再现了对振动刺激的神经反应,例如正弦,二氢和噪声刺激,并与可以模拟对振动刺激的响应的相似计算模型进行了优越的比较。
translated by 谷歌翻译
We propose a light-weight and highly efficient Joint Detection and Tracking pipeline for the task of Multi-Object Tracking using a fully-transformer architecture. It is a modified version of TransTrack, which overcomes the computational bottleneck associated with its design, and at the same time, achieves state-of-the-art MOTA score of 73.20%. The model design is driven by a transformer based backbone instead of CNN, which is highly scalable with the input resolution. We also propose a drop-in replacement for Feed Forward Network of transformer encoder layer, by using Butterfly Transform Operation to perform channel fusion and depth-wise convolution to learn spatial context within the feature maps, otherwise missing within the attention maps of the transformer. As a result of our modifications, we reduce the overall model size of TransTrack by 58.73% and the complexity by 78.72%. Therefore, we expect our design to provide novel perspectives for architecture optimization in future research related to multi-object tracking.
translated by 谷歌翻译
最近的研究利用稀疏的分类来预测高维大脑活动信号的分类变量,以暴露人类的意图和精神状态,从而自动选择模型训练过程中的相关特征。但是,现有的稀疏分类模型可能会容易出现由大脑记录固有的噪声引起的性能降解。为了解决这个问题,我们旨在在本研究中提出一种新的健壮和稀疏分类算法。为此,我们将CorrentRopy学习框架引入基于自动相关性的稀疏分类模型,并提出了一种新的基于Correntropy的鲁棒稀疏逻辑回归算法。为了证明所提出算法的上等大脑活性解码性能,我们在合成数据集,脑电图(EEG)数据集和功能磁共振成像(FMRI)数据集上对其进行了评估。广泛的实验结果证实,不仅提出的方法可以在嘈杂和高维分类任务中实现更高的分类精度,而且还将为解码方案选择那些更有信息的功能。将Correntropy学习方法与自动相关性测定技术相结合,将显着提高噪声的鲁棒性,从而导致更足够的稳健稀疏脑解码算法。它在现实世界中的大脑活动解码和脑部计算机界面中提供了一种更强大的方法。
translated by 谷歌翻译
在这项工作中,我们探讨了随机梯度下降(SGD)训练的深神经网络的限制动态。如前所述,长时间的性能融合,网络继续通过参数空间通过一个异常扩散的过程,其中距离在具有非活动指数的梯度更新的数量中增加距离。我们揭示了优化的超公数,梯度噪声结构之间的复杂相互作用,以及在训练结束时解释这种异常扩散的Hessian矩阵。为了构建这种理解,我们首先为SGD推导出一个连续时间模型,具有有限的学习速率和批量尺寸,作为欠下的Langevin方程。我们在线性回归中研究了这个方程,我们可以为参数的相位空间动态和它们的瞬时速度来得出精确的分析表达式,从初始化到实用性。使用Fokker-Planck方程,我们表明驾驶这些动态的关键成分不是原始的训练损失,而是修改的损失的组合,其隐含地规则地规范速度和概率电流,这导致相位空间中的振荡。我们在ImageNet培训的Reset-18模型的动态中确定了这种理论的定性和定量预测。通过统计物理的镜头,我们揭示了SGD培训的深神经网络的异常限制动态的机制来源。
translated by 谷歌翻译
在自然界中,对称治理规律,而对称打破纹理。在人工神经网络中,对称性是一种中央设计原则,可以在世界上有效地捕获规律,但对称性破裂的作用并不充分理解。在这里,我们开发了一个理论框架,用于研究神经网络中的“学习动态几何”,并揭示了现代神经网络效率和稳定性的明确对称性的关键机制。为了构建这种理解,我们使用连续时间拉格朗日制剂模拟梯度下降的离散学习动态,其中学习规则对应于动能,并且损耗函数对应于势能。然后,我们识别“动力学对称性破坏”(KSB),当动能明确地破坏潜在功能的对称性时的条件。我们概括了物理中已知的定理,以考虑KSB,并导致Noether费用的结果:“Noether的学习动态”(NLD)。最后,我们将NLD应用于具有归一化层的神经网络,并揭示了KSB如何引入“隐式自适应优化”的机制,建立由归一化层和RMSProp引起的学习动态之间的类比。总体而言,通过拉格朗日力学的镜头,我们建立了一个理论基础,以发现神经网络的学习动态的几何设计原则。
translated by 谷歌翻译