保存隐私的神经网络(NN)推理解决方案最近在几种提供不同的延迟带宽权衡的解决方案方面获得了重大吸引力。其中,许多人依靠同态加密(HE),这是一种对加密数据进行计算的方法。但是,与他们的明文对应物相比,他的操作即使是最先进的计划仍然很慢。修剪NN模型的参数是改善推理潜伏期的众所周知的方法。但是,在明文上下文中有用的修剪方法可能对HE案的改善几乎可以忽略不计,这在最近的工作中也证明了这一点。在这项工作中,我们提出了一套新颖的修剪方法,以减少潜伏期和记忆要求,从而将明文修剪方法的有效性带到HE中。至关重要的是,我们的建议采用两种关键技术,即。堆积模型权重的置换和扩展,使修剪能够明显更多的密封性下文并分别恢复大部分精度损失。我们证明了我们的方法在完全连接的层上的优势,其中使用最近提出的称为瓷砖张量的包装技术填充了权重,该技术允许在非相互作用模式下执行Deep NN推断。我们在各种自动编码器架构上评估了我们的方法,并证明,对于MNIST上的小均值重建损失为1.5*10^{ - 5},我们将HE-SEAMABLE推断的内存要求和延迟减少了60%。
translated by 谷歌翻译
Social insects such as ants communicate via pheromones which allows them to coordinate their activity and solve complex tasks as a swarm, e.g. foraging for food. This behaviour was shaped through evolutionary processes. In computational models, self-coordination in swarms has been implemented using probabilistic or action rules to shape the decision of each agent and the collective behaviour. However, manual tuned decision rules may limit the behaviour of the swarm. In this work we investigate the emergence of self-coordination and communication in evolved swarms without defining any rule. We evolve a swarm of agents representing an ant colony. We use a genetic algorithm to optimize a spiking neural network (SNN) which serves as an artificial brain to control the behaviour of each agent. The goal of the colony is to find optimal ways to forage for food in the shortest amount of time. In the evolutionary phase, the ants are able to learn to collaborate by depositing pheromone near food piles and near the nest to guide its cohorts. The pheromone usage is not encoded into the network; instead, this behaviour is established through the optimization procedure. We observe that pheromone-based communication enables the ants to perform better in comparison to colonies where communication did not emerge. We assess the foraging performance by comparing the SNN based model to a rule based system. Our results show that the SNN based model can complete the foraging task more efficiently in a shorter time. Our approach illustrates that even in the absence of pre-defined rules, self coordination via pheromone emerges as a result of the network optimization. This work serves as a proof of concept for the possibility of creating complex applications utilizing SNNs as underlying architectures for multi-agent interactions where communication and self-coordination is desired.
translated by 谷歌翻译
Few-shot segmentation aims to devise a generalizing model that segments query images from unseen classes during training with the guidance of a few support images whose class tally with the class of the query. There exist two domain-specific problems mentioned in the previous works, namely spatial inconsistency and bias towards seen classes. Taking the former problem into account, our method compares the support feature map with the query feature map at multi scales to become scale-agnostic. As a solution to the latter problem, a supervised model, called as base learner, is trained on available classes to accurately identify pixels belonging to seen classes. Hence, subsequent meta learner has a chance to discard areas belonging to seen classes with the help of an ensemble learning model that coordinates meta learner with the base learner. We simultaneously address these two vital problems for the first time and achieve state-of-the-art performances on both PASCAL-5i and COCO-20i datasets.
translated by 谷歌翻译
提取复杂刺激的潜在来源对于理解世界至关重要。尽管大脑不断解决这种盲源分离(BSS)问题,但其算法仍然未知。先前关于生物学上可行的BSS算法的工作假设观察到的信号是统计独立或不相关的源的线性混合物,从而限制了这些算法的适用性域。为了克服这一局限性,我们提出了新型的生物学上的神经网络,以盲目地分离潜在的依赖/相关来源。与以前的工作不同,我们假设源向量的一般几何形状,而不是统计条件,允许分离潜在的依赖/相关源。具体而言,我们假设源矢量足够散布在其域中,可以用某些多面体描述。然后,我们考虑通过det-Max标准恢复这些源,这使输出相关矩阵的决定因素最大化,以实施类似的传播源估计值。从这个规范性原理开始,并使用加权相似性匹配方法,该方法可以通过本地学习规则适应任意线性转换,我们得出了两层覆盖生物学上可见的神经网络算法,这些神经网络算法可以将混合物分离为来自各种源域的来源。我们证明,我们的算法在相关的源分离问题上优于其他生物学上的BSS算法。
translated by 谷歌翻译
隐式模型是一种普通学习模型,它放弃了神经网络中典型的层次结构结构,而是基于``平衡''方程来定义内部状态,从而提供竞争性能和减少记忆消耗。但是,培训这些模型通常依赖于昂贵的隐性区分来向后传播。在这项工作中,我们提出了一种新的培训隐式模型的方法,称为国家驱动的隐式建模(SIM),在其中,我们限制了内部状态和输出以匹配基线模型的模型,从而规避了昂贵的落后计算。训练问题通过构造变为凸,由于其可分解的结构,可以平行解决。我们演示了如何应用SIM卡方法来显着提高稀疏性(参数降低)和在FashionMnist和CIFAR-100数据集中训练的基线模型的鲁棒性。
translated by 谷歌翻译
自我监督的学习允许AI系统使用不需要昂贵的标签的任务从大量数据中学习有效表示。模式崩溃,即为所有输入产生相同表示形式的模型,是许多自我监督学习方法的核心问题,可以使自我监督任务(例如匹配输入的变形变体)无效。在本文中,我们认为,同一输入的替代潜在表示之间信息最大化的直接应用自然解决了崩溃问题并实现了竞争性的经验结果。我们提出了一种自我监督的学习方法Corinfomax,该方法使用了基于二阶统计的共同信息度量,以反映其参数之间的相关性水平。在同一输入的替代表示之间最大化此相关信息度量有两个目的:(1)它通过生成具有非脱位协方差的特征向量来避免崩溃问题; (2)通过增加它们之间的线性依赖性,它在替代表示之间建立了相关性。提出的信息最大化客观的近似简化为基于欧几里得距离的目标函数,该目标函数由特征协方差矩阵的对数确定因素正规化。正则术语是针对特征空间退化的自然障碍。因此,除了避免完全输出崩溃到一个点外,提出的方法还通过鼓励信息在整个特征空间中的传播来防止尺寸崩溃。数值实验表明,相对于最先进的SSL方法,Corinfomax取得更好或竞争性的性能结果。
translated by 谷歌翻译
在本文中,使用Resnet-34作为功能提取器,将基于LSTM的基于LSTM自动编码器的体系结构用于嗜睡。该问题被认为是单个受试者的异常检测。因此,只有普通的驾驶表示形式,并且可以根据网络的知识来区分嗜睡表征,从而产生更高的重建损失。在我们的研究中,通过标签分配的方法研究了正常和异常夹的置信度水平,以便根据不同的置信率分析LSTM自动编码器的训练性能以及测试过程中遇到的异常情况的解释。我们的方法在NTHU-DDD上进行了实验,并通过最先进的异常检测方法进行基准测试,以使驱动器嗜睡。结果表明,所提出的模型在曲线(AUC)下达到0.8740面积的检测率,并能够在某些情况下提供重大改进。
translated by 谷歌翻译
全球定位系统(GPS)已成为我们日常生活的一部分,其主要目标是提供地理位置服务。对于无人驾驶系统(UAS),地理定位能力是极为重要的必要性,使用惯性导航系统(INS)伴随着GPS的心脏而实现。没有地理位置服务,UAS将无法飞往目的地或回家。不幸的是,GPS信号可能会被堵塞,并在Urban Canyons中遇到多路径问题。我们的目标是提出一种替代方法,以降级或拒绝GPS信号时地理位置化UA。考虑到UAS在其平台上具有下降摄像头,可以在平台飞行时获得实时图像,因此我们将现代深度学习技术应用于地理定位。特别是,我们执行图像匹配,以在UAS获得的图像和卫星正尾之间建立潜在特征共轭物。特征匹配的典型应用遭受高层建筑物和该领域的新结构的影响,这些建筑物将不确定性引入同型估算中,因此导致地理定位性能差。取而代之的是,我们将GIS信息从OpenStreetMap(OSM)提取到语义段匹配的功能中,以纳入建筑物和地形类。 GIS掩码在选择语义匹配的功能时可以作为过滤器,从而增强了Coplanarity条件和UAS地理定位精度。发表论文后,我们的代码将在https://github.com/osupcvlab/ubiheredrone2021上公开获得。
translated by 谷歌翻译
本文介绍了一种新颖的端到端无人空中系统(UAS)导航方法,用于现实世界中的远程视觉导航。受到人类本能的双过程视觉导航系统的启发:环境理解和地标识别,我们将UAS导航任务分为两个相同的阶段。我们的系统结合了增强学习(RL)和图像匹配方法。首先,代理在指定环境中使用RL学习导航策略。为了实现这一目标,我们为培训过程设计了一个交互式的UASNAV环境。一旦代理商学习了导航政策,这意味着“熟悉环境”,我们就让UAS在现实世界中飞行,以使用图像匹配方法识别地标,并根据知识渊博的政策采取行动。在导航过程中,UAS嵌入单个相机作为唯一的视觉传感器。我们证明,UAS可以学习在现实世界中最短的道路上距离起点几百米的目的地。
translated by 谷歌翻译
本文研究了社会经济因素是否对于佛罗里达电力系统的飓风表现很重要。使用随机森林分类器进行调查,其准确性平均降低(MDA),以衡量一组因素的重要性,包括危害强度,最大影响时间恢复时间以及受影响人群的社会经济特征。这项研究的数据集(在县规模上)包括来自美国5年社区调查(ACS)的社会经济变量,风速以及五次飓风的停电数据,包括2018年Alberto和Michael,2019年,Dorian,Dorian,Dorian,以及ETA和ISAIA在2020年。研究表明,社会经济变量对系统性能模型非常重要。这表明在发生停电的发生中可能存在社会差异,这直接影响了社区的弹性,因此需要立即关注。
translated by 谷歌翻译