理解神经动力学的空间和时间特征之间的相互作用可以有助于我们对人脑中信息处理的理解。图形神经网络(GNN)提供了一种新的可能性,可以解释图形结构化信号,如在复杂的大脑网络中观察到的那些。在我们的研究中,我们比较不同的时空GNN架构,并研究他们复制在功能MRI(FMRI)研究中获得的神经活动分布的能力。我们评估GNN模型在MRI研究中各种场景的性能,并将其与VAR模型进行比较,目前主要用于定向功能连接分析。我们表明,即使当可用数据稀缺时,基于基于解剖学基板的局部功能相互作用,基于GNN的方法也能够鲁棒地规模到大型网络研究。通过包括作为信息衬底的解剖连接以进行信息传播,这种GNN还提供了关于指向连接性分析的多模阶视角,提供了研究脑网络中的时空动态的新颖可能性。
translated by 谷歌翻译
Many state-of-the-art deep learning models for computer vision tasks are based on the transformer architecture. Such models can be computationally expensive and are typically statically set to meet the deployment scenario. However, in real-time applications, the resources available for every inference can vary considerably and be smaller than what state-of-the-art models use. We can use dynamic models to adapt the model execution to meet real-time application resource constraints. While prior dynamic work has primarily minimized resource utilization for less complex input images while maintaining accuracy and focused on CNNs and early transformer models such as BERT, we adapt vision transformers to meet system dynamic resource constraints, independent of the input image. We find that unlike early transformer models, recent state-of-the-art vision transformers heavily rely on convolution layers. We show that pretrained models are fairly resilient to skipping computation in the convolution and self-attention layers, enabling us to create a low-overhead system for dynamic real-time inference without additional training. Finally, we create a optimized accelerator for these dynamic vision transformers in a 5nm technology. The PE array occupies 2.26mm$^2$ and is 17 times faster than a NVIDIA TITAN V GPU for state-of-the-art transformer-based models for semantic segmentation.
translated by 谷歌翻译
本文提出了针对四方的通用自适应控制器,可以将其部署为零射击到具有截然不同的质量,手臂长度和运动常数的四轮驱动器,并且还显示出对运行时未知干扰的快速适应。核心算法的想法是学习一个单一的策略,该策略不仅可以在测试时间在线适应无人机的干扰,还可以在同一框架中适用于机器人动力学和硬件。我们通过训练神经网络来估计机器人和环境参数的潜在表示,该参数用于调节控制器的行为,也表示为神经网络。我们专门训练两个网络进行模拟,目的是将四轮驱动器飞往目标位置并避免撞击地面。我们直接在模拟中训练了相同的控制器,而没有对两个四肢旋转器进行任何修改,其中质量,惯性差异差异,最大电动机速度最大为4次。此外,我们显示了四肢和惯性的突然和大型干扰(最高35.7%)的快速适应。我们在模拟和物理世界中进行了广泛的评估,在该评估中,我们的表现优于最先进的基于学习的自适应控制器和专门针对每个平台的传统PID控制器。视频结果可以在https://dz298.github.io/universal-drone-controller/上找到。
translated by 谷歌翻译
人工智能的最新趋势是将验证的模型用于语言和视觉任务,这些模型已经实现了非凡的表现,但也令人困惑。因此,以各种方式探索这些模型的能力对该领域至关重要。在本文中,我们探讨了模型的可靠性,在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能,而且在许多涉及不确定性(例如选择性预测,开放式设置识别)的决策任务上,在许多决策任务上表现出色,而且表现良好。强大的概括(例如,准确性和适当的评分规则,例如在分布数据集中和分发数据集上的对数可能性)和适应性(例如,主动学习,几乎没有射击不确定性)。我们设计了40个数据集的10种任务类型,以评估视觉和语言域上可靠性的不同方面。为了提高可靠性,我们分别开发了VIT-PLEX和T5-PLEX,分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进,并简化了传统协议,因为它可以改善开箱即用的性能,并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果,并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能,包括零射门的开放式识别,主动学习和对话语言理解中的不确定性。
translated by 谷歌翻译
由于一系列理想的模型属性,卷积神经网络(CNN)的使用在深度学习中被广泛扩展,这导致了有效有效的机器学习框架。但是,必须将CNN架构定制为特定任务,以结合输入长度,分辨率和尺寸的考虑因素。在这项工作中,我们通过连续的卷积神经网络(CCNN)克服了针对特定问题的CNN体​​系结构的需求:一个配备了连续卷积内核的单个CNN体系结构,可用于根据任意分辨率,维度,长度和长度的数据进行任务,而无需结构性长度变化。连续的卷积内核在每一层的远距离依赖性模型,并消除当前CNN体系结构中所需的降采样层和任务依赖性深度的需求。我们通过将相同的CCNN应用于顺序(1 $ \ mathrm {d} $)和视觉数据(2 $ \ mathrm {d} $)上的一系列任务来显示我们方法的普遍性。我们的CCNN竞争性能,并且在所有考虑的所有任务中通常都优于当前最新的。
translated by 谷歌翻译
视觉惯性进程(VIO)被广泛用于多次计算机的状态估计,但在很少的视觉特征或过度攻击性飞行中的环境中起作用可能很差。在这项工作中,我们建议使用任何基于功能的VIO算法使用的多杆避免感知碰撞轨迹轨迹计划器。我们的方法能够以快速的速度飞行车辆到达目标位置,从而避免在未知的固定环境中遇到障碍,同时达到良好的VIO状态估计精度。拟议的规划师样本了一组最小的混蛋轨迹,并发现其中无冲突的轨迹,然后根据其目标和感知质量对其进行评估。特征及其位置的运动模糊都是为了感知质量。我们对功能运动模糊的新颖考虑使轨迹在具有不同光级别的环境下的侵略性自动适应。评估中的最佳轨迹是由车辆跟踪的,当从相机中收到新图像时,将以退缩的方式更新。仅对VIO做出了通用假设,因此计划器可以与各种现有系统一起使用。提出的方法可以在船上的小型嵌入式计算机上实时运行。我们通过在室内和室外环境中进行实验验证了我们提出的方法的有效性。与感知不可或缺的策划者相比,提议的计划者在摄像机的视野中保留了更多功能,并使飞行变得不那么侵略性,从而使VIO更加准确。它还减少了VIO失败,这是对感知态度计划者的发生,但并非针对拟议的计划者。还验证了拟议的规划师飞越密集障碍的能力。可以在https://youtu.be/qo3lzirpwtq上找到实验视频。
translated by 谷歌翻译
束缚的四型旋转器用于扩展飞行操作,其中通过连接到外部电源的系绳提供了系统的电源。在这项工作中,我们考虑了由单个系绳动力的多个四轮驱动器组成的系统。我们研究影响功率需求的设计因素,例如系绳的电阻,输入电压和四轮驱动器的位置。我们提出了一项分析,以预测为每个Quadcopter的推力提供的一系列n系二极管的所需功率,以确保电气安全性并有助于设计优化。我们发现,由于基本电气限制,推力的临界边界无法超过。我们比较了一个束缚的四轮驱动器和两个束缚四轮驱动器的功耗,并表明,对于距锚点足够远的大型四轮驱动器,一个二极管系统会消耗较小的功率。我们表明,对于一种代表性的消防用例,一个具有两个四轮驱动器的束缚系统比带有一个四轮驱动器的相应系统少消耗26%的功率。最后,我们提出了实验,证明了在混乱的环境中与一四分之一的束缚系统相比,使用两四分之一的束缚系统,例如穿过窗户并将物体抓住障碍物。
translated by 谷歌翻译
制定了具有机器学习模拟(骆驼)项目的宇宙学和天体物理学,通过数千名宇宙的流体动力模拟和机器学习将宇宙学与天体物理学结合起来。骆驼包含4,233个宇宙学仿真,2,049个n-body和2,184个最先进的流体动力模拟,在参数空间中采样巨大的体积。在本文中,我们介绍了骆驼公共数据发布,描述了骆驼模拟的特性和由它们产生的各种数据产品,包括光环,次麦,银河系和空隙目录,功率谱,Bispectra,Lyman - $ \ Alpha $光谱,概率分布函数,光环径向轮廓和X射线光子列表。我们还释放了超过骆驼 - 山姆的数十亿个星系的目录:与Santa Cruz半分析模型相结合的大量N身体模拟。我们释放包含350多个Terabytes的所有数据,并包含143,922个快照,数百万光环,星系和摘要统计数据。我们提供有关如何访问,下载,读取和处理数据AT \ URL {https://camels.readthedocs.io}的进一步技术详细信息。
translated by 谷歌翻译
神经网络的越来越大的规模及其越来越多的应用空间对更高的能量和记忆有效的人工智能特定硬件产生了需求。 venues为了缓解主要问题,von neumann瓶颈,包括内存和近记忆架构,以及算法方法。在这里,我们利用磁隧道结(MTJ)的低功耗和固有的二进制操作来展示基于MTJ的无源阵列的神经网络硬件推断。通常,由于设备到装置的变化,写入误差,寄生电阻和非前沿,在性能下将训练的网络模型转移到推动的硬件。为了量化这些硬件现实的效果,我们将300个唯一重量矩阵解决方案的23个唯一的重量矩阵解决方案进行分类,以分类葡萄酒数据集,用于分类准确性和写真保真度。尽管设备不完美,我们可以实现高达95.3%的软件等效精度,并在15 x 15 MTJ阵列中正确调整具有一系列设备尺寸的阵列。此调谐过程的成功表明,需要新的指标来表征混合信号硬件中再现的网络的性能和质量。
translated by 谷歌翻译
我们概述了新兴机会和挑战,以提高AI对科学发现的效用。AI为行业的独特目标与AI科学的目标创造了识别模式中的识别模式与来自数据的发现模式之间的紧张。如果我们解决了与域驱动的科学模型和数据驱动的AI学习机之间的“弥补差距”相关的根本挑战,那么我们预计这些AI模型可以改变假说发电,科学发现和科学过程本身。
translated by 谷歌翻译