多模式分类是人类以人为本的机器学习中的核心任务。我们观察到信息跨多模式融合在多模式融合之前,信息在偶像中具有高度互补的信息,因此在多模式融合之前可以彻底稀释。为此,我们呈现稀疏的融合变压器(SFT),一种用于现有最先进的方法的变压器的新型多模式融合方法,同时具有大大降低了内存占用和计算成本。我们想法的关键是稀疏池块,可在跨模式建模之前减少单峰令牌集合。评估在多个多模式基准数据集上进行,用于广泛的分类任务。在类似的实验条件下的多个基准上获得最先进的性能,同时报告计算成本和内存要求降低六倍。广泛的消融研究展示了在天真的方法中结合稀疏和多式化学习的好处。这铺平了在低资源设备上实现多模级学习的方式。
translated by 谷歌翻译
识别野外(RFIW)的家庭,作为数据挑战,与第16届IEEE国际自动面部和手势识别(FG)一起举行,是一种大规模的多轨视觉亲属识别评估。这是我们第五版RFIW,我们继续努力吸引学者,将专业人士,发布新工作和讨论前景。在本文中,我们总结了今年RFIW三个任务的提交:特别是,我们审查了亲属验证,三对象验证和家庭成员搜索和检索的结果。我们来看看RFIW问题,以及分享当前的努力,并为未来的未来方向提出建议。
translated by 谷歌翻译
高分辨率气象雷达图像的可用性是有效的预测和决策。在超越传统雷达覆盖范围之外,生成模型已成为一种重要的合成能力,融合更普遍的数据来源,例如卫星图像和数值天气模型,进入准确的雷达样产品。在这里,我们展示了使用量子辅助模型来增强传统卷积神经网络的方法,用于全球合成天气雷达中的生成任务。我们表明Quantum Kernels原则上可以根据相关底层数据上的古典学习机来表现出基本上更复杂的任务。我们的结果建立了合成气象雷达作为量子计算能力的有效启发式基准,并在高影响力的相关问题上设定了详细量子优势基准测试的阶段。
translated by 谷歌翻译
Koopman运算符是无限维的运算符,可全球线性化非线性动态系统,使其光谱信息可用于理解动态。然而,Koopman运算符可以具有连续的光谱和无限维度的子空间,使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法,用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解(ResDMD),它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案,无需光谱污染。使用解析器操作员和RESDMD,我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理,即使计算连续频谱和离散频谱的密度,也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图,高斯迭代地图,非线性摆,双摆,洛伦茨系统和11美元延长洛伦兹系统的算法。最后,我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量,并计算出湍流流过空气的误差界限的非线性Koopman模式,其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。
translated by 谷歌翻译
最近已经提出了与紧急磁化动态的互连磁纳环阵列用于储层计算应用,但是对于它们进行计算有用,必须可以优化其动态响应。在这里,我们使用一种现象学模型来证明可以通过调整使用旋转磁场将数据的缩放和输入速率控制到系统中的超级参数来优化这些储存器。我们使用任务独立的指标来评估每组上的这些超参数的戒指的计算能力,并展示这些指标如何直接关联与口头和书面识别任务中的性能相关联。然后,我们通过扩展储库的输出来包括环阵列磁态的多个并发度量,可以进一步改善这些度量。
translated by 谷歌翻译
在移动机器人学中,区域勘探和覆盖率是关键能力。在大多数可用研究中,共同的假设是全球性,远程通信和集中合作。本文提出了一种新的基于群的覆盖控制算法,可以放松这些假设。该算法组合了两个元素:Swarm规则和前沿搜索算法。受到大量简单代理(例如,教育鱼,植绒鸟类,蜂拥昆虫)的自然系统的启发,第一元素使用三个简单的规则来以分布式方式维持群体形成。第二元素提供了选择有希望区域以使用涉及代理的相对位置的成本函数的最小化来探索(和覆盖)的装置。我们在不同环境中测试了我们的方法对异质和同质移动机器人的性能。我们衡量覆盖性能和允许本集团维持沟通的覆盖性能和群体形成统计数据。通过一系列比较实验,我们展示了拟议的策略在最近提出的地图覆盖方法和传统的人工潜在领域基于细胞覆盖,转变和安全路径的百分比,同时保持允许短程的形成沟通。
translated by 谷歌翻译
用多腿机器人的动态跳跃在规划和控制方面提出了一个具有挑战性的问题。制定跳转优化以允许快速在线执行难;有效地使用这种能够生成长地平轨迹的能力进一步复杂化问题。在这项工作中,我们提出了一种新的分层规划框架来解决这个问题。我们首先制定了一个实时的轨道轨迹优化,用于执行全向跳跃。然后,我们将该优化的结果嵌入到低维跳转可行性分类器中。该分类器由高级策划器利用,以产生动态可行的路径,并且对硬件轨迹实现中的可变性也很稳健。我们在迷你猎豹视觉上部署我们的框架,展示了机器人的生成和执行可靠的目标导向路径,这些路径涉及前进,横向和旋转跳跃到比机器人的标称臀部高度高1.35倍。通过全向跳跃计划的能力极大地扩展了机器人相对于限制跳跃到矢状或前平面的规划者的移动性。
translated by 谷歌翻译
可说明的人工智能(XAI)的目前的模型显示出在提出统计上纠缠特征时,可以显而易见和量化缺乏可靠性,当提出统计上纠缠的特征时,为训练深层分类器。深度学习在临床试验中的应用增加了预测神经发育障碍的早期诊断,如自闭症谱系障碍(ASD)。然而,包含更可靠的显着图,以获得使用神经活动特征的更可靠和可解释的度量,对于诊断或临床试验中的实际应用仍然不充分。此外,在ASD研究中,包含使用神经措施来预测观察面部情绪的深层分类器相对未探索。因此,在本研究中,我们提出了对脑电图(EEG)的卷积神经网络(CNN)的评估,用于基于新颖的删除(咆哮)方法,以恢复分类器中使用的高度相关特征。具体而言,我们比较众所周知的相关性图,例如层性相关性传播(LRP),图案网络,图案归因和平滑级平方。本研究是第一个在通常开发的和ASD个体中使用内部训练的CNN内训练的基于EEG的面部情感识别来实现更透明的特征相关计算。
translated by 谷歌翻译
在面孔和机构的3D生成模型中学习解除一致,可解释和结构化的潜在代表仍然是一个开放的问题。当需要对身份特征的控制时,问题特别严重。在本文中,我们提出了一种直观但有效的自我监督方法来训练3D形变形自动化器(VAE),鼓励身份特征的解开潜在表示。通过在不同形状上交换任意特征来造成迷你批处理允许定义利用潜在表示中已知差异和相似性的损耗功能。在3D网眼上进行的实验结果表明,最先进的潜在解剖学方法无法解散面部和身体的身份特征。我们所提出的方法适当地解耦了这些特征的产生,同时保持了良好的表示和重建能力。
translated by 谷歌翻译
深度是自治车辆以感知障碍的重要信息。由于价格相对较低,单目一体相机的小尺寸,从单个RGB图像的深度估计引起了对研究界的兴趣。近年来,深神经网络(DNN)的应用已经显着提高了单眼深度估计(MDE)的准确性。最先进的方法通常设计在复杂和极其深的网络架构之上,需要更多的计算资源,而不使用高端GPU实时运行。虽然一些研究人员试图加速运行速度,但深度估计的准确性降低,因为压缩模型不代表图像。另外,现有方法使用的特征提取器的固有特性导致产生的特征图中的严重空间信息丢失,这也损害了小型图像的深度估计的精度。在本研究中,我们有动力设计一种新颖且有效的卷积神经网络(CNN),其连续地组装两个浅编码器解码器样式子网,以解决这些问题。特别是,我们强调MDE准确性和速度之间的权衡。已经在NYU深度V2,Kitti,Make3D和虚幻数据集上进行了广泛的实验。与拥有极其深层和复杂的架构的最先进的方法相比,所提出的网络不仅可以实现可比性的性能,而且在单个不那么强大的GPU上以更快的速度运行。
translated by 谷歌翻译