在许多环境中(来自人体肠道到海洋生态系统)的混合群落发现了生物体,并且可以对人类健康和环境产生深远的影响。 Metagenomics通过高通量测序研究这种群体的基因组材料,得到用于随后分析的DNA子序列。标准工作流程中称为啤酒的基本问题是发现与未知构成生物相关的基因组子组的群集。随后的固有噪声,需要对它们施加的各种生物限制以及偏斜簇大小分布加剧了这种无监督的学习问题的难度。在本文中,我们使用曲线图提出了一种新的配方,其中节点是子序列的,并且边缘代表同意信息。此外,我们模拟了提供了关于不能聚集在一起的节点的异细信号的生物限制。我们通过开发(i)图表示学习的新算法来解决融合问题,这些算法保留了奇妙关系和基于异语的基于约束的基于曲线的图形聚类方法,该方法解决了串簇大小分布的问题。在实际和合成数据集上的广泛实验证明我们的方法称为Repbin,优于各种各样的竞争方法。我们的约束图形表示学习和聚类方法,其在其他域中也可以是有用的,也可以推进距离偏心神经融合和图形表示学习的最先进。
translated by 谷歌翻译
重量修剪是一种有效的模型压缩技术,可以解决在移动设备上实现实时深神经网络(DNN)推断的挑战。然而,由于精度劣化,难以利用硬件加速度,以及某些类型的DNN层的限制,难以降低的应用方案具有有限的应用方案。在本文中,我们提出了一般的细粒度的结构化修剪方案和相应的编译器优化,适用于任何类型的DNN层,同时实现高精度和硬件推理性能。随着使用我们的编译器优化所支持的不同层的灵活性,我们进一步探讨了确定最佳修剪方案的新问题,了解各种修剪方案的不同加速度和精度性能。两个修剪方案映射方法,一个是基于搜索,另一个是基于规则的,建议自动推导出任何给定DNN的每层的最佳修剪规则和块大小。实验结果表明,我们的修剪方案映射方法,以及一般细粒化结构修剪方案,优于最先进的DNN优化框架,最高可达2.48 $ \ times $和1.73 $ \ times $ DNN推理加速在CiFar-10和Imagenet DataSet上没有准确性损失。
translated by 谷歌翻译
在神经形态计算中,人工突触提供了一种基于来自神经元的输入来设置的多重导电状态,类似于大脑。可能需要超出多重权重的突触的附加属性,并且可以取决于应用程序,需要需要从相同材料生成不同的突触行为。这里,我们基于使用磁隧道结和磁畴壁的磁性材料测量人造突触。通过在单个磁隧道结下面的畴壁轨道中制造光刻槽口,我们实现了4-5个稳定的电阻状态,可以使用自旋轨道扭矩电气可重复控制。我们分析几何形状对突触行为的影响,表明梯形装置具有高可控性的不对称性重量,而直线装置具有较高的随机性,但具有稳定的电阻水平。设备数据被输入到神经形态计算模拟器中以显示特定于应用程序突触函数的有用性。实施应用于流式的时尚 - MNIST数据的人工神经网络,我们表明梯形磁突出可以用作高效在线学习的元塑功能。为CiFar-100图像识别实施卷积神经网络,我们表明直流突触由于其电阻水平的稳定性而达到近乎理想的推理精度。这项工作显示多重磁突触是神经形态计算的可行技术,并为新兴人工突触技术提供设计指南。
translated by 谷歌翻译
由于其在捕获地区和翻译不变性的能力,卷积神经网络(CNNS)已经主导了计算机愿景。最近,已经提出了许多视觉变压器架构,他们表现出了有希望的表现。视觉变压器中的一个关键组件是在长距离依赖性建模中的CNN具有完全连接的自我关注。然而,由于当前密集的自我关注使用所有图像斑块(令牌)来计算注意力矩阵,因此它可能会忽略图像斑块的局部性,并且涉及嘈杂的令牌(例如,杂物背景和遮挡),导致慢训练过程和潜在的劣化表现。为了解决这些问题,我们提出了k $ -nn注意促进视觉变压器。具体而言,而不是涉及所有引起注意矩阵计算的令牌,我们只能从每个查询的键中选择顶级$类似的标记来计算注意图。提议的$ k $ -nn注意自然地继承了CNN的当地偏见而不引入卷积操作,因为附近的代币往往比其他代币更相似。此外,$ k $ -nn注意允许探索远程相关性,同时通过从整个图像中选择最相似的标记来筛选无关的标记。尽管其理论上和经验,我们验证了它,即美元 - 不关注的是,在加快输入令牌的训练和蒸馏噪声方面是强大的。通过使用11种不同的视觉变压器架构进行了广泛的实验,以验证所提出的$ -NNN注意力可以与任何现有的变压器架构合作,以提高其预测性能。
translated by 谷歌翻译
基于基于不完整的神经网络验证如冠的绑定传播非常有效,可以显着加速基于神经网络的分支和绑定(BAB)。然而,绑定的传播不能完全处理由昂贵的线性编程(LP)求解器的BAB常规引入的神经元分割限制,导致界限和损伤验证效率。在这项工作中,我们开发了一种基于$ \ beta $ -cra所做的,一种基于新的绑定传播方法,可以通过从原始或双空间构造的可优化参数$ \ beta $完全编码神经元分割。当在中间层中联合优化时,$ \ Beta $ -CROWN通常会产生比具有神经元分裂约束的典型LP验证更好的界限,同时像GPU上的皇冠一样高效且并行化。适用于完全稳健的验证基准,使用BAB的$ \ Beta $ -CROWN比基于LP的BAB方法快三个数量级,并且比所有现有方法更快,同时产生较低的超时率。通过早期终止BAB,我们的方法也可用于有效的不完整验证。与强大的不完整验证者相比,我们始终如一地在许多设置中获得更高的验证准确性,包括基于凸屏障破碎技术的验证技术。与最严重但非常昂贵的Semidefinite编程(SDP)的不完整验证者相比,我们获得了更高的验证精度,验证时间较少三个级。我们的算法授权$ \ alpha,\ \β$ -craft(Alpha-Beta-Crown)验证者,VNN-Comp 2021中的获胜工具。我们的代码可在http://papercode.cc/betacrown提供
translated by 谷歌翻译
视觉和语言导航(VLN)是一种任务,即遵循语言指令以导航到目标位置的语言指令,这依赖于在移动期间与环境的持续交互。最近的基于变压器的VLN方法取得了很大的进步,从视觉观测和语言指令之间的直接连接通过多模式跨关注机制。然而,这些方法通常代表通过使用LSTM解码器或使用手动设计隐藏状态来构建反复变压器的时间上下文作为固定长度矢量。考虑到单个固定长度向量通常不足以捕获长期时间上下文,在本文中,我们通过显式建模时间上下文来引入具有可变长度存储器(MTVM)的多模式变压器,通过模拟时间上下文。具体地,MTVM使代理能够通过直接存储在存储体中的先前激活来跟踪导航轨迹。为了进一步提高性能,我们提出了内存感知的一致性损失,以帮助学习随机屏蔽指令的时间上下文的更好关节表示。我们在流行的R2R和CVDN数据集上评估MTVM,我们的模型在R2R看不见的验证和测试中提高了2%的成功率,并在CVDN测试集上减少了1.6米的目标进程。
translated by 谷歌翻译
Vision-Language(V + L)预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象,但它们通常会忽略事件级别的对齐及其参数结构。 %在这项工作中,我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数(参与者)角色。为此,我们利用文本信息提取技术来获得事件结构知识,并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外,我们收集了一个大型活动的数据集(106,875张图片),用于预磨平,这提供了更具挑战性的图像检索基准,以评估对复杂冗长的句子的理解。实验表明,我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型,从而实现了事件提取中的5±绝对f得分增益,以及显着改进零拍摄设置下的各种下游任务。
translated by 谷歌翻译
近几十年来,Camera-IMU(惯性测量单元)传感器融合已经过度研究。已经提出了具有自校准的运动估计的许多可观察性分析和融合方案。然而,它一直不确定是否在一般运动下观察到相机和IMU内在参数。为了回答这个问题,我们首先证明,对于全球快门Camera-IMU系统,所有内在和外在参数都可以观察到未知的地标。鉴于此,滚动快门(RS)相机的时间偏移和读出时间也证明是可观察到的。接下来,为了验证该分析并解决静止期间结构无轨滤波器的漂移问题,我们开发了一种基于关键帧的滑动窗滤波器(KSWF),用于测量和自校准,它适用于单眼RS摄像机或立体声RS摄像机。虽然关键帧概念广泛用于基于视觉的传感器融合,但对于我们的知识,KSWF是支持自我校准的首先。我们的模拟和实际数据测试验证了,可以使用不同运动的机会主义地标的观察来完全校准相机-IMU系统。实际数据测试确认了先前的典故,即保持状态矢量的地标可以弥补静止漂移,并显示基于关键帧的方案是替代治疗方法。
translated by 谷歌翻译
字感消歧(WSD)是在给定的上下文中确定模糊单词的感觉的任务。以前的WSD方法侧重于受监督和基于知识的方法,但仍有愿意消除歧义的际相互作用模式或规律。我们认为以下原因是找到正确模式背后的主要困难之一:对于特定的背景,一系列模糊词语的预期感官彼此依赖,即选择一个单词的感觉与选择相关联另一个单词的感觉,使WSD成为组合优化问题。在这项工作中,我们通过二次0-1整数编程模型(QIP)方法通过二次0-1整数编程模型(QIP)来实现不同目标单词的感觉之间的相互作用,其最大化由(1)之间的相似性组成的目标函数目标单词的候选感官和语境(感觉字相似度)中的单词,和(2)上下文中所有单词的感官之间的语义交互(相关性)(感觉义相关性)。
translated by 谷歌翻译
已经开发了各种深度学习模型,以从医学图像分段解剖结构,但它们通常在具有不同数据分布的另一个目标域上测试时具有差的性能。最近,已经提出了未经监督的域适应方法来缓解这种所谓的域移位问题,但大多数都是针对具有相对较小域移位的方案设计的,并且在遇到大域间隙时可能会失败。在本文中,我们提出DCDA,一种新的跨模型无监督域适应框架,用于具有大域移位的任务,例如,来自Octa和OCT图像的分段视网膜血管。 DCDA主要包括解开表示样式转移(DRST)模块和协作一致性学习(CCL)模块。 DRST将图像分解成内容组件和样式代码,并执行样式传输和图像重建。 CCL包含两个分段模型,一个用于源域,另一个用于目标域。这两种模型使用标记的数据(与相应的传输图像一起)进行监督学习,并在未标记的数据上执行协作一致性学习。每个模型都侧重于相应的单个域,并旨在产生专用域特定的分段模型。通过对视网膜船分割的广泛实验,我们的框架从Octa到Oct和Oct到Octa的OctA到Octa的骰子分数均达到目标培训的甲骨文,显着优于其他最先进的方法。
translated by 谷歌翻译