有效的模型选择,用于向下游任务识别合适的预先训练的神经网络是深度学习中的基本但具有挑战性的任务。目前的实践需要昂贵的计算成本在模型训练中进行性能预测。在本文中,我们通过在训练期间分析突触连接(边缘)的控制动态来提出一个新颖的神经网络选择框架。我们的框架是基于神经网络培训期间的回波传播相当于突触连接的动态演变。因此,融合的神经网络与由那些边缘组成的网络系统的平衡状态相关联。为此,我们构建一个网络映射$ \ phi $,将神经网络$ g_a $转换为定向行图$ g_b $,它在$ g_a $中定义。接下来,我们推导出神经电容度量标准$ \ beta _ {\ rm upf} $普遍捕获下游任务上的预测措施,仅使用少数早期训练结果。我们使用17个流行的预先训练的Imagenet模型和五个基准数据集进行了广泛的实验,包括CiFar10,CiFar100,SVHN,时尚Mnist和鸟类,以评估我们框架的微调性能。我们的神经电容度量显示为仅基于早期训练结果的模型选择的强大指标,比最先进的方法更有效。
translated by 谷歌翻译
神经结构搜索使建筑设计的自动化。尽管它取得了成功,但它是计算的昂贵且没有关于如何设计理想的架构的洞察力。在这里,我们提出了一种在寻找神经网络的新方法,在我们通过重新加热相应的图形来搜索神经架构并通过图形属性预测架构性能。因为我们在整个图形空间上没有执行机器学习并使用预测的架构性能来搜索架构,因此搜索过程非常有效。我们发现基于图形的搜索可以提供对所需架构的合理预测。此外,我们找到了有效预测架构性能的图形属性。我们的工作提出了一种寻找神经结构的新方式,并提供神经结构设计的见解。
translated by 谷歌翻译
移动对象(DATMO)的检测和跟踪是自动驾驶环境感知的重要组成部分。虽然使用环绕视图摄像机的3D检测器只是蓬勃发展,但越来越多的趋势是使用不同的基于变压器的方法从透视图的2D特征图中学习3D空间中的查询。本文提出了稀疏的R-CNN 3D(SRCN3D),这是一种新颖的两阶段全横向卷积映射管道,用于环绕视图摄像机检测和跟踪。 SRCN3D采用了级联结构,具有固定数量的提案盒和提案潜在功能的双轨更新。预计提案框可以透视视图,以汇总感兴趣的区域(ROI)本地特征。基于此,提案功能通过动态实例交互式头部进行完善,然后生成分类,并应用于原始边界框。与先前的艺术相比,我们的稀疏功能采样模块仅利用本地2D功能来调整每个相应的3D提案盒,从而导致完整的稀疏范式。提案功能和外观特征均在数据关联过程中采用多刺激性3D多对象跟踪方法。 Nuscenes数据集的广泛实验证明了我们提出的SRCN3D检测器和跟踪器的有效性。代码可在https://github.com/synsin0/srcn3d上找到。
translated by 谷歌翻译
了解公众关于紧急使用未经证实的治疗剂的论述对于监视安全使用和打击错误信息至关重要。我们开发了一种基于自然语言处理(NLP)的管道,以了解公众对COVID-19与19与COVID相关药物的立场的看法。这项回顾性研究包括2020年1月29日,2020年至2021年11月30日之间的609,189个基于美国的推文,涉及四种药物,这些药物在19日期期间在流行期间引起了广泛关注:1)羟基氯喹和伊维菌素,毒品疗法,具有轶事证据; 2)Molnupiravir和Remdesivir,适合合格患者的FDA批准的治疗选择。时间趋势分析用于了解受欢迎程度和相关事件。进行了内容和人口统计分析,以探讨人们对每种药物的立场的潜在理由。时间趋势分析表明,羟氯喹和伊维菌素的讨论比Molnupiravir和Remdesivir更多,尤其是在Covid-19-19潮中期。羟氯喹和伊维菌素高度政治化,与阴谋论,传闻,名人效应等有关。美国两个主要政党之间立场的分布大不相同(p <0.001);共和党人比民主党人更有可能支持羟氯喹(+55%)和伊维菌素(+30%)。具有医疗保健背景的人倾向于比普通人群多反对羟氯喹(+7%)。相比之下,普通人群更有可能支持伊维菌素(+14%)。我们在https://github.com/ningkko/covid-drug上提供所有数据,代码和模型。
translated by 谷歌翻译
在现实世界应用程序中部署深度学习(DL)的软件系统有所增加。通常,DL模型是使用具有自己的内部机制/格式来代表和训练DL模型的DL框架开发和培训的,通常这些格式无法通过其他框架识别。此外,训练有素的模型通常被部署在与开发的环境不同的环境中。为了解决互操作性问题并使DL模型与不同的框架/环境兼容,引入了一些交换格式,例如ONNX和Coreml等DL模型。但是,社区从未对ONNX和Coreml进行经验评估,以揭示其转换后的预测准确性,性能和稳健性。转换模型的准确性差或不稳定行为可能导致部署的基于DL的软件系统的质量差。在本文中,我们进行了第一项评估ONNX和Coreml的经验研究,以转换训练有素的DL模型。在我们的系统方法中,两个流行的DL框架Keras和Pytorch用于在三个流行数据集上训练五种广泛使用的DL模型。然后将训练有素的模型转换为ONNX和Coreml,并将其转移到待评估该格式的两个运行时环境中。我们研究转换之前和之后的预测准确性。我们的结果揭示了转换模型的预测准确性在相同的原始级别。也研究了转换模型的性能(时间成本和内存消耗)。转换后模型的大小减小,这可能导致基于DL的软件部署。通常将转换的模型评估为在相同级别的原始级别上。但是,获得的结果表明,与ONNX相比,Coreml模型更容易受到对抗攻击的影响。
translated by 谷歌翻译
通过强化学习(PCGRL)的程序性内容生成(PCGRL)已经预言了对大型人为实现的数据集的需求,并允许代理使用可计算的,用户定义的质量衡量标准,而不是目标输出。我们探讨了PCGRL在3D域中的应用,其中内容生成任务自然具有更大的复杂性和与现实世界应用的潜在相关性。在这里,我们介绍了3D域的几个PCGRL任务,Minecraft(Mojang Studios,2009年)。这些任务将使用经常在3D环境中发现的负担来挑战基于RL的发电机,例如跳跃,多维运动和重力。我们培训代理商以优化这些任务中的每一个,以探索PCGRL先前研究的功能。该代理能够生成相对复杂和不同的级别,并推广到随机的初始状态和控制目标。提出的任务中的可控性测试证明了他们分析3D发电机成功和失败的实用性。
translated by 谷歌翻译
立场检测旨在确定文本的作者是否赞成,反对或中立。这项任务的主要挑战是两个方面的:由于不同目标以及缺乏目标的上下文信息而产生的几乎没有学习。现有作品主要通过设计基于注意力的模型或引入嘈杂的外部知识来解决第二期,而第一个问题仍未探索。在本文中,受到预训练的语言模型(PLM)的潜在能力(PLM)的启发,我们建议介绍基于立场检测的及时基于迅速的微调。 PLM可以为目标提供基本的上下文信息,并通过提示启用几次学习。考虑到目标在立场检测任务中的关键作用,我们设计了目标感知的提示并提出了一种新颖的语言。我们的语言器不会将每个标签映射到具体单词,而是将每个标签映射到矢量,并选择最能捕获姿势与目标之间相关性的标签。此外,为了减轻通过单人工提示来处理不同目标的可能缺陷,我们建议将信息从多个提示中学到的信息提炼。实验结果表明,我们提出的模型在全数据和少数场景中的表现出色。
translated by 谷歌翻译
变压器已被广泛用于整个幻灯片图像(WSI)分类,以进行肿瘤分级,预后分析等。然而,在公共变压器中,在令牌上的自我注意和位置嵌入策略的设计限制了有效性和效率在Gigapixel组织病理学图像的应用中。在本文中,我们提出了一个用于组织病理学WSI分类的内核注意变压器(KAT)。代币的信息传输是通过令牌与与WSI上一组位置锚有关的一组内核之间的交叉注意来实现的。与共同的变压器结构相比,提出的KAT可以更好地描述WSI局部区域的层次上下文信息,同时保持较低的计算复杂性。在具有2040 WSI的胃数据集和具有2560 WSIS的子宫内膜数据集上评估了该方法,并与6种最先进的方法进行了比较。实验结果表明,所提出的KAT在组织病理学WSI分类的任务中有效有效,并且优于最新方法。该代码可在https://github.com/zhengyushan/kat上找到。
translated by 谷歌翻译
局部表示学习是促进组织病理学整体幻灯片图像分析的性能的关键挑战。先前的表示学习方法遵循监督学习范式。但是,大规模WSIS的手动注释是耗时且劳动力密集的。因此,自我监督的对比学习最近引起了密集的关注。目前的对比学习方法将每个样本视为一个类别,这遭受了类碰撞问题,尤其是在组织病理学图像分析的领域。在本文中,我们提出了一个新颖的对比表示学习框架,称为病变感染对比学习(LACL),用于组织病理学整个幻灯片图像分析。我们基于内存库结构建立了病变队列,以存储不同类别WSIS的表示形式,这使对比模型可以在训练过程中选择性定义负面对。此外,我们设计了一个队列改进策略,以净化病变队列中存储的表示形式。实验结果表明,LACL在不同数据集上学习在组织病理学图像表示学习中的最佳性能,并且在不同的WSI分类基准下的最先进方法优于最先进的方法。该代码可在https://github.com/junl21/lacl上获得。
translated by 谷歌翻译
最近,Miller等。结果表明,模型的分布(ID)精度与几个OOD基准上的分布(OOD)精度具有很强的线性相关性 - 一种将它们称为“准确性”的现象。虽然一种用于模型选择的有用工具(即,最有可能执行最佳OOD的模型是具有最高ID精度的模型),但此事实无助于估计模型的实际OOD性能,而无需访问标记的OOD验证集。在本文中,我们展示了一种类似但令人惊讶的现象,也与神经网络分类器对之间的一致性一致:每当在线准确性时,我们都会观察到任何两个神经网络的预测之间的OOD一致性(具有潜在的不同架构)还观察到与他们的ID协议有很强的线性相关性。此外,我们观察到OOD与ID协议的斜率和偏置与OOD与ID准确性的偏差非常匹配。我们称之为“协议”的现象具有重要的实际应用:没有任何标记的数据,我们可以预测分类器的OOD准确性},因为只需使用未标记的数据就可以估算OOD一致性。我们的预测算法在同意在线达成的变化中都优于先前的方法,而且令人惊讶的是,当准确性不在线上时。这种现象还为深度神经网络提供了新的见解:与在线的准确性不同,一致性似乎仅适用于神经网络分类器。
translated by 谷歌翻译