Vision-Language(V + L)预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象,但它们通常会忽略事件级别的对齐及其参数结构。 %在这项工作中,我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数(参与者)角色。为此,我们利用文本信息提取技术来获得事件结构知识,并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外,我们收集了一个大型活动的数据集(106,875张图片),用于预磨平,这提供了更具挑战性的图像检索基准,以评估对复杂冗长的句子的理解。实验表明,我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型,从而实现了事件提取中的5±绝对f得分增益,以及显着改进零拍摄设置下的各种下游任务。
translated by 谷歌翻译
我们启动了对MLP架构进行了视觉和语言(VL)融合的第一个实证研究。通过对5 VL任务和5个强大的VQA基准测试的广泛实验,我们发现:(i)没有预先训练,使用MLP进行多模式融合,与变压器相比具有明显的性能差距; (ii)但是,VL预培训可以帮助关闭性能差距; (iii)代替重大的多主头注意力,将微小的单臂注意MLPS增加足以实现对变压器的可比性。此外,我们还发现,当在更难的鲁棒VQA基准测试时,MLP和变压器之间的性能差距不会扩大,建议使用MLP融合可以大致呈现与使用变压器相似的程度。这些结果提示MLP可以有效地学会对准从较低级别的编码器中提取的视觉和文本功能,而不依赖于自我关注。基于此,我们提出了一个更大胆的问题:我们可以为VL建模提供全部MLP架构,其中VL融合和视觉编码器都用MLPS替换吗?我们的结果表明,与最先进的全功能VL模型相比,全部MLP VL模型是当它们都获得预先培训的时型vl模型。然而,预先培训ALL-MLP可能令人惊讶地实现比没有预先训练的完整变压器模型更好的平均分数。这表明VL建模的MLP样架构的大规模预培训的潜力,并激发了未来的研究方向,简化了较少的归纳设计偏差的良好的VL建模。我们的代码可公开提供:https://github.com/easonnie/mlp-vil
translated by 谷歌翻译
今天的大部分AI系统都专注于使用自我关注机制和变压器架构在大量多样化的数据中实现令人印象深刻的性能收益。在本文中,我们建议使用外部注意机制增强变压器架构,以带来外部知识和背景。通过将外部信息集成到预测过程中,我们希望减少对更大的模型的需求,并增加AI系统的民主化。我们发现所提出的外部注意机制可以显着提高现有AI系统的性能,使从业者可以轻松地将基础AI模型自定义到许多不同的下游应用程序。特别是,我们专注于勤杂朗语推理的任务,展示所提出的外部注意机制可以增加现有的变压器模型,并显着提高模型的推理能力。拟议的系统,知识外部关注推理(Kear),达到了开放的铜商QA研究基准的人类奇偶校验,其准确性为89.4 \%,与人类准确性为88.9 \%。
translated by 谷歌翻译
Vision-and语言(VL)预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明,基于完全变换器的VL模型可以比以前的基于区域特征的方法更有效,但它们在下游任务上的性能通常显着降低。在本文中,我们呈现仪表〜(\ textbf {m} ultimodal \ textbf {e} nd-to-text \ textbf {t} ransform \ textbf {er}),我们通过它系统地调查如何设计和预先列车基于完全变换器的VL模型以端到端的方式。具体而言,我们将模型设计沿多个尺寸分析:视觉编码器(例如,剪辑 - vit,Swin变压器),文本编码器(例如,Roberta,Deberta),多模式融合(例如,合并注意力与共同关注),架构设计(例如,仅编码器与编码器 - 解码器)和预训练目标(例如,屏蔽图像建模)。我们对广泛的VL任务进行全面实验,并提供有关如何在保持快速推理速度的同时培训表演VL变压器的见解。值得注意的是,仪表〜使用仅使用4M图像进行预培训的VQAV2 TEST-STD设置的精度为77.64 \%,超过最先进的区域特征的VINVL模型+1.04 \%,以及优于以前最好的完全变换器的ALBEF模型+1.6 \%。
translated by 谷歌翻译
对话是人类沟通与合作的重要组成部分。现有研究主要关注一对一时尚的短对话情景。然而,现实世界中的多人互动,例如会议或访谈,经常超过几千个字。仍然缺乏相应的研究和强大的工具来了解和处理这么长的对话。因此,在这项工作中,我们为长时间对话理解和总结提供了预先培训框架。考虑到长期交谈的性质,我们提出了一种基于窗口的去噪方法,用于生成预训练。对于对话框,它损坏了一个带有对话激发灵感噪声的文本窗口,并指导模型基于剩余对话的内容来重建此窗口。此外,为了更长的输入,我们增加了稀疏关注模型,这些模型以混合方式与传统的关注相结合。我们在长对话的五个数据集进行广泛的实验,涵盖对话摘要的任务,抽象问题回答和主题分割。实验,我们表明,我们的预先训练的模型DialogLM显着超越了数据集和任务的最先进的模型。我们的GitHub存储库(HTTPS:/github.com/microsoft/dialoglm上有源代码和所有预先训练的型号。
translated by 谷歌翻译
智能城市的智能交通灯可以最佳地减少交通拥堵。在这项研究中,我们采用了加强学习,培训了城市移动模拟器的红绿灯的控制代理。由于现有工程的差异,除了基于价值的方法之外,利用基于策略的深度加强学习方法,近端策略优化(PPO),例如Deep Q网络(DQN)和双DQN(DDQN)。首先,将获得PPO的最佳政策与来自DQN和DDQN的PPO相比。发现PPO的政策比其他政策更好。接下来,而不是固定间隔的流量光阶段,我们采用具有可变时间间隔的光相位,这导致更好的策略来传递流量流。然后,研究了环境和行动干扰的影响,以展示基于学习的控制器是强大的。最后,我们考虑不平衡的交通流量,并发现智能流量可以适度地对不平衡的流量方案执行,尽管它仅从平衡流量方案中了解最佳策略。
translated by 谷歌翻译
在本文中,我们专注于研究中国问题匹配的鲁棒性评估。以前的大多数关于分析鲁棒性问题的工作专注于只有一种或几种类型的人工对抗例。相反,我们认为有必要制定关于自然文本模型语言能力的综合评估。为此目的,我们创建了一个中国数据集即duqm,其中包含具有语言扰动的自然问题,以评估问题匹配模型的鲁棒性。Duqm包含3个类别和13个子类别,具有32个语言扰动。广泛的实验表明,DUQM具有更好的区分不同模型的能力。重要的是,DuQM中语言现象评估的详细分类有助于我们轻松诊断不同模型的强度和弱点。此外,我们的实验结果表明,人工对抗实例的影响不适用于自然文本。
translated by 谷歌翻译
由于稀疏神经网络通常包含许多零权重,因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此,设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中,我们提出了一种新的自动修剪方法 - 稀疏连接学习(SCL)。具体地,重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此,由二进制掩模完全描述网络连接,其由单位步进函数调制。理论上,从理论上证明了使用直通估计器(STE)进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的,确保掩模变量在其最小值处收敛。在找到泄漏的Relu后,SoftPlus和Identity Stes可以满足这个原理,我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡,因此,我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码,我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数,因此在更大的假设空间中探讨了网络,以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明,SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性,精度和减少脚波特的SOTA人类设计和自动修剪方法训练。
translated by 谷歌翻译
手动注释复杂的场景点云数据集昂贵且容易出错。为了减少对标记数据的依赖性,提出了一种名为Snapshotnet的新模型作为自我监督的特征学习方法,它直接用于复杂3D场景的未标记点云数据。 Snapshotnet Pipleine包括三个阶段。在快照捕获阶段,从点云场景中采样被定义为本地点的快照。快照可以是直接从真实场景捕获的本地3D扫描的视图,或者从大3D 3D点云数据集中的虚拟视图。也可以在不同的采样率或视野(FOV)的不同采样率或视野(FOV)中进行对快照进行,从而从场景中捕获比例信息。在特征学习阶段,提出了一种名为Multi-FoV对比度的新的预文本任务,以识别两个快照是否来自同一对象,而不是在同一FOV中或跨不同的FOV中。快照通过两个自我监督的学习步骤:对比学习步骤与零件和比例对比度,然后是快照聚类步骤以提取更高的级别语义特征。然后,通过首先培训在学习特征上的标准SVM分类器的培训中实现了弱监督的分割阶段,其中包含少量标记的快照。训练的SVM用于预测输入快照的标签,并使用投票过程将预测标签转换为整个场景的语义分割的点明智标签分配。实验是在语义3D数据集上进行的,结果表明,该方法能够从无任何标签的复杂场景数据的快照学习有效特征。此外,当与弱监管点云语义分割的SOA方法相比,该方法已经显示了优势。
translated by 谷歌翻译
PD,PD,PD,是一种影响运动技能的慢性病,​​包括震颤和刚度等症状。目前的诊断程序使用患者评估来评估症状,有时是磁共振成像或MRI扫描。然而,症状变异导致评估不准确,MRI扫描的分析需要经验丰富的专家。本研究建议通过将症状数据和MRI数据与Parkinsons进展标记倡议数据库组合来准确地诊断PD严重程度。实施了一种新的混合模型架构,以充分利用两种形式的临床数据,以及基于仅症状的模型,并且还开发了MRI扫描。基于症状的模型集成了完全连接的深度学习神经网络,MRI扫描与混合模型集成了基于转移学习的卷积神经网络。所有型号诊断患者诊断为五个严重性类别,而不是表现为五个严重性类别,而是代表患者的阶段和阶段4和五个代表PD患者。仅症状,仅限MRI扫描,以及分别达到0.77,0.68和0.94的精度。混合模型还具有高精度,召回评估分数为0.94和0.95。真正的临床病例确认了杂种的强烈性能,其中患者用两种其他模型进行错误分类,但通过混合动力正确地进行分类。它在五个严重性阶段也一致,表明早期检测准确。这是第一个将症状数据和MRI扫描在这种大规模上与机器学习方法结合的报告。
translated by 谷歌翻译