文档检索使用户能够准确,快速找到所需的文档。为了满足检索效率的要求,普遍的深神经方法采用了基于表示的匹配范式,该范式通过离线预先存储文档表示节省了在线匹配时间。但是,上述范式会消耗庞大的本地存储空间,尤其是将文档存储为单词元素表示时。为了解决这个问题,我们提出了TGTR,这是一种基于主题的文本表示模型,用于文档检索。遵循基于表示的匹配范式,TGTR将文档表示脱机存储以确保检索效率,而通过使用新颖的主题格式表示,而不是传统的单词元素,则大大降低了存储要求。实验结果表明,与单词粒度的基线相比,TGTR在检索准确性方面始终在TREC CAR和MS MARCO上竞争,但其所需的存储空间的少于1/10。此外,TGTR绝大多数在检索准确性方面超过了全球粒度的基线。
translated by 谷歌翻译
人类语言中发现的最强大的模式之一是ZIPF的缩写定律,即更短的单词的趋势。自ZIPF开创性研究以来,该定律被视为压缩的体现,即形式的长度最小化 - 自然交流的普遍原则。尽管对语言进行优化的说法已经变得时尚,但衡量语言优化程度的尝试却相当稀缺。在这里,我们证明压缩在无例外的大量语言中表现出来,并且独立于测量单位。这两个单词长度都可以在书面语言的字符以及口语的持续时间中检测到。此外,为了衡量优化程度,我们得出了一个随机基线的简单公式,并提出了两个分数归一化的分数,即,它们相对于最小值和随机基线都进行了归一化。我们分析了这些和其他分数的理论和统计优势和缺点。利用最佳分数,我们首次量化了语言中单词长度的最佳程度。这表明当单词长度以字符测量时,语言平均被优化至62%或67%(取决于源),当单词长度及时测量时,平均而言,平均而言,平均而言,平均而言,平均而言,平均而言,平均至65%。通常,口语持续时间比字符中的书面单词长度更优化。除了这里报告的分析外,我们的工作还铺平了衡量其他物种发声或手势的最佳程度的方法,并将其与书面,口语或签名的人类语言进行比较。
translated by 谷歌翻译
在本文中,我们研究了如何使用现代视觉语言变形金刚实现更好的视觉接地,并为这项具有挑战性的任务提出了一种简单而强大的选择性训练(SIRI)机制。特别是,Siri传达了视觉接地研究的重要原则,即更好的初始视觉语言编码器将帮助该模型收敛到更好的局部最低限度,从而相应地提高性能。具体而言,随着训练的进行,我们不断更新编码器的参数,而定期重新定位的其余参数则可以根据增强的编码来更好地优化模型。 Siri在三个流行的基准测试中可以大大优于以前的方法。具体而言,我们的方法在Refcoco+ Testa上达到了83.04%的TOP1精度,超过了最先进的方法(从头开始训练)超过10.21%。此外,我们透露,即使培训数据有限,Siri也表现出色。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务,以验证有效性。
translated by 谷歌翻译
自动简短答案分级是探索如何使用人工智能(AI)的工具来改善教育的重要研究方向。当前的最新方法使用神经语言模型来创建学生响应的矢量表示,然后是分类器以预测分数。但是,这些方法有几个关键的局限性,包括i)他们使用的预培训的语言模型不适合教育主题领域和/或学生生成的文本和ii)它们几乎总是每个问题训练一个模型,而忽略了该模型由于高级语言模型的大小,跨越问题的联系并导致了重要的模型存储问题。在本文中,我们研究了学生对数学问题的回答的自动简短答案分级问题,并为这项任务提出了一个新颖的框架。首先,我们使用Mathbert,这是流行语言模型BERT的一种变体,该模型适合数学内容,并将其微调为学生响应分级的下游任务。其次,我们使用一种文字学习方法,提供评分示例作为语言模型的输入,以提供其他上下文信息并促进对以前看不见的问题的概括。我们在研究学生对开放式数学问题的回答的现实数据集上评估了我们的框架,并表明我们的框架(通常非常明显)优于现有方法,尤其是对于培训期间没有看到的新问题。
translated by 谷歌翻译
放映摄像头(UDC)为全屏智能手机提供了优雅的解决方案。但是,由于传感器位于显示屏下,UDC捕获的图像遭受了严重的降解。尽管可以通过图像恢复网络解决此问题,但这些网络需要大规模的图像对进行培训。为此,我们提出了一个模块化网络,称为MPGNET,该网络使用生成对抗网络(GAN)框架来模拟UDC成像。具体而言,我们注意到UDC成像降解过程包含亮度衰减,模糊和噪声损坏。因此,我们将每个降解与特征相关的模块化网络建模,并将所有模块化网络级联成型以形成生成器。加上像素的歧视器和受监督的损失,我们可以训练发电机以模拟UDC成像降解过程。此外,我们提出了一个用于UDC图像恢复的Dwformer的变压器式网络。出于实际目的,我们使用深度卷积而不是多头自我注意力来汇总本地空间信息。此外,我们提出了一个新型的渠道注意模块来汇总全局信息,这对于亮度恢复至关重要。我们对UDC基准进行了评估,我们的方法在P-Oled轨道上超过了先前的最新模型和T-Oled轨道上的0.71 dB。
translated by 谷歌翻译
Dimage Dehazing是低级视觉中的一个活跃主题,并且随着深度学习的快速发展,已经提出了许多图像去悬式网络。尽管这些网络的管道效果很好,但改善图像飞行性能的关键机制尚不清楚。因此,我们不针对带有精美模块的飞行网络。相反,我们对流行的U-NET进行了最小的修改,以获得紧凑的飞行网络。具体而言,我们将U-NET中的卷积块与门控机构,使用选择性内核进行融合,并跳过连接,并调用所得的U-NET变体Gunet。结果,由于开销大大减少,Gunet优于多个图像脱掩的数据集上的最新方法。最后,我们通过广泛的消融研究来验证这些关键设计为图像去除网络的性能增益。
translated by 谷歌翻译
3D点云可以灵活地表示连续表面,可用于各种应用;但是,缺乏结构信息使点云识别具有挑战性。最近的边缘感知方法主要使用边缘信息作为描述局部结构以促进学习的额外功能。尽管这些方法表明,将边缘纳入网络设计是有益的,但它们通常缺乏解释性,使用户想知道边缘如何有所帮助。为了阐明这一问题,在这项研究中,我们提出了以可解释方式处理边缘的扩散单元(DU),同时提供了不错的改进。我们的方法可以通过三种方式解释。首先,我们从理论上表明,DU学会了执行任务呈纤维边缘的增强和抑制作用。其次,我们通过实验观察并验证边缘增强和抑制行为。第三,我们从经验上证明,这种行为有助于提高绩效。在具有挑战性的基准上进行的广泛实验验证了DU在可解释性和绩效增长方面的优势。具体而言,我们的方法使用S3DIS使用Shapenet零件和场景分割来实现对象零件分割的最新性能。我们的源代码将在https://github.com/martianxiu/diffusionunit上发布。
translated by 谷歌翻译
我们为视频中的无监督对象细分提出了一种简单而强大的方法。我们引入了一个目标函数,其最小值代表输入序列上主要显着对象的掩码。它仅依赖于独立的图像特征和光流,可以使用现成的自我监督方法获得。它以序列的长度缩放,不需要超级像素或稀疏,并且在没有任何特定培训的情况下将其推广到不同的数据集。该目标函数实际上可以从应用于整个视频的光谱群集形式得出。我们的方法通过标准基准(Davis2016,segtrack-v2,fbms59)实现了PAR的性能,同时在概念上且实际上更简单。代码可从https://ponimatkin.github.io/ssl-vos获得。
translated by 谷歌翻译
人脸图像通常以广泛的视觉量表出现。现有的面部表示通过组装有限系列的预定尺度的多尺度方案来追求处理量表变化的带宽。这种多弹药方案带来了推理负担,而预定义的量表不可避免地从真实数据中差异。取而代之的是,从数据中学习比例参数,并将其用于单发功能推理是一个不错的解决方案。为此,我们通过诉诸规模空间理论并实现两倍的设施来改革Conv层:1)Conv层从真实数据分布中学习一组尺度,每个数据分布都由Conv内核来实现; 2)该图层自动在适当的通道和位置上突出显示与输入模式量表及其存在相对应的位置。然后,我们通过堆叠改革层的层来实现分层尺度的关注,建立一种名为“比例尺注意Cons Neurnet网络”(\ textbf {scan-cnn})的新颖风格。我们将扫描CNN应用于面部识别任务,并推动SOTA性能的前沿。当面部图像模糊时,准确性增长更为明显。同时,作为单发方案,该推断比多弹性融合更有效。与普通CNN相比,制造了一组工具,以确保对扫描CNN进行快速训练和推理成本的零增加。
translated by 谷歌翻译
从新闻文章中提取事件的信息论点是信息提取的一个具有挑战性的问题,这需要对每个文档的全球上下文理解。尽管有关文档级提取的最新工作已经超越了单句子,并提高了端到端模型的跨句子推理能力,但它们仍然受到某些输入序列长度约束的限制,通常忽略事件之间的全局上下文。为了解决此问题,我们通过构建文档存储器存储来记录上下文事件信息,并利用它隐含,明确地帮助解码以后事件的参数,从而引入了一个新的基于全局神经生成的框架,以用于文档级事件参数提取提取文档级别的事件参数提取。经验结果表明,我们的框架的表现要优于先验方法,并且使用约束的解码设计对对抗注释的示例更为强大。 (我们的代码和资源可在https://github.com/xinyadu/memory_docie上获得研究目的。)
translated by 谷歌翻译