边界盒注释表单是可视对象本地化任务最常用的方法。然而,边界盒注释依赖于大量的精确注释的边界盒,这是昂贵的,艰苦的,因此在实际情况下是不可能的,对于某些应用而言,关心尺寸的一些应用甚至是多余的。因此,我们通过将每个人作为粗略点(COARSOPPOINT)向每个人提供注释来提出一种基于点的基于点的框架,该框架可以是对象范围内的任何点,而不是精确的边界框。然后将该人的位置预测为图像中的2D坐标。大大简化了数据注释管道。然而,COARSOUNTPOINT注释不可避免地导致标签可靠性降低(标签不确定性)和训练期间的网络混淆。因此,我们提出了一种点自我细化方法,它以自重节奏的方式迭代地更新点注释。拟议的细化系统减轻了标签不确定性,逐步提高了本地化绩效。实验表明,我们的方法可实现对象本地化性能,同时保存注释成本高达80 $ \%$。代码括在补充材料中。
translated by 谷歌翻译
现有的神经结构搜索算法主要在具有短距离连接的搜索空间上。我们争辩说,这种设计虽然安全稳定,障碍搜索算法从探索更复杂的情景。在本文中,我们在具有长距离连接的复杂搜索空间上构建搜索算法,并显示现有的权重共享搜索算法由于存在\ TextBF {交织连接}而大部分失败。基于观察,我们介绍了一个名为\ textbf {if-nas}的简单且有效的算法,在那里我们在搜索过程中执行定期采样策略来构建不同的子网,避免在任何中的交织连接出现。在所提出的搜索空间中,IF-NAS优于随机采样和先前的重量共享搜索算法,通过显着的余量。 IF-NAS还推广到微单元的空间,这些空间更容易。我们的研究强调了宏观结构的重要性,我们期待沿着这个方向进一步努力。
translated by 谷歌翻译
在动态网络修剪中广泛探索了门控模块,以降低深神经网络的运行时间计算成本,同时保留特征的表示。尽管取得了实质性,但现有方法仍然忽略了特征和门分布之间的一致性,这可能导致所门控功能的失真。在本文中,我们提出了一种特征栅极耦合(FGC)方法,其旨在对准特征和栅极的分布。 FGC是一个即插即用模块,它包括以迭代自我监督方式进行的两个步骤组成。在第一步中,FGC利用了特征空间中的$ k $ -nearest邻居方法来探索实例邻域关系,该关系被视为自我监控信号。在第二步中,FGC利用对比学习以产生具有生成的自我监控信号的选通模块,导致特征和栅极空间内的实例邻域关系的对齐。实验结果验证了所提出的FGC方法改善了基线方法,具有显着的边缘,优于最先进的最先进的准确性计算权衡。代码是公开的。
translated by 谷歌翻译
在本文中,我们提出了一种自我监督的视觉表示学习方法,涉及生成和鉴别性代理,我们通过要求目标网络基于中级特征来恢复原始图像来专注于前者部分。与事先工作不同,主要侧重于原始和生成的图像之间的像素级相似性,我们提倡语义感知生成(Sage)以促进更丰富的语义,而不是在所生成的图像中保留的细节。实现SAGE的核心概念是使用评估者,一个在没有标签的情况下预先培训的深网络,用于提取语义感知功能。 Sage与特定于观点的功能补充了目标网络,从而减轻了密集数据增强所带来的语义劣化。我们在ImageNet-1K上执行Sage,并在包括最近的邻居测试,线性分类和细小图像识别的五个下游任务中评估预训练模型,展示了其学习更强大的视觉表示的能力。
translated by 谷歌翻译
基于学习的边缘检测有很强地监督的是用像素 - 明智的注释进行了强烈监督,这是手动获取的乏味。我们研究了自我训练边缘检测问题,利用了未开发的大型未标记图像数据集。我们设计具有多层正规化和自学的自我监督框架。特别地,我们强加了一个一致性正则化,该正则化强制执行来自多个层中的每一个的输出,以对输入图像及其扰动的对应物一致。我们采用L0平滑作为“扰动”,以鼓励在自我监督学习集群假设之后展示展示突出边界的边缘预测。同时,通过伪标签进行多层监督,网络训练,该伪标签与罐头边缘初始化,然后通过网络迭代地改进,因为培训进行了。正规化和自我教学共同实现了精确和召回的良好平衡,导致对监督方法的显着提升,在目标数据集中轻质细化。此外,我们的方法展示了强大的交叉数据集普遍性。例如,与现有的方法相比,在看不见的数据集上测试时,OCS的ODS提高了4.8%和5.8%。
translated by 谷歌翻译
我们介绍了CVSS,这是一种大规模的多语言对语音转换(S2ST)语料库,从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音,源自公共语音语音语料库和COVOST 2语音到文本转换(ST)语料库。提供了两个版本的翻译演讲:1)CVSS-C:所有翻译演讲都是一种高质量的规范声音; 2)CVSS-T:翻译语音从相应的源语音传输。此外,CVSS提供标准化的翻译文本,它与翻译语音中的发音匹配。在每个版本的CVSS上,我们建立了基线多语言直接S2ST模型和Cascade S2ST模型,验证了语料库的有效性。为了构建强大的Cascade S2ST基准,我们在Covost 2上培训了St模型,这优于前一种最先进的培训,而无需额外的数据。尽管如此,直接S2ST模型的性能在从头开始训练时接近强级联基线,并且在匹配ST模型中初始化时,仅在ASR转换转换时的0.1或0.7bleu差异。
translated by 谷歌翻译
我们展示了一个新的开源和可扩展知识提取工具包,称为Deepke(基于深度学习的知识提取),支持标准完全监督,低资源少拍摄和文档级方案。 Deepke实现了各种信息提取任务,包括命名实体识别,关系提取和属性提取。使用统一的框架,DeePke允许开发人员和研究人员根据其要求,自定义数据集和模型以从非结构化文本中提取信息。具体而言,DeePke不仅为不同的任务和场景提供了各种功能模块和模型实现,而且还通过一致的框架组织所有组件以维持足够的模块化和可扩展性。此外,我们在\ URL {http://deepke.zjukg.cn/}中介绍一个在线平台,用于实时提取各种任务。 Deepke已经配备了Google Colab教程和初学者的综合文件。我们用演示视频发布\ url {https://github.com/zjunlp/deepke}源代码。
translated by 谷歌翻译
AI和人类为团体审议带来了互补技能。在审议包括风险要素和评估人和AI代理商的能力的探索开采过程中,建模本集团决策尤其挑战。为了调查这个问题,我们向一系列智力展示了一系列的知识问题,通过不完美的AI代理商提供了一系列的人群。集团的目标是评估本集团成员及其可用AI代理商的相对专业知识,评估与不同行动相关的风险,并通过达成共识来最大限度地提高整体奖励。我们在这种不确定的情况下提出和经验验证了人类队决策的模型,并显示了前景理论,影响动态和贝叶斯学习的社会认知构建在预测人AI群体行为中的价值。
translated by 谷歌翻译
尽管近期长尾对象检测成功,但几乎所有长尾对象探测器都是基于两级范式开发的。在实践中,一阶段探测器在行业中更为普遍,因为它们具有简单而快速的管道,易于部署。然而,在长尾情景中,到目前为止,这项工作尚未探讨。在本文中,我们调查了在这种情况下是否可以良好的单级探测器表现良好。我们发现预防一步检测器实现优异性能的主要障碍是:在长尾数据分布下,类别遭受不同程度的正负不平衡问题。传统的焦点损失与所有类别的调制因子相同的调节因子平衡,因此未能处理长尾问题。为了解决这个问题,我们提出了根据其不平衡程度独立地重新平衡不同类别的正面和负样本的损失贡献的均等的联络损失(EFL)。具体而言,EFL采用类别相关调制因子,可以通过不同类别的培训状态来动态调整。对挑战性的LVIS V1基准进行的广泛实验表明了我们提出的方法的有效性。通过端到端培训管道,EF​​L在整体AP方面实现了29.2%,并对稀有类别进行了显着的性能改进,超越了所有现有的最先进的方法。代码可在https://github.com/modeltc/eod上获得。
translated by 谷歌翻译
卷积神经网络(CNNS)成功地进行了压缩图像感测。然而,由于局部性和重量共享的归纳偏差,卷积操作证明了建模远程依赖性的内在限制。变压器,最初作为序列到序列模型设计,在捕获由于基于自我关注的架构而捕获的全局背景中,即使它可以配备有限的本地化能力。本文提出了一种混合框架,一个混合框架,其集成了从CNN提供的借用的优点以及变压器提供的全局上下文,以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中,通过学习的采样矩阵测量图像逐块。在重建阶段,将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆,另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发,并且本地特征和全局表示在不同的分辨率下融合,以最大化功能的互补性。此外,我们探索一个渐进的战略和基于窗口的变压器块,以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性,与不同数据集的最先进方法相比,实现了卓越的性能。
translated by 谷歌翻译