本文介绍了Thuee团队的语音识别系统,用于IARPA Open自动语音识别挑战(OpenASR21),并进行了进一步的实验探索。我们在受限和受约束的训练条件下取得了出色的成果。对于受限的训练条件,我们基于标准混合体系结构构建基本ASR系统。为了减轻摄影库(OOV)的问题,我们使用针对OOV和潜在的新单词的素式至phoneme(G2P)技术扩展了发音词典。采用了标准的声学模型结构,例如CNN-TDNN-F和CNN-TDNN-F-A。此外,还应用了多种数据增强技术。对于约束训练条件,我们使用自我监督的学习框架WAV2VEC2.0。我们在公开可用的预训练XLSR-53的基础上使用连接式时间分类(CTC)标准进行各种微调技术。我们发现,在将WAV2VEC2.0预训练的模型应用于基于编码器的CTC/CTC/COATION ASR体系结构时,前端特征提取器在将WAV2VEC2.0预训练的模型应用时起着重要作用。通过将目标语言用作为前端功能提取器使用的CTC模型填充可以实现额外的改进。
translated by 谷歌翻译
分子和形态特征是生物分类学的重要部分,是矛盾的,但需要整合。如今,有机体的图像识别和生物信息学正在出现和热门问题,但它们之间存在差距。在这项工作中,由遗传信息介导的一个多分支识别框架桥接了这个障碍,该障碍建立了宏观形态学和蘑菇的微分子信息之间的联系。提出了新型的多角度结构来融合三个分支模型的特征图像,从而显着提高了识别的准确性约10%,高达90%以上。此外,通过使用遗传距离嵌入作为预测图像距离和物种识别的表示空间,将遗传信息实现到蘑菇图像识别任务中。还首次深入讨论了传统分类任务的语义过度拟合和细粒图像识别的粒度。使用零拍学习任务在细粒度的情况下研究了该模型的普遍性,这可以预测看不见样本的分类和进化信息。我们提出了第一种将图像映射到DNA的方法,即使用编码器映射图像来遗传距离,然后通过预先训练的解码器解码DNA,其中37种DNA预测的总检验准确性为87.45%。这项研究通过系统地研究蘑菇图像识别问题,弥合宏观生物学信息和微观分子信息之间的差距,从而创建一个新颖的识别框架,这将为未来的智能生物识别技术提供新的参考。
translated by 谷歌翻译
通过利用预熟gan的潜在空间,已经提出了许多最近的作品来进行面部图像编辑。但是,很少有尝试将它们直接应用于视频,因为1)他们不能保证时间一致性,2)他们的应用受到视频的处理速度的限制,3)他们无法准确编码面部运动和表达的细节。为此,我们提出了一个新颖的网络,将面部视频编码到Stylegan的潜在空间中,以进行语义面部视频操纵。基于视觉变压器,我们的网络重复了潜在向量的高分辨率部分,以实现时间一致性。为了捕捉微妙的面部运动和表情,我们设计了涉及稀疏面部地标和密集的3D脸部网眼的新颖损失。我们已经彻底评估了我们的方法,并成功证明了其对各种面部视频操作的应用。特别是,我们提出了一个新型网络,用于3D坐标系中的姿势/表达控制。定性和定量结果都表明,我们的方法可以显着优于现有的单图方法,同时实现实时(66 fps)速度。
translated by 谷歌翻译
即使预训练的语言模型共享语义编码器,自然语言的理解也遭受了各种输出模式的影响。在本文中,我们提出了基于BERT框架的统一双向语言理解模型Ubert,它可以通过Biaffine网络普遍地对不同NLU任务的训练对象进行建模。具体而言,Ubert从各个方面编码先验知识,统一地构建了多个NLU任务的学习表示,这有利于增强捕获共同语义理解的能力。使用Biaffine来模拟原始文本的开始和末端位置对,可以将各种分类和提取结构转换为通用的跨度编码方法。实验表明,UBERT在7个NLU任务,14个数据集和零拍设置上实现了最先进的性能,并实现了广泛的信息提取和语言推理任务的统一。
translated by 谷歌翻译
最近,动物姿势估计引起了关注动物行为理解的学术界(例如野生动植物和保护生物学)的兴趣。但是,目前的动物姿势估计遭受了小数据集和较大的数据差异,因此很难获得稳健的性能。为了解决这个问题,我们建议可以利用语言模型学到的与姿势相关语义之间的关系的丰富知识来改善动物姿势估计。因此,在这项研究中,我们介绍了一个新颖的促进框架,以有效地采用语言模型,以更好地根据及时训练来理解动物姿势。在Promptpose中,我们建议将语言知识适应视觉动物的姿势是实现有效动物姿势估计的关键。为此,我们首先介绍文本提示,以在文本语义描述和支持动物关键点功能之间建立连接。此外,我们进一步设计了一个像素级的对比损失,以在文本描述和本地图像特征之间建立密集的联系,以及语义级别的对比损失,以弥合语言图像跨模式预训练的全球对比度之间的差距密集预测中的局部对比。在实践中,Pickerpose在改善动物姿势估计方面显示出巨大的好处。通过进行广泛的实验,我们表明,我们的及时疾病在监督和少量设置下取得了卓越的性能,超过了代表性的方法。源代码和模型将公开可用。
translated by 谷歌翻译
我们提出了一种新型的动态约束不确定性加权损失,以实验处理平衡多个任务对ICML EXVO 2022挑战的贡献的问题。多任务旨在共同认识到声乐爆发中表达的情绪和人口特征。我们的策略结合了不确定性重量和平均动态重量的优势,通过用约束术语扩展权重以使学习过程更具解释。我们使用轻巧的多EXIT CNN体系结构来实施我们提出的损失方法。实验性H-均值得分(0.394)显示出比基线H均值得分的显着改善(0.335)。
translated by 谷歌翻译
我们介绍了自回归文本到图像(Parti)模型的途径,该模型生成高保真的影像图像并支持涉及复杂组成和世界知识的内容丰富的合成。 Parti将文本对图像生成视为类似于机器翻译的序列到序列建模问题,图像令牌的序列是目标输出,而不是其他语言的文本令牌。这种策略自然可以利用大型语言模型的先前工作,通过扩展数据和模型尺寸,能力和性能的持续进展。我们的方法很简单:首先,Parti使用基于变压器的图像令牌VIT-VQGAN将图像编码为离散令牌的序列。其次,我们通过将编码器二次变压器模型缩放到20B参数来实现一致的质量改进,其新的最新零弹药FID得分为7.23,而MS-Coco的FIDED得分为3.22。我们对本地化叙述以及党的详细分析(P2),这是1600多个英语提示的新的整体基准,证明了Parti在各种类别和难度方面的有效性。我们还探索并突出了我们的模型的局限性,以定义和体现关注重点领域以进一步改进。有关高分辨率图像,请参见https://parti.research.google/。
translated by 谷歌翻译
深层自然语言处理(NLP)模型的快速发展导致迫切需要对这些模型单独提出的统一理解。由于缺乏解释低级(例如单词)和高级(例如,短语)特征的统一措施,现有方法无法满足一个框架中不同模型的需求。我们已经开发了一个视觉分析工具DeepNLPVI,以使对文本分类的NLP模型有统一的理解。关键思想是一种基于信息的度量,它提供了有关模型的每一层如何维护样本中输入单词信息的定量解释。我们在每个层的内部和界面信息中对单词对最终预测的重要性以及单词之间的关系(例如短语的形成)进行建模。多层可视化由语料库级,样本级别和单词级可视化组成,支持从整体训练集到单个样本的分析。关于分类任务和模型比较的两个案例研究表明,DeepNLPVI可以帮助用户有效地确定样本和模型架构引起的潜在问题,然后进行明智的改进。
translated by 谷歌翻译
大数据具有巨大的量,高速度,多样性,价值符合性和不确定性的特征,这些特征带领知识从他们那里学习充满了挑战。随着众包的出现,可以按需获得多功能信息,以便易于参与人群的智慧,以促进知识学习过程。在过去的十三年中,AI社区的研究人员竭尽全力消除人群学习领域的障碍。这份集中的调查论文全面回顾了从系统的角度来研究众包学习的技术进步,其中包括数据,模型和学习过程的三个维度。除了审查现有的重要工作外,本文还特别强调在每个维度上提供一些有希望的蓝图,并讨论从我们过去的研究工作中学到的经验教训,这将为新的研究人员提供道路,并鼓励他们追求新的研究。贡献。
translated by 谷歌翻译
对于3D医学图像(例如CT和MRI)分割,在临床情况下分割每个切片的难度差异很大。先前以逐片方式进行体积医学图像分割的研究通常使用相同的2D深神经网络来细分同一情况的所有切片,从而忽略了图像切片之间的数据异质性。在本文中,我们专注于多模式3D MRI脑肿瘤分割,并根据自适应模型选择提出了一个名为MED-DANET的动态体系结构网络,以实现有效的准确性和效率折衷。对于输入3D MRI量的每个切片,我们提出的方法学习了决策网络的特定于切片的决策,以动态从预定义的模型库中选择合适的模型,以完成后续的2D分割任务。 Brats 2019和2020年数据集的广泛实验结果表明,我们提出的方法比以前的3D MRI脑肿瘤分割的最先进方法获得了可比或更好的结果,模型的复杂性要少得多。与最新的3D方法TransBT相比,提出的框架提高了模型效率高达3.5倍,而无需牺牲准确性。我们的代码将很快公开可用。
translated by 谷歌翻译