移动屏幕的布局是UI设计研究和对屏幕的语义理解的关键数据源。但是,现有数据集中的UI布局通常是嘈杂的,具有与其视觉表示的不匹配,或者由难以分析和模型的通用或应用特定类型组成。在本文中,我们提出了使用深度学习方法的粘土管道,用于去噪UI布局,允许我们在比例下自动改进现有的移动UI布局数据集。我们的管道采用屏幕截图和原始UI布局,通过删除不正确的节点并向每个节点分配语义有意义的类型来注释原始布局。为了实验我们的数据清洁管道,我们根据来自Rico的截图和原始布局,创建59,555个人注释的屏幕布局的粘土数据集,该网站上是一个公共移动UI语料库。我们的深度模型可实现高精度,F1分数为82.7%,用于检测没有有效的视觉表示的布局对象,85.9%用于识别对象类型,这显着优于启发式基线。我们的工作为创建大规模高质量的UI布局数据集提供了用于数据驱动的移动UI研究的基础,并减少了手动标签的需要,这些努力非常昂贵。
translated by 谷歌翻译
用户界面建模本质上是多模式,这涉及几种不同类型的数据:图像,结构和语言。任务也是不同的,包括物体检测,语言生成和接地。在本文中,我们呈现VUT,这是一个多式联路的多媒体输入的多功能UI变压器,同时完成具有相同模型的5个不同的任务。我们的模型包括一个多模式变压器编码器,该编码器共同编码UI图像和结构,并且当输入中不存在UI结构时执行UI对象检测。我们的模型还包括一个自动回归变压器模型,用于对语言输入和解码输出进行编码,对于ui的问答和命令接地。我们的实验表明,对于大多数任务,当联合进行多项任务时,VUT基本上减少了执行多个任务所需的模型和足迹的数量,同时实现对每个任务培训的基线模型的准确性或与基准模型相符。
translated by 谷歌翻译
虽然某些工作尝试从UI屏幕截图中智能生成前端代码,但在Sketch中使用UI设计草稿可能更方便,这是一种流行的UI设计软件,因为我们可以直接访问多模式UI信息,例如层,位置,位置,位置,位置,位置,,,,位置,位置,位置,,位置,位置,位置,位置,,位置,位置,位置,位置,位置,,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置,位置类型大小和视觉图像。但是,如果所有这些层都参与了代码生成,则分散的层可能会降低代码质量,而不会合并为整个部分。在本文中,我们提出了一条管道,以自动合并碎片层。我们首先为UI草稿的图层树构造图表,并根据视觉特征和图形神经网络检测所有碎片层。然后,基于规则的算法旨在合并零碎的层。通过在新构建的数据集上的实验,我们的方法可以在UI设计草案中检索最碎片的层,并在检测任务中实现87%的准确性,并在简单且一般的情况下开发了后处理算法以聚集关联层。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.
translated by 谷歌翻译
会话代理显示了允许用户使用语言与移动设备进行交互的承诺。但是,要使用自然语言执行不同的UI任务,开发人员通常需要为每个特定任务创建单独的数据集和模型,这是昂贵且耗费的。最近,预先训练的大型语言模型(LLMS)被证明能够在目标任务中有几个示例提示时能够概括到各种下游任务。本文调查了使用单个LLM与移动UI进行多功能对话交互的可行性。我们建议一个设计空间,以在协作完成移动任务时对用户和代理之间的对话进行分类。我们设计提示技术以使LLM适应移动UIS上的对话任务。实验表明,我们的方法可以与体面的表现相互作用,从而表现出其可行性。我们讨论我们的工作用例及其对基于语言的移动互动的影响。
translated by 谷歌翻译
Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.
translated by 谷歌翻译
深度学习技术导致了通用对象检测领域的显着突破,近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解,场景图一直是研究的焦点。场景图生成(SGG)是指自动将图像映射到语义结构场景图中的任务,这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务,但社区已经提出了许多SGG方法并取得了良好的效果。在本文中,我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品,涵盖了不同的输入方式,并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法,概述和解释SGG的机制和策略。最后,我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。
translated by 谷歌翻译
随着互联网行业中GUI开发的快速发展工作量,一些有关智能方法的工作试图从UI屏幕截图生成可维护的前端代码。它可能更适合使用包含UI元数据的UI设计草稿。但是,零散的层不可避免地出现在UI设计草案中,从而大大降低了代码生成的质量。现有的GUI自动化技术都没有检测并合并碎片层以提高生成的代码的可访问性。在本文中,我们提出了UI层合并(UILM),这是一种基于视觉的方法,可以自动检测并将碎片层合并到UI组件中。我们的UILM包含合并区域检测器(MAD)和合并算法的层。 MAD结合了边界先验知识,以准确检测UI组件的边界。然后,合并算法的层可以搜索组件边界内的相关层,并将它们合并为整个部分。我们提出了一种动态数据增强方法,以提高疯狂的性能。我们还构建了一个大规模的UI数据集,用于训练MAD并测试UILM的性能。该实验表明,所提出的方法优于合并区域检测的最佳基线,并且在合并的层合并方面达到了不错的准确性。
translated by 谷歌翻译
视觉语言导航(VLN)在其视觉环境中遵循语言指令,在该前提是输入命令在环境中完全可行的前提下进行了研究。然而,实际上,由于语言歧义或环境的变化,可能无法提出要求。为了使用未知命令可行性研究VLN,我们引入了一个新的数据集移动应用程序任务,并使用迭代反馈(Motif),目标是在移动应用程序中完成自然语言命令。移动应用程序提供了一个可扩展的域来研究VLN方法的下游用途。此外,移动应用命令为交互式导航提供了指令,因为它们通过单击,键入或刷新而导致状态更改的动作序列。主题是第一个包含可行性注释的主题,其中包含二进制可行性标签和细粒度标签,原因是为什么任务不满意。我们进一步收集了模棱两可的查询的后续问题,以使解决任务不确定性解决。配备了我们的数据集,我们提出了可行性预测的新问题,其中使用自然语言指令和多模式应用程序环境来预测命令的可行性。主题提供了一个更现实的应用数据集,因为它包含许多不同的环境,高级目标和更长的动作序列。我们使用主题评估交互式VLN方法,量化当前方法对新应用环境的概括能力,并衡量任务可行性对导航性能的影响。
translated by 谷歌翻译
注意力机制是秩序不变的。位置编码是一个重要组成部分,以允许基于关注的深层模型架构,例如变压器来解决信息问题的序列或图像。在本文中,我们提出了一种基于学习傅里叶特征的新型位置编码方法。而不是将每个位置硬编码为令牌或向量,而是表示可以是多维的每个位置,作为基于被动傅里叶特征映射的可训练编码,用多层的傅立刻调制。表示对于空间多维位置,例如,在图像上的像素位置,其中需要捕获$ L_2 $距离或更复杂的位置关系。我们基于几个公共基准任务的实验表明,我们的学习傅里叶特征表示,用于多维位置编码的多维位置编码通过提高准确度并允许更快的收敛来实现现有方法。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.
translated by 谷歌翻译
主要对象通常存在于图像或视频中,因为它们是摄影师想要突出的物体。人类观众可以轻松识别它们,但算法经常将它们与其他物体混为一组。检测主要受试者是帮助机器理解图像和视频内容的重要技术。我们展示了一个新的数据集,其目标是培训模型来了解对象的布局和图像的上下文,然后找到它们之间的主要拍摄对象。这是在三个方面实现的。通过通过专业射击技能创建的电影镜头收集图像,我们收集了具有强大多样性的数据集,具体而言,它包含107 \,700图像,从21 \,540电影拍摄。我们将其标记为两个类的边界框标签:主题和非主题前景对象。我们对数据集进行了详细分析,并将任务与显着性检测和对象检测进行比较。 imagesBject是第一个尝试在摄影师想要突出显示的图像中本地化主题的数据集。此外,我们发现基于变压器的检测模型提供了其他流行模型架构中的最佳结果。最后,我们讨论了潜在的应用并以数据集的重要性讨论。
translated by 谷歌翻译
视觉问题应答(VQA)任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题,在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究(阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室),其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的,包括:(1)具有全面的视觉和文本特征表示的预培训; (2)与学习参加的有效跨模型互动; (3)一个新颖的知识挖掘框架,具有专门的专业专家模块,适用于复杂的VQA任务。处理不同类型的视觉问题,需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用,这取决于人力水平。进行了广泛的实验和分析,以证明新的研究工作的有效性。
translated by 谷歌翻译
标记数据通常昂贵且耗时,特别是对于诸如对象检测和实例分割之类的任务,这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型(看不见的)对象类具有很少的数据,但它仍然需要在许多标记的基础(见)类的课程上进行训练。另一方面,自我监督的方法旨在从未标记数据学习的学习表示,该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中,我们审查并表征了几次射击和自我监督对象检测的最新方法。然后,我们给我们的主要外卖,并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面
translated by 谷歌翻译
Graphic User Interface (GUI) is facing great demand with the popularization and prosperity of mobile apps. Automatic UI code generation from UI design draft dramatically simplifies the development process. However, the nesting layer structure in the design draft affects the quality and usability of the generated code. Few existing GUI automated techniques detect and group the nested layers to improve the accessibility of generated code. In this paper, we proposed our UI Layers Group Detector as a vision-based method that automatically detects images (i.e., basic shapes and visual elements) and text layers that present the same semantic meanings. We propose two plug-in components, text fusion and box attention, that utilize text information from design drafts as a priori information for group localization. We construct a large-scale UI dataset for training and testing, and present a data augmentation approach to boost the detection performance. The experiment shows that the proposed method achieves a decent accuracy regarding layers grouping.
translated by 谷歌翻译
场景图是一个场景的结构化表示,可以清楚地表达场景中对象之间的对象,属性和关系。随着计算机视觉技术继续发展,只需检测和识别图像中的对象,人们不再满足。相反,人们期待着对视觉场景更高的理解和推理。例如,给定图像,我们希望不仅检测和识别图像中的对象,还要知道对象之间的关系(视觉关系检测),并基于图像内容生成文本描述(图像标题)。或者,我们可能希望机器告诉我们图像中的小女孩正在做什么(视觉问题应答(VQA)),甚至从图像中移除狗并找到类似的图像(图像编辑和检索)等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此,场景图引起了大量研究人员的注意力,相关的研究往往是跨模型,复杂,快速发展的。然而,目前没有对场景图的相对系统的调查。为此,本调查对现行场景图研究进行了全面调查。更具体地说,我们首先总结了场景图的一般定义,随后对场景图(SGG)和SGG的发电方法进行了全面和系统的讨论,借助于先验知识。然后,我们调查了场景图的主要应用,并汇总了最常用的数据集。最后,我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。
translated by 谷歌翻译
The ImageNet Large Scale Visual Recognition Challenge is a benchmark in object category classification and detection on hundreds of object categories and millions of images. The challenge has been run annually from 2010 to present, attracting participation from more than fifty institutions. This paper describes the creation of this benchmark dataset and the advances in object recognition that have been possible as a result. We discuss the chal-
translated by 谷歌翻译
Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in
translated by 谷歌翻译
连接视觉和语言在生成智能中起着重要作用。因此,已经致力于图像标题的大型研究工作,即用句法和语义有意义的句子描述图像。从2015年开始,该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来,两种组件通过对象区域,属性,介绍多模态连接,完全关注方法和伯特早期融合策略的利用而显着发展。但是,无论令人印象深刻的结果,图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述,从视觉编码和文本生成到培训策略,数据集和评估度量。在这方面,我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外,讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具,并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。
translated by 谷歌翻译
本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高,目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标,首先讨论当前在结构上工作的专家知识系统,如树 - LSTM。然后,我们向该模型提出上下文感知扩展。我们表明,在多级Web分类任务中,新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示,并且可以用于应用此类元素分类,钢筋在网上学习中的状态估计等。
translated by 谷歌翻译