全球地球观察(EO)的运营能力不断增长为数据驱动的方法创造了新的机会,以理解和保护我们的星球。但是,由于巨大的档案尺寸和EO平台提供的有限的勘探功能,目前使用EO档案的使用受到了极大的限制。为了解决这一限制,我们最近提出了米兰,这是一种基于内容的图像检索方法,用于在卫星图像档案中快速相似性搜索。米兰是基于公制学习的深层哈希网络,将高维图像特征编码为紧凑的二进制哈希码。我们将这些代码用作哈希表中的钥匙,以实现实时邻居搜索和高度准确的检索。在此演示中,我们通过将米兰与Agoraeo内的浏览器和搜索引擎集成在一起来展示米兰的效率。地震支持卫星图像存储库上的交互式视觉探索和典型查询。演示访问者将与地震互动,扮演不同用户的角色,这些用户的角色通过其语义内容搜索图像,并通过其语义内容搜索并应用其他过滤器。
translated by 谷歌翻译
In this paper, we address the challenge of land use and land cover classification using Sentinel-2 satellite images. The Sentinel-2 satellite images are openly and freely accessible provided in the Earth observation program Copernicus. We present a novel dataset based on Sentinel-2 satellite images covering 13 spectral bands and consisting out of 10 classes with in total 27,000 labeled and geo-referenced images. We provide benchmarks for this novel dataset with its spectral bands using state-of-the-art deep Convolutional Neural Network (CNNs). With the proposed novel dataset, we achieved an overall classification accuracy of 98.57%. The resulting classification system opens a gate towards a number of Earth observation applications. We demonstrate how this classification system can be used for detecting land use and land cover changes and how it can assist in improving geographical maps. The geo-referenced dataset EuroSAT is made publicly available at https://github.com/phelber/eurosat.
translated by 谷歌翻译
归因引号的使用是新闻中信息传播的最直接,最少过滤的途径。因此,引用在新闻报道的概念,接收和分析中起着核心作用。由于报价比常规报告提供了更直接的窗口,因此对于记者和研究人员来说,它们是宝贵的资源。尽管大量的研究工作已致力于自动提取新闻的报价及其归因于演讲者的方法,但很少有当代来源的全面归因报价可供公众提供。在这里,我们提出了一个自适应网络界面,用于搜索QuoteBank,这是新闻中的大量报价集合,我们可以在https://quotebank.dlab.tools上提供。
translated by 谷歌翻译
由于技术成本的降低和卫星发射的增加,卫星图像变得越来越流行和更容易获得。除了提供仁慈的目的外,还可以出于恶意原因(例如错误信息)使用卫星数据。事实上,可以依靠一般图像编辑工具来轻松操纵卫星图像。此外,随着深层神经网络(DNN)的激增,可以生成属于各种领域的现实合成图像,与合成生成的卫星图像的扩散有关的其他威胁正在出现。在本文中,我们回顾了关于卫星图像的产生和操纵的最新技术(SOTA)。特别是,我们既关注从头开始的合成卫星图像的产生,又要通过图像转移技术对卫星图像进行语义操纵,包括从一种类型的传感器到另一种传感器获得的图像的转换。我们还描述了迄今已研究的法医检测技术,以对合成图像伪造进行分类和检测。虽然我们主要集中在法医技术上明确定制的,该技术是针对AI生成的合成内容物的检测,但我们还审查了一些用于一般剪接检测的方法,这些方法原则上也可以用于发现AI操纵图像
translated by 谷歌翻译
这项工作介绍了Seleseet,这是一种新的大型多标签土地覆盖物和土地使用场景的理解数据集。 It includes $1\,759\,830$ images from Sentinel-2 tiles, with 12 spectral bands and patch sizes of up to $ 120 \ \mathrm{px} \times 120 \ \mathrm{px}$.每张图像都带有来自德国土地覆盖型LBM-DE2018的大型像素级标签,其土地覆盖类别基于Corine Land Cover数据库(CLC)2018,而最小映射单元(MMU)的五倍比原始CLC映射小五倍。 。我们提供了所有四个季节的像素同步示例,以及额外的雪套装。这些属性使Seasonet成为当前最广泛,最大的遥感场景理解数据集,其应用程序从土地覆盖地图上的场景分类到基于内容的跨季节图像检索和自我审议的功能学习。我们通过评估场景分类和语义分割方案中新数据集中的最新深层网络来提供基线结果。
translated by 谷歌翻译
使用计算笔记本(例如,Jupyter Notebook),数据科学家根据他们的先前经验和外部知识(如在线示例)合理化他们的探索性数据分析(EDA)。对于缺乏关于数据集或问题的具体了解的新手或数据科学家,有效地获得和理解外部信息对于执行EDA至关重要。本文介绍了eDassistant,一个jupyterlab扩展,支持EDA的原位搜索示例笔记本电脑和有用的API的推荐,由搜索结果的新颖交互式可视化供电。代码搜索和推荐是由最先进的机器学习模型启用的,培训在线收集的EDA笔记本电脑的大型语料库。进行用户学习,以调查埃迪卡斯特和数据科学家的当前实践(即,使用外部搜索引擎)。结果证明了埃迪斯坦特的有效性和有用性,与会者赞赏其对EDA的顺利和环境支持。我们还报告了有关代码推荐工具的几种设计意义。
translated by 谷歌翻译
Applying Machine learning to domains like Earth Sciences is impeded by the lack of labeled data, despite a large corpus of raw data available in such domains. For instance, training a wildfire classifier on satellite imagery requires curating a massive and diverse dataset, which is an expensive and time-consuming process that can span from weeks to months. Searching for relevant examples in over 40 petabytes of unlabelled data requires researchers to manually hunt for such images, much like finding a needle in a haystack. We present a no-code end-to-end pipeline, Curator, which dramatically minimizes the time taken to curate an exhaustive labeled dataset. Curator is able to search massive amounts of unlabelled data by combining self-supervision, scalable nearest neighbor search, and active learning to learn and differentiate image representations. The pipeline can also be readily applied to solve problems across different domains. Overall, the pipeline makes it practical for researchers to go from just one reference image to a comprehensive dataset in a diminutive span of time.
translated by 谷歌翻译
This paper reviews the recent progress of remote sensing image scene classification, proposes a large-scale benchmark dataset, and evaluates a number of state-of-the-art methods using the proposed dataset.
translated by 谷歌翻译
与传统的散列方法相比,深度散列方法生成具有丰富语义信息的哈希代码,大大提高了图像检索场中的性能。然而,对于当前的深度散列方法预测硬示例的相似性是不满意的。它存在影响学习难度示例能力的两个主要因素,这是弱的关键特征提取和硬示例的短缺。在本文中,我们提供了一种新的端到端模型,可以从硬示例中提取关键特征,并使用准确的语义信息获得哈希码。此外,我们还重新设计了一个艰难的成对损失功能,以评估难度和更新的例子罚款。它有效缓解了硬例中的短缺问题。CiFAR-10和Nus-rige的实验结果表明我们的模型表现出基于主流散列的图像检索方法的表现。
translated by 谷歌翻译
在本文中,我们提出了DendroMap,这是一种新颖的方法,用于互动地探索用于机器学习的大规模图像数据集(ML)。 ML从业人员通常通过使用降低降低技术(例如T-SNE)生成图像的网格或将图像的高维表示分为2-D来探索图像数据集。但是,两种方法都没有有效地扩展到大型数据集,因为图像是无效组织的,并且相互作用不足。为了应对这些挑战,我们通过适应Treemaps(一种众所周知的可视化技术)来开发树突。树突图通过从图像的高维表示中提取层次群集结构来有效地组织图像。它使用户能够理解数据集的整体分布,并在多个抽象级别上进行交互放大到特定的兴趣领域。我们使用广泛使用的图像数据集进行深度学习的案例研究表明,用户可以通过检查图像的多样性,确定表现不佳的子组并分析分类错误,从而发现有关数据集和训练模型的见解。我们进行了一项用户研究,该研究通过将其与T-SNE的网状版本进行比较,评估了树突图在分组和搜索任务中的有效性,并发现参与者更喜欢DendroMap。 DendroMap可在https://div-lab.github.io/dendromap/上获得。
translated by 谷歌翻译
远程感知的地理空间数据对于包括精确农业,城市规划,灾害监测和反应以及气候变化研究等应用至关重要。对于在类似的计算机视觉任务中的深度神经网络的成功和可用的远程感测图像的纯粹体积的情况下,深入学习方法尤为前接受了许多遥感任务。然而,数据收集方法的方差和地理空间元数据的处理使得深度学习方法的应用成为远程感测的数据不动性。例如,卫星图像通常包括超出红色,绿色和蓝色的额外光谱频带,并且必须连接到可以具有不同坐标系,界限和分辨率的其他地理空间数据源。为了帮助实现遥感应用的深度学习的潜力,我们介绍了一个Pythono库的Torchgeo,用于将地理空间数据集成到Pytorch深度学习生态系统中。 Torchgeo为各种基准数据集,用于通用地理空间数据源的可组合数据集,用于地理空间数据的采样器以及使用多光谱图像的转换的数据加载器。 Torchgeo也是第一个为多光谱卫星图像提供预先训练的模型的库(例如,使用Sentinel 2卫星的所有频段的模型),允许在下游遥感任务上传输学习,其中包含有限的标记数据。我们使用Torchgeo在现有数据集上创建可重复的基准结果,并将我们的建议方法用于直通预处理地理空间图像。 Torchgeo是开源的,可在GitHub上提供:https://github.com/microsoft/torchgeo。
translated by 谷歌翻译
这项研究介绍了\ textit {landslide4sense},这是一种从遥感中检测到滑坡检测的参考基准。该存储库具有3,799个图像贴片,可从Sentinel-2传感器中融合光学层,并带有数字高程模型和来自ALOS Palsar的斜率层。附加的地形信息促进了对滑坡边界的准确检测,而最近的研究表明,仅使用光学数据,这是具有挑战性的。广泛的数据集支持在滑坡检测中进行深度学习(DL)研究,以及用于系统更新滑坡库存的方法的开发和验证。基准数据集已在四个不同的时间和地理位置收集:伊伯里(2018年9月),科达古(2018年8月),戈尔卡(2015年4月)和台湾(2009年8月)。每个图像像素均标记为属于滑坡,包括各种来源和彻底的手动注释。然后,我们评估11个最先进的DL分割模型的滑坡检测性能:U-NET,RESU-NET,PSPNET,CONTECTNET,DEEPLAB-V2,DEEPLAB-V3+,FCN-8,LINKNET,FRRRN-A,FRRN-A,, FRRN-B和SQNET。所有型号均已从划痕上对每个研究区域的四分之一的补丁进行培训,并在其他三个季度的独立贴片上进行了测试。我们的实验表明,Resu-NET的表现优于其他模型,用于滑坡检测任务。我们在\ url {www.landslide4sense.org}公开获得多种源滑坡基准数据(Landslide4sense)和经过测试的DL模型,为遥感,计算机视觉和机器学习社区建立了重要的资源通常,尤其是对滑坡检测的应用。
translated by 谷歌翻译
亚马逊森林中对森林砍伐的估计是挑战任务,因为该地区的规模巨大和直接人类通道的难度。但是,这是一个至关重要的问题,因为森林砍伐会导致严重的环境问题,例如全球气候变化,生物多样性降低等。为了有效解决这些问题,卫星图像将是估计亚马逊森林砍伐的一个很好的选择。通过光学图像和合成孔径雷达(SAR)图像的组合,无论天气条件如何,都可以观察到如此庞大的区域。在本文中,我们提出了一种准确的森林砍伐估计方法,并使用常规的UNET和全面的数据处理。Sentinel-1,Sentinel-2和Landsat 8的各种渠道被精心选择并用于训练深层神经网络。通过提出的方法,以很高的精度成功估计了新的查询的森林砍伐状态。
translated by 谷歌翻译
近年来,已经产生了大量的视觉内容,并从许多领域共享,例如社交媒体平台,医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战,特别是在寻找类似内容内容的图像检索(CBIR)-A的数据库中,即长期建立的研究区域,其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展,并大大促进了实例搜索过程。在本调查中,我们审查了最近基于深度学习算法和技术开发的实例检索工作,通过深网络架构类型,深度功能,功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法,在那里,我们识别里程碑工作,揭示各种方法之间的联系,并呈现常用的基准,评估结果,共同挑战,并提出未来的未来方向。
translated by 谷歌翻译
由于其在计算和存储的效率,散列广泛应用于大型多媒体数据上的多模式检索。在本文中,我们提出了一种用于可伸缩图像文本和视频文本检索的新型深度语义多模式散列网络(DSMHN)。所提出的深度散列框架利用2-D卷积神经网络(CNN)作为骨干网络,以捕获图像文本检索的空间信息,而3-D CNN作为骨干网络以捕获视频的空间和时间信息 - 文本检索。在DSMHN中,通过显式保留帧间性相似性和岩石性语义标签,共同学习两组模态特定散列函数。具体地,假设学习散列代码应该是对分类任务的最佳选择,通过在所得哈希代码上嵌入语义标签来共同训练两个流网络以学习散列函数。此外,提出了一种统一的深层多模式散列框架,通过利用特征表示学习,互相相似度 - 保存学习,语义标签保留学习和哈希函数学习同时利用不同类型的损耗功能来学习紧凑和高质量的哈希码。该提议的DSMHN方法是用于图像文本和视频文本检索的通用和可扩展的深度散列框架,其可以灵活地集成在不同类型的损耗功能中。我们在四个广泛使用的多媒体检索数据集中对单一模态和跨模型检索任务进行广泛的实验。图像文本和视频文本检索任务的实验结果表明DSMHN显着优于最先进的方法。
translated by 谷歌翻译
近年来,新发现的矿物沉积物数量和不同矿物质需求的增加有LED探索地质学家,寻找在矿物勘探的每个阶段加工不同数据类型的更有效和创新的方法。作为主要步骤,诸如岩性单元,改变类型,结构和指示剂矿物的各种特征被映射以辅助靶向矿床的决策。不同类型的遥感数据集如卫星和空气传播数据,使得可以克服与映射地质特征相关的常见问题。从不同平台获得的遥感数据量的快速增加鼓励科学家培养先进,创新和强大的数据处理方法。机器学习方法可以帮助处理广泛的遥感数据集,并确定诸如反射连续体和感兴趣的特征的组件之间的关系。这些方法在处理频谱和地面真理测量中是稳健的,用于噪声和不确定性。近年来,通过补充与遥感数据集的地质调查进行了许多研究,现在在地球科学研究中突出。本文对一些流行的和最近建立的机器学习方法的实施和适应提供了全面的审查,用于处理不同类型的遥感数据,并调查其用于检测各种矿床类型的应用。我们展示了组合遥感数据和机器学习方法的高能力,以映射对于提供潜在地图至关重要的不同地质特征。此外,我们发现高级方法的范围来处理新一代遥感数据,以创建改进的矿物前景图。
translated by 谷歌翻译
The number of scientific publications continues to rise exponentially, especially in Computer Science (CS). However, current solutions to analyze those publications restrict access behind a paywall, offer no features for visual analysis, limit access to their data, only focus on niches or sub-fields, and/or are not flexible and modular enough to be transferred to other datasets. In this thesis, we conduct a scientometric analysis to uncover the implicit patterns hidden in CS metadata and to determine the state of CS research. Specifically, we investigate trends of the quantity, impact, and topics for authors, venues, document types (conferences vs. journals), and fields of study (compared to, e.g., medicine). To achieve this we introduce the CS-Insights system, an interactive web application to analyze CS publications with various dashboards, filters, and visualizations. The data underlying this system is the DBLP Discovery Dataset (D3), which contains metadata from 5 million CS publications. Both D3 and CS-Insights are open-access, and CS-Insights can be easily adapted to other datasets in the future. The most interesting findings of our scientometric analysis include that i) there has been a stark increase in publications, authors, and venues in the last two decades, ii) many authors only recently joined the field, iii) the most cited authors and venues focus on computer vision and pattern recognition, while the most productive prefer engineering-related topics, iv) the preference of researchers to publish in conferences over journals dwindles, v) on average, journal articles receive twice as many citations compared to conference papers, but the contrast is much smaller for the most cited conferences and journals, and vi) journals also get more citations in all other investigated fields of study, while only CS and engineering publish more in conferences than journals.
translated by 谷歌翻译
机器学习源代码(MLONCODE)是一项流行的研究领域,该研究领域是由大规模代码存储库的可用性和开发挖掘源代码的强大概率和深度学习模型驱动的流行研究领域。代码到代码建议是MLONCODE中的任务,旨在推荐相关的,不同和简洁的代码片段,这些代码代码代码代码代码段可以在其开发环境(IDE)中使用开发人员编写的代码扩展。代码代码推荐引擎通过减少IDE切换和增加代码重用,保持提高开发人员生产力的承诺。现有的代码代码推荐引擎不会优雅地扩展到大的CodeBases,在代码存储库大小增加时,展示查询时间的线性增长。此外,现有的代码代码推荐引擎未能考虑排名函数中的代码存储库的全局统计信息,例如代码片段长度的分发,导致子最优检索结果。我们通过\ emph {senatus}来解决这两个弱点,这是一个新的代码代码推荐引擎。在SeNatus的核心是\ emph {de-skew} lsh一个新的局部敏感散列(lsh)算法,其索引快速(子线性时间)检索数据,同时使用新颖的抽象语法抵消片段长度分布中的偏差基于树的特征评分和选择算法。我们通过自动评估和专家开发人员用户学习评估SENATU,并发现该建议具有比竞争基线更高的质量,同时实现更快的搜索。例如,在CodeSearchNet DataSet上,我们显示SeNatus通过6.7 \%F1提高性能,并且与Facebook Aroma对代码到代码建议的任务相比,Query Time 16x更快。
translated by 谷歌翻译
培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置,形状以及可能的其他信息,例如姿势。即使存在人力,标签过程也非常耗时。我们引入了一个新的标签工具,用于2D图像以及3D三角网格:3D标记工具(3DLT)。这是一个独立的,功能丰富和跨平台软件,不需要安装,并且可以在Windows,MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象,而是使用深度信息从上述图像重建三角形网格,并仅在上述网格上标记一次对象。我们使用注册来简化3D标记,离群值检测来改进2D边界框的计算和表面重建,以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试,并且在保持准确性和易用性的同时,它极大地超过了它们。
translated by 谷歌翻译
Logic Mill is a scalable and openly accessible software system that identifies semantically similar documents within either one domain-specific corpus or multi-domain corpora. It uses advanced Natural Language Processing (NLP) techniques to generate numerical representations of documents. Currently it leverages a large pre-trained language model to generate these document representations. The system focuses on scientific publications and patent documents and contains more than 200 million documents. It is easily accessible via a simple Application Programming Interface (API) or via a web interface. Moreover, it is continuously being updated and can be extended to text corpora from other domains. We see this system as a general-purpose tool for future research applications in the social sciences and other domains.
translated by 谷歌翻译