Applying Machine learning to domains like Earth Sciences is impeded by the lack of labeled data, despite a large corpus of raw data available in such domains. For instance, training a wildfire classifier on satellite imagery requires curating a massive and diverse dataset, which is an expensive and time-consuming process that can span from weeks to months. Searching for relevant examples in over 40 petabytes of unlabelled data requires researchers to manually hunt for such images, much like finding a needle in a haystack. We present a no-code end-to-end pipeline, Curator, which dramatically minimizes the time taken to curate an exhaustive labeled dataset. Curator is able to search massive amounts of unlabelled data by combining self-supervision, scalable nearest neighbor search, and active learning to learn and differentiate image representations. The pipeline can also be readily applied to solve problems across different domains. Overall, the pipeline makes it practical for researchers to go from just one reference image to a comprehensive dataset in a diminutive span of time.
translated by 谷歌翻译
As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.
translated by 谷歌翻译
使用计算机视觉对间接费用的分析是一个问题，在学术文献中受到了很大的关注。在这个领域运行的大多数技术都非常专业，需要大型数据集的昂贵手动注释。这些问题通过开发更通用的框架来解决这些问题，并结合了表示学习的进步，该框架可以更灵活地分析具有有限标记数据的新图像类别。首先，根据动量对比机制创建了未标记的空中图像数据集的强大表示。随后，通过构建5个标记图像的准确分类器来专门用于不同的任务。从6000万个未标记的图像中，成功的低水平检测城市基础设施进化，体现了我们推进定量城市研究的巨大潜力。
translated by 谷歌翻译
对联合国可持续发展目标的进展（SDGS）因关键环境和社会经济指标缺乏数据而受到阻碍，其中历史上有稀疏时间和空间覆盖率的地面调查。机器学习的最新进展使得可以利用丰富，频繁更新和全球可用的数据，例如卫星或社交媒体，以向SDGS提供洞察力。尽管有希望的早期结果，但到目前为止使用此类SDG测量数据的方法在很大程度上在不同的数据集或使用不一致的评估指标上进行了评估，使得难以理解的性能是改善，并且额外研究将是最丰富的。此外，处理卫星和地面调查数据需要域知识，其中许多机器学习群落缺乏。在本文中，我们介绍了3个SDG的3个基准任务的集合，包括与经济发展，农业，健康，教育，水和卫生，气候行动和陆地生命相关的任务。 15个任务中的11个数据集首次公开发布。我们为Acceptandbench的目标是（1）降低机器学习界的进入的障碍，以促进衡量和实现SDGS; （2）提供标准基准，用于评估各种SDG的任务的机器学习模型; （3）鼓励开发新颖的机器学习方法，改进的模型性能促进了对SDG的进展。
translated by 谷歌翻译
我们采用自我监督的代表性学习来从深色能源仪器遗产成像调查的数据释放9中从7600万个星系图像中提取信息9.针对新的强力引力镜头候选者的识别，我们首先创建了快速的相似性搜索工具，以发现新的搜索工具强镜仅给出一个单个标记的示例。然后，我们展示如何在自我监督的表示上训练简单的线性分类器，仅需几分钟即可在CPU上进行几分钟，可以自动以极高的效率对强镜进行分类。我们提出了1192个新的强镜候选者，我们通过简短的视觉标识活动确定，并释放一种基于Web的相似性搜索工具和顶级网络预测，以促进众包快速发现额外的强力镜头和其他稀有物体：HTTPS：https：//github.com/georgestein/ssl-legacysurvey。
translated by 谷歌翻译
远程感知的地理空间数据对于包括精确农业，城市规划，灾害监测和反应以及气候变化研究等应用至关重要。对于在类似的计算机视觉任务中的深度神经网络的成功和可用的远程感测图像的纯粹体积的情况下，深入学习方法尤为前接受了许多遥感任务。然而，数据收集方法的方差和地理空间元数据的处理使得深度学习方法的应用成为远程感测的数据不动性。例如，卫星图像通常包括超出红色，绿色和蓝色的额外光谱频带，并且必须连接到可以具有不同坐标系，界限和分辨率的其他地理空间数据源。为了帮助实现遥感应用的深度学习的潜力，我们介绍了一个Pythono库的Torchgeo，用于将地理空间数据集成到Pytorch深度学习生态系统中。 Torchgeo为各种基准数据集，用于通用地理空间数据源的可组合数据集，用于地理空间数据的采样器以及使用多光谱图像的转换的数据加载器。 Torchgeo也是第一个为多光谱卫星图像提供预先训练的模型的库（例如，使用Sentinel 2卫星的所有频段的模型），允许在下游遥感任务上传输学习，其中包含有限的标记数据。我们使用Torchgeo在现有数据集上创建可重复的基准结果，并将我们的建议方法用于直通预处理地理空间图像。 Torchgeo是开源的，可在GitHub上提供：https://github.com/microsoft/torchgeo。
translated by 谷歌翻译
通过卫星图像和机器学习对行星进行大规模分析是一个梦想，这一梦想不断受到难以获取高度代表性的高分辨率图像的成本的阻碍。为了纠正此问题，我们在这里介绍WorldStrat数据集。 The largest and most varied such publicly available dataset, at Airbus SPOT 6/7 satellites' high resolution of up to 1.5 m/pixel, empowered by European Space Agency's Phi-Lab as part of the ESA-funded QueryPlanet project, we curate nearly 10,000独特位置的SQKM，以确保全世界所有类型的土地用途分层：从农业到冰盖，从森林到多种城市化密度。我们还丰富了通常在ML数据集中代表不足的地点的人：人道主义兴趣的地点，非法采矿地点以及有风险的人的定居点。我们以10 m/pixel的可自由访问的下分辨率Sentinel-2卫星的多个低分辨率图像为暂时匹配每个高分辨率图像。我们伴随着该数据集的开源Python软件包，以：重建或扩展WorldStrat数据集，训练和推断基线算法，并使用丰富的教程学习，所有这些都与流行的EO-Learn Toolbox兼容。我们特此希望能够促进ML在卫星图像中的广泛应用，并可能从免费的公共低分辨率Sentinel2图像中发展出昂贵的私人高分辨率图像所允许的相同的分析能力。我们通过训练并发布了有关多帧超分辨率任务的几个高度计算效率的基线来说明这一特定点。高分辨率空中图像是CC BY-NC，而标签和Sentinel2图像为CC，而BSD下的源代码和预训练模型。该数据集可从https://zenodo.org/record/6810792获得，并在https://github.com/worldstrat/worldstrat上获得。
translated by 谷歌翻译
在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。
translated by 谷歌翻译
近年来，地理空间行业一直在稳定发展。这种增长意味着增加卫星星座，每天都会产生大量的卫星图像和其他遥感数据。有时，这些信息，即使在某些情况下我们指的是公开可用的数据，由于它的大小，它也无法占据。从时间和其他资源的角度来看，借助人工或使用传统的自动化方法来处理如此大量的数据并不总是可行的解决方案。在目前的工作中，我们提出了一种方法，用于创建一个由公开可用的遥感数据组成的多模式和时空数据集，并使用ART机器学习（ML）技术进行可行性进行测试。确切地说，卷积神经网络（CNN）模型的用法能够分离拟议数据集中存在的不同类别的植被。在地理信息系统（GIS）和计算机视觉（CV）的背景下，类似方法的受欢迎程度和成功更普遍地表明，应考虑并进一步分析和开发方法。
translated by 谷歌翻译
文本分类在许多真实世界的情况下可能很有用，为最终用户节省了很多时间。但是，构建自定义分类器通常需要编码技能和ML知识，这对许多潜在用户构成了重大障碍。为了提高此障碍，我们介绍了标签侦探，这是一种免费的开源系统，用于标记和创建文本分类器。该系统对于（a）是一个无代码系统是独一无二的分类器在几个小时内，（c）开发用于开发人员进行配置和扩展。通过开放采购标签侦探，我们希望建立一个用户和开发人员社区，以扩大NLP模型的利用率。
translated by 谷歌翻译
集中的动物饲养业务（CAFOS）对空气，水和公共卫生构成严重风险，但已被证明挑战规范。美国政府问责办公室注意到基本挑战是缺乏关于咖啡馆的全面的位置信息。我们使用美国农业部的国家农产病程（Naip）1M / Pixel Acial Imagerery来检测美国大陆的家禽咖啡馆。我们培养卷积神经网络（CNN）模型来识别单个家禽谷仓，并将最佳表现模型应用于超过42 TB的图像，以创建家禽咖啡座的第一个国家开源数据集。我们验证了来自加利福尼亚州的10个手标县的家禽咖啡馆设施的模型预测，并证明这种方法具有填补环境监测中差距的显着潜力。
translated by 谷歌翻译
我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。
translated by 谷歌翻译
作物现场边界有助于映射作物类型，预测产量，并向农民提供现场级分析。近年来，已经看到深深学习的成功应用于划定工业农业系统中的现场边界，但由于（1）需要高分辨率卫星图像的小型字段来解除界限和（2）缺乏（2）缺乏用于模型培训和验证的地面标签。在这项工作中，我们结合了转移学习和弱监督来克服这些挑战，我们展示了在印度的成功方法，我们有效地产生了10,000个新的场地标签。我们最好的型号使用1.5亿分辨率的空中客车现货图像作为投入，预先列进法国界限的最先进的神经网络，以及印度标签上的微调，以实现0.86的联盟（iou）中位数交叉口在印度。如果使用4.8M分辨率的行星扫描图像，最好的模型可以实现0.72的中位数。实验还表明，法国的预训练减少了所需的印度现场标签的数量，以便在数据集较小时尽可能多地实现给定的性能水平。这些发现表明我们的方法是划定当前缺乏现场边界数据集的世界区域中的裁剪领域的可扩展方法。我们公开发布了10,000个标签和描绘模型，以方便社区创建现场边界地图和新方法。
translated by 谷歌翻译
我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。
translated by 谷歌翻译
从Linac Coohent Light Source（LCLS-II）和高级光子源升级（APS-U）等工具产生的数据中迅速提取可行的信息，由于高（最高（最高为TB/S）数据速率）变得越来越具有挑战性。常规的基于物理的信息检索方法很难快速检测有趣的事件，以便及时关注罕见事件或纠正错误。机器学习〜（ML）学习廉价替代分类器的方法是有希望的替代方法，但是当仪器或样品变化导致ML性能降解时可能会灾难性地失败。为了克服此类困难，我们提出了一个新的数据存储和ML模型培训体系结构，旨在组织大量的数据和模型，以便在检测到模型降解时，可以快速查询先验模型和/或数据。针对新条件进行了微调。我们表明，与当前最新的训练速度提高了200倍和92X端到端模型更新时间的速度相比，我们的方法最多可以达到100倍数据标记的速度。
translated by 谷歌翻译
全世界不可持续的捕鱼实践对海洋资源和生态系统构成了重大威胁。识别逃避监测系统的船只（称为“深色船只”）是管理和保护海洋环境健康的关键。随着基于卫星的合成孔径雷达（SAR）成像和现代机器学习（ML）的兴起，现在可以在全天候条件下白天或黑夜自动检测到黑暗的容器。但是，SAR图像需要特定于域的治疗，并且ML社区无法广泛使用。此外，对象（船只）是小而稀疏的，具有挑战性的传统计算机视觉方法。我们提出了用于训练ML模型的最大标记数据集，以检测和表征SAR的血管。 XView3-SAR由Sentinel-1任务中的近1,000张分析SAR图像组成，平均每个29,400 x-24,400像素。使用自动化和手动分析的组合对图像进行注释。每个SAR图像都伴随着共置的测深和风状射手。我们概述了XView3计算机视觉挑战的结果，这是一项国际竞争，使用XView3-SAR进行大规模的船舶检测和表征。我们发布数据（https://iuu.xview.us/）和代码（https://github.com/diux-xview），以支持该重要应用程序的ML方法的持续开发和评估。
translated by 谷歌翻译
主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。
translated by 谷歌翻译
主动学习（AL）算法旨在识别注释的最佳数据子集，使得深神经网络（DNN）在此标记子集上培训时可以实现更好的性能。 AL特别有影响的工业规模设置，其中数据标签成本高，从业者使用各种工具来处理，以提高模型性能。最近自我监督预测（SSP）的成功突出了利用丰富的未标记数据促进模型性能的重要性。通过将AL与SSP结合起来，我们可以使用未标记的数据，同时标记和培训特别是信息样本。在这项工作中，我们研究了Imagenet上的AL和SSP的组合。我们发现小型玩具数据集上的性能 - 文献中的典型基准设置 - 由于活动学习者选择的类不平衡样本，而不是想象中的性能。在我们测试的现有基线中，各种小型和大规模设置的流行AL算法未能以随机抽样优于差异。为了解决类别不平衡问题，我们提出了平衡选择（基础），这是一种简单，可伸缩的AL算法，通过选择比现有方法更加平衡样本来始终如一地始终采样。我们的代码可用于：https://github.com/zeyademam/active_learning。
translated by 谷歌翻译
哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。
translated by 谷歌翻译
使用（半）自动显微镜生成的大规模电子显微镜（EM）数据集已成为EM中的标准。考虑到大量数据，对所有数据的手动分析都是不可行的，因此自动分析至关重要。自动分析的主要挑战包括分析和解释生物医学图像的注释，并与实现高通量相结合。在这里，我们回顾了自动计算机技术的最新最新技术以及分析细胞EM结构的主要挑战。关于EM数据的注释，分割和可扩展性，讨论了过去五年来开发的高级计算机视觉，深度学习和软件工具。自动图像采集和分析的集成将允许用纳米分辨率对毫米范围的数据集进行高通量分析。
translated by 谷歌翻译