The xView2 competition and xBD dataset spurred significant advancements in overhead building damage detection, but the competition's pixel level scoring can lead to reduced solution performance in areas with tight clusters of buildings or uninformative context. We seek to advance automatic building damage assessment for disaster relief by proposing an auxiliary challenge to the original xView2 competition. This new challenge involves a new dataset and metrics indicating solution performance when damage is more local and limited than in xBD. Our challenge measures a network's ability to identify individual buildings and their damage level without excessive reliance on the buildings' surroundings. Methods that succeed on this challenge will provide more fine-grained, precise damage information than original xView2 solutions. The best-performing xView2 networks' performances dropped noticeably in our new limited/local damage detection task. The common causes of failure observed are that (1) building objects and their classifications are not separated well, and (2) when they are, the classification is strongly biased by surrounding buildings and other damage context. Thus, we release our augmented version of the dataset with additional object-level scoring metrics https://gitlab.kitware.com/dennis.melamed/xfbd to test independence and separability of building objects, alongside the pixel-level performance metrics of the original competition. We also experiment with new baseline models which improve independence and separability of building damage predictions. Our results indicate that building damage detection is not a fully-solved problem, and we invite others to use and build on our dataset augmentations and metrics.
translated by 谷歌翻译
灾难事件后立即可用的高分辨率卫星图像对于响应计划至关重要,因为它促进了对临界基础设施状态的广泛情境意识,例如建立损坏,洪水和障碍物来访问路线。此规模的损坏映射将需要数百人的专家小时。然而,众包的组合和深度学习的最新进步将实时降低几个小时需要的努力。要求志愿者放置点标记,而不是实际受损区域的形状,显着降低灾难期间响应所需的分析时间。但是,不同的志愿者可能在标记中不一致。这项工作提出了用于汇总可能不一致的损伤标记以培训神经网络损伤探测器的方法。
translated by 谷歌翻译
本文介绍了Dahitra,这是一种具有分层变压器的新型深度学习模型,可在飓风后根据卫星图像对建筑物的损害进行分类。自动化的建筑损害评估为决策和资源分配提供了关键信息,以快速应急响应。卫星图像提供了实时,高覆盖的信息,并提供了向大规模污点后建筑物损失评估提供信息的机会。此外,深入学习方法已证明在对建筑物的损害进行分类方面有希望。在这项工作中,提出了一个基于变压器的新型网络来评估建筑物的损失。该网络利用多个分辨率的层次空间特征,并在将变压器编码器应用于空间特征后捕获特征域的时间差异。当对大规模灾难损坏数据集(XBD)进行测试以构建本地化和损坏分类以及在Levir-CD数据集上进行更改检测任务时,该网络将实现最先进的绩效。此外,我们引入了一个新的高分辨率卫星图像数据集,IDA-BD(与2021年路易斯安那州的2021年飓风IDA有关,以便域名适应以进一步评估该模型的能力,以适用于新损坏的区域。域的适应结果表明,所提出的模型可以适应一个新事件,只有有限的微调。因此,所提出的模型通过更好的性能和域的适应来推进艺术的当前状态。此外,IDA-BD也提供了A高分辨率注释的数据集用于该领域的未来研究。
translated by 谷歌翻译
需要在自然灾害后损害评估来分配援助和力量从最佳地处理损坏。这一过程涉及为兴趣区域,建筑物的本地化以及大自然或城市因素对建筑物造成的损害量的分类来获取卫星图像。在自然灾害的情况下,这意味着加工许多平方公里的区域,以判断特定建筑是否遭受破坏性因素。在这项工作中,我们开发了灾难前后的同一区域卫星图像的自动比较的计算方法,并在建筑物中分类不同损坏程度。我们的解决方案是基于暹罗与编码器解码器架构的神经网络。我们包括广泛的消融研究,并比较不同的编码器,解码器,损失函数,增强以及组合两个图像的几种方法。该解决方案实现了计算机愿景中的最佳结果之一,以建立损害评估竞争。
translated by 谷歌翻译
用于卫星图像分析的计算机视觉算法的创新可以使我们能够在行星层面探索全球挑战,例如城市化和土地利用变化。但是,当试图复制将这些分析推向新领域的模型时,尤其是在发展中国家的模型时,域转移问题是一个普遍的情况。如果模型是通过一个位置的图像和标签训练的,则通常不会很好地概括到图像和数据分布不同的新位置。在这项工作中,我们考虑了我们有一个大型卫星图像场景的设置,我们希望在该场景上解决一个应用问题 - 构建足迹细分。在这里,我们不一定需要担心创建一个概括过我们场景边界的模型,而是可以训练本地模型。我们表明,使用非常高分辨率(0.5m/px)卫星图像解决建筑细分问题需要的标签很少。我们只有527个稀疏多边形注释(相当于1500 x 1500名被标记的像素)训练的最佳型号,召回了0.87的持有足迹,R2的r2为0.93视窗。我们将模型应用于约旦安曼(Amman)的高分辨率图像中,在一项有关城市变化检测的案例研究中。
translated by 谷歌翻译
使用卫星图像的建筑物分类对于诸如损害评估,资源分配和人口估算的若干应用而言变得越来越重要。在这项工作中,我们专注于建筑物损伤评估(BDA)和住宅和非住宅建筑的建筑物类型分类(BTC)。我们建议仅依赖于RGB卫星图像并遵循基于2级的深度学习的方法,其中使用语义分割模型提取建筑物的足迹,然后进行裁剪图像的分类。由于缺乏住宅/非住宅建筑物分类的适当数据集,我们介绍了一个新的高分辨率卫星图像数据集。我们进行广泛的实验,选择最佳的超参数,模型架构和培训范式,我们提出了一种新的转移基于学习的方法,以优于经典方法。最后,我们验证了两种应用中提出的方法,呈现出卓越的准确性和F1分数指标。
translated by 谷歌翻译
这项研究旨在使用人工智能(AI)和多视图图像实现更可靠的自动化后建筑物损害分类。当前的实践和研究工作在采用AI进行灾后损害评估的AI方面通常是(a)定性,基于标准损害量表缺乏建筑物损害水平的精制分类,并且(b)基于空中或卫星图像培训,具有有限的视图,视图有限,尽管有指示性,但并不完全描述损伤量表。为了使损伤水平的更准确和可靠的自动量化量化,本研究提出了以多种地面和建筑物的空中视图形式使用更全面的视觉数据。为了具有这样的空间感知的损害预测模型,使用了多视图卷积神经网络(MV-CNN)体系结构,结合了损坏建筑物不同视图的信息。这种空间3D上下文损害信息将导致更准确地识别损害和可靠的损害水平量化。拟议的模型经过训练和验证,并在侦察视觉数据集上进行了验证,其中包含飓风哈维后检查的建筑物的专家标签,地理标记的图像。开发的模型在预测损害水平方面表现出合理的准确性,可用于支持更加知识和可靠的AI-AI-AS辅助灾害管理实践。
translated by 谷歌翻译
城市地区消耗了世界上三分之二的能源,占全球二氧化碳排放量的70%以上。正如IPCC全球预热的1.5C报告所述,到2050年实现碳中型需要清楚地了解城市几何形状。卫星图像的高质量建筑占地面积可以加速这一预测过程和授权在规模上的授权市决策。然而,以前的深度学习的方法面临相应的问题,例如缩放不变性和缺陷的足迹,部分原因是由于持续存在的类别不平衡。此外,大多数方法都需要补充数据,例如点云数据,建筑物高度信息和多频段图像 - 这具有有限的可用性并且产生乏味。在本文中,我们提出了一种改进的Deeplabv3 +模块,其具有扩张的REN底座骨架,仅产生从三声道RGB卫星图像的建筑占地面积的掩模。此外,我们在客观函数中引入了F-Beta测量,以帮助模型账户进行偏斜类分布,并防止假阳性占地面积。除F-Beta之外,我们还纳入了指数加权的边界损失,并使用跨数据集培训策略来进一步提高预测的质量。因此,我们跨越三个公共基准实现最先进的表演,并证明我们的RGB方法产生更高质量的视觉结果,并且对卫星图像的规模,分辨率和城市密度不可知。
translated by 谷歌翻译
该卷包含来自机器学习挑战的选定贡献“发现玛雅人的奥秘”,该挑战在欧洲机器学习和数据库中知识发现的欧洲挑战赛曲目(ECML PKDD 2021)中提出。遥感大大加速了古代玛雅人森林地区的传统考古景观调查。典型的探索和发现尝试,除了关注整个古老的城市外,还集中在单个建筑物和结构上。最近,已经成功地尝试了使用机器学习来识别古代玛雅人定居点。这些尝试虽然相关,但却集中在狭窄的区域上,并依靠高质量的空中激光扫描(ALS)数据,该数据仅涵盖古代玛雅人曾经定居的地区的一小部分。另一方面,由欧洲航天局(ESA)哨兵任务制作的卫星图像数据很丰富,更重要的是公开。旨在通过执行不同类型的卫星图像(Sentinel-1和Sentinel-2和ALS)的集成图像细分来定位和识别古老的Maya架构(建筑物,Aguadas和平台)的“发现和识别古代玛雅体系结构(建筑物,Aguadas和平台)的挑战的“发现和识别古老的玛雅体系结构(建筑物,阿吉达斯和平台)的“发现玛雅的奥秘”的挑战, (LIDAR)数据。
translated by 谷歌翻译
尽管近期基于深度学习的语义细分,但远程感测图像的自动建筑检测仍然是一个具有挑战性的问题,由于全球建筑物的出现巨大变化。误差主要发生在构建足迹的边界,阴影区域,以及检测外表面具有与周围区域非常相似的反射率特性的建筑物。为了克服这些问题,我们提出了一种生成的对抗基于网络的基于网络的分割框架,其具有嵌入在发电机中的不确定性关注单元和改进模块。由边缘和反向关注单元组成的细化模块,旨在精炼预测的建筑地图。边缘注意力增强了边界特征,以估计更高的精度,并且反向关注允许网络探索先前估计区域中缺少的功能。不确定性关注单元有助于网络解决分类中的不确定性。作为我们方法的权力的衡量标准,截至2021年12月4日,它在Deepglobe公共领导板上的第二名,尽管我们的方法的主要重点 - 建筑边缘 - 并不完全对齐用于排行榜排名的指标。 DeepGlobe充满挑战数据集的整体F1分数为0.745。我们还报告了对挑战的Inria验证数据集的最佳成绩,我们的网络实现了81.28%的总体验证,总体准确性为97.03%。沿着同一条线,对于官方Inria测试数据集,我们的网络总体上得分77.86%和96.41%,而且准确性。
translated by 谷歌翻译
由于自然灾害的出现显着增加(例如,飓风,森林火灾,洪水,地震),机器学习界最近对气候和灾害损伤领域的兴趣增加了兴趣。然而,没有足够的重视致力于减轻即将到来的自然灾害的可能破坏。我们通过预测在事实前的建筑水平损害基础上探讨这一关键空间,这些损害允许国家行为者和非政府组织最好配备资源分配,以尽量减少或抢先损失。我们介绍了在决策树上采用Resnets和完全连接的层的集合来捕获图像级别和元级信息,以准确地估计人为结构的弱点到灾害发生。我们的模式表现良好,并响应于跨灾害类型调整,并突出抢占危害造型的空间。
translated by 谷歌翻译
建筑变更检测是许多重要应用,特别是在军事和危机管理领域。最近用于变化检测的方法已转向深度学习,这取决于其培训数据的质量。因此,大型注释卫星图像数据集的组装对于全球建筑更改监视是必不可少的。现有数据集几乎完全提供近Nadir观看角度。这限制了可以检测到的更改范围。通过提供更大的观察范围,光学卫星的滚动成像模式提出了克服这种限制的机会。因此,本文介绍了S2Looking,一个建筑变革检测数据集,其中包含以各种偏离Nadir角度捕获的大规模侧视卫星图像。 DataSet由5000个批次图像对组成的农村地区,并在全球范围内超过65,920个辅助的变化实例。数据集可用于培训基于深度学习的变更检测算法。它通过提供(1)更大的观察角来扩展现有数据集; (2)大照明差异; (3)额外的农村形象复杂性。为了便于{该数据集的使用,已经建立了基准任务,并且初步测试表明,深度学习算法发现数据集明显比最接近的近Nadir DataSet,Levir-CD +更具挑战性。因此,S2Looking可能会促进现有的建筑变革检测算法的重要进步。 DataSet可在https://github.com/s2looking/使用。
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
小型太阳能光伏(PV)阵列中电网的有效集成计划需要访问高质量的数据:单个太阳能PV阵列的位置和功率容量。不幸的是,不存在小型太阳能光伏的国家数据库。那些确实有限的空间分辨率,通常汇总到州或国家一级。尽管已经发布了几种有希望的太阳能光伏检测方法,但根据研究,研究这些模型的性能通常是高度异质的。这些方法对能源评估的实际应用的比较变得具有挑战性,可能意味着报告的绩效评估过于乐观。异质性有多种形式,我们在这项工作中探讨了每种形式:空间聚集的水平,地面真理的验证,培训和验证数据集的不一致以及培训的位置和传感器的多样性程度和验证数据始发。对于每个人,我们都会讨论文献中的新兴实践,以解决它们或暗示未来研究的方向。作为调查的一部分,我们评估了两个大区域的太阳PV识别性能。我们的发现表明,由于验证过程中的共同局限性,从卫星图像对太阳PV自动识别的传统绩效评估可能是乐观的。这项工作的收获旨在为能源研究人员和专业人员提供自动太阳能光伏评估技术的大规模实用应用。
translated by 谷歌翻译
集中的动物饲养业务(CAFOS)对空气,水和公共卫生构成严重风险,但已被证明挑战规范。美国政府问责办公室注意到基本挑战是缺乏关于咖啡馆的全面的位置信息。我们使用美国农业部的国家农产病程(Naip)1M / Pixel Acial Imagerery来检测美国大陆的家禽咖啡馆。我们培养卷积神经网络(CNN)模型来识别单个家禽谷仓,并将最佳表现模型应用于超过42 TB的图像,以创建家禽咖啡座的第一个国家开源数据集。我们验证了来自加利福尼亚州的10个手标县的家禽咖啡馆设施的模型预测,并证明这种方法具有填补环境监测中差距的显着潜力。
translated by 谷歌翻译
基础设施检查是一个非常昂贵的任务,需要技术人员访问远程或难以到达的地方。这是电力传动塔的情况,这些塔稀疏地定位,需要培训的工人爬上它们以寻找损坏。最近,在行业中使用无人机或直升机进行遥控录音,使技术人员进行这种危险的任务。然而,这留下了分析大量图像的问题,这具有很大的自动化潜力。由于几个原因,这是一个具有挑战性的任务。首先,缺乏可自由的培训数据和难以收集它的问题。另外,构成损坏的界限是模糊的,在数据​​标记中引入了一定程度的主观性。图像中的不平衡类分布也在增加任务的难度方面发挥作用。本文解决了传输塔中结构损伤检测的问题,解决了这些问题。我们的主要贡献是在远程获取的无人机图像上开发损坏检测,应用技术来克服数据稀缺和歧义的问题,以及评估这种方法解决这个特殊问题的方法的可行性。
translated by 谷歌翻译
本文介绍了提交给SHREC 2022坑道轨道和路面裂纹检测的方法。总共比较了道路表面的语义分割的7种不同的运行,参与者和基线方法的6个。所有方法都利用深度学习技术及其性能使用相同的环境(即:单个Jupyter笔记本)进行测试。由3836个语义细分图像/蒙版对组成的培训集和797个带有最新深度摄像机的RGB-D视频片段组成。然后,在验证集中的496个图像/掩码对上,测试集中的504对,最后在8个视频剪辑上评估该方法。结果的分析基于用于图像分割和视频剪辑定性分析的定量指标。参与和结果表明,该方案引起了人们的极大兴趣,在这种情况下,使用RGB-D数据仍然具有挑战性。
translated by 谷歌翻译
使用遥感图像进行建筑检测和变更检测可以帮助城市和救援计划。此外,它们可用于自然灾害后的建筑损害评估。当前,大多数用于建筑物检测的现有模型仅使用一个图像(预拆架图像)来检测建筑物。这是基于这样的想法:由于存在被破坏的建筑物,后沙仪图像降低了模型的性能。在本文中,我们提出了一种称为暹罗形式的暹罗模型,该模型使用前和垃圾后图像作为输入。我们的模型有两个编码器,并具有分层变压器体系结构。两个编码器中每个阶段的输出都以特征融合的方式给予特征融合,以从disasaster图像生成查询,并且(键,值)是从disasaster图像中生成的。为此,在特征融合中也考虑了时间特征。在特征融合中使用颞变压器的另一个优点是,与CNN相比,它们可以更好地维持由变压器编码器产生的大型接受场。最后,在每个阶段,将颞变压器的输出输入简单的MLP解码器。在XBD和WHU数据集上评估了暹罗形式模型,用于构建检测以及Levir-CD和CDD数据集,以进行更改检测,并可以胜过最新的。
translated by 谷歌翻译
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
当地球经历全球变暖时,自然灾害,如洪水,龙卷风或野火,越来越普遍普遍。很难预测事件的何时何时会发生,所以及时的应急响应对于拯救受破坏事件危害的人的生命至关重要。幸运的是,技术可以在这些情况下发挥作用。社交媒体帖子可以用作低延迟数据源来了解灾难的进展和后果,但解析此数据无需自动化方法。在前的工作主要集中在基于文本的过滤,但基于图像和基于视频的过滤仍然很大程度上是未开发的。在这项工作中,我们介绍了一个大规模的多标签数据集,其中包含977,088个图像,43个事件和49个地方。我们提供数据集建设,统计和潜在偏差的详细信息;介绍和训练事件检测模型;在Flickr和Twitter上为数百万图像进行图像过滤实验。我们还提出了一些关于事件分析的申请,以鼓励和使未来的人道主义援助中的计算机愿景工作。代码,数据和模型可在http://incidentsdataset.csail.mit.edu上获得。
translated by 谷歌翻译