自然灾害（例如飓风）之后，数以百万计的需要紧急援助。为了最佳地分配资源，人类规划人员需要准确分析可以从多个来源流动的数据。这激发了多模式机器学习框架的开发，这些框架可以集成多个数据源并有效利用它们。迄今为止，研究界主要集中于单峰推理，以提供损害的细粒度评估。此外，以前的研究主要依赖于灾后图像，这可能需要几天才能可用。在这项工作中，我们提出了一个多模式框架（GALENET），用于通过与天气数据和飓风的轨迹补充污水架图像来评估损害的严重程度。通过对两次飓风的数据进行的广泛实验，我们证明了（i）与单峰方法相比，多模式方法的优点，以及（ii）Galenet在融合各种模态下的有效性。此外，我们表明，在没有后架图像的情况下，Galenet可以利用前碟片前的图像，从而阻止决策的大幅度延迟。

使用卫星图像的建筑物分类对于诸如损害评估，资源分配和人口估算的若干应用而言变得越来越重要。在这项工作中，我们专注于建筑物损伤评估（BDA）和住宅和非住宅建筑的建筑物类型分类（BTC）。我们建议仅依赖于RGB卫星图像并遵循基于2级的深度学习的方法，其中使用语义分割模型提取建筑物的足迹，然后进行裁剪图像的分类。由于缺乏住宅/非住宅建筑物分类的适当数据集，我们介绍了一个新的高分辨率卫星图像数据集。我们进行广泛的实验，选择最佳的超参数，模型架构和培训范式，我们提出了一种新的转移基于学习的方法，以优于经典方法。最后，我们验证了两种应用中提出的方法，呈现出卓越的准确性和F1分数指标。

这项研究旨在使用人工智能（AI）和多视图图像实现更可靠的自动化后建筑物损害分类。当前的实践和研究工作在采用AI进行灾后损害评估的AI方面通常是（a）定性，基于标准损害量表缺乏建筑物损害水平的精制分类，并且（b）基于空中或卫星图像培训，具有有限的视图，视图有限，尽管有指示性，但并不完全描述损伤量表。为了使损伤水平的更准确和可靠的自动量化量化，本研究提出了以多种地面和建筑物的空中视图形式使用更全面的视觉数据。为了具有这样的空间感知的损害预测模型，使用了多视图卷积神经网络（MV-CNN）体系结构，结合了损坏建筑物不同视图的信息。这种空间3D上下文损害信息将导致更准确地识别损害和可靠的损害水平量化。拟议的模型经过训练和验证，并在侦察视觉数据集上进行了验证，其中包含飓风哈维后检查的建筑物的专家标签，地理标记的图像。开发的模型在预测损害水平方面表现出合理的准确性，可用于支持更加知识和可靠的AI-AI-AS辅助灾害管理实践。

The xView2 competition and xBD dataset spurred significant advancements in overhead building damage detection, but the competition's pixel level scoring can lead to reduced solution performance in areas with tight clusters of buildings or uninformative context. We seek to advance automatic building damage assessment for disaster relief by proposing an auxiliary challenge to the original xView2 competition. This new challenge involves a new dataset and metrics indicating solution performance when damage is more local and limited than in xBD. Our challenge measures a network's ability to identify individual buildings and their damage level without excessive reliance on the buildings' surroundings. Methods that succeed on this challenge will provide more fine-grained, precise damage information than original xView2 solutions. The best-performing xView2 networks' performances dropped noticeably in our new limited/local damage detection task. The common causes of failure observed are that (1) building objects and their classifications are not separated well, and (2) when they are, the classification is strongly biased by surrounding buildings and other damage context. Thus, we release our augmented version of the dataset with additional object-level scoring metrics https://gitlab.kitware.com/dennis.melamed/xfbd to test independence and separability of building objects, alongside the pixel-level performance metrics of the original competition. We also experiment with new baseline models which improve independence and separability of building damage predictions. Our results indicate that building damage detection is not a fully-solved problem, and we invite others to use and build on our dataset augmentations and metrics.

卫星遥感提供了一种具有成本效益的概要洪水监测的解决方案，卫星衍生的洪水图为传统上使用的数值洪水淹没模型提供了一种计算有效的替代方法。尽管卫星碰巧涵盖正在进行的洪水事件时确实提供了及时的淹没信息，但它们受其时空分辨率的限制，因为它们在各种规模上动态监测洪水演变的能力。不断改善对新卫星数据源的访问以及大数据处理功能，就此问题的数据驱动解决方案而言，已经解锁了前所未有的可能性。具体而言，来自卫星的数据融合，例如哥白尼前哨，它们具有很高的空间和低时间分辨率，以及来自NASA SMAP和GPM任务的数据，它们的空间较低，但时间较高的时间分辨率可能会导致高分辨率的洪水淹没在A处的高分辨率洪水。每日规模。在这里，使用Sentinel-1合成孔径雷达和各种水文，地形和基于土地利用的预测因子衍生出的洪水淹没图对卷积神经网络进行了训练，以预测高分辨率的洪水泛滥概率图。使用Sentinel-1和Sentinel-2衍生的洪水面罩，评估了UNET和SEGNET模型架构的性能，分别具有95％的信心间隔。精确召回曲线（PR-AUC）曲线下的区域（AUC）被用作主要评估指标，这是由于二进制洪水映射问题中类固有的不平衡性质，最佳模型提供了PR-AUC 0.85。

最近在灾害信息学的研究证明了人工智能的实用而重要的用例，以拯救人类生命和基于社交媒体内容（文本和图像）的自然灾害期间的痛苦。虽然使用文本的显着进度，但利用图像的研究仍然相对较低。要提前基于图像的方法，我们提出了Medic（可用于：https://crisisnlp.qcri.org/medic/index.html），这是人道主义响应的最大社交媒体图像分类数据集，由71,198个图像组成在多任务学习设置中的四个不同任务。这是它的第一个数据集：社交媒体图像，灾难响应和多任务学习研究。该数据集的一个重要属性是它的高潜力，可以为多任务学习进行贡献，该研究最近从机器学习界获得了很多兴趣，并在内存，推理速度，性能和泛化能力方面显示出显着的结果。因此，所提出的数据集是用于推进基于图像的灾害管理和多任务机器学习研究的重要资源。

本文介绍了Dahitra，这是一种具有分层变压器的新型深度学习模型，可在飓风后根据卫星图像对建筑物的损害进行分类。自动化的建筑损害评估为决策和资源分配提供了关键信息，以快速应急响应。卫星图像提供了实时，高覆盖的信息，并提供了向大规模污点后建筑物损失评估提供信息的机会。此外，深入学习方法已证明在对建筑物的损害进行分类方面有希望。在这项工作中，提出了一个基于变压器的新型网络来评估建筑物的损失。该网络利用多个分辨率的层次空间特征，并在将变压器编码器应用于空间特征后捕获特征域的时间差异。当对大规模灾难损坏数据集（XBD）进行测试以构建本地化和损坏分类以及在Levir-CD数据集上进行更改检测任务时，该网络将实现最先进的绩效。此外，我们引入了一个新的高分辨率卫星图像数据集，IDA-BD（与2021年路易斯安那州的2021年飓风IDA有关，以便域名适应以进一步评估该模型的能力，以适用于新损坏的区域。域的适应结果表明，所提出的模型可以适应一个新事件，只有有限的微调。因此，所提出的模型通过更好的性能和域的适应来推进艺术的当前状态。此外，IDA-BD也提供了A高分辨率注释的数据集用于该领域的未来研究。

预测野火蔓延对于土地管理和灾害准备至关重要。为此，我们呈现“第二天野火蔓延，”一种策划，大规模的多变量数据集，历史野火的历史野火占据了美国近十年的遥感数据。与基于地球观测卫星的现有火灾数据集相比，我们的数据集合了2D解释性变量（例如，地形，植被，天气，干旱指数，人口密度）与2D区域对齐，提供了丰富的数据为机器学习设置。为了演示该数据集的有用性，我们实现了一个卷积的AutoEncoder，它利用了该数据的空间信息来预测野火扩散。我们将神经网络与其他机器学习模型的性能进行比较：Logistic回归和随机林。该数据集可以用作基于遥感数据开发野火传播模型的基准，以便有一天的提前期。

本文介绍了一种新的，高度结果的设置，用于将计算机视觉用于环境可持续性。浓缩动物喂养行动（CAFO）（又称密集牲畜农场或“工厂农场”）产生了巨大的肥料和污染。在冬季，倾倒粪便构成了重大的环境风险，并在许多州违反了环境法。然而，联邦环境保护署（EPA）和州机构主要依靠自我报告来监视此类“土地应用”。我们的论文做出了四个贡献。首先，我们介绍了CAFO和土地应用的环境，政策和农业环境。其次，我们提供了一个新的高效率数据集（每天至每周至每周）3M/像素卫星图像，从2018 - 20年使用威斯康星州的330个CAFO，并带有手工标记的土地应用实例（n = 57,697）。第三，我们开发了一个对象检测模型，以预测土地应用和一个系统以实时进行推断。我们表明，该系统似乎有效地检测到土地应用（PR AUC = 0.93），并且我们发现了几个异常设施，这些设施似乎定期适用。最后，我们估计2021/22冬季土地应用事件的人口流行率。我们表明，土地应用的普遍性要比设施自我报告的要高得多。该系统可以由环境监管机构和利益集团使用，该系统是在过去冬天根据该系统进行的试点探访的。总体而言，我们的应用程序展示了基于AI的计算机视觉系统解决环境符合近日图像的主要问题的潜力。

在低收入环境中，电力公用事业最关键的信息是客户的预期消耗。在环境中难以做的电力消耗评估，其中大部分家庭尚未拥有电连接。在这种情况下，预期消费的绝对水平可以从5-100千瓦时/月的范围内，导致这些客户之间的可变性。如果在具有较高消耗的人的那些上，珍贵的资源是有利害的。这是第一次研究它在低收入环境中的善意，试图预测建筑物的消费，而不是总行政区域的消费。我们通过在肯尼亚20,000个地理参考电力客户的情况下培训卷积神经网络（CNN）上电气化的白天卫星图像，其中包括20,000个地理参考电力客户（肯尼亚住宅客户的0.01％）。这是可能的两阶段方法，它使用了一种新的建筑分割方法来利用更大的不成本卫星图像耗尽，以充分利用大多数稀缺和昂贵的客户数据。我们的方法表明，竞争精度可以在建筑水平上实现，解决消费变异性的挑战。这项工作表明，建筑的特征和周围的上下文在预测消费水平方面都很重要。我们还评估将较低分辨率的地理空间数据集添加到培训过程中，包括夜间灯和人口普查数据。结果已经有助于通知网站选择和分配级别规划，通过肯尼亚各个结构水平的粒度预测，没有理由不能扩展到其他国家。

灾难事件后立即可用的高分辨率卫星图像对于响应计划至关重要，因为它促进了对临界基础设施状态的广泛情境意识，例如建立损坏，洪水和障碍物来访问路线。此规模的损坏映射将需要数百人的专家小时。然而，众包的组合和深度学习的最新进步将实时降低几个小时需要的努力。要求志愿者放置点标记，而不是实际受损区域的形状，显着降低灾难期间响应所需的分析时间。但是，不同的志愿者可能在标记中不一致。这项工作提出了用于汇总可能不一致的损伤标记以培训神经网络损伤探测器的方法。

作物疾病显着影响农业生产的数量和质量。在精确农业的目标是最大程度地减少甚至避免使用农药的目的，具有深度学习的天气和遥感数据可以在检测作物疾病中发挥关键作用，从而允许对农作物的局部治疗。但是，将天气和图像等异质数据结合在一起仍然是一个热门话题和具有挑战性的任务。变压器体系结构的最新发展显示了从不同领域（例如文本图像）融合数据的可能性。当前的趋势是仅定制一个变压器来创建多模式融合模型。相反，我们提出了一种使用三个变压器实现数据融合的新方法。在本文中，我们首先通过使用ConvlstM模型来插值来解决缺失的卫星图像问题。然后，提出了一种多模式融合体系结构，该体系结构共同学习处理视觉和天气信息。该体系结构是由三个主要组件，一个视觉变压器和两个变压器编码器构建的，可以融合图像和天气方式。所提出的方法的结果有望达到97 \％的总体准确性。

道路建设项目维护运输基础设施。这些项目的范围从短期（例如，重新铺面或固定坑洼）到长期（例如，添加肩膀或建造桥梁）。传统上，确定下一个建设项目是什么以及安排什么何时进行安排，这是通过人类使用特殊设备的检查来完成的。这种方法是昂贵且难以扩展的。另一种选择是使用计算方法来整合和分析多种过去和现在的时空数据以预测未来道路构建的位置和时间。本文报告了这种方法，该方法使用基于深神经网络的模型来预测未来的结构。我们的模型在由构造，天气，地图和道路网络数据组成的异质数据集上应用卷积和经常性组件。我们还报告了如何通过构建一个名为“美国建设”的大型数据集来解决我们如何解决足够的公开数据，其中包括620万个道路构造案例，并通过各种时空属性和路线网络功能增强，收集了。在2016年至2021年之间的连续美国（美国）中。使用对美国几个主要城市进行广泛的实验，我们显示了工作在准确预测未来建筑时的适用性 - 平均F1得分为0.85，准确性为82.2％ - 这是52.2％ - 胜过基线。此外，我们展示了我们的培训管道如何解决数据的空间稀疏性。

需要在自然灾害后损害评估来分配援助和力量从最佳地处理损坏。这一过程涉及为兴趣区域，建筑物的本地化以及大自然或城市因素对建筑物造成的损害量的分类来获取卫星图像。在自然灾害的情况下，这意味着加工许多平方公里的区域，以判断特定建筑是否遭受破坏性因素。在这项工作中，我们开发了灾难前后的同一区域卫星图像的自动比较的计算方法，并在建筑物中分类不同损坏程度。我们的解决方案是基于暹罗与编码器解码器架构的神经网络。我们包括广泛的消融研究，并比较不同的编码器，解码器，损失函数，增强以及组合两个图像的几种方法。该解决方案实现了计算机愿景中的最佳结果之一，以建立损害评估竞争。

经过大量地震后，我们可以看到个人和媒体机构在社交媒体平台上发布的图像由于这些天智能手机的大规模使用而发布。这些图像可用于提供关于公共和研究群落的地震区域震荡损坏的信息，并且可能导致救援工作。本文提出了一种自动化的方法，可以在来自诸如Twitter等社交媒体平台的地震之后提取损坏的建筑图像，从而识别包含此类图像的特定用户帖子。使用传输学习和〜6500手动标记图像，我们培训了深入学习模型，以识别现场损坏的建筑物的图像。当在土耳其2020 M7.0地震发生后，在不同地区的新收购的地震图像上进行地震图像的地震图像时，训练有素的模型取得了良好的表现。此外，为了更好地了解模型如何做出决策，我们还实现了Grad-CAM方法来可视化促进决策的图像上的重要位置。

使用遥感图像进行建筑检测和变更检测可以帮助城市和救援计划。此外，它们可用于自然灾害后的建筑损害评估。当前，大多数用于建筑物检测的现有模型仅使用一个图像（预拆架图像）来检测建筑物。这是基于这样的想法：由于存在被破坏的建筑物，后沙仪图像降低了模型的性能。在本文中，我们提出了一种称为暹罗形式的暹罗模型，该模型使用前和垃圾后图像作为输入。我们的模型有两个编码器，并具有分层变压器体系结构。两个编码器中每个阶段的输出都以特征融合的方式给予特征融合，以从disasaster图像生成查询，并且（键，值）是从disasaster图像中生成的。为此，在特征融合中也考虑了时间特征。在特征融合中使用颞变压器的另一个优点是，与CNN相比，它们可以更好地维持由变压器编码器产生的大型接受场。最后，在每个阶段，将颞变压器的输出输入简单的MLP解码器。在XBD和WHU数据集上评估了暹罗形式模型，用于构建检测以及Levir-CD和CDD数据集，以进行更改检测，并可以胜过最新的。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

当地球经历全球变暖时，自然灾害，如洪水，龙卷风或野火，越来越普遍普遍。很难预测事件的何时何时会发生，所以及时的应急响应对于拯救受破坏事件危害的人的生命至关重要。幸运的是，技术可以在这些情况下发挥作用。社交媒体帖子可以用作低延迟数据源来了解灾难的进展和后果，但解析此数据无需自动化方法。在前的工作主要集中在基于文本的过滤，但基于图像和基于视频的过滤仍然很大程度上是未开发的。在这项工作中，我们介绍了一个大规模的多标签数据集，其中包含977,088个图像，43个事件和49个地方。我们提供数据集建设，统计和潜在偏差的详细信息;介绍和训练事件检测模型;在Flickr和Twitter上为数百万图像进行图像过滤实验。我们还提出了一些关于事件分析的申请，以鼓励和使未来的人道主义援助中的计算机愿景工作。代码，数据和模型可在http://incidentsdataset.csail.mit.edu上获得。

由于自然灾害的出现显着增加（例如，飓风，森林火灾，洪水，地震），机器学习界最近对气候和灾害损伤领域的兴趣增加了兴趣。然而，没有足够的重视致力于减轻即将到来的自然灾害的可能破坏。我们通过预测在事实前的建筑水平损害基础上探讨这一关键空间，这些损害允许国家行为者和非政府组织最好配备资源分配，以尽量减少或抢先损失。我们介绍了在决策树上采用Resnets和完全连接的层的集合来捕获图像级别和元级信息，以准确地估计人为结构的弱点到灾害发生。我们的模式表现良好，并响应于跨灾害类型调整，并突出抢占危害造型的空间。

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。