在世界各地人行道的位置，状况和可访问性上缺乏数据，这不仅会影响人们旅行的何处和方式，而且从根本上限制了交互式映射工具和城市分析。在本文中，我们使用层次多尺度注意模型从卫星图像中构建半自动性的初步工作，从卫星图像中构建人行道网络拓扑模型，从而使用基于学习的基于学习的语义细分从街道级图像从街道图像中推断出表面材料，并评估人行道条件和可访问性。使用人群+AI的功能。我们呼吁创建一个标有卫星和街景场景的数据库，以供人行道和人行道可及性问题以及标准化的基准测试。
translated by 谷歌翻译
在设计可持续和弹性的城市建造环境的同时，越来越多地促进了世界各地的，重大的数据差距对压迫可持续性问题挑战开展的研究。已知人行道具有强大的经济和环境影响;然而，由于数据收集的成本持久和耗时的性质，大多数城市缺乏它们的表面的空间目录。计算机愿景的最新进展与街道级别图像的可用性一起为城市提供了新的机会，以利用较低的实施成本和更高的准确性提取大规模建筑环境数据。在本文中，我们提出了一个基于主动学习的框架，利用计算机视觉技术来使用广泛可用的街道图像进行分类的计算机视觉技术。我们培训了来自纽约市和波士顿的图像的框架，评价结果显示了90.5％的Miou评分。此外，我们使用六个不同城市的图像评估框架，表明它可以应用于具有不同城市面料的区域，即使在培训数据的领域之外。 Citysurfaces可以为研究人员和城市代理商提供低成本，准确，可扩展的方法来收集人行道材料数据，在寻求主要可持续性问题方面发挥着关键作用，包括气候变化和地表水管理。
translated by 谷歌翻译
分析了2011年至2021年发表的88个来源，本文对基于计算机的建筑物和建筑环境进行了首次系统评价，以评估其对建筑和城市设计研究的价值。遵循多阶段的选择过程，讨论了有关建筑应用，例如建筑物分类，详细分类，定性环境分析，建筑条件调查和建筑价值估算等建筑应用程序的类型。这揭示了当前的研究差距和趋势，并突出了研究目标的两个主要类别。首先，要使用或优化计算机视觉方法进行体系结构图像数据，然后可以帮助自动化耗时，劳动密集型或复杂的视觉分析任务。其次，通过查找视觉，统计和定性数据之间的模式和关系来探索机器学习方法的方法论上的好处，以研究有关建筑环境的新问题，这可以克服传统手动分析的局限性。不断增长的研究为建筑和设计研究提供了新的方法，论文确定了未来的研究挑战和方向。
translated by 谷歌翻译
The visual dimension of cities has been a fundamental subject in urban studies, since the pioneering work of scholars such as Sitte, Lynch, Arnheim, and Jacobs. Several decades later, big data and artificial intelligence (AI) are revolutionizing how people move, sense, and interact with cities. This paper reviews the literature on the appearance and function of cities to illustrate how visual information has been used to understand them. A conceptual framework, Urban Visual Intelligence, is introduced to systematically elaborate on how new image data sources and AI techniques are reshaping the way researchers perceive and measure cities, enabling the study of the physical environment and its interactions with socioeconomic environments at various scales. The paper argues that these new approaches enable researchers to revisit the classic urban theories and themes, and potentially help cities create environments that are more in line with human behaviors and aspirations in the digital age.
translated by 谷歌翻译
小型太阳能光伏（PV）阵列中电网的有效集成计划需要访问高质量的数据：单个太阳能PV阵列的位置和功率容量。不幸的是，不存在小型太阳能光伏的国家数据库。那些确实有限的空间分辨率，通常汇总到州或国家一级。尽管已经发布了几种有希望的太阳能光伏检测方法，但根据研究，研究这些模型的性能通常是高度异质的。这些方法对能源评估的实际应用的比较变得具有挑战性，可能意味着报告的绩效评估过于乐观。异质性有多种形式，我们在这项工作中探讨了每种形式：空间聚集的水平，地面真理的验证，培训和验证数据集的不一致以及培训的位置和传感器的多样性程度和验证数据始发。对于每个人，我们都会讨论文献中的新兴实践，以解决它们或暗示未来研究的方向。作为调查的一部分，我们评估了两个大区域的太阳PV识别性能。我们的发现表明，由于验证过程中的共同局限性，从卫星图像对太阳PV自动识别的传统绩效评估可能是乐观的。这项工作的收获旨在为能源研究人员和专业人员提供自动太阳能光伏评估技术的大规模实用应用。
translated by 谷歌翻译
本文介绍了Omnicity，这是一种从多层次和多视图图像中了解无所不能的城市理解的新数据集。更确切地说，Omnicity包含多视图的卫星图像以及街道级全景图和单视图图像，构成了超过100k像素的注释图像，这些图像是从纽约市的25k Geo-Locations中良好的一致性和收集的。为了减轻大量像素的注释努力，我们提出了一个有效的街景图像注释管道，该管道利用了卫星视图的现有标签地图以及不同观点之间的转换关系（卫星，Panorama和Mono-View）。有了新的Omnicity数据集，我们为各种任务提供基准，包括构建足迹提取，高度估计以及构建平面/实例/细粒细分。我们还分析了视图对每个任务的影响，不同模型的性能，现有方法的局限性等。与现有的多层次和多视图基准相比，我们的Omnicity包含更多具有更丰富注释类型和更丰富的图像更多的视图，提供了从最先进的模型获得的更多基线结果，并为街道级全景图像中的细粒度建筑实例细分介绍了一项新颖的任务。此外，Omnicity为现有任务提供了新的问题设置，例如跨视图匹配，合成，分割，检测等，并促进开发新方法，以了解大规模的城市理解，重建和仿真。 Omnicity数据集以及基准将在https://city-super.github.io/omnicity上找到。
translated by 谷歌翻译
对行人基础设施，特别是人行道的大规模分析对人类以人为本的城市规划和设计至关重要。受益于通过纽约市开放数据门户提供的Procepetric特征和高分辨率OrthoImages的丰富数据集，我们培养计算机视觉模型来检测遥感图像的人行道，道路和建筑物，达到83％的Miou持有-out测试集。我们应用形状分析技术来研究提取的人行道的不同属性。更具体地，我们对人行道的宽度，角度和曲率进行了瓷砖明智的分析，除了它们对城市地区的可行性和可达性的一般影响，众所周知，在轮椅用户的移动性中具有重要作用。初步结果是有前途的，瞥见了不同城市采用的拟议方法的潜力，使研究人员和从业者可以获得更生动的行人领域的画面。
translated by 谷歌翻译
作为城市景观研究的重要组成部分，分析和研究街道绿色植物可以增加对城市绿化的理解，从而有助于更好的城市生活环境规划和设计。规划城市绿化的最佳道路是一种有效地最大程度地利用城市绿化的手段，这在城市居民的身心健康和游客的路径计划中起着积极作用。在本文中，我们使用Google Street View（GSV）获取大阪市的街景图像。采用语义细分模型来细分街道视图图像并分析大阪市的绿色视图指数（GVI）。基于GVI，我们利用邻接矩阵和Floyd-Warshall算法来计算绿色视图索引最佳路径，从而解决了ArcGIS软件的局限性。我们的分析不仅允许计算GVI最佳路径的特定途径，而且还实现了邻里城市绿化的可视化和整合。通过总结所有数据，我们可以对研究区域的街道绿化进行直观的感觉和客观分析。基于此，例如城市居民和游客可以最大程度地利用可用的自然资源，从而获得更好的生活。该数据集和代码可在https://github.com/jackieam/gvi-best-path上找到。
translated by 谷歌翻译
Panoptic semonation组合实例和语义预测，允许同时检测“事物”和“东西”。在许多具有挑战性的问题中有效地接近远程感测的数据中的Panoptic分段可能是吉祥的，因为它允许连续映射和特定的目标计数。有几个困难阻止了遥感中这项任务的增长：（a）大多数算法都设计用于传统图像，（b）图像标签必须包含“事物”和“填写”类，并且（c）注释格式复杂。因此，旨在解决和提高遥感中Panoptic分割的可操作性，这项研究有五个目标：（1）创建一个新的Panoptic分段数据准备管道，（2）提出注释转换软件以产生Panoptic注释; （3）在城市地区提出一个小说数据集，（4）修改任务的Detectron2，（5）评估城市环境中这项任务的困难。我们使用的空中图像，考虑14级，使用0,24米的空间分辨率。我们的管道考虑了三个图像输入，所提出的软件使用点Shapefile来创建Coco格式的样本。我们的研究生成了3,400个样本，具有512x512像素尺寸。我们使用了带有两个骨干板（Reset-50和Reset-101）的Panoptic-FPN，以及模型评估被视为语义实例和Panoptic指标。我们获得了93.9,47.7和64.9的平均iou，box ap和pq。我们的研究提出了一个用于Panoptic Seation的第一个有效管道，以及用于其他研究人员的广泛数据库使用和处理需要彻底了解的其他数据或相关问题。
translated by 谷歌翻译
使用计算机视觉对间接费用的分析是一个问题，在学术文献中受到了很大的关注。在这个领域运行的大多数技术都非常专业，需要大型数据集的昂贵手动注释。这些问题通过开发更通用的框架来解决这些问题，并结合了表示学习的进步，该框架可以更灵活地分析具有有限标记数据的新图像类别。首先，根据动量对比机制创建了未标记的空中图像数据集的强大表示。随后，通过构建5个标记图像的准确分类器来专门用于不同的任务。从6000万个未标记的图像中，成功的低水平检测城市基础设施进化，体现了我们推进定量城市研究的巨大潜力。
translated by 谷歌翻译
全球城市可免费获得大量的地理参考全景图像，以及各种各样的城市物体上的位置和元数据的详细地图。它们提供了有关城市物体的潜在信息来源，但是对象检测的手动注释是昂贵，费力和困难的。我们可以利用这种多媒体来源自动注释街道级图像作为手动标签的廉价替代品吗？使用Panorams框架，我们引入了一种方法，以根据城市上下文信息自动生成全景图像的边界框注释。遵循这种方法，我们仅以快速自动的方式从开放数据源中获得了大规模的（尽管嘈杂，但都嘈杂，但对城市数据集进行了注释。该数据集涵盖了阿姆斯特丹市，其中包括771,299张全景图像中22个对象类别的1400万个嘈杂的边界框注释。对于许多对象，可以从地理空间元数据（例如建筑价值，功能和平均表面积）获得进一步的细粒度信息。这样的信息将很难（即使不是不可能）单独根据图像来获取。为了进行详细评估，我们引入了一个有效的众包协议，用于在全景图像中进行边界框注释，我们将其部署以获取147,075个地面真实对象注释，用于7,348张图像的子集，Panorams-clean数据集。对于我们的Panorams-Noisy数据集，我们对噪声以及不同类型的噪声如何影响图像分类和对象检测性能提供了广泛的分析。我们可以公开提供数据集，全景噪声和全景清洁，基准和工具。
translated by 谷歌翻译
地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。
translated by 谷歌翻译
目前，城市流动研究和政府举措主要集中在与电动机相关的问题上，例如，拥堵与污染问题。然而，我们不能忽视城市景观中最脆弱的元素：行人，暴露于比其他道路用户更高的风险。实际上，城市的安全，无障碍和可持续的运输系统是联合国2030年议程的核心目标。因此，有机会将先进的计算工具应用于交通安全的问题，特别是对过去常被忽视的行人。本文结合了公共数据来源，大型街道图像和计算机视觉技术，以自动化，相对简单和普遍适用的数据处理方案接近行人和车辆安全性。该流水线所涉及的步骤包括对残余卷积神经网络的适应和训练，以确定每个给定城市场景的危险指标，以及基于这些相同图像的图像分割和类激活映射的解释性分析。结合，这种计算方法的结果是一个城市危险水平的细粒度地图，以及识别可能同时改善行人和车辆安全的干预措施的启发式。拟议的框架应作为城市规划者和公共当局的工作补充。
translated by 谷歌翻译
作物现场边界有助于映射作物类型，预测产量，并向农民提供现场级分析。近年来，已经看到深深学习的成功应用于划定工业农业系统中的现场边界，但由于（1）需要高分辨率卫星图像的小型字段来解除界限和（2）缺乏（2）缺乏用于模型培训和验证的地面标签。在这项工作中，我们结合了转移学习和弱监督来克服这些挑战，我们展示了在印度的成功方法，我们有效地产生了10,000个新的场地标签。我们最好的型号使用1.5亿分辨率的空中客车现货图像作为投入，预先列进法国界限的最先进的神经网络，以及印度标签上的微调，以实现0.86的联盟（iou）中位数交叉口在印度。如果使用4.8M分辨率的行星扫描图像，最好的模型可以实现0.72的中位数。实验还表明，法国的预训练减少了所需的印度现场标签的数量，以便在数据集较小时尽可能多地实现给定的性能水平。这些发现表明我们的方法是划定当前缺乏现场边界数据集的世界区域中的裁剪领域的可扩展方法。我们公开发布了10,000个标签和描绘模型，以方便社区创建现场边界地图和新方法。
translated by 谷歌翻译
对联合国可持续发展目标的进展（SDGS）因关键环境和社会经济指标缺乏数据而受到阻碍，其中历史上有稀疏时间和空间覆盖率的地面调查。机器学习的最新进展使得可以利用丰富，频繁更新和全球可用的数据，例如卫星或社交媒体，以向SDGS提供洞察力。尽管有希望的早期结果，但到目前为止使用此类SDG测量数据的方法在很大程度上在不同的数据集或使用不一致的评估指标上进行了评估，使得难以理解的性能是改善，并且额外研究将是最丰富的。此外，处理卫星和地面调查数据需要域知识，其中许多机器学习群落缺乏。在本文中，我们介绍了3个SDG的3个基准任务的集合，包括与经济发展，农业，健康，教育，水和卫生，气候行动和陆地生命相关的任务。 15个任务中的11个数据集首次公开发布。我们为Acceptandbench的目标是（1）降低机器学习界的进入的障碍，以促进衡量和实现SDGS; （2）提供标准基准，用于评估各种SDG的任务的机器学习模型; （3）鼓励开发新颖的机器学习方法，改进的模型性能促进了对SDG的进展。
translated by 谷歌翻译
Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.
translated by 谷歌翻译
在本文中，我们介绍了一个新的建筑数据集，并提出了一种新颖的域泛化方法，以促进从高分辨率遥感图像中提取建筑物的开发。当前建筑数据集的问题涉及它们缺乏多样性，标签的质量不令人满意，并且几乎不用于培训具有良好概括能力的建筑提取模型，以便正确地评估模型在实践中的真实性能场景。为了解决这些问题，我们建立了一个名为WHU-MIX建筑数据集的多样化，大规模和高质量的建筑数据集，该数据集更加面向实践。 WHU-MIX建筑物数据集由一个培训/验证集组成，该培训/验证集包含来自世界各地的43,727个不同图像，以及一个测试集，其中包含来自五大洲其他五个城市的8402张图像。此外，为了进一步提高建筑物提取模型的概括能力，我们提出了一种名为批处理样式混合（BSM）的域概括方法，该方法可以嵌入建筑物的frond-end中，以嵌入为有效的插件模块提取模型，为模型提供逐渐更大的数据分布，以学习数据不变知识。这项研究中进行的实验证实了WHU-MIX建筑数据集的潜力，以提高建筑物提取模型的性能，与其他现有数据集相比，MIOU提高了6-36％。其他数据集中标签不准确的不利影响可能会导致约20％的IOU减少。该实验还证实了所提出的BSM模块在增强模型的概括能力和鲁棒性方面的高性能，超过了13％的基线模型，而MIOU中最新的域概括方法则超过了4-15％。
translated by 谷歌翻译
可再生能源的快速开发，尤其是太阳能光伏（PV），对于缓解气候变化至关重要。结果，印度设定了雄心勃勃的目标，可以在2030年之前安装500吉瓦的太阳能容量。鉴于预计大量的足迹可以满足可再生能源能源目标，因此对环境价值的土地利用冲突的潜力很高。为了加快太阳能的发展，土地使用计划者将需要访问PV基础设施的最新，准确的地理空间信息。在这项工作中，我们开发了一种露骨的机器学习模型，以使用自由使用的卫星图像绘制印度的公用事业规模的太阳能项目，平均准确性为92％。我们的模型预测得到了人类专家的验证，以获取1363个太阳能光伏农场的数据集。使用此数据集，我们测量了整个印度的太阳足迹，并量化了与PV基础设施发展相关的土地盖修改程度。我们的分析表明，印度超过74％的太阳能发展是建立在具有自然生态系统保护或农业价值的陆生类型上的。
translated by 谷歌翻译
通过以有针对性和高效的方式改善现有建筑物库存的能源效率来提高建筑业的脱碳化，这仍然具有挑战性。这是因为截至目前，建筑物的能源效率通常取决于经过认证的能源审核员的现场访问，这使得该过程缓慢，昂贵且地理位置上不完整。为了加速大规模识别有希望的改造目标，我们建议仅从远程感知的数据源估算建筑能源效率。为此，我们收集了街景，空中景观，足迹和卫星式土地表面温度（LST）数据，用于英国四个不同地理位置上的近40,000座建筑物。在训练了融合输入数据的多个端到端深度学习模型之后，我们将建筑物分类为节能（EU等级A-D）或效率低下（EU等级E-G），我们在定量和质量上分析了最佳性能模型。最后，我们通过在消融研究中研究每个数据源的预测能力来扩展分析。我们发现，最佳的端到端深度学习模型的F1得分为62.06％，并且胜过基于K-NN和SVM的基线模型的表现分别为5.62至11.47个百分点。因此，这项工作显示了远程感知的数据在预测能源效率方面的潜力和互补性，并为将来的工作打开了新的机会，以整合其他数据源。
translated by 谷歌翻译
用于卫星图像分析的计算机视觉算法的创新可以使我们能够在行星层面探索全球挑战，例如城市化和土地利用变化。但是，当试图复制将这些分析推向新领域的模型时，尤其是在发展中国家的模型时，域转移问题是一个普遍的情况。如果模型是通过一个位置的图像和标签训练的，则通常不会很好地概括到图像和数据分布不同的新位置。在这项工作中，我们考虑了我们有一个大型卫星图像场景的设置，我们希望在该场景上解决一个应用问题 - 构建足迹细分。在这里，我们不一定需要担心创建一个概括过我们场景边界的模型，而是可以训练本地模型。我们表明，使用非常高分辨率（0.5m/px）卫星图像解决建筑细分问题需要的标签很少。我们只有527个稀疏多边形注释（相当于1500 x 1500名被标记的像素）训练的最佳型号，召回了0.87的持有足迹，R2的r2为0.93视窗。我们将模型应用于约旦安曼（Amman）的高分辨率图像中，在一项有关城市变化检测的案例研究中。
translated by 谷歌翻译