光学和雷达卫星时间序列是协同的：光学图像包含丰富的光谱信息，而C波段雷达捕获有用的几何信息，并且对云盖免疫。由于近期基于时间关注的方法的成功跨多种裁剪映射任务，我们建议调查这些模型如何适应多种方式运行。我们实施和评估多种融合方案，包括新颖的方法和对培训程序的简单调整，显着提高性能和效率几乎没有增加复杂性。我们表明大多数融合方案具有优势和缺点，使其与特定设置相关。然后，我们跨多个任务评估多模式的好处：宗地分类，基于像素的分割和Panoptic Parcel分段。我们表明，通过利用光学和雷达时间序列，基于多模式的时间关注的模型可以在性能和弹性方面偶尔将单片式模型到云覆盖。为了进行这些实验，我们使用空间对齐的雷达图像时间序列增强肉饼数据集。生成的数据集，Pastis-R，构成了具有语义和实例注释的第一个大规模，多模式和开放式卫星时间序列数据集。

前所未有的访问多时间卫星图像，为各种地球观察任务开辟了新的视角。其中，农业包裹的像素精确的Panoptic分割具有重大的经济和环境影响。虽然研究人员对单张图像进行了探索了这个问题，但我们争辩说，随着图像的时间序列更好地寻址作物候选的复杂时间模式。在本文中，我们介绍了卫星图像时间序列（坐着）的Panoptic分割的第一端到端，单级方法（坐姿）。该模块可以与我们的新型图像序列编码网络相结合，依赖于时间自我关注，以提取丰富和自适应的多尺度时空特征。我们还介绍了Pastis，第一个开放式访问坐在Panoptic注释的数据集。我们展示了对多个竞争架构的语义细分的编码器的优越性，并建立了坐在的第一封Panoptic细分状态。我们的实施和痛苦是公开的。

虽然年度作物旋转在农业优化起到至关重要的作用，但它们主要忽略了自动作物类型的映射。在本文中，我们利用了增加的注释卫星数据的数量，提出了一个同时的第一个深度学习方法建模包裹分类的年间和中内农业动态。除了简单的培训调整之外，我们的模型提供了超过6.3 miou指针的改善，这些作物分类最先进。此外，我们释放了具有超过300,000个注释的包裹的第一个大型多年农业数据集。

Fusing satellite imagery acquired with different sensors has been a long-standing challenge of Earth observation, particularly across different modalities such as optical and Synthetic Aperture Radar (SAR) images. Here, we explore the joint analysis of imagery from different sensors in the light of representation learning: we propose to learn a joint embedding of multiple satellite sensors within a deep neural network. Our application problem is the monitoring of lake ice on Alpine lakes. To reach the temporal resolution requirement of the Swiss Global Climate Observing System (GCOS) office, we combine three image sources: Sentinel-1 SAR (S1-SAR), Terra MODIS, and Suomi-NPP VIIRS. The large gaps between the optical and SAR domains and between the sensor resolutions make this a challenging instance of the sensor fusion problem. Our approach can be classified as a late fusion that is learned in a data-driven manner. The proposed network architecture has separate encoding branches for each image sensor, which feed into a single latent embedding. I.e., a common feature representation shared by all inputs, such that subsequent processing steps deliver comparable output irrespective of which sort of input image was used. By fusing satellite data, we map lake ice at a temporal resolution of < 1.5 days. The network produces spatially explicit lake ice maps with pixel-wise accuracies > 91% (respectively, mIoU scores > 60%) and generalises well across different lakes and winters. Moreover, it sets a new state-of-the-art for determining the important ice-on and ice-off dates for the target lakes, in many cases meeting the GCOS requirement.

3D语义分割的最新作品建议通过使用专用网络处理每种模式并将学习的2D功能投射到3D点上，从而利用图像和点云之间的协同作用。合并大规模点云和图像会引起几个挑战，例如在点和像素之间构建映射，以及在多个视图之间汇总特征。当前方法需要网格重建或专门传感器来恢复闭塞，并使用启发式方法选择和汇总可用的图像。相比之下，我们提出了一个可端到端的可训练的多视图聚合模型，该模型利用3D点的观看条件从任意位置拍摄的图像中合并特征。我们的方法可以结合标准2D和3D网络，并优于在有色点云和混合2D/3D网络上运行的3D模型，而无需进行着色，网格融化或真实的深度图。我们为S3DIS（74.7 MIOU 6倍）和Kitti-360（58.3 MIOU）设置了大型室内/室外语义细分的新最先进的。我们的完整管道可以在https://github.com/drprojects/deepviewagg上访问，并且仅需要原始的3D扫描以及一组图像和姿势。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

卫星遥感提供了一种具有成本效益的概要洪水监测的解决方案，卫星衍生的洪水图为传统上使用的数值洪水淹没模型提供了一种计算有效的替代方法。尽管卫星碰巧涵盖正在进行的洪水事件时确实提供了及时的淹没信息，但它们受其时空分辨率的限制，因为它们在各种规模上动态监测洪水演变的能力。不断改善对新卫星数据源的访问以及大数据处理功能，就此问题的数据驱动解决方案而言，已经解锁了前所未有的可能性。具体而言，来自卫星的数据融合，例如哥白尼前哨，它们具有很高的空间和低时间分辨率，以及来自NASA SMAP和GPM任务的数据，它们的空间较低，但时间较高的时间分辨率可能会导致高分辨率的洪水淹没在A处的高分辨率洪水。每日规模。在这里，使用Sentinel-1合成孔径雷达和各种水文，地形和基于土地利用的预测因子衍生出的洪水淹没图对卷积神经网络进行了训练，以预测高分辨率的洪水泛滥概率图。使用Sentinel-1和Sentinel-2衍生的洪水面罩，评估了UNET和SEGNET模型架构的性能，分别具有95％的信心间隔。精确召回曲线（PR-AUC）曲线下的区域（AUC）被用作主要评估指标，这是由于二进制洪水映射问题中类固有的不平衡性质，最佳模型提供了PR-AUC 0.85。

该卷包含来自机器学习挑战的选定贡献“发现玛雅人的奥秘”，该挑战在欧洲机器学习和数据库中知识发现的欧洲挑战赛曲目（ECML PKDD 2021）中提出。遥感大大加速了古代玛雅人森林地区的传统考古景观调查。典型的探索和发现尝试，除了关注整个古老的城市外，还集中在单个建筑物和结构上。最近，已经成功地尝试了使用机器学习来识别古代玛雅人定居点。这些尝试虽然相关，但却集中在狭窄的区域上，并依靠高质量的空中激光扫描（ALS）数据，该数据仅涵盖古代玛雅人曾经定居的地区的一小部分。另一方面，由欧洲航天局（ESA）哨兵任务制作的卫星图像数据很丰富，更重要的是公开。旨在通过执行不同类型的卫星图像（Sentinel-1和Sentinel-2和ALS）的集成图像细分来定位和识别古老的Maya架构（建筑物，Aguadas和平台）的“发现和识别古代玛雅体系结构（建筑物，Aguadas和平台）的挑战的“发现和识别古老的玛雅体系结构（建筑物，阿吉达斯和平台）的“发现玛雅的奥秘”的挑战， （LIDAR）数据。

深度学习模式和地球观察的协同组合承诺支持可持续发展目标（SDGS）。新的发展和夸张的申请已经在改变人类将面临生活星球挑战的方式。本文审查了当前对地球观测数据的最深入学习方法，以及其在地球观测中深度学习的快速发展受到影响和实现最严重的SDG的应用。我们系统地审查案例研究至1）实现零饥饿，2）可持续城市，3）提供保管安全，4）减轻和适应气候变化，5）保留生物多样性。关注重要的社会，经济和环境影响。提前令人兴奋的时期即将到来，算法和地球数据可以帮助我们努力解决气候危机并支持更可持续发展的地方。

这项研究介绍了\ textit {landslide4sense}，这是一种从遥感中检测到滑坡检测的参考基准。该存储库具有3,799个图像贴片，可从Sentinel-2传感器中融合光学层，并带有数字高程模型和来自ALOS Palsar的斜率层。附加的地形信息促进了对滑坡边界的准确检测，而最近的研究表明，仅使用光学数据，这是具有挑战性的。广泛的数据集支持在滑坡检测中进行深度学习（DL）研究，以及用于系统更新滑坡库存的方法的开发和验证。基准数据集已在四个不同的时间和地理位置收集：伊伯里（2018年9月），科达古（2018年8月），戈尔卡（2015年4月）和台湾（2009年8月）。每个图像像素均标记为属于滑坡，包括各种来源和彻底的手动注释。然后，我们评估11个最先进的DL分割模型的滑坡检测性能：U-NET，RESU-NET，PSPNET，CONTECTNET，DEEPLAB-V2，DEEPLAB-V3+，FCN-8，LINKNET，FRRRN-A，FRRN-A，， FRRN-B和SQNET。所有型号均已从划痕上对每个研究区域的四分之一的补丁进行培训，并在其他三个季度的独立贴片上进行了测试。我们的实验表明，Resu-NET的表现优于其他模型，用于滑坡检测任务。我们在\ url {www.landslide4sense.org}公开获得多种源滑坡基准数据（Landslide4sense）和经过测试的DL模型，为遥感，计算机视觉和机器学习社区建立了重要的资源通常，尤其是对滑坡检测的应用。

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

近年来，地理空间行业一直在稳定发展。这种增长意味着增加卫星星座，每天都会产生大量的卫星图像和其他遥感数据。有时，这些信息，即使在某些情况下我们指的是公开可用的数据，由于它的大小，它也无法占据。从时间和其他资源的角度来看，借助人工或使用传统的自动化方法来处理如此大量的数据并不总是可行的解决方案。在目前的工作中，我们提出了一种方法，用于创建一个由公开可用的遥感数据组成的多模式和时空数据集，并使用ART机器学习（ML）技术进行可行性进行测试。确切地说，卷积神经网络（CNN）模型的用法能够分离拟议数据集中存在的不同类别的植被。在地理信息系统（GIS）和计算机视觉（CV）的背景下，类似方法的受欢迎程度和成功更普遍地表明，应考虑并进一步分析和开发方法。

密集的语义预测通过推断未观察到的未来图像的像素级语义来预测视频中的未来事件。我们提出了一种适用于各种单帧架构和任务的新方法。我们的方法包括两个模块。功能 - 动作（F2M）模块预测了密集的变形领域，将过去的功能扭曲到其未来的位置。功能到特征（F2F）模块直接回归未来功能，因此能够考虑紧急风景。化合物F2MF模型以任务 - 不可行的方式与新奇效果的运动效果脱钩。我们的目标是将F2MF预测应用于所需单帧模型的最自述和最抽象的最摘要表示。我们的设计利用了相邻时间瞬间可变形卷曲和空间相关系数。我们在三个密集预测任务中执行实验：语义分割，实例级分割和Panoptic分割。结果介绍了三个密集预测任务的最先进的预测精度。

在这项工作中，我们将全景景观分割介绍为最整体的场景理解，无论是在视野（FOV）和图像级别的理解方面，用于基于标准摄像机的输入。完整的围绕理解为移动代理提供了最大的信息，这对于任何智能车辆至关重要，以便在安全至关重要的动态环境（例如现实世界流量）中做出明智的决定。为了克服缺乏带注释的全景图像，我们提出了一个框架，该框架允许在标准针孔图像上进行模型训练，并以成本限制的方式将学习的功能传输到不同的域。使用我们提出的方法和密集的对比度学习，我们设法对非适应方法实现了重大改进。根据有效的综合分割体系结构，我们可以在我们已建立的野生全景泛滥分割（WILDPPS）数据集中，以圆锥体质量（PQ）测量的3.5-6.5％提高3.5-6.5％。此外，我们的有效框架不需要访问目标域的图像，使其成为适合有限硬件设置的可行域概括方法。作为其他贡献，我们发布了WILDPPS：第一个全景全景图像数据集，以促进周围感知的进展，并探索一种结合受监督和对比度培训的新型培训程序。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

由于技术成本的降低和卫星发射的增加，卫星图像变得越来越流行和更容易获得。除了提供仁慈的目的外，还可以出于恶意原因（例如错误信息）使用卫星数据。事实上，可以依靠一般图像编辑工具来轻松操纵卫星图像。此外，随着深层神经网络（DNN）的激增，可以生成属于各种领域的现实合成图像，与合成生成的卫星图像的扩散有关的其他威胁正在出现。在本文中，我们回顾了关于卫星图像的产生和操纵的最新技术（SOTA）。特别是，我们既关注从头开始的合成卫星图像的产生，又要通过图像转移技术对卫星图像进行语义操纵，包括从一种类型的传感器到另一种传感器获得的图像的转换。我们还描述了迄今已研究的法医检测技术，以对合成图像伪造进行分类和检测。虽然我们主要集中在法医技术上明确定制的，该技术是针对AI生成的合成内容物的检测，但我们还审查了一些用于一般剪接检测的方法，这些方法原则上也可以用于发现AI操纵图像

Crop type maps are critical for tracking agricultural land use and estimating crop production. Remote sensing has proven an efficient and reliable tool for creating these maps in regions with abundant ground labels for model training, yet these labels remain difficult to obtain in many regions and years. NASA's Global Ecosystem Dynamics Investigation (GEDI) spaceborne lidar instrument, originally designed for forest monitoring, has shown promise for distinguishing tall and short crops. In the current study, we leverage GEDI to develop wall-to-wall maps of short vs tall crops on a global scale at 10 m resolution for 2019-2021. Specifically, we show that (1) GEDI returns can reliably be classified into tall and short crops after removing shots with extreme view angles or topographic slope, (2) the frequency of tall crops over time can be used to identify months when tall crops are at their peak height, and (3) GEDI shots in these months can then be used to train random forest models that use Sentinel-2 time series to accurately predict short vs. tall crops. Independent reference data from around the world are then used to evaluate these GEDI-S2 maps. We find that GEDI-S2 performed nearly as well as models trained on thousands of local reference training points, with accuracies of at least 87% and often above 90% throughout the Americas, Europe, and East Asia. Systematic underestimation of tall crop area was observed in regions where crops frequently exhibit low biomass, namely Africa and South Asia, and further work is needed in these systems. Although the GEDI-S2 approach only differentiates tall from short crops, in many landscapes this distinction goes a long way toward mapping the main individual crop types. The combination of GEDI and Sentinel-2 thus presents a very promising path towards global crop mapping with minimal reliance on ground data.

太阳能的高效整合到电力组合中取决于其间歇性的可靠预期。预测由云覆盖动态产生的太阳辐照度的时间变异的有希望的方法是基于地面天空图像或卫星图像序列的分析。尽管结果令人鼓舞，但现有深度学习方法的经常性限制在于对过去观察的反应而不是积极预期未来事件的无处不在的趋势。这导致频繁的时间滞后和有限的预测突发事件的能力。为了解决这一挑战，我们介绍了Eclipse，一种时空神经网络架构，即模型从天空图像模拟云运动，不仅预测未来的辐照水平，而且还可以在本地辐照度图上提供更丰富的信息。我们表明Eclipse预期关键事件，并在产生视觉上现实期货的同时降低时间延误。

Automotive radar sensors provide valuable information for advanced driving assistance systems (ADAS). Radars can reliably estimate the distance to an object and the relative velocity, regardless of weather and light conditions. However, radar sensors suffer from low resolution and huge intra-class variations in the shape of objects. Exploiting the time information (e.g., multiple frames) has been shown to help to capture better the dynamics of objects and, therefore, the variation in the shape of objects. Most temporal radar object detectors use 3D convolutions to learn spatial and temporal information. However, these methods are often non-causal and unsuitable for real-time applications. This work presents RECORD, a new recurrent CNN architecture for online radar object detection. We propose an end-to-end trainable architecture mixing convolutions and ConvLSTMs to learn spatio-temporal dependencies between successive frames. Our model is causal and requires only the past information encoded in the memory of the ConvLSTMs to detect objects. Our experiments show such a method's relevance for detecting objects in different radar representations (range-Doppler, range-angle) and outperform state-of-the-art models on the ROD2021 and CARRADA datasets while being less computationally expensive. The code will be available soon.