Recent advances in artificial intelligence (AI) have significantly intensified research in the geoscience and remote sensing (RS) field. AI algorithms, especially deep learning-based ones, have been developed and applied widely to RS data analysis. The successful application of AI covers almost all aspects of Earth observation (EO) missions, from low-level vision tasks like super-resolution, denoising, and inpainting, to high-level vision tasks like scene classification, object detection, and semantic segmentation. While AI techniques enable researchers to observe and understand the Earth more accurately, the vulnerability and uncertainty of AI models deserve further attention, considering that many geoscience and RS tasks are highly safety-critical. This paper reviews the current development of AI security in the geoscience and RS field, covering the following five important aspects: adversarial attack, backdoor attack, federated learning, uncertainty, and explainability. Moreover, the potential opportunities and trends are discussed to provide insights for future research. To the best of the authors' knowledge, this paper is the first attempt to provide a systematic review of AI security-related research in the geoscience and RS community. Available code and datasets are also listed in the paper to move this vibrant field of research forward.

这里介绍了人工智能研究所（IARAI）组织的2022年Landslide4sense（L4S）竞赛的科学结果。竞争的目的是根据全球收集的卫星图像的大规模多个来源自动检测滑坡。 2022 L4S旨在促进有关使用卫星图像的语义分割任务的深度学习模型（DL）模型最新发展的跨学科研究。在过去的几年中，由于卷积神经网络（CNN）的发展，基于DL的模型已经达到了对图像解释的期望。本文的主要目的是介绍本次比赛中介绍的细节和表现最佳的算法。获胜的解决方案详细介绍了Swin Transformer，Segformer和U-NET等最先进的模型。还考虑了先进的机器学习技术和诸如硬采矿，自我培训和混合数据增强之类的策略。此外，我们描述了L4S基准数据集，以促进进一步的比较，并在线报告准确性评估的结果。可以在\ textIt {未来开发排行榜上访问数据，以供将来评估，\ url {https://www.iarai.ac.ac.at/landslide4sense/challenge/}，并邀请研究人员提交更多预测结果，评估准确性在他们的方法中，将它们与其他用户的方法进行比较，理想情况下，改善了本文报告的滑坡检测结果。

基于文本描述的高分辨率遥感图像的合成在许多实际应用方案中具有巨大的潜力。尽管深度神经网络在许多重要的遥感任务中取得了巨大的成功，但是从文本描述中生成现实的遥感图像仍然非常困难。为了应对这一挑战，我们提出了一个新颖的文本形象现代霍普菲尔德网络（TXT2IMG-MHN）。 TXT2IMG-MHN的主要思想是在具有现代Hopfield层的文本和图像嵌入方式上进行层次原型学习。 TXT2IMG-MHN并没有直接学习具体但高度多样化的文本图像联合特征表示，而是旨在从文本图像嵌入中学习最具代表性的原型，从而实现一种粗略的学习策略。然后可以利用这些学到的原型来代表文本到图像生成任务中更复杂的语义。为了更好地评估生成图像的现实主义和语义一致性，我们使用对合成图像训练的分类模型对真实遥感数据进行零击分类。尽管它很简单，但我们发现，零弹性分类的总体准确性可以作为评估从文本生成图像的能力的良好指标。基准遥感文本图像数据集上的广泛实验表明，所提出的TXT2IMG-MHN比现有方法可以生成更现实的遥感图像。代码和预培训模型可在线获得（https://github.com/yonghaoxu/txt2img-mhn）。

这项研究介绍了\ textit {landslide4sense}，这是一种从遥感中检测到滑坡检测的参考基准。该存储库具有3,799个图像贴片，可从Sentinel-2传感器中融合光学层，并带有数字高程模型和来自ALOS Palsar的斜率层。附加的地形信息促进了对滑坡边界的准确检测，而最近的研究表明，仅使用光学数据，这是具有挑战性的。广泛的数据集支持在滑坡检测中进行深度学习（DL）研究，以及用于系统更新滑坡库存的方法的开发和验证。基准数据集已在四个不同的时间和地理位置收集：伊伯里（2018年9月），科达古（2018年8月），戈尔卡（2015年4月）和台湾（2009年8月）。每个图像像素均标记为属于滑坡，包括各种来源和彻底的手动注释。然后，我们评估11个最先进的DL分割模型的滑坡检测性能：U-NET，RESU-NET，PSPNET，CONTECTNET，DEEPLAB-V2，DEEPLAB-V3+，FCN-8，LINKNET，FRRRN-A，FRRN-A，， FRRN-B和SQNET。所有型号均已从划痕上对每个研究区域的四分之一的补丁进行培训，并在其他三个季度的独立贴片上进行了测试。我们的实验表明，Resu-NET的表现优于其他模型，用于滑坡检测任务。我们在\ url {www.landslide4sense.org}公开获得多种源滑坡基准数据（Landslide4sense）和经过测试的DL模型，为遥感，计算机视觉和机器学习社区建立了重要的资源通常，尤其是对滑坡检测的应用。

深度神经网络在许多重要的遥感任务中取得了巨大的成功。然而，不应忽略它们对对抗性例子的脆弱性。在这项研究中，我们第一次系统地在遥感数据中系统地分析了普遍的对抗示例，而没有受害者模型的任何知识。具体而言，我们提出了一种新型的黑盒对抗攻击方法，即混合攻击及其简单的变体混合尺寸攻击，用于遥感数据。提出方法的关键思想是通过攻击给定替代模型的浅层层中的特征来找到不同网络之间的共同漏洞。尽管它们很简单，但提出的方法仍可以生成可转移的对抗性示例，这些示例欺骗了场景分类和语义分割任务的大多数最新深层神经网络，并具有很高的成功率。我们进一步在名为AUAE-RS的数据集中提供了生成的通用对抗示例，该数据集是第一个在遥感字段中提供黑色框对面样本的数据集。我们希望阿联酋可以用作基准，以帮助研究人员设计具有对遥感领域对抗攻击的强烈抵抗力的深神经网络。代码和阿联酋-RS数据集可在线获得（https://github.com/yonghaoxu/uae-rs）。

深度学习算法在非常高分辨率（VHR）图像的语义分割方面取得了巨大成功。然而，培训这些模型通常需要大量准确的像素注释，这非常费力且耗时。为了减轻注释负担，本文提出了一个一致性调节的区域生长网络（CRGNET），以实现具有点级注释的VHR图像的语义分割。 CRGNET的关键思想是迭代选择未标记的像素，具有很高的信心，可以从原始稀疏点扩展带注释的区域。但是，由于扩展的注释中可能存在一些错误和噪音，因此直接向它们学习可能会误导网络的培训。为此，我们进一步提出了一致性正则化策略，在该策略中，基本分类器和扩展的分类器被采用。具体而言，基本分类器受原始稀疏注释的监督，而扩展的分类器的目的是从基本分类器生成的扩展注释中学习具有区域生长机制。因此，通过最大程度地减少基础和扩展分类器的预测之间的差异来实现一致性正则化。我们发现如此简单的正则化策略对于控制区域生长机制的质量非常有用。在两个基准数据集上进行的广泛实验表明，所提出的CRGNET显着优于现有的最新方法。代码和预培训模型可在线获得（https://github.com/yonghaoxu/crgnet）。

ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得

深度神经网络（DNN）极大地促进了语义分割中的性能增益。然而，训练DNN通常需要大量的像素级标记数据，这在实践中收集昂贵且耗时。为了减轻注释负担，本文提出了一种自组装的生成对抗网络（SE-GAN）利用语义分割的跨域数据。在SE-GaN中，教师网络和学生网络构成用于生成语义分割图的自组装模型，与鉴别器一起形成GaN。尽管它很简单，我们发现SE-GaN可以显着提高对抗性训练的性能，提高模型的稳定性，这是由大多数普遍培训的方法共享的常见障碍。我们理论上分析SE-GaN并提供$ \ Mathcal o（1 / \ sqrt {n}）$泛化绑定（$ n $是培训样本大小），这表明控制了鉴别者的假设复杂性，以提高概括性。因此，我们选择一个简单的网络作为鉴别器。两个标准设置中的广泛和系统实验表明，该方法显着优于最新的最先进的方法。我们模型的源代码即将推出。

最近的研究表明，在高光谱图像（HSI）分类任务中，深度学习算法的巨大潜力。然而，培训这些模型通常需要大量标记的数据。由于针对HSI的像素级注释的收集是费力且耗时的，因此开发算法可以在小样本量的情况下产生良好的性能。在这项研究中，我们提出了一个强大的自我缩放网络（RSEN）来解决这个问题。拟议的RSEN由两个子网组成，包括基本网络和一个集合网络。鉴于标记数据的监督损失以及未经标记的数据的无监督损失，基本网络和整体网络都可以相互学习，从而实现自我启动的机制。据我们所知，提出的方法是首次尝试将自我汇总技术引入HSI分类任务，该任务提供了有关如何利用HSI中未标记数据来协助网络培训的不同观点。我们进一步提出了一种新型的一致性滤波器，以增加自我同步学习的鲁棒性。在三个基准HSI数据集上进行的广泛实验表明，与最新方法相比，所提出的算法可以产生竞争性能。代码可在线获得（\ url {https://github.com/yonghaoxu/rsen}）。

Surgical robot automation has attracted increasing research interest over the past decade, expecting its huge potential to benefit surgeons, nurses and patients. Recently, the learning paradigm of embodied AI has demonstrated promising ability to learn good control policies for various complex tasks, where embodied AI simulators play an essential role to facilitate relevant researchers. However, existing open-sourced simulators for surgical robot are still not sufficiently supporting human interactions through physical input devices, which further limits effective investigations on how human demonstrations would affect policy learning. In this paper, we study human-in-the-loop embodied intelligence with a new interactive simulation platform for surgical robot learning. Specifically, we establish our platform based on our previously released SurRoL simulator with several new features co-developed to allow high-quality human interaction via an input device. With these, we further propose to collect human demonstrations and imitate the action patterns to achieve more effective policy learning. We showcase the improvement of our simulation environment with the designed new features and tasks, and validate state-of-the-art reinforcement learning algorithms using the interactive environment. Promising results are obtained, with which we hope to pave the way for future research on surgical embodied intelligence. Our platform is released and will be continuously updated in the website: https://med-air.github.io/SurRoL/