Research has shown that climate change creates warmer temperatures and drier conditions, leading to longer wildfire seasons and increased wildfire risks in the United States. These factors have in turn led to increases in the frequency, extent, and severity of wildfires in recent years. Given the danger posed by wildland fires to people, property, wildlife, and the environment, there is an urgency to provide tools for effective wildfire management. Early detection of wildfires is essential to minimizing potentially catastrophic destruction. In this paper, we present our work on integrating multiple data sources in SmokeyNet, a deep learning model using spatio-temporal information to detect smoke from wildland fires. Camera image data is integrated with weather sensor measurements and processed by SmokeyNet to create a multimodal wildland fire smoke detection system. We present our results comparing performance in terms of both accuracy and time-to-detection for multimodal data vs. a single data source. With a time-to-detection of only a few minutes, SmokeyNet can serve as an automated early notification system, providing a useful tool in the fight against destructive wildfires.

近年来，美国西部野蛮火灾的大小和频率显着增加。在高火灾日，小火点火可以迅速增长并失控。早期检测初始烟雾的火点火可以帮助响应在难以管理之前对这种火灾进行响应。过去的野火烟雾检测的深入学习方法遭受了小型或不可靠的数据集，使得难以将性能推断为现实世界的情景。在这项工作中，我们展示了火点火图书馆（Figlib），这是一个近25,000个标记的野火烟雾图像的公共数据集，从南加州部署的固定视图相机看。我们还介绍了Smokeynet，一种新的深度学习架构，使用相机图像的时空信息，用于实时野火烟雾检测。在迪拉布数据集上培训时，SmokeyNet优于相当的基线和竞争对手的人类性能。我们希望Figlib数据集和Smokynet架构的可用性将激励进一步研究野火烟雾检测的深度学习方法，导致自动化通知系统，减少野火响应的时间。

作物疾病显着影响农业生产的数量和质量。在精确农业的目标是最大程度地减少甚至避免使用农药的目的，具有深度学习的天气和遥感数据可以在检测作物疾病中发挥关键作用，从而允许对农作物的局部治疗。但是，将天气和图像等异质数据结合在一起仍然是一个热门话题和具有挑战性的任务。变压器体系结构的最新发展显示了从不同领域（例如文本图像）融合数据的可能性。当前的趋势是仅定制一个变压器来创建多模式融合模型。相反，我们提出了一种使用三个变压器实现数据融合的新方法。在本文中，我们首先通过使用ConvlstM模型来插值来解决缺失的卫星图像问题。然后，提出了一种多模式融合体系结构，该体系结构共同学习处理视觉和天气信息。该体系结构是由三个主要组件，一个视觉变压器和两个变压器编码器构建的，可以融合图像和天气方式。所提出的方法的结果有望达到97 \％的总体准确性。

执法和城市安全受到监视系统中的暴力事件的严重影响。尽管现代（智能）相机广泛可用且负担得起，但在大多数情况下，这种技术解决方案无能为力。此外，监测CCTV记录的人员经常显示出迟来的反应，从而导致对人和财产的灾难。因此，对迅速行动的暴力自动检测至关重要。拟议的解决方案使用了一种新颖的端到端深度学习视频视觉变压器（Vivit），可以在视频序列中熟练地辨别战斗，敌对运动和暴力事件。该研究提出了利用数据增强策略来克服较弱的电感偏见的缺点，同时在较小的培训数据集中训练视觉变压器。评估的结果随后可以发送给当地有关当局，可以分析捕获的视频。与最先进的（SOTA）相比，所提出的方法在某些具有挑战性的基准数据集上实现了吉祥的性能。

道路建设项目维护运输基础设施。这些项目的范围从短期（例如，重新铺面或固定坑洼）到长期（例如，添加肩膀或建造桥梁）。传统上，确定下一个建设项目是什么以及安排什么何时进行安排，这是通过人类使用特殊设备的检查来完成的。这种方法是昂贵且难以扩展的。另一种选择是使用计算方法来整合和分析多种过去和现在的时空数据以预测未来道路构建的位置和时间。本文报告了这种方法，该方法使用基于深神经网络的模型来预测未来的结构。我们的模型在由构造，天气，地图和道路网络数据组成的异质数据集上应用卷积和经常性组件。我们还报告了如何通过构建一个名为“美国建设”的大型数据集来解决我们如何解决足够的公开数据，其中包括620万个道路构造案例，并通过各种时空属性和路线网络功能增强，收集了。在2016年至2021年之间的连续美国（美国）中。使用对美国几个主要城市进行广泛的实验，我们显示了工作在准确预测未来建筑时的适用性 - 平均F1得分为0.85，准确性为82.2％ - 这是52.2％ - 胜过基线。此外，我们展示了我们的培训管道如何解决数据的空间稀疏性。

野火预测对于减少灾害风险和环境可持续性至关重要。我们将每日火灾危险预测作为机器学习任务，使用过去十年来预测下一天的火灾危险。为此，我们收集，预先处理和协调开放式DataCube，其中包括一组协变量，共同影响火灾发生和传播，例如天气条件，卫星衍生的产品，与人类活动相关的地形特征和变量。我们实施各种深度学习（DL）模型，以捕获空间，时间或时空上下文，并将它们与随机林（RF）基线进行比较。我们发现空间或时间上下文足以超越RF，而利用时空上下文的Convlstm在接收器的操作特性为0.926的接收器下的测试区域最佳地执行。我们基于DL的概念证明提供了全国范围的日常火灾危险地图，其空间分辨率高于现有的运营解决方案。

无意识和自发的，微小表达在一个人的真实情绪的推动中是有用的，即使尝试隐藏它们。由于它们短的持续时间和低强度，对微表达的识别是情感计算中的艰巨任务。基于手工制作的时空特征的早期工作最近被不同的深度学习方法取代了现在竞争最先进的性能。然而，捕获本地和全球时空模式的问题仍然挑战。为此，本文我们提出了一种新颖的时空变压器架构 - 据我们所知，是微表达识别的第一种纯粹变压器的方法（即任何卷积网络使用的方法）。该架构包括用于学习空间模式的空间编码器，用于时间维度分析的时间聚合器和分类头。三种广泛使用的自发性微表达数据集，即Smic-HS，Casme II和SAMM的综合评估表明，该方法始终如一地优于现有技术，是发表在微表达上发表文献中的第一个框架在任何上述数据集上识别以实现未加权的F1分数大于0.9。

本文描述了一个新颖的机器学习（ML）框架，用于热带气旋强度和轨道预测，结合了多种ML技术并利用了多种数据源。我们的多模式框架（称为Hurricast）有效地结合了时空数据和统计数据，通过提取具有深度学习的编码器编码器体系结构的特征，并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测，评估我们的模型，并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外，将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测，从而通过现有方法突出显示互补物业。总而言之，我们的工作表明，利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

Climate change is expected to intensify and increase extreme events in the weather cycle. Since this has a significant impact on various sectors of our life, recent works are concerned with identifying and predicting such extreme events from Earth observations. This paper proposes a 2D/3D two-branch convolutional neural network (CNN) for wildfire danger forecasting. To use a unified framework, previous approaches duplicate static variables along the time dimension and neglect the intrinsic differences between static and dynamic variables. Furthermore, most existing multi-branch architectures lose the interconnections between the branches during the feature learning stage. To address these issues, we propose a two-branch architecture with a Location-aware Adaptive Denormalization layer (LOADE). Using LOADE as a building block, we can modulate the dynamic features conditional on their geographical location. Thus, our approach considers feature properties as a unified yet compound 2D/3D model. Besides, we propose using an absolute temporal encoding for time-related forecasting problems. Our experimental results show a better performance of our approach than other baselines on the challenging FireCube dataset.

自然灾害（例如飓风）之后，数以百万计的需要紧急援助。为了最佳地分配资源，人类规划人员需要准确分析可以从多个来源流动的数据。这激发了多模式机器学习框架的开发，这些框架可以集成多个数据源并有效利用它们。迄今为止，研究界主要集中于单峰推理，以提供损害的细粒度评估。此外，以前的研究主要依赖于灾后图像，这可能需要几天才能可用。在这项工作中，我们提出了一个多模式框架（GALENET），用于通过与天气数据和飓风的轨迹补充污水架图像来评估损害的严重程度。通过对两次飓风的数据进行的广泛实验，我们证明了（i）与单峰方法相比，多模式方法的优点，以及（ii）Galenet在融合各种模态下的有效性。此外，我们表明，在没有后架图像的情况下，Galenet可以利用前碟片前的图像，从而阻止决策的大幅度延迟。

降雨事件的遥感对于运营和科学需求至关重要，包括天气预报，极端洪水，水循环监测等。降水量的降水量。然而，这种雷达的观察范围仅限于几百公里，促使对其他遥感方法的探索，在开阔的海洋上，这代表了不被陆基雷达覆盖的大面积。几十年来，众所周知，诸如Sentinel-1图像之类的C波段SAR图像在海面上表现出降雨签名。但是，SAR来源的降雨产品的开发仍然是一个挑战。在这里，我们提出了一种深度学习方法，以从SAR图像中提取降雨信息。我们证明，在接触和预处理的Sentinel-1/Nexrad数据集中训练的卷积神经网络，例如U-NET，显然优于最先进的过滤方案。我们的结果表明，在分割降水状态下的性能高，由1、3和10 mm/h的阈值描绘。与当前依靠Koch过滤器绘制二进制降雨图的方法相比，这些基于多阈值的模型可以为更高的风速提供降雨估计，因此对于数据同化天气预测或提高SAR的资格可能引起了极大的兴趣 - 衍生的风场数据。

太阳能现在是历史上最便宜的电力形式。不幸的是，由于其变异性，显着提高栅格的太阳能的一部分仍然具有挑战性，这使得电力的供需平衡更加困难。虽然热发电机坡度 - 它们可以改变输出的最高速率 - 是有限的，太阳能的坡度基本上是无限的。因此，准确的近期太阳能预测或垂圈，对于提供预警来调整热发电机输出，以响应于太阳能变化来调整热发电机，以确保平衡供需。为了解决问题，本文开发了使用自我监督学习的丰富和易于使用的多光谱卫星数据的太阳能垂圈的一般模型。具体而言，我们使用卷积神经网络（CNN）和长短期内存网络（LSTM）开发深度自动回归模型，这些模型在多个位置训练全球培训，以预测最近推出的最近收集的时空数据的未来观察-R系列卫星。我们的模型估计了基于卫星观测的未来的太阳辐照度，我们向较小的场地特定的太阳能数据培训的回归模型提供，以提供近期太阳能光伏（PV）预测，其考虑了现场特征的特征。我们评估了我们在25个太阳能场所的不同覆盖区域和预测视野的方法，并表明我们的方法利用地面真理观察结果产生靠近模型的错误。

准确地估算主要山区盆地中的积雪对于水资源经理来说至关重要，以便做出影响当地和全球经济，野生动植物和公共政策的决策。目前，此估计需要多个配备LIDAR的飞机飞行或原位测量值，两者均昂贵，稀疏和对可访问区域有偏见。在本文中，我们证明了来自多个，公开可用的卫星和天气数据源的空间和时间信息的融合，可以估算关键山区的积雪。我们的多源模型的表现优于单源估计值5.0英寸RMSE，并且优于稀疏的原位测量值的估计值1.2英寸RMSE。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

We present Multiscale Vision Transformers (MViT) for video and image recognition, by connecting the seminal idea of multiscale feature hierarchies with transformer models. Multiscale Transformers have several channel-resolution scale stages. Starting from the input resolution and a small channel dimension, the stages hierarchically expand the channel capacity while reducing the spatial resolution. This creates a multiscale pyramid of features with early layers operating at high spatial resolution to model simple low-level visual information, and deeper layers at spatially coarse, but complex, high-dimensional features. We evaluate this fundamental architectural prior for modeling the dense nature of visual signals for a variety of video recognition tasks where it outperforms concurrent vision transformers that rely on large scale external pre-training and are 5-10× more costly in computation and parameters. We further remove the temporal dimension and apply our model for image classification where it outperforms prior work on vision transformers. Code is available at: https: //github.com/facebookresearch/SlowFast.

In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

由于独特的驾驶特征，人类驾驶员具有独特的驾驶技术，知识和情感。驾驶员嗜睡一直是一个严重的问题，危害道路安全。因此，必须设计有效的嗜睡检测算法以绕过道路事故。杂项研究工作已经解决了检测异常的人类驾驶员行为的问题，以通过计算机视觉技术检查驾驶员和汽车动力学的正面面孔。尽管如此，常规方法仍无法捕获复杂的驾驶员行为特征。但是，以深度学习体系结构的起源，还进行了大量研究，以分析和识别使用神经网络算法的驾驶员的嗜睡。本文介绍了一个基于视觉变形金刚和Yolov5架构的新颖框架，以实现驾驶员嗜睡的识别。提出了定制的Yolov5预训练的结构，以提取面部提取，目的是提取感兴趣的区域（ROI）。由于以前的体系结构的局限性，本文引入了视觉变压器进行二进制图像分类，该二进制图像分类在公共数据集UTA-RLDD上经过训练和验证。该模型分别达到了96.2 \％和97.4 \％的培训和验证精度。为了进行进一步的评估，在各种光明情况下的39名参与者的自定义数据集上测试了拟议的框架，并获得了95.5 \％的准确性。进行的实验揭示了我们在智能运输系统中实用应用框架的重要潜力。

野火越来越多地影响环境，人类健康和安全。在加利福尼亚前20名野火中，2020 - 2021年的野火比上世纪的燃烧更大。加利福尼亚的2018年野火季节造成了1485亿美元的损失。在数百万受影响的人中，由于不足的警报手段，残疾人（约占世界人口的15％）受到不成比例的影响。在该项目中，基于先进的机器学习体系结构开发了多模式野火预测和个性化预警系统。从2012年到2018年的环境保护局和历史野火数据的传感器数据已编译，以建立一个全面的野火数据库，即同类最大的数据库。接下来，设计了一种新型的U-Convolutional-LSTM（长短期记忆）神经网络，设计了一种特殊的体系结构，可从连续的环境参数中提取关键的空间和时间特征，以指示即将来临的野火。环境和气象因素被纳入数据库，并分类为主要指标和落后指标，分别与野火构想和传播的风险相关。此外，地质数据还用于提供更好的野火风险评估。这种新颖的时空神经网络使用传统的卷积神经网络实现了> 97％的精度，而左右的卷积神经网络则达到了约76％，成功地预测了2018年2018年最具破坏性的野火，提前5-14天提前5-14天。最后，提出了一种个性化的预警系统，该警告系统针对有感觉障碍或呼吸系统加剧条件的人量身定制。该技术将使消防部门在袭击之前预测和防止野火，并为处于危险中的个人提供早期警告以更好地准备，从而挽救生命并减少经济损失。