This paper presents a solution to the Weather4cast 2022 Challenge Stage 2. The goal of the challenge is to forecast future high-resolution rainfall events obtained from ground radar using low-resolution multiband satellite images. We suggest a solution that performs data preprocessing appropriate to the challenge and then predicts rainfall movies using a novel RainUNet. RainUNet is a hierarchical U-shaped network with temporal-wise separable block (TS block) using a decoupled large kernel 3D convolution to improve the prediction performance. Various evaluation metrics show that our solution is effective compared to the baseline method. The source codes are available at https://github.com/jinyxp/Weather4cast-2022

从单个图像中创建新颖的视野已通过高级自回归模型取得了长足的进步。尽管最近的方法产生了高质量的新颖观点，但仅使用一个显式或隐式3D几何形状合成在两个目标之间取消了我们称``seeSaw''问题的权衡：1）保留重新注射的内容和2）完成现实的外部 - 视图区域。此外，自回归模型需要相当大的计算成本。在本文中，我们提出了一个单位图视图合成框架，以减轻SEESAW问题。提出的模型是具有隐式和显式渲染器的有效非自动入学模型。由特征的动机，即明确的方法可以很好地保留重新注射的像素和隐式方法完整的现实视图外区域，我们引入了损失函数以补充两个渲染器。我们的损失功能促进了明确的功能改善隐性功能的重新注射区域，而隐式功能改善了显式特征的视角领域。借助提出的架构和损失功能，我们可以减轻SEESAW问题，超过基于自动回归的最先进方法，并生成图像$ \ $ \ $ 100倍。我们通过对RealEstate10K和Acid数据集的实验来验证方法的效率和有效性。

相机陷阱，无人观察设备和基于深度学习的图像识别系统在收集和分析野生动植物图像方​​面的努力大大减少了。但是，通过上述设备收集的数据表现出1）长尾巴和2）开放式分布问题。为了解决开放设定的长尾识别问题，我们提出了包括三个关键构件的时间流面膜注意网络：1）光流模块，2）注意残留模块，3）一个元物质分类器。我们使用光流模块提取顺序帧的时间特征，并使用注意残留块学习信息表示。此外，我们表明，应用元装置技术可以在开放式长尾识别中提高该方法的性能。我们将此方法应用于韩国非军事区（DMZ）数据集。我们进行了广泛的实验以及定量和定性分析，以证明我们的方法有效地解决了开放式的长尾识别问题，同时对未知类别进行了强大的态度。

在多模式的行动识别中，重要的是，不仅要考虑不同方式的互补性，而且考虑全球动作内容。在本文中，我们提出了一个名为Modital Mixer（M-Mixer）网络的新颖网络，以利用跨模态和动作的时间上下文的互补信息进行多模式动作识别。我们还引入了一个简单而有效的复发单元，称为多模式上下文化单元（MCU），该单元（MCU）是M-Mixer的核心组成部分。我们的MCU在时间上编码具有其他模态的动作内容特征（例如Depth，ir）的动作内容特征。该过程鼓励M-Mixer利用全球行动内容，并补充其他模式的互补信息。结果，我们提出的方法优于NTU RGB+D 60，NTU RGB+D 120和NW-UCLA数据集的最先进方法。此外，我们通过进行全面的消融研究来证明M混合物的有效性。

暂时视频接地（TVG）旨在根据自然语言查询将时间段定位在未修饰的视频中。在这项工作中，我们提出了一个名为TVG探索和匹配的新范式，该范式无缝地统一了两种TVG方法：无提案和基于提案的方法；前者探索了直接查找细分市场的搜索空间，后者将预定义的提案与地面真相相匹配。为了实现这一目标，我们将TVG视为一个设定的预测问题，并设计了可端到端的可训练的语言视频变压器（LVTR），该视频变压器（LVTR）利用了丰富的上下文化和平行解码的建筑优势来设置预测。总体培训时间表与两次扮演不同角色的关键损失，即时间定位损失和设定指导损失的平衡。这两个损失允许每个建议可以回归目标细分并确定目标查询。更具体地说，LVTR首先探索搜索空间以使初始建议多样化，然后将建议与相应的目标匹配，以细粒度的方式对齐它们。探索和匹配方案成功地结合了两种互补方法的优势，而无需将先验知识（例如，非最大抑制）编码到TVG管道中。结果，LVTR在两个TVG基准（ActivityCaptions and Charades-sta）上设定了新的最新结果，其推理速度是两倍。代码可在https://github.com/sangminwoo/explore-and-match上找到。

基于CNN的面部识别模型带来了显着的性能改善，但它们容易受到对抗的扰动。最近的研究表明，即使只能访问模型的硬盘标签输出，对手也可以欺骗模型。然而，由于需要许多查询来寻找不可察觉的对抗性噪声，因此减少查询的数量对于这些攻击至关重要。在本文中，我们指出了现有的基于决策黑匣子攻击的两个限制。我们观察到它们浪费查询以进行背景噪声优化，并且他们不利用为其他图像产生的对抗扰动。我们利用3D面部对齐以克服这些限制，并提出了一种关于对地形识别的查询有效的黑匣子攻击的一般策略，名为几何自适应词典攻击（GADA）。我们的核心思想是在UV纹理地图中创造一个对抗扰动，并将其投影到图像中的脸上。通过将扰动搜索空间限制到面部区域并有效地回收之前的扰动来大大提高查询效率。我们将GADA策略应用于两个现有的攻击方法，并在LFW和CPLFW数据集的实验中显示出压倒性的性能改进。此外，我们还提出了一种新的攻击策略，可以规避基于类似性的有状态检测，该检测标识了基于查询的黑盒攻击过程。

光度一致性损失是常用于自我监督单眼深度估计的代表性目标函数之一。然而，由于引导不正确，这种损失往往导致Textureless或遮挡区域中的不稳定深度预测。最近的自我监督学习方法通过利用从自动编码器明确学习的特征表示来解决这个问题，期望比输入图像更好的差异性。尽管使用自动编码的功能，但我们观察到该方法不会将功能嵌入为判别作为自动编码的功能。在本文中，我们提出了剩余的引导损耗，使得深度估计网络能够通过传输自动编码特征的可辨性来嵌入辨别特征。我们对基蒂基准进行了实验，并验证了我们对其他最先进的方法的方法的优势和正交性。

虽然深度神经网络在各种任务中表现出前所未有的性能，但对对抗性示例的脆弱性阻碍了他们在安全关键系统中的部署。许多研究表明，即使在黑盒设置中也可能攻击，其中攻击者无法访问目标模型的内部信息。大多数黑匣子攻击基于查询，每个都可以获得目标模型的输入输出，并且许多研究侧重于减少所需查询的数量。在本文中，我们注意了目标模型的输出完全对应于查询输入的隐含假设。如果将某些随机性引入模型中，它可以打破假设，因此，基于查询的攻击可能在梯度估计和本地搜索中具有巨大的困难，这是其攻击过程的核心。从这种动机来看，我们甚至观察到一个小的添加剂输入噪声可以中和大多数基于查询的攻击和名称这个简单但有效的方法小噪声防御（SND）。我们分析了SND如何防御基于查询的黑匣子攻击，并展示其与CIFAR-10和ImageNet数据集的八种最先进的攻击有效性。即使具有强大的防御能力，SND几乎保持了原始的分类准确性和计算速度。通过在推断下仅添加一行代码，SND很容易适用于预先训练的模型。

The 3D-aware image synthesis focuses on conserving spatial consistency besides generating high-resolution images with fine details. Recently, Neural Radiance Field (NeRF) has been introduced for synthesizing novel views with low computational cost and superior performance. While several works investigate a generative NeRF and show remarkable achievement, they cannot handle conditional and continuous feature manipulation in the generation procedure. In this work, we introduce a novel model, called Class-Continuous Conditional Generative NeRF ($\text{C}^{3}$G-NeRF), which can synthesize conditionally manipulated photorealistic 3D-consistent images by projecting conditional features to the generator and the discriminator. The proposed $\text{C}^{3}$G-NeRF is evaluated with three image datasets, AFHQ, CelebA, and Cars. As a result, our model shows strong 3D-consistency with fine details and smooth interpolation in conditional feature manipulation. For instance, $\text{C}^{3}$G-NeRF exhibits a Fr\'echet Inception Distance (FID) of 7.64 in 3D-aware face image synthesis with a $\text{128}^{2}$ resolution. Additionally, we provide FIDs of generated 3D-aware images of each class of the datasets as it is possible to synthesize class-conditional images with $\text{C}^{3}$G-NeRF.

In both terrestrial and marine ecology, physical tagging is a frequently used method to study population dynamics and behavior. However, such tagging techniques are increasingly being replaced by individual re-identification using image analysis. This paper introduces a contrastive learning-based model for identifying individuals. The model uses the first parts of the Inception v3 network, supported by a projection head, and we use contrastive learning to find similar or dissimilar image pairs from a collection of uniform photographs. We apply this technique for corkwing wrasse, Symphodus melops, an ecologically and commercially important fish species. Photos are taken during repeated catches of the same individuals from a wild population, where the intervals between individual sightings might range from a few days to several years. Our model achieves a one-shot accuracy of 0.35, a 5-shot accuracy of 0.56, and a 100-shot accuracy of 0.88, on our dataset.