视觉接地是一项旨在根据自然语言表达方式定位目标对象的任务。作为一项多模式任务，文本和视觉输入之间的特征相互作用至关重要。但是，先前的解决方案主要在将它们融合在一起之前独立处理每种模式，在提取视觉功能时，这并不能充分利用相关的文本信息。为了更好地利用视觉接地中的文本视觉关系，我们提出了一个查询条件的卷积模块（QCM），该模块（QCM）通过将查询信息纳入卷积内核的产生中来提取查询感知的视觉特征。借助我们提出的QCM，下游融合模块接收到更具歧视性的视觉特征，并专注于表达式中描述的所需对象，从而导致更准确的预测。在三个流行的视觉接地数据集上进行的广泛实验表明，我们的方法可以达到最新的性能。此外，当直接用于预测而无需进一步的多模式融合时，查询感知的视觉特征足以实现与最新方法可比的性能。

Contrastive language-image pretraining (CLIP) links vision and language modalities into a unified embedding space, yielding the tremendous potential for vision-language (VL) tasks. While early concurrent works have begun to study this potential on a subset of tasks, important questions remain: 1) What is the benefit of CLIP on unstudied VL tasks? 2) Does CLIP provide benefit in low-shot or domain-shifted scenarios? 3) Can CLIP improve existing approaches without impacting inference or pretraining complexity? In this work, we seek to answer these questions through two key contributions. First, we introduce an evaluation protocol that includes Visual Commonsense Reasoning (VCR), Visual Entailment (SNLI-VE), and Visual Question Answering (VQA), across a variety of data availability constraints and conditions of domain shift. Second, we propose an approach, named CLIP Targeted Distillation (CLIP-TD), to intelligently distill knowledge from CLIP into existing architectures using a dynamically weighted objective applied to adaptively selected tokens per instance. Experiments demonstrate that our proposed CLIP-TD leads to exceptional gains in the low-shot (up to 51.9%) and domain-shifted (up to 71.3%) conditions of VCR, while simultaneously improving performance under standard fully-supervised conditions (up to 2%), achieving state-of-art performance on VCR compared to other single models that are pretrained with image-text data only. On SNLI-VE, CLIP-TD produces significant gains in low-shot conditions (up to 6.6%) as well as fully supervised (up to 3%). On VQA, CLIP-TD provides improvement in low-shot (up to 9%), and in fully-supervised (up to 1.3%). Finally, CLIP-TD outperforms concurrent works utilizing CLIP for finetuning, as well as baseline naive distillation approaches. Code will be made available.

自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。

灵巧的操纵仍然是机器人技术中的一个空缺问题。为了协调研究界为解决这个问题的努力，我们提出了共同的基准。我们设计和构建了机器人平台，该平台托管在MPI上供智能系统托管，可以远程访问。每个平台由三个能够敏捷物体操纵的机器人手指组成。用户能够通过提交自动执行的代码（类似于计算群集）来远程控制平台。使用此设置，i）我们举办机器人竞赛，来自世界任何地方的团队访问我们的平台以应对具有挑战性的任务ii）我们发布了在这些比赛中收集的数据集（包括数百个机器人小时），而我们为研究人员提供了访问自己项目的这些平台。

Crop type maps are critical for tracking agricultural land use and estimating crop production. Remote sensing has proven an efficient and reliable tool for creating these maps in regions with abundant ground labels for model training, yet these labels remain difficult to obtain in many regions and years. NASA's Global Ecosystem Dynamics Investigation (GEDI) spaceborne lidar instrument, originally designed for forest monitoring, has shown promise for distinguishing tall and short crops. In the current study, we leverage GEDI to develop wall-to-wall maps of short vs tall crops on a global scale at 10 m resolution for 2019-2021. Specifically, we show that (1) GEDI returns can reliably be classified into tall and short crops after removing shots with extreme view angles or topographic slope, (2) the frequency of tall crops over time can be used to identify months when tall crops are at their peak height, and (3) GEDI shots in these months can then be used to train random forest models that use Sentinel-2 time series to accurately predict short vs. tall crops. Independent reference data from around the world are then used to evaluate these GEDI-S2 maps. We find that GEDI-S2 performed nearly as well as models trained on thousands of local reference training points, with accuracies of at least 87% and often above 90% throughout the Americas, Europe, and East Asia. Systematic underestimation of tall crop area was observed in regions where crops frequently exhibit low biomass, namely Africa and South Asia, and further work is needed in these systems. Although the GEDI-S2 approach only differentiates tall from short crops, in many landscapes this distinction goes a long way toward mapping the main individual crop types. The combination of GEDI and Sentinel-2 thus presents a very promising path towards global crop mapping with minimal reliance on ground data.

在充满活力的腿部运动领域，实现稳定的跳跃一直是一个标志性的挑战。由于长期不足，因此，受控跳跃非常困难，加上非常短的地面阶段，必须调节地面相互作用以调节全球状态。在这项工作中，我们探讨了混合非线性模型预测控制的使用，并与多速率层次结构中的低级反馈控制器配对，以在新颖的3D跳架机器人上实现动态稳定的运动。为了在旋转的多种状态上展示更丰富的行为，规划和反馈层都必须以几何一致的方式完成。因此，我们开发了采用谎言组集成商和适当的反馈控制器的必要工具。我们在实验上证明了在新型机器人上稳定的3D跳，以及模拟中的轨迹跟踪和翻转。

在双皮德机器人上生成健壮步态的能力是他们在硬件上成功实现的关键。为此，这项工作扩展了混合零动力学（HZD）的方法 - 传统上，该方法仅在完美影响事件下通过周期性限制来说明机车稳定性 - 通过包含盐矩阵，以构成合成强大的步行步态的观点。通过共同将扩展盐矩阵的规范和步态生成过程中的机器人的扭矩最小化，我们表明合成的步态比单独使用任何一个术语产生的步态更强大。这些结果在模拟和硬件中显示了琥珀色3M平面和阿塔兰特较低体外外骨骼（无论有没有人类）。最终结果是实验验证，即将盐矩阵与HZD方法相结合，在实践中会产生更健壮的两足步行。

对心脏磁共振成像（MRI）进行心室分割时具有弹性的方法，对于确保对这些组织的结构和功能分析的质量至关重要。尽管在提高算法的质量方面做出了重大努力，但很少有作品能够应对伪像在预测中产生的危害。在这项工作中，我们研究了经过验证的网络的微调，以提高以前方法对这些工件的弹性。在我们提出的方法中，我们采用了模仿这些人工制品的数据增强的广泛使用。结果显着改善了基线分割（最高0.06个骰子得分和4mm的Hausdorff距离提高）。

近年来，机器人的操纵和控制的重要性增加了。但是，在现实世界应用中需要操作时，最新技术仍然存在局限性。本文探讨了在模拟环境和真实环境中重播的事后观看经验，突出了其弱点，并根据奖励和目标塑造提出了基于加强学习的替代方案。此外，还发现了一些研究问题以及可以探索以解决这些问题的潜在研究方向。

随着在线社交媒体提供的沟通自由，仇恨言论越来越多地产生。这导致网络冲突影响个人和国家一级的社会生活。结果，在发送到社交网络之前，仇恨的内容分类越来越需要过滤仇恨内容。本文着重于使用多个深层模型在社交媒体中对仇恨言论进行分类，这些模型通过整合了最近的基于变压器的语言模型，例如BERT和神经网络。为了改善分类性能，我们通过几种合奏技术进行了评估，包括软投票，最大价值，硬投票和堆叠。我们使用了三个公开可用的Twitter数据集（Davidson，Hateval2019，OLID）来识别进攻性语言。我们融合了所有这些数据集以生成单个数据集（DHO数据集），该数据集在不同的标签上更加平衡，以执行多标签分类。我们的实验已在Davidson数据集和Dho Corpora上举行。后来给出了最佳的总体结果，尤其是F1宏观分数，即使它需要更多的资源（时间执行和内存）。实验显示了良好的结果，尤其是整体模型，其中堆叠在Davidson数据集上的F1得分为97％，并且在DHO数据集上汇总合奏的77％。