Vision-Language（V + L）预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象，但它们通常会忽略事件级别的对齐及其参数结构。 ％在这项工作中，我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数（参与者）角色。为此，我们利用文本信息提取技术来获得事件结构知识，并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外，我们收集了一个大型活动的数据集（106,875张图片），用于预磨平，这提供了更具挑战性的图像检索基准，以评估对复杂冗长的句子的理解。实验表明，我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型，从而实现了事件提取中的5±绝对f得分增益，以及显着改进零拍摄设置下的各种下游任务。
translated by 谷歌翻译
最近，对建立问题的兴趣越来越兴趣，其中跨多种模式（如文本和图像）的原因。但是，使用图像的QA通常仅限于从预定义的选项集中挑选答案。此外，在现实世界中的图像，特别是在新闻中，具有与文本共同参考的对象，其中来自两个模态的互补信息。在本文中，我们提出了一种新的QA评估基准，并在新闻文章中提出了1,384个问题，这些文章需要跨媒体接地图像中的物体接地到文本上。具体地，该任务涉及需要推理图像标题对的多跳问题，以识别接地的视觉对象，然后从新闻正文文本中预测跨度以回答问题。此外，我们介绍了一种新颖的多媒体数据增强框架，基于跨媒体知识提取和合成问题答案生成，自动增强可以为此任务提供弱监管的数据。我们在我们的基准测试中评估了基于管道和基于端到端的预先预测的多媒体QA模型，并表明他们实现了有希望的性能，而在人类性能之后大幅滞后，因此留下了未来工作的大型空间，以便在这一具有挑战性的新任务上的工作。
translated by 谷歌翻译
由于可靠的3D空间信息，LIDAR传感器广泛用于自动驾驶。然而，LIDAR的数据稀疏，LIDAR的频率低于相机的频率。为了在空间和时间上生成密集点云，我们提出了第一个将来的伪激光框架预测网络。鉴于连续稀疏深度图和RGB图像，我们首先根据动态运动信息粗略地预测未来的密集深度图。为了消除光流量估计的误差，提出了帧间聚合模块，以使具有自适应权重的翘曲深度图熔断。然后，我们使用静态上下文信息优化预测的密集深度图。通过将预测的密集深度图转换为相应的3D点云，可以获得未来的伪激光镜帧。实验结果表明，我们的方法优于流行基准基准的现有解决方案。
translated by 谷歌翻译
3D点云是捕获真实世界3D对象的重要3D表示。但是，真正扫描的3D点云通常不完整，并且对于恢复下游应用程序的完整点云非常重要。大多数现有点云完成方法使用倒角距离（CD）训练丢失。通过搜索最近的邻居，CD损耗估计两个点云之间的对应关系，该邻居不会捕获所生成的形状上的总点密度分布，因此可能导致非均匀的点云生成。为了解决这个问题，我们提出了一个新的点扩散细化（PDR）范例，用于点云完成。 PDR包括条件生成网络（CGNET）和细化网络（RFNET）。 CGNET使用称为去噪扩散概率模型（DDPM）的条件生成模型，以在部分观察中产生粗略完成。 DDPM在生成的点云和统一的地面真理之间建立一对一的映射，然后优化平均平方误差损耗以实现均匀生成。 RFNET精制CGNet的粗输出，并进一步提高完成点云的质量。此外，我们开发了两个网络的新型双路架构。该体系结构可以（1）有效且有效地从部分观察到的点云提取多级特征以指导完成，并且（2）精确地操纵3D点的空间位置以获得平滑的表面和尖锐的细节。各种基准数据集上的广泛实验结果表明，我们的PDR范例优于以前的最先进的方法，用于点云完成。值得注意的是，在RFNET的帮助下，我们可以在没有太多的性能下降的情况下加速DDPM的迭代生成过程。
translated by 谷歌翻译
视频文本预培训旨在通过对齐视觉和文本信息之间的语义来对齐大规模视频文本对学习可转换表示。最先进的方法以端到端的方式从原始像素提取视觉特征。然而，这些方法直接在帧级运行，从而忽略了视频中对象的时空结构，这在文本描述中具有名词的强烈协同作用。在这项工作中，我们提出了一个简单而有效的模块，即用于视频文本表示学习，即RegionLearner，它可以考虑在大规模视频文本对预训练中的对象结构。给定视频，我们的模块（1）首先将可视特征量化为语义集群，然后（2）生成被动掩码并使用它们聚合属于同一语义区域的功能，最后（3）模拟不同聚合区域之间的交互。与使用现成的对象探测器相比，我们所提出的模块不需要明确的监督，并且更加计算效率。我们在公共WebVID2M和CC3M数据集上预先列车。对四个下游视频文本检索基准测试的广泛评估清楚地展示了我们的地区learner的有效性。代码将在https://github.com/ruiyan1995/region_learner上获得。
translated by 谷歌翻译
最近，通过引入大规模的数据集和强大的变压器网络，视频预培训表明尤其是检索的巨大成功。然而，现有的视频语言变压器模型没有明确细粒度的语义对齐。在这项工作中，我们呈现了对象感知的变换器，以对象为中心的方法，该对象方法扩展了视频语言变压器来合并对象表示。关键的想法是利用边界框和对象标签来指导培训过程。我们在四个广泛使用的基准测试中评估了我们的三个标准子任务的模型。我们还提供了深入的分析和详细消融关于所提出的方法。我们在考虑的所有任务和数据集中表现出清晰的性能，展示将对象表示的模型中的型号集成到视频架构中。代码将以\ URL {https://github.com/fingerrec/oa -transformer}释放。
translated by 谷歌翻译
生成辐射田地的出现显着促进了3D感知图像合成的发展。辐射字段中的累积渲染过程使得这些生成模型更容易，因为渐变在整个音量上分布，但导致扩散的物体表面。与此同时，与Radiance Fields相比，占用表示可以本质地确保确定性表面。但是，如果我们直接向生成模型应用占用表示，在培训期间，它们只会在物体表面上接收稀疏梯度，并最终遭受收敛问题。在本文中，我们提出了一种基于生成的辐射场的新型模型的生成占用场（GOF），这些模型可以在不妨碍其训练收敛的情况下学习紧凑的物体表面。 GOF的关键介绍是从辐射字段中累积渲染到渲染的专用过渡，只有在学习的表面越来越准确的情况下，只有曲面点渲染。通过这种方式，GOF将两个表示的优点组合在统一的框架中。在实践中，通过逐渐将采样区域从整个体积逐渐缩小到表面周围的最小相邻区域，在GOF中实现了从辐射场和3月到占用表示的训练时间转换。通过对多个数据集的全面实验，我们证明了GOF可以合成具有3D一致性的高质量图像，并同时学习紧凑且光滑的物体表面。代码，模型和演示视频可在https://shedontsui.github.io/projects/gof中获得
translated by 谷歌翻译
视觉和语言导航（VLN）是一种任务，即遵循语言指令以导航到目标位置的语言指令，这依赖于在移动期间与环境的持续交互。最近的基于变压器的VLN方法取得了很大的进步，从视觉观测和语言指令之间的直接连接通过多模式跨关注机制。然而，这些方法通常代表通过使用LSTM解码器或使用手动设计隐藏状态来构建反复变压器的时间上下文作为固定长度矢量。考虑到单个固定长度向量通常不足以捕获长期时间上下文，在本文中，我们通过显式建模时间上下文来引入具有可变长度存储器（MTVM）的多模式变压器，通过模拟时间上下文。具体地，MTVM使代理能够通过直接存储在存储体中的先前激活来跟踪导航轨迹。为了进一步提高性能，我们提出了内存感知的一致性损失，以帮助学习随机屏蔽指令的时间上下文的更好关节表示。我们在流行的R2R和CVDN数据集上评估MTVM，我们的模型在R2R看不见的验证和测试中提高了2％的成功率，并在CVDN测试集上减少了1.6米的目标进程。
translated by 谷歌翻译
近几十年来，Camera-IMU（惯性测量单元）传感器融合已经过度研究。已经提出了具有自校准的运动估计的许多可观察性分析和融合方案。然而，它一直不确定是否在一般运动下观察到相机和IMU内在参数。为了回答这个问题，我们首先证明，对于全球快门Camera-IMU系统，所有内在和外在参数都可以观察到未知的地标。鉴于此，滚动快门（RS）相机的时间偏移和读出时间也证明是可观察到的。接下来，为了验证该分析并解决静止期间结构无轨滤波器的漂移问题，我们开发了一种基于关键帧的滑动窗滤波器（KSWF），用于测量和自校准，它适用于单眼RS摄像机或立体声RS摄像机。虽然关键帧概念广泛用于基于视觉的传感器融合，但对于我们的知识，KSWF是支持自我校准的首先。我们的模拟和实际数据测试验证了，可以使用不同运动的机会主义地标的观察来完全校准相机-IMU系统。实际数据测试确认了先前的典故，即保持状态矢量的地标可以弥补静止漂移，并显示基于关键帧的方案是替代治疗方法。
translated by 谷歌翻译
字感消歧（WSD）是在给定的上下文中确定模糊单词的感觉的任务。以前的WSD方法侧重于受监督和基于知识的方法，但仍有愿意消除歧义的际相互作用模式或规律。我们认为以下原因是找到正确模式背后的主要困难之一：对于特定的背景，一系列模糊词语的预期感官彼此依赖，即选择一个单词的感觉与选择相关联另一个单词的感觉，使WSD成为组合优化问题。在这项工作中，我们通过二次0-1整数编程模型（QIP）方法通过二次0-1整数编程模型（QIP）来实现不同目标单词的感觉之间的相互作用，其最大化由（1）之间的相似性组成的目标函数目标单词的候选感官和语境（感觉字相似度）中的单词，和（2）上下文中所有单词的感官之间的语义交互（相关性）（感觉义相关性）。
translated by 谷歌翻译