The weakly supervised instance segmentation is a challenging task. The existing methods typically use bounding boxes as supervision and optimize the network with a regularization loss term such as pairwise color affinity loss for instance segmentation. Through systematic analysis, we found that the commonly used pairwise affinity loss has two limitations: (1) it works with color affinity but leads to inferior performance with other modalities such as depth gradient, (2)the original affinity loss does not prevent trivial predictions as intended but actually accelerates this process due to the affinity loss term being symmetric. To overcome these two limitations, in this paper, we propose a novel asymmetric affinity loss which provides the penalty against the trivial prediction and generalizes well with affinity loss from different modalities. With the proposed asymmetric affinity loss, our method outperforms the state-of-the-art methods on the Cityscapes dataset and outperforms our baseline method by 3.5% in mask AP.
translated by 谷歌翻译
We study the problem of learning online packing skills for irregular 3D shapes, which is arguably the most challenging setting of bin packing problems. The goal is to consecutively move a sequence of 3D objects with arbitrary shapes into a designated container with only partial observations of the object sequence. Meanwhile, we take physical realizability into account, involving physics dynamics and constraints of a placement. The packing policy should understand the 3D geometry of the object to be packed and make effective decisions to accommodate it in the container in a physically realizable way. We propose a Reinforcement Learning (RL) pipeline to learn the policy. The complex irregular geometry and imperfect object placement together lead to huge solution space. Direct training in such space is prohibitively data intensive. We instead propose a theoretically-provable method for candidate action generation to reduce the action space of RL and the learning burden. A parameterized policy is then learned to select the best placement from the candidates. Equipped with an efficient method of asynchronous RL acceleration and a data preparation process of simulation-ready training sequences, a mature packing policy can be trained in a physics-based environment within 48 hours. Through extensive evaluation on a variety of real-life shape datasets and comparisons with state-of-the-art baselines, we demonstrate that our method outperforms the best-performing baseline on all datasets by at least 12.8% in terms of packing utility.
translated by 谷歌翻译
In recent years, there is a surge of generation-based information extraction work, which allows a more direct use of pre-trained language models and efficiently captures output dependencies. However, previous generative methods using lexical representation do not naturally fit document-level relation extraction (DocRE) where there are multiple entities and relational facts. In this paper, we investigate the root cause of the underwhelming performance of the existing generative DocRE models and discover that the culprit is the inadequacy of the training paradigm, instead of the capacities of the models. We propose to generate a symbolic and ordered sequence from the relation matrix which is deterministic and easier for model to learn. Moreover, we design a parallel row generation method to process overlong target sequences. Besides, we introduce several negative sampling strategies to improve the performance with balanced signals. Experimental results on four datasets show that our proposed method can improve the performance of the generative DocRE models. We have released our code at https://github.com/ayyyq/DORE.
translated by 谷歌翻译
了解因果关系有助于构建干预措施,以实现特定的目标并在干预下实现预测。随着学习因果关系的越来越重要,因果发现任务已经从使用传统方法推断出潜在的因果结构从观察数据到深度学习涉及的模式识别领域。大量数据的快速积累促进了具有出色可扩展性的因果搜索方法的出现。因果发现方法的现有摘要主要集中在基于约束,分数和FCM的传统方法上,缺乏针对基于深度学习的方法的完美分类和阐述,还缺乏一些考虑和探索因果关系的角度来探索因果发现方法范式。因此,我们根据变量范式将可能的因果发现任务分为三种类型,并分别给出三个任务的定义,定义和实例化每个任务的相关数据集以及同时构建的最终因果模型,然后审查不同任务的主要因果发现方法。最后,我们从不同角度提出了一些路线图,以解决因果发现领域的当前研究差距,并指出未来的研究方向。
translated by 谷歌翻译
情绪原因对提取(ECPE)是一项新的任务,旨在从文档中提取潜在的情绪和相应原因。先前的方法重点是建模成对的关系并取得了令人鼓舞的结果。但是,从根本上象征文档的基本结构的条款与差异关系仍处于研究期。在本文中,我们定义了一个新的条款 - 差异关系。为了学习它,我们提出了一个名为EA-GAT的一般条款级编码模型,该模型包括E-GAT和激活排序。 E-GAT旨在从不同类型的子句中汇总信息;激活排序利用个人情感/原因预测和基于排序的映射将条款推向更有利的表示。由于EA-GAT是一个子句级编码模型,因此可以与任何以前的方法广泛集成。实验结果表明,我们的方法比当前的所有方法在中文和英语基准语料库中都具有显着优势,平均$ 2.1 \%$和$ 1.03 \%$ $。
translated by 谷歌翻译
关于语言引导的图像操纵的最新作品在提供丰富的语义方面表现出了极大的语言力量,尤其是对于面部图像。但是,语言中的其他自然信息,动作的探索较少。在本文中,我们利用运动信息并研究一项新颖的任务,语言引导的面部动画,旨在在语言的帮助下对静态面部图像进行动画。为了更好地利用语言的语义和动作,我们提出了一个简单而有效的框架。具体而言,我们提出了一个经常性运动生成器,以从语言中提取一系列语义和运动信息,并将其与视觉信息一起提供给预训练的样式,以生成高质量的帧。为了优化所提出的框架,提出了三个精心设计的损失功能,包括保持面部身份的正规化损失,路径长度正规化损失以确保运动平滑度和对比度损失,以在一个模型中使用各种语言指导启用视频综合。对不同领域的定性和定量评估进行了广泛的实验(\ textit {ef。语。代码将在https://github.com/tiankaihang/language-guided-animation.git上找到。
translated by 谷歌翻译
基于CNN的大多数超分辨率(SR)方法假设降解是已知的(\ eg,bicubic)。当降解与假设不同时,这些方法将遭受严重的性能下降。因此,一些方法试图通过多种降解的复杂组合来培训SR网络,以涵盖实际的降解空间。为了适应多个未知降解,引入显式降解估计器实际上可以促进SR性能。然而,以前的显式降解估计方法通常可以通过对地面模糊内核的监督来预测高斯的模糊,并且估计错误可能导致SR失败。因此,有必要设计一种可以提取隐式歧视性降解表示的方法。为此,我们提出了一个基于元学习的区域退化意识SR网络(MRDA),包括元学习网络(MLN),降级提取网络(DEN)和区域退化意识SR Network(RDAN)。为了处理缺乏地面污染的降解,我们使用MLN在几次迭代后快速适应特定的复合物降解并提取隐式降解信息。随后,教师网络MRDA $ _ {T} $旨在进一步利用MLN为SR提取的降解信息。但是,MLN需要在配对的低分辨率(LR)和相应的高分辨率(HR)图像上进行迭代,这在推理阶段不可用。因此,我们采用知识蒸馏(KD)来使学生网络学会直接提取与LR图像的老师相同的隐式退化表示(IDR)。
translated by 谷歌翻译
使用机器学习来求解组合优化(CO)问题是具有挑战性的,尤其是当数据未标记时。这项工作为CO问题提供了无监督的学习框架。我们的框架遵循标准的放松加能方法,并采用神经网络来参数放松的解决方案,以便简单的后传播可以端到端训练模型。我们的关键贡献是,观察到,如果放松的目标满足入门凹度,那么低优化损失就可以保证最终积分解决方案的质量。该观察结果显着扩大了受ERDOS概率方法启发的先前框架的适用性。特别是,该观察结果可以指导目标模型的设计,在这些应用程序中未明确给出目标,同时需要在先验中进行建模。我们通过解决合成图优化问题以及两个现实世界应用程序来评估我们的框架,包括电路设计中的资源分配和近似计算。我们的框架在很大程度上优于基于Na \“ {i}的放松,增强学习和Gumbel-Softmax技巧的基线。
translated by 谷歌翻译
了解公众关于紧急使用未经证实的治疗剂的论述对于监视安全使用和打击错误信息至关重要。我们开发了一种基于自然语言处理(NLP)的管道,以了解公众对COVID-19与19与COVID相关药物的立场的看法。这项回顾性研究包括2020年1月29日,2020年至2021年11月30日之间的609,189个基于美国的推文,涉及四种药物,这些药物在19日期期间在流行期间引起了广泛关注:1)羟基氯喹和伊维菌素,毒品疗法,具有轶事证据; 2)Molnupiravir和Remdesivir,适合合格患者的FDA批准的治疗选择。时间趋势分析用于了解受欢迎程度和相关事件。进行了内容和人口统计分析,以探讨人们对每种药物的立场的潜在理由。时间趋势分析表明,羟氯喹和伊维菌素的讨论比Molnupiravir和Remdesivir更多,尤其是在Covid-19-19潮中期。羟氯喹和伊维菌素高度政治化,与阴谋论,传闻,名人效应等有关。美国两个主要政党之间立场的分布大不相同(p <0.001);共和党人比民主党人更有可能支持羟氯喹(+55%)和伊维菌素(+30%)。具有医疗保健背景的人倾向于比普通人群多反对羟氯喹(+7%)。相比之下,普通人群更有可能支持伊维菌素(+14%)。我们在https://github.com/ningkko/covid-drug上提供所有数据,代码和模型。
translated by 谷歌翻译
CVPR中的农业视觉挑战是全球研究人员打破计算机视觉和农业部门之间边界的最著名和竞争性挑战之一,目的是从空中图像中识别农业模式。在本文中,我们建议解决CVPR 2022的第三次农业视觉挑战的解决方案。我们利用数据预处理方案和几种基于变压器的模型以及数据增强技术来达到0.582的MIOU,以实现第二名在这个挑战中。
translated by 谷歌翻译