用于单视网型3D重建(SVR)的神经网络(NN)已经获得了普及。最近的工作指出,对于SVR,大多数尖端NNS在重建看不见的对象时具有有限的性能,因为它们主要依赖于识别(即,基于分类的方法)而不是形状重建。要深入了解这个问题,我们对NNS更倾向识别重建的何时以及为什么提供系统的研究,反之亦然。我们的发现表明,确定识别与重建的主要因素是如何分散训练数据。因此,我们介绍了一个新的数据驱动度量的分散评分,以量化这种前导因素并研究其对NNS的影响。我们假设当训练图像更加分散时,NNS朝向识别偏置,并且训练形状较少分散。支持我们的假设,通过我们的合成和基准数据集的实验证明了分散评分。我们表明,拟议的指标是分析重建质量的主要方法,并提供除了传统的重建分数之外的新颖信息。
translated by 谷歌翻译
我们呈现多视图姿势变压器(MVP),用于从多视图图像估计多人3D姿势。而不是从昂贵的体积表示或从多个检测到的2D重建的每人3D姿势估计从昂贵的体积表示或从多个检测到的2D姿势进行估计3D联合位置,而是MVP以清洁和有效的方式直接回归多人3D姿势,而不依赖于中间任务。具体而言,MVP表示作为学习查询嵌入的骨架关节,并让它们从输入图像中逐渐参加和原因,以直接回归实际的3D联合位置。为了提高这种简单管道的准确性,MVP呈现了一个分层方案,简明地代表了多人骨架关节的查询嵌入,并引入了输入相关的查询适应方法。此外,MVP设计了一种新颖的几何引导注意力机制,称为投影注意力,更精确地熔化每个关节的跨视网膜信息。 MVP还介绍了RAYCONV操作,以将视图依赖的相机几何整合到特征表示中,以增加投射注意。我们通过实验展示我们的MVP模型在几个基准上占据了最先进的方法,同时更有效。值得注意的是,它在挑战的Panoptic DataSet上实现了92.3%的AP25,提高了先前的最佳方法[36],提高了9.8%。 MVP是通用的,并且还可以扩展到恢复SMPL模型表示的人网格,因此可用于建模多人身体形状。代码和模型可在https://github.com/sail-sg/mvp上获得。
translated by 谷歌翻译
图表分类具有生物信息学,社会科学,自动假新闻检测,Web文档分类等中的应用程序。在许多实践方案中,包括网络级应用程序,其中标签稀缺或难以获得,无人监督的学习是一种自然范式,但它交易表现。最近,对比学习(CL)使得无监督的计算机视觉模型能够竞争对抗监督。分析Visual CL框架的理论和实证工作发现,利用大型数据集和域名感知增强对于框架成功至关重要。有趣的是,图表CL框架通常会在使用较小数据的顺序的同时报告高性能,并且使用可能损坏图形的底层属性的域名增强(例如,节点或边缘丢弃,功能捕获)。通过这些差异的激励,我们寻求确定:(i)为什么现有的图形Cl框架尽管增加了增强和有限的数据; (ii)是否遵守Visual CL原理可以提高图形分类任务的性能。通过广泛的分析,我们识别图形数据增强和评估协议的缺陷实践,这些协议通常用于图形CL文献中,并提出了未来的研究和应用的改进的实践和理智检查。我们表明,在小型基准数据集上,图形神经网络的归纳偏差可以显着补偿现有框架的局限性。在采用相对较大的图形分类任务的研究中,我们发现常用的域名忽视增强的表现不佳,同时遵守Visual Cl中的原则可以显着提高性能。例如,在基于图形的文档分类中,可以用于更好的Web搜索,我们显示任务相关的增强提高了20%的准确性。
translated by 谷歌翻译
在节点分类任务中,异常和过天性是两个可能损害图形卷积神经网络(GCN)性能的两个问题。异种源于问题是指模型无法处理异构节点属于不同类别的异细则图;过度问题是指模型的退化性能随着越来越多的层。这两个看似无关的问题大多是独立研究的,但最近有近期解决一个问题可能有益于另一个问题的经验证据。在这项工作中,除了经验观察之外,我们的目标是:(1)从统一的理论角度分析异常和过天际上的问题,(2)确定两个问题的共同原因,(3)提出简单但有效的解决策略共同的原因。在我们的理论分析中,我们表明异通源性和过天际上问题的共同原因 - 即节点的相对程度及其异常级别 - 触发连续层中的节点表示,以“移动”更靠近原始决策边界,这增加了某些约束下节点标签的错误分类率。理论上我们显示:(1)具有高异味的节点具有更高的错误分类率。 (2)即使在异常的情况下,节点邻域中的程度差异也可以影响节点表示的运动并导致“伪异性”情况,这有助于解释过度处理。 (3)允许在消息传递期间肯定的阳性而且负面信息可以有助于抵消两个问题的常见原因。基于我们的理论见解,我们提出了对GCN架构的简单修改(即学习程度校正和签名消息),我们表明他们在9个网络上缓解了HeteOlephily和过天际上的问题。
translated by 谷歌翻译
探讨了语言建模流行的变形金刚,用于近期解决视觉任务,例如,用于图像分类的视觉变压器(VIT)。 VIT模型将每个图像分成具有固定长度的令牌序列,然后应用多个变压器层以模拟它们的全局关系以进行分类。然而,当从像想象中的中型数据集上从头开始训练时,VIT对CNNS达到较差的性能。我们发现它是因为:1)输入图像的简单标记未能模拟相邻像素之间的重要局部结构,例如边缘和线路,导致训练采样效率低。 2)冗余注意骨干骨干设计对固定计算预算和有限的训练样本有限的具有限制性。为了克服这些限制,我们提出了一种新的令牌到令牌视觉变压器(T2T-VIT),它包含1)层 - 明智的代币(T2T)转换,通过递归聚合相邻来逐步地结构于令牌到令牌。代币进入一个令牌(令牌到令牌),这样可以建模由周围令牌所代表的本地结构,并且可以减少令牌长度; 2)一种高效的骨干,具有深度狭窄的结构,用于在实证研究后CNN建筑设计的激励变压器结构。值得注意的是,T2T-VIT将Vanilla Vit的参数计数和Mac减少了一半,同时从想象中从头开始训练时,改善了超过3.0 \%。它还优于Endnets并通过直接培训Imagenet训练来实现与MobileNets相当的性能。例如,T2T-VTO与Reset50(21.5M参数)的可比大小(21.5M参数)可以在图像分辨率384 $ \ Times 384上实现83.3 \%TOP1精度。 (代码:https://github.com/yitu-opensource/t2t-vit)
translated by 谷歌翻译
ELO评级系统被广泛采用来评估(国际象棋)游戏和体育运动者的技能。最近,它还集成到了评估计算机化AI代理的性能时的机器学习算法中。然而,精确估计ELO评级(对于顶级球员)通常需要许多轮竞争,这可能是昂贵的。在本文中,为了提高ELO评估的样本效率(对于顶级球员),我们提出了一种有效的在线匹配调度算法。具体而言,我们通过Dueling Birits框架识别并匹配顶级播放器并将强盗算法定制到ELO的梯度更新。我们表明它减少了每一步记忆和时间复杂度来恒定,与需要$ O(t)$时间的传统似然最大化方法相比。我们的算法对$ \ tilde {o}(\ sqrt {t})$,Sublinear在竞争回合的数量中有遗憾的保证,并且已经扩展到多维ELO评级,用于处理风情游戏。我们经验证明我们的方法在各种游戏任务上实现了卓越的收敛速度和时间效率。
translated by 谷歌翻译
这项工作系统地调查了深度图像去噪者(DIDS)的对抗性稳健性,即,可以从嘈杂的观察中恢复地面真理的噪音,因对抗性扰动而变化。首先,为了评估DIDS的稳健性,我们提出了一种新的逆势攻击,即观察到的零平均攻击({\ SC obsatk}),对给定嘈杂的图像来制作对抗零均匀扰动。我们发现现有的确实容易受到{\ SC Obsatk}产生的对抗噪声。其次,为了强化犯罪,我们提出了一种对抗性培训策略,混合对抗训练({\ SC帽}),共同列车与对抗性和非对抗性嘈杂的数据做出,以确保重建质量很高,并且围绕非对抗性数据是局部光滑的。所得到的确实可以有效去除各种类型的合成和对抗性噪声。我们还发现,DIDS的稳健性使其在看不见的真实噪音上的概括能力。实际上,{\ SC帽子} -Tromed DID可以从真实世界的噪音中恢复高质量的清洁图像,即使没有真正的嘈杂数据训练。基准数据集的广泛实验,包括SET68,PolyU和SIDD,证实了{\ SC Obsatk}和{\ SC帽}的有效性。
translated by 谷歌翻译
视频理解需要在多种时空分辨率下推理 - 从短的细粒度动作到更长的持续时间。虽然变压器架构最近提出了最先进的,但它们没有明确建模不同的时空分辨率。为此,我们为视频识别(MTV)提供了多视图变压器。我们的模型由单独的编码器组成,表示输入视频的不同视图,以横向连接,以跨视图熔断信息。我们对我们的模型提供了彻底的消融研究,并表明MTV在一系列模型尺寸范围内的准确性和计算成本方面始终如一地表现优于单视对应力。此外,我们在五个标准数据集上实现最先进的结果,并通过大规模预制来进一步提高。我们将释放代码和备用检查点。
translated by 谷歌翻译
最近已结合了进化算法(EAS)和深度加强学习(DRL)以集成两个解决方案的优势以获得更好的政策学习。然而,在现有的混合方法中,EA用于直接培训策略网络,这将导致对政策绩效的样本效率和不可预测的影响。为了更好地整合这两种方法并避免引入EA引起的缺点,我们致力于设计更有效和合理的结合EA和DRL的方法。在本文中,我们提出了进化行动选择 - 双胞胎延迟深度确定性政策梯度(EAS-TD3),是EA和DRL的新组合。在EAS中,我们专注于优化策略网络选择的动作,并尝试通过进化算法来指导策略学习的高质量行动。我们对挑战的连续控制任务进行了几个实验。结果表明,EAS-TD3在其他最先进的方法中显示出优异的性能。
translated by 谷歌翻译
由于细粒度的视觉细节中的运动和丰富内容的大变化,视频是复杂的。从这些信息密集型媒体中抽象有用的信息需要详尽的计算资源。本文研究了一个两步的替代方案,首先将视频序列冷凝到信息“框架”,然后在合成帧上利用现成的图像识别系统。有效问题是如何定义“有用信息”,然后将其从视频序列蒸发到一个合成帧。本文介绍了一种新颖的信息帧综合(IFS)架构,其包含三个客观任务,即外观重建,视频分类,运动估计和两个常规方案,即对抗性学习,颜色一致性。每个任务都配备了一个能力的合成框,而每个常规器可以提高其视觉质量。利用这些,通过以端到端的方式共同学习帧合成,预期产生的帧封装了用于视频分析的所需的时空信息。广泛的实验是在大型动力学数据集上进行的。与基线方法相比,将视频序列映射到单个图像,IFS显示出优异的性能。更值得注意地,IFS始终如一地展示了基于图像的2D网络和基于剪辑的3D网络的显着改进,并且通过了具有较少计算成本的最先进方法实现了相当的性能。
translated by 谷歌翻译