终身语言学习旨在流式传输学习NLP任务，同时保留对先前任务的知识。基于语言模型和以下无数据约束方法的先前作品探索了所有数据的格式，因为“ begin token（\ textit {b}） +上下文（\ textit {c}） +问题（\ textit {q}） +答案（\ textit {a}）对于不同的任务。但是，由于以下原因，当上一个任务的伪数据不足时，它们仍然遭受灾难性的遗忘，并且会加剧：（1）模型难以生成任务处理的伪数据，（2）\ textit {a}易于使用{a} \ textIt {a}和\ textit {c}被\ textit {q}分开时错误，因为\ textit {c}的信息在生成\ textit {a}之前会减小。因此，我们首先提出问问题和重播问题（AQF-RQ），包括一种新颖的数据格式“ \ textit {bqca}”和一项新的培训任务，以培训先前任务的伪造问题。实验结果表明，AQF-RQ使模型更容易生成匹配相应任务的更多伪数据，并且在任务边界既明确又不清楚时，对相应的任务匹配，对伪data的足够和不足。与多任务学习相比，AQF-RQ仅能达到0.36 \％的性能。
translated by 谷歌翻译
从RGB-D图像中对刚性对象的6D姿势估计对于机器人技术中的对象抓握和操纵至关重要。尽管RGB通道和深度（d）通道通常是互补的，分别提供了外观和几何信息，但如何完全从两个跨模式数据中完全受益仍然是非平凡的。从简单而新的观察结果来看，当对象旋转时，其语义标签是姿势不变的，而其关键点偏移方向是姿势的变体。为此，我们提出了So（3）pose，这是一个新的表示学习网络，可以探索SO（3）equivariant和So（3） - 从深度通道中进行姿势估计的特征。 SO（3） - 激素特征有助于学习更独特的表示，以分割来自RGB通道外观相似的对象。 SO（3） - 等级特征与RGB功能通信，以推导（缺失的）几何形状，以检测从深度通道的反射表面的对象的关键点。与大多数现有的姿势估计方法不同，我们的SO（3） - 不仅可以实现RGB和深度渠道之间的信息通信，而且自然会吸收SO（3） - 等级的几何学知识，从深度图像中，导致更好的外观和更好的外观和更好几何表示学习。综合实验表明，我们的方法在三个基准测试中实现了最先进的性能。
translated by 谷歌翻译
我们研究了标准匪徒问题的扩展，其中有很多专家。多层专家按一层进行选择，只有最后一层的专家才能发挥作用。学习政策的目的是最大程度地减少该等级专家环境中的遗憾。我们首先分析了总遗憾随着层数线性增长的案例。然后，我们关注的是所有专家都在施加上层信心（UCB）策略，并在不同情况下给出了几个子线上界限。最后，我们设计了一些实验，以帮助对分层UCB结构的一般情况进行遗憾分析，并显示我们理论结果的实际意义。本文提供了许多有关合理层次决策结构的见解。
translated by 谷歌翻译
在本文中，我们介绍了训练两层过度参数的Relu神经网络中动量方法的收敛分析，其中参数的数量明显大于训练实例的参数。动量方法上的现有作品表明，重球方法（HB）和Nesterov的加速方法（NAG）共享相同的限制普通微分方程（ODE），从而导致相同的收敛速率。从高分辨率的动力学角度来看，我们表明HB与NAG在收敛速率方面有所不同。此外，我们的发现为HB和NAG的高分辨率ODES的收敛性提供了更严格的上限。
translated by 谷歌翻译
场景图生成（SGG）任务旨在在给定图像中检测所有对象及其成对的视觉关系。尽管SGG在过去几年中取得了显着的进展，但几乎所有现有的SGG模型都遵循相同的训练范式：他们将SGG中的对象和谓词分类视为单标签分类问题，而地面真实性是一个hot目标。标签。但是，这种普遍的训练范式忽略了当前SGG数据集的两个特征：1）对于正样本，某些特定的主题对象实例可能具有多个合理的谓词。 2）对于负样本，有许多缺失的注释。不管这两个特征如何，SGG模型都很容易被混淆并做出错误的预测。为此，我们为无偏SGG提出了一种新颖的模型不合命相的标签语义知识蒸馏（LS-KD）。具体而言，LS-KD通过将预测的标签语义分布（LSD）与其原始的单热目标标签融合来动态生成每个主题对象实例的软标签。 LSD反映了此实例和多个谓词类别之间的相关性。同时，我们提出了两种不同的策略来预测LSD：迭代自我KD和同步自我KD。大量的消融和对三项SGG任务的结果证明了我们所提出的LS-KD的优势和普遍性，这些LS-KD可以始终如一地实现不同谓词类别之间的不错的权衡绩效。
translated by 谷歌翻译
高速，高分辨率的立体视频（H2-STEREO）视频使我们能够在细粒度上感知动态3D内容。然而，对商品摄像机的收购H2-STEREO视频仍然具有挑战性。现有的空间超分辨率或时间框架插值方法分别提供了缺乏时间或空间细节的折衷解决方案。为了减轻这个问题，我们提出了一个双摄像头系统，其中一台相机捕获具有丰富空间细节的高空间分辨率低框架速率（HSR-LFR）视频，而另一个摄像头则捕获了低空间分辨率的高架框架-Rate（LSR-HFR）视频带有光滑的时间细节。然后，我们设计了一个学习的信息融合网络（LIFNET），该网络利用跨摄像机冗余，以增强两种相机视图，从而有效地重建H2-STEREO视频。即使在大型差异场景中，我们也利用一个差异网络将时空信息传输到视图上，基于该视图，我们建议使用差异引导的LSR-HFR视图基于差异引导的流量扭曲，并针对HSR-LFR视图进行互补的扭曲。提出了特征域中的多尺度融合方法，以最大程度地减少HSR-LFR视图中闭塞引起的翘曲幽灵和孔。 LIFNET使用YouTube收集的高质量立体视频数据集以端到端的方式进行训练。广泛的实验表明，对于合成数据和摄像头捕获的真实数据，我们的模型均优于现有的最新方法。消融研究探讨了各个方面，包括时空分辨率，摄像头基线，摄像头解理，长/短曝光和应用程序，以充分了解其对潜在应用的能力。
translated by 谷歌翻译
智能机器之间合作的必要性已在人工智能（AI）研究界普及了合作的多代理增强学习（MARL）。但是，许多研究的努力一直集中在开发实用的MARL算法上，其有效性仅在经验上进行了研究，从而缺乏理论保证。正如最近的研究所表明的那样，MARL方法通常达到奖励单调性或收敛性次优的性能。为了解决这些问题，在本文中，我们介绍了一个名为异质的镜像学习（HAML）的新颖框架，该框架为MARL算法设计提供了一个通用模板。我们证明，源自HAML模板的算法满足了关节奖励的单调改善的所需特性以及与NASH平衡的收敛性。我们通过证明当前最新的合作社Marl算法，HATRPO和HAPKO实际上是HAML实例，来验证HAML的实用性。接下来，作为我们理论的自然结果，我们提出了两种众所周知的RL算法HAA2C（用于A2C）和HADDPG（用于DDPG）的HAML扩展，并证明了它们针对StarcraftII和多代理Mujoco任务的强大基准的有效性。
translated by 谷歌翻译
图形神经网络（GNN）是具有无核数据的应用的有前途的方法。但是，具有数亿节点的大规模图上的培训GNN既是资源又是耗时的。与DNN不同，GNN通常具有更大的内存足迹，因此GPU内存能力和PCIE带宽是GNN培训中的主要资源瓶颈。为了解决此问题，我们提出分叉：一种图形量化方法，通过显着减少内存足迹和PCIE带宽要求来加速GNN训练，以便GNN可以充分利用GPU计算功能。我们的关键见解是，与DNN不同，GNN不太容易发生量化引起的输入特征的信息丢失。我们确定图形特征量化中的主要准确性影响因素，从理论上证明，分叉训练会收敛到网络，在该网络中，损失在未压缩网络的最佳损失的$ \ epsilon $之内。我们使用几种流行的GNN模型和数据集对分叉进行了广泛的评估，包括最大的公共图数据集MAG240M上的图形。结果表明，分叉达到30以上的压缩率，并在边际准确性损失的情况下提高了GNN训练速度200％-320％。特别是，分叉在一小时内仅使用四个GPU在MAG240M上的训练图来实现记录。
translated by 谷歌翻译
在分支机构和结合中得出良好的可变选择策略对于现代混合编程（MIP）求解器的效率至关重要。通过在先前的解决方案过程中收集的MIP分支数据，学习分支方法最近变得比启发式方法更好。由于分支机构自然是一项顺序决策任务，因此应该学会优化整个MIP求解过程的实用性，而不是在每个步骤上都是近视。在这项工作中，我们将学习作为离线增强学习（RL）问题进行分支，并提出了一种长期视线的混合搜索方案来构建离线MIP数据集，该数据集对分支决策的长期实用程序。在政策培训阶段，我们部署了基于排名的奖励分配计划，以将有希望的样本与长期或短期视图区分开，并通过离线政策学习训练名为分支排名的分支模型。合成MIP基准和现实世界任务的实验表明，与广泛使用的启发式方法和基于先进的学习分支模型相比，分支rankink更有效，更健壮，并且可以更好地概括为MIP实例的大型MIP实例。
translated by 谷歌翻译
尽管深度学习已被广泛用于视频分析，例如视频分类和动作检测，但与体育视频的快速移动主题进行密集的动作检测仍然具有挑战性。在这项工作中，我们发布了另一个体育视频数据集$ \ textbf {p $^2 $ a} $ for $ \ usewessline {p} $ \ in $ \ usepline {p} $ ong- $ \ $ \ usepline {a} $ ction ction ction检测，由2,721个视频片段组成，这些视频片段从世界乒乓球锦标赛和奥林匹克运动会的专业乒乓球比赛的广播视频中收集。我们与一批乒乓球专业人士和裁判员合作，以获取出现在数据集中的每个乒乓球动作，并提出两组动作检测问题 - 行动定位和行动识别。我们使用$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ fextbf {p $^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $ a^2 $^$^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $^2 $^2 $^2 $^2 $ a在各种设置下，这两个问题的$} $。这些模型只能在AR-AN曲线下实现48％的面积，以进行本地化，而识别次数为82％，因为Ping-Pong的动作密集具有快速移动的主题，但广播视频仅为25 fps。结果证实，$ \ textbf {p $^2 $ a} $仍然是一项具有挑战性的任务，可以用作视频中动作检测的基准。
translated by 谷歌翻译