This paper describes a Relevance-Zone pattern table (RZT) that can be used to replace a traditional transposition table. An RZT stores exact game values for patterns that are discovered during a Relevance-Zone-Based Search (RZS), which is the current state-of-the-art in solving L&D problems in Go. Positions that share the same pattern can reuse the same exact game value in the RZT. The pattern matching scheme for RZTs is implemented using a radix tree, taking into consideration patterns with different shapes. To improve the efficiency of table lookups, we designed a heuristic that prevents redundant lookups. The heuristic can safely skip previously queried patterns for a given position, reducing the overhead to 10% of the original cost. We also analyze the time complexity of the RZT both theoretically and empirically. Experiments show the overhead of traversing the radix tree in practice during lookup remain flat logarithmically in relation to the number of entries stored in the table. Experiments also show that the use of an RZT instead of a traditional transposition table significantly reduces the number of searched nodes on two data sets of 7x7 and 19x19 L&D Go problems.
translated by 谷歌翻译
空间红外的小型船舶检测旨在将小型船只与轨道轨道捕获的图像分开。由于图像覆盖面积极大（例如，数千平方公里），这些图像中的候选目标比空中基于天线和陆基成像设备观察到的目标要小得多，二聚体，更可变。现有的简短成像基于距离的红外数据集和目标检测方法不能很好地用于空间监视任务。为了解决这些问题，我们开发了一个空间红外的小型船舶检测数据集（即Nudt-Sirst-Sea），该数据集具有48个空间基红外图像和17598像素级的小型船上注释。每个图像覆盖约10000平方公里的面积，带有10000x10000像素。考虑到这些充满挑战的场景，考虑到这些微小的船只的极端特征（例如，小，昏暗，可变的），我们在本文中提出了多层Transunet（MTU-NET）。具体而言，我们设计了视觉变压器（VIT）卷积神经网络（CNN）混合编码器来提取多层次特征。首先将局部特征图用几个卷积层提取，然后馈入多级特征提取模块（MVTM）以捕获长距离依赖性。我们进一步提出了一种拷贝性衡量量 - 帕斯特（CRRP）数据增强方法，以加速训练阶段，从而有效地减轻了目标和背景之间样本不平衡问题的问题。此外，我们设计了一个焦点损失，以实现目标定位和形状描述。 NUDT-SIRST-SEA数据集的实验结果表明，就检测概率，错误警报率和联合交集的交集而言，我们的MTU-NET优于传统和现有的基于深度学习的SIRST方法。
translated by 谷歌翻译
探针车的使用日益增长会产生大量的GNS数据。受卫星定位技术的限制，进一步提高地图匹配的准确性是具有挑战性的工作，尤其是对于低频轨迹。当与轨迹匹配时，自我车辆的当前旅行时空信息对于数据量最少而言最有用。此外，还有大量其他数据，例如其他车辆的状态和过去的预测结果，但是很难提取有用的信息来匹配地图和推断路径。大多数地图匹配研究仅使用自我车辆的数据，而忽略了其他车辆的数据。基于它，本文设计了一种新的地图匹配方法，以充分利用“大数据”。首先，我们根据与本匹配探针的空间和时间距离将所有数据分为四组，这使我们能够对其有用性进行排序。然后，我们设计了三种不同的方法来从它们中提取有价值的信息（分数）：速度和轴承的分数，历史用法的分数以及使用光谱图马尔可夫中立网络的交通状态分数。最后，我们使用修改后的TOP-K最短路径方法来搜索椭圆区域内的候选路径，然后使用Fused分数推断路径（投影位置）。我们使用中国的现实世界数据集测试了针对基线算法的建议方法。结果表明，所有评分方法都可以增强地图匹配的精度。此外，我们的方法优于其他方法，尤其是当GNSS探测频率小于0.01 Hz时。
translated by 谷歌翻译
具有大量偏见的数据集当前威胁要培训有关NLU任务的值得信赖的模型。尽管取得了巨大进展，但当前的偏见方法却过分依赖偏见属性的知识。但是，属性的定义是难以捉摸的，并且在不同的数据集上有所不同。此外，利用输入级别的这些属性到偏置缓解可能会留下内在属性与基本决策规则之间的差距。为了缩小这一差距并解放有关偏见的监督，我们建议将缓解偏见扩展到特征空间。因此，开发了一个新型模型，即恢复具有无知识（风险）的预期功能子空间。假设由各种偏见引起的快捷键特征是为了预测而无意的，则风险将其视为冗余特征。当研究较低的歧管以去除冗余时，风险表明，具有预期功能的极低维度子空间可以牢固地表示高度偏见的数据集。经验结果表明，我们的模型可以始终如一地提高模型的概括到分布式集合，并实现新的最新性能。
translated by 谷歌翻译
如今，基础模型已成为人工智能中的基本基础设施之一，铺平了通往通用情报的方式。但是，现实提出了两个紧急挑战：现有的基础模型由英语社区主导；用户通常会获得有限的资源，因此不能总是使用基础模型。为了支持中文社区的发展，我们介绍了一个名为Fengshenbang的开源项目，该项目由认知计算与自然语言研究中心（CCNL）领导。我们的项目具有全面的功能，包括大型预培训模型，用户友好的API，基准，数据集等。我们将所有这些都包装在三个子项目中：风水次模型，风水框架和狂热基准。 Fengshenbang的开源路线图旨在重新评估中国预培训的大型大型模型的开源社区，促使整个中国大型模型社区的发展。我们还希望构建一个以用户为中心的开源生态系统，以允许个人访问所需的模型以匹配其计算资源。此外，我们邀请公司，大学和研究机构与我们合作建立大型开源模型的生态系统。我们希望这个项目将成为中国认知情报的基础。
translated by 谷歌翻译
AD相关建模在包括Microsoft Bing在内的在线广告系统中起着至关重要的作用。为了利用强大的变压器在这种低延迟设置中，许多现有方法脱机执行广告端计算。虽然有效，但这些方法无法提供冷启动广告，从而导致对此类广告的相关性预测不佳。这项工作旨在通过结构化修剪设计一种新的低延迟BERT，以在CPU平台上授权实时在线推断对Cold Start Ads相关性。我们的挑战是，以前的方法通常将变压器的所有层都缩减为高，均匀的稀疏性，从而产生无法以可接受的精度实现令人满意的推理速度的模型。在本文中，我们提出了SwiftPruner - 一个有效的框架，利用基于进化的搜索自动在所需的延迟约束下自动找到表现最佳的稀疏BERT模型。与进行随机突变的现有进化算法不同，我们提出了一个具有潜伏意见的多目标奖励的增强突变器，以进行更好的突变，以有效地搜索层稀疏模型的大空间。广泛的实验表明，与均匀的稀疏基线和最先进的搜索方法相比，我们的方法始终达到更高的ROC AUC和更低的潜伏度。值得注意的是，根据我们在1900年的延迟需求，SwiftPruner的AUC比Bert-Mini在大型现实世界数据集中的最先进的稀疏基线高0.86％。在线A/B测试表明，我们的模型还达到了有缺陷的冷启动广告的比例，并获得了令人满意的实时服务延迟。
translated by 谷歌翻译
给定标签噪声的数据（即数据不正确），深神经网络将逐渐记住标签噪声和损害模型性能。为了减轻此问题，提出了课程学习，以通过在有意义的（例如，易于硬）序列中订购培训样本来提高模型性能和概括。先前的工作将错误的样本作为通用的硬性样本，而无需区分硬样品（即正确数据中的硬样品）和不正确的样本。确实，模型应该从硬样本中学习，以促进概括而不是过度拟合错误。在本文中，我们通过在现有的任务损失之外附加新颖的损失函数Indimloss来解决此问题。它的主要影响是在训练的早期阶段自动，稳定地估计简易样品和困难样本（包括硬和不正确的样品）的重要性，以改善模型性能。然后，在以下阶段中，歧视专门用于区分硬性和不正确样本以改善模型的概括。这种培训策略可以以自我监督的方式动态制定，从而有效地模仿课程学习的主要原则。关于图像分类，图像回归，文本序列回归和事件关系推理的实验证明了我们方法的多功能性和有效性，尤其是在存在多样化的噪声水平的情况下。
translated by 谷歌翻译
自然语言理解（NLU）模型倾向于依靠虚假的相关性（即数据集偏见）来在分布数据集上实现高性能，但在分布外部的数据集中的性能差。大多数现有的偏见方法通常都以偏见的特征（即引起这种虚假相关性的表面特征）来识别和削弱这些样品。但是，下降加权这些样品阻碍了从这些样品的无偏见部分学习的模型。为了应对这一挑战，在本文中，我们建议从特征空间的角度以细粒度的方式消除虚假的相关性。具体而言，我们引入了随机傅立叶特征和加权重采样，以将功能之间的依赖关系解释以减轻虚假相关性。在获得非相关的功能后，我们进一步设计了一种基于相互信息的方法来净化它们，这迫使模型学习与任务更相关的功能。对两个经过良好研究的NLU任务进行的广泛实验表明，我们的方法优于其他比较方法。
translated by 谷歌翻译
视频内容是多方面的，由对象，场景，交互或操作组成。现有数据集主要标记为模型培训的一个方面，导致视频表示根据训练数据集仅偏置为一个小平面。目前还没有研究如何学习来自多方面标签的视频表示，以及多方面的信息是否有助于视频表示学习。在本文中，我们提出了一种新的学习框架，多朝向集成（MUFI），以聚合来自不同数据集的面部，以学习可以反映视频内容的全频谱的表示。从技术上讲，MUFI将问题交流为视觉语义嵌入学习，该问题将视频表示映射到丰富的语义嵌入空间中，并从两个角度联合优化视频表示。一个是利用每个视频和自己的标签描述之间的小型内部监督，第二个是从其他数据集的小平面预测每个视频的“语义表示”作为刻面监控。广泛的实验表明，通过我们的MUFI框架在四个大型视频数据集加上两个图像数据集的联盟上学习3D CNN，导致视频表示的优异能力。具有MUFI的预先学习的3D CNN还显示出在几个下游视频应用上的其他方法的清晰改进。更值得注意的是，MUFI在UCF101 / HMDB51上实现98.1％/ 80.9％，用于行动识别和101.5％，在MSVD上的浏览器D得分为视频字幕。
translated by 谷歌翻译
目标实现问题是建立特定情况的谜题，具体情况。一个良好研究的一个例子是Go的生死（L＆D）问题的类别，这有助于玩家磨练他们识别区域安全的技能。许多以前的方法，如lambda搜索尝试首先移动null，然后派生所谓的相关区域（Rzs），外部不需要搜索。本文首先提出了一种基于RZ的基于RZ的方法，称为RZ的搜索（RZS），以解决L＆D问题。 RZS尝试在确定它们是否为HOC后移动之前移动。这意味着我们不需要依靠空移启发式，从而产生更优雅的算法，因此它也可以在我们的解决者中无缝地纳入Alphakero的超级人类水平。为了解决alphazero来解决，我们还提出了一种新的培训方法，称为Life（FTL）更快，这会修改Alphazero诱使它更快地获胜。我们使用RZS和FTL来解决L＆D问题，即在一个专业L＆D书中的106个问题中解决68，而以前的程序仅解决11。最后，我们讨论了这种方法是通用的，即RZS适用于解决棋盘游戏的许多其他目标。
translated by 谷歌翻译