在发展强化学习（RL）培训系统方面取得了重大进展。过去的作品，例如Impala，Apex，Seed RL，样本工厂等，旨在改善系统的整体吞吐量。在本文中，我们试图解决RL训练系统中的常见瓶颈，即平行环境执行，这通常是整个系统中最慢的部分，但很少受到关注。通过针对RL环境的策划设计，我们改善了不同硬件设置的RL环境模拟速度，从笔记本电脑和适度的工作站到NVIDIA DGX-A100等高端机器。在高端机器上，Envpool在Atari环境上的环境执行每秒可实现100万帧，在Mujoco环境上每秒执行300万帧。在笔记本电脑上运行时，Envpool的速度是Python子过程的2.8倍。此外，在开源社区中已经证明了与现有RL培训库的极大兼容性，包括Cleanrl，RL_Games，DeepMind Acme等。最后，Envpool允许研究人员以更快的速度迭代他们的想法，并具有巨大的潜力，并具有巨大的潜力事实上的RL环境执行引擎。示例运行表明，在笔记本电脑上训练Atari Pong和Mujoco Ant只需5分钟即可。 Envpool已经在https://github.com/sail-sg/envpool上开源。
translated by 谷歌翻译
CleanRL是一个开源库，提供深度加强学习算法的高质量单文件实现。它通过具有简单的代码库和集成生产工具来提供更简单但可扩展的开发体验，以帮助互动和规模实验。在CleanRL中，我们将算法的所有细节放入单个文件中，使这些性能相关的细节更容易识别。此外，实验跟踪功能可用于帮助日志度量标准，超级参数，代理游戏的游戏，依赖项和更多云的视频。尽管有简洁的实现，但我们还设计了在通过Docker和云提供商同时协调了2000多台机器的一个点协调实验的工具。最后，我们通过针对各种环境基准测试来确保实施的质量。CleanRL的源代码可以在https://github.com/vwxyzjn/cleanrl找到
translated by 谷歌翻译
稀有事件仿真技术，如重要采样（是），构成强大的工具，以加速罕见灾难性事件的具有挑战性的估算。这些技术经常利用底层系统结构的知识和分析，以赋予赋予理想的效率保证。然而，黑匣子问题，特别是来自最近AI驱动的物理系统的安全关键型应用的问题，可以从根本上破坏他们的效率担保，并在没有诊断地检测的情况下导致危险的估计。我们提出了一个框架，称为深度概率加速评估（Deep-Prae）来设计统计保障是通过转换多功能的黑匣子采样器，但可能缺乏保证，以便我们称之为放松的效率证明，允许准确估计界限。论罕见事件概率。我们介绍了深度PRAE理论，将主导点概念与稀有事件集合通过深度神经网络分类器进行了学习，并证明了其在数值例子中的有效性，包括智能驾驶算法的安全测试。
translated by 谷歌翻译
近年来，游戏AI研究取得了巨大的突破，尤其是在增强学习（RL）中。尽管他们成功了，但基础游戏通常是通过自己的预设环境和游戏机制实现的，因此使研究人员难以创建不同的游戏环境。但是，测试RL代理对各种游戏环境的测试对于最近努力研究RL的概括并避免可能发生过度拟合的问题至关重要。在本文中，我们将Gridd呈现为游戏AI研究的新平台，该平台提供了高度可配置的游戏，不同的观察者类型和有效的C ++核心引擎的独特组合。此外，我们提出了一系列基线实验，以研究RL剂的不同观察构构和泛化能力的影响。
translated by 谷歌翻译
中国人在马来群岛各国的中国社区中突出特征。在这些国家，中国人经历了对当地语言和文化的调整过程，这导致每个国家发生中国变体。在本文中，我们对从五个马来群岛国家收集的中国新闻文本进行了定量分析看法。统计结果表明，这五个国家中使用的中国变体与现代中国大陆同行不同。同时，我们设法提取并分类了每个国家使用的几个中文单词。所有这些差异反映了中国人如何在海外发展，并证明了ROM当地社会和文化对中国发展的深远影响。
translated by 谷歌翻译
2022-07-14
小型子图（Graphlets）是描述大型网络基本单元的重要特征。子图频率分布的计算在包括生物学和工程在内的多个领域中具有广泛的应用。不幸的是，由于该任务的固有复杂性，大多数现有方法在计算密集型且效率低下。在这项工作中，我们提出了GNNS，这是一个新颖的表示学习框架，该框架利用图神经网络有效地对子图进行了估算的频率分布。我们的框架包括一个推理模型和一个生成模型，该模型学习节点，子图和图形类型的层次结构嵌入。使用学习的模型和嵌入，以高度可扩展和并行的方式对子图进行采样，然后根据这些采样的子图执行频率分布估计。最终，与现有方法相比，我们的方法达到了可比的精度和显着的速度。
translated by 谷歌翻译
作为自然语言处理领域（NLP）领域的广泛研究，基于方面的情感分析（ABSA）是预测文本中相对于相应方面所表达的情感的任务。不幸的是，大多数语言缺乏足够的注释资源，因此越来越多的研究人员专注于跨语义方面的情感分析（XABSA）。但是，最近的研究仅集中于跨语性数据对准而不是模型对齐。为此，我们提出了一个新颖的框架CL-XABSA：基于跨语言的情感分析的对比度学习。基于对比度学习，我们在不同的语义空间中关闭具有相同标签的样品之间的距离，从而实现了不同语言的语义空间的收敛。具体而言，我们设计了两种对比策略，即代币嵌入（TL-CTE）和情感水平的对比度学习，对代币嵌入（SL-CTE）的对比度学习，以使源语言和目标语言的语义空间正规化，以使其更加统一。由于我们的框架可以在培训期间以多种语言接收数据集，因此我们的框架不仅可以适应XABSA任务，而且可以针对基于多语言的情感分析（MABSA）进行调整。为了进一步提高模型的性能，我们执行知识蒸馏技术利用未标记的目标语言的数据。在蒸馏XABSA任务中，我们进一步探讨了不同数据（源数据集，翻译数据集和代码切换数据集）的比较有效性。结果表明，所提出的方法在XABSA，蒸馏XABSA和MABSA的三个任务中具有一定的改进。为了获得可重复性，我们的本文代码可在https://github.com/gklmip/cl-xabsa上获得。
translated by 谷歌翻译
作为世界上第四大语言家庭，Dravidian语言已成为自然语言处理（NLP）的研究热点。虽然Dravidian语言包含大量语言，但有相对较少的公众可用资源。此外，文本分类任务是自然语言处理的基本任务，如何将其与Dravidian语言中的多种语言相结合，仍然是Dravidian自然语言处理的主要困难。因此，为了解决这些问题，我们为Dravidian语言提出了一个多语言文本分类框架。一方面，该框架使用Labse预先训练的模型作为基础模型。针对多任务学习中文本信息偏见的问题，我们建议使用MLM策略选择语言特定的单词，并使用对抗训练来扰乱它们。另一方面，鉴于模型无法识别和利用语言之间的相关性的问题，我们进一步提出了一种特定于语言的表示模块，以丰富模型的语义信息。实验结果表明，我们提出的框架在多语言文本分类任务中具有重要性能，每个策略实现某些改进。
translated by 谷歌翻译
人类可以从少量的2D视图中从3D中感知场景。对于AI代理商，只有几个图像的任何视点识别场景的能力使它们能够有效地与场景及其对象交互。在这项工作中，我们试图通过这种能力赋予机器。我们提出了一种模型，它通过将新场景的几个RGB图像进行输入，并通过将其分割为语义类别来识别新的视点中的场景。所有这一切都没有访问这些视图的RGB图像。我们将2D场景识别与隐式3D表示，并从数百个场景的多视图2D注释中学习，而无需超出相机姿势的3D监督。我们试验具有挑战性的数据集，并展示我们模型的能力，共同捕捉新颖场景的语义和几何形状，具有不同的布局，物体类型和形状。
translated by 谷歌翻译
轨迹预测在智能车辆或社会机器人领域发挥着关键作用。最近的作品侧重于建模空间社会影响或时间运动注意，但忽视了运动的固有特征，即移动趋势和驾驶意图。本文提出了一种用于车辆轨迹预测的无背景的分层运动编码器 - 解码器网络（HMNET）。 HMNET首先揭示了运动的分层差异，以编码具有高富有动态趋势和驾驶意图的高效力的物理兼容模式。然后，根据位置 - 速度 - 加速相关模式分层地分层地构建多模式预测的目标（端点）。此外，我们介绍了一个修改的社交池模块，它考虑了某些运动属性来代表社交交互。 HMNET可以实现准确，单峰/多模式和物理上兼容的预测。三个公共轨迹预测数据集的实验，即NGSIM，高达和交互表明，我们的模型定量和定性地实现了最先进的性能。我们将在此处发布我们的代码：https：//github.com/xuedashuai/hmnet。
translated by 谷歌翻译