Recent datasets expose the lack of the systematic generalization ability in standard sequence-to-sequence models. In this work, we analyze this behavior of seq2seq models and identify two contributing factors: a lack of mutual exclusivity bias (i.e., a source sequence already mapped to a target sequence is less likely to be mapped to other target sequences), and the tendency to memorize whole examples rather than separating structures from contents. We propose two techniques to address these two issues respectively: Mutual Exclusivity Training that prevents the model from producing seen generations when facing novel, unseen examples via an unlikelihood-based loss; and prim2primX data augmentation that automatically diversifies the arguments of every syntactic function to prevent memorizing and provide a compositional inductive bias without exposing test-set data. Combining these two techniques, we show substantial empirical improvements using standard sequence-to-sequence models (LSTMs and Transformers) on two widely-used compositionality datasets: SCAN and COGS. Finally, we provide analysis characterizing the improvements as well as the remaining challenges, and provide detailed ablations of our method. Our code is available at https://github.com/owenzx/met-primaug

MetaFormer, the abstracted architecture of Transformer, has been found to play a significant role in achieving competitive performance. In this paper, we further explore the capacity of MetaFormer, again, without focusing on token mixer design: we introduce several baseline models under MetaFormer using the most basic or common mixers, and summarize our observations as follows: (1) MetaFormer ensures solid lower bound of performance. By merely adopting identity mapping as the token mixer, the MetaFormer model, termed IdentityFormer, achieves >80% accuracy on ImageNet-1K. (2) MetaFormer works well with arbitrary token mixers. When specifying the token mixer as even a random matrix to mix tokens, the resulting model RandFormer yields an accuracy of >81%, outperforming IdentityFormer. Rest assured of MetaFormer's results when new token mixers are adopted. (3) MetaFormer effortlessly offers state-of-the-art results. With just conventional token mixers dated back five years ago, the models instantiated from MetaFormer already beat state of the art. (a) ConvFormer outperforms ConvNeXt. Taking the common depthwise separable convolutions as the token mixer, the model termed ConvFormer, which can be regarded as pure CNNs, outperforms the strong CNN model ConvNeXt. (b) CAFormer sets new record on ImageNet-1K. By simply applying depthwise separable convolutions as token mixer in the bottom stages and vanilla self-attention in the top stages, the resulting model CAFormer sets a new record on ImageNet-1K: it achieves an accuracy of 85.5% at 224x224 resolution, under normal supervised training without external data or distillation. In our expedition to probe MetaFormer, we also find that a new activation, StarReLU, reduces 71% FLOPs of activation compared with GELU yet achieves better performance. We expect StarReLU to find great potential in MetaFormer-like models alongside other neural networks.

速度控制预测是驾驶员行为分析中一个具有挑战性的问题，旨在预测驾驶员在控制车速（例如制动或加速度）中的未来行动。在本文中，我们尝试仅使用以自我为中心的视频数据来应对这一挑战，与使用第三人称视图数据或额外的车辆传感器数据（例如GPS或两者）的文献中的大多数作品相比。为此，我们提出了一个基于新型的图形卷积网络（GCN）网络，即Egospeed-net。我们的动机是，随着时间的推移，对象的位置变化可以为我们提供非常有用的线索，以预测未来的速度变化。我们首先使用完全连接的图形图将每个类的对象之间的空间关系建模，并在其上应用GCN进行特征提取。然后，我们利用一个长期的短期内存网络将每个类别的此类特征随着时间的流逝融合到矢量中，加入此类矢量并使用多层perceptron分类器预测速度控制动作。我们在本田研究所驾驶数据集上进行了广泛的实验，并证明了Egospeed-NET的出色性能。

近年来，移动机器人变得雄心勃勃，并在大规模场景中部署。作为对环境的高级理解，稀疏的骨骼图对更有效的全球计划有益。当前，现有的骨骼图生成解决方案受到了几个主要局限性，包括对不同地图表示的适应性不佳，对机器人检查轨迹的依赖和高计算开销。在本文中，我们提出了一种有效且柔性的算法，该算法生成轨迹独立的3D稀疏拓扑骨架图，捕获了自由空间的空间结构。在我们的方法中，采用了有效的射线采样和验证机制来找到独特的自由空间区域，这有助于骨架图顶点，并且在相邻的顶点作为边缘之间具有遍历性。周期形成方案还用于维持骨架图紧凑度。基准测试与最先进的作品的比较表明，我们的方法在较短的时间内生成稀疏的图形，从而提供了高质量的全球计划路径。在现实世界中进行的实验进一步验证了我们在现实情况下我们方法的能力。我们的方法将成为开源以使社区受益的开源。

事实证明，知识蒸馏是使用教师模型的预测来改善学生模型的一项有效技术。但是，最近的工作表明，在数据中的亚组中，平均效率的提高并不统一，尤其是在稀有亚组和类别上的准确性通常可能以准确性为代价。为了在可能遵循长尾分配的课程中保持强劲的表现，我们开发了蒸馏技术，这些技术是为了改善学生最差的级别表现而定制的。具体来说，我们为教师和学生介绍了不同组合的强大优化目标，并进一步允许在整体准确性和强大的最差目标之间进行任何权衡训练。我们从经验上表明，与其他基线方法相比，我们强大的蒸馏技术不仅可以实现更好的最差级别性能，而且还可以改善整体性能和最差的级别性能之间的权衡。从理论上讲，我们提供有关在目标培训健壮学生时使一名好老师的见解。

由于缺乏可用的数据集，模型和标准评估指标，因此以多模式数据为条件的现实，生动和类似人类的合成对话手势仍然是一个未解决的问题。为了解决这个问题，我们构建了人体表达式 - aauio-Text数据集，Beat，它具有76小时，高质量的，高质量的多模式数据，这些数据从30位扬声器中捕获了八种不同的情绪，用四种不同的语言，ii）32数以百万计的框架级别的情感和语义相关注释。我们对BEAT的统计分析表明，除了与音频，文本和说话者身份的已知相关性外，对话式手势与面部表情，情感和语义的相关性。基于此观察结果，我们提出了一个基线模型，即级联运动网络（CAMN），该模型由以上六种模式组成，该模式在级联的架构中建模以进行手势合成。为了评估语义相关性，我们引入了指标，语义相关性召回（SRGR）。定性和定量实验证明了指标的有效性，地面真相数据质量以及基线的最先进性能。据我们所知，BEAT是用于研究人类手势的最大运动捕获数据集，这可能有助于许多不同的研究领域，包括可控的手势合成，跨模式分析和情感手势识别。数据，代码和模型可在https://pantomatrix.github.io/beat/上获得。

我们呈现母语读者（NCR），这是一个新的机器阅读理解（MRC）数据集，在现代和古典中文中具有特别长的文章。来自中国高中课程的考试问题收集了NCR，旨在评估中国母语的语言能力。现有的中国MRC数据集是特定于域的或专注于现代中文中数百个字符的短文。相比之下，NCR包含8390个文件，平均长度为1024个字符，涵盖了各种中文写作风格，包括现代文章，古典文学和古典诗歌。总共有20477个关于这些文件的问题也需要强烈的推理能力和常识来弄清楚正确的答案。我们使用流行的中国预训练模型实现了多个基线模型，并使用我们的数据集推出了在线竞争，以检查当前方法的限制。最佳型号达到59％的测试精度，而人类评估则显示平均精度为79％，这表明当前MRC模型和母语扬声器之间的显着性能差距。我们在https://sites.google.com/view/native-chinese-reader/释放DataSet。

变压器在计算机视觉任务中表现出很大的潜力。常见的信念是他们的注意力令牌混合器模块对他们的能力做出了贡献。但是，最近的作品显示了变压器中的基于关注的模块可以被空间MLP所取代，由此产生的模型仍然表现得很好。基于该观察，我们假设变压器的一般架构，而不是特定的令牌混音器模块对模型的性能更为必要。为了验证这一点，我们刻意用尴尬的简单空间池汇集操作员取代变压器中的注意模块，以仅进行最基本的令牌混合。令人惊讶的是，我们观察到，派生模型称为池，在多台计算机视觉任务上实现了竞争性能。例如，在ImageNet-1K上，泳池制造器实现了82.1％的前1个精度，超越了调节的视觉变压器/ MLP样基线Deit-B / ResmmP-B24，比参数的35％/ 52％的准确度为0.3％/ 1.1％和48％/ 60％的Mac。泳道的有效性验证了我们的假设，并敦促我们启动“MetaFormer”的概念，这是一个从变压器抽象的一般架构，而无需指定令牌混音器。基于广泛的实验，我们认为MetaFormer是在视觉任务上实现最近变压器和MLP样模型的优越结果的关键球员。这项工作要求更具未来的研究，专门用于改善元形器，而不是专注于令牌混音器模块。此外，我们提出的池更换器可以作为未来的MetaFormer架构设计的起始基线。代码可在https://github.com/sail-sg/poolformer使用

去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一，但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm，一种分散的全向视觉惯性-UWB状态估计系统，用于解决这一研究利基市场。为了解决可观察性，复杂的初始化，准确性不足和缺乏全球一致性的问题，我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器，视觉惯性探测器，基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度，同时确保空中群中的全球一致性，这是实验结果证明的。此外，在没有任何外部设备的情况下，可以在全面的无人机间碰撞方面支持，表明全旋转的潜力是自动空中群的基础。

With the fast development of big data, it has been easier than before to learn the optimal decision rule by updating the decision rule recursively and making online decisions. We study the online statistical inference of model parameters in a contextual bandit framework of sequential decision-making. We propose a general framework for online and adaptive data collection environment that can update decision rules via weighted stochastic gradient descent. We allow different weighting schemes of the stochastic gradient and establish the asymptotic normality of the parameter estimator. Our proposed estimator significantly improves the asymptotic efficiency over the previous averaged SGD approach via inverse probability weights. We also conduct an optimality analysis on the weights in a linear regression setting. We provide a Bahadur representation of the proposed estimator and show that the remainder term in the Bahadur representation entails a slower convergence rate compared to classical SGD due to the adaptive data collection.