Offline reinforcement learning (RL) concerns pursuing an optimal policy for sequential decision-making from a pre-collected dataset, without further interaction with the environment. Recent theoretical progress has focused on developing sample-efficient offline RL algorithms with various relaxed assumptions on data coverage and function approximators, especially to handle the case with excessively large state-action spaces. Among them, the framework based on the linear-programming (LP) reformulation of Markov decision processes has shown promise: it enables sample-efficient offline RL with function approximation, under only partial data coverage and realizability assumptions on the function classes, with favorable computational tractability. In this work, we revisit the LP framework for offline RL, and advance the existing results in several aspects, relaxing certain assumptions and achieving optimal statistical rates in terms of sample size. Our key enabler is to introduce proper constraints in the reformulation, instead of using any regularization as in the literature, sometimes also with careful choices of the function classes and initial state distributions. We hope our insights further advocate the study of the LP framework, as well as the induced primal-dual minimax optimization, in offline RL.

Minimax优化已成为许多机器学习（ML）问题的骨干。尽管优化算法的收敛行为已在minimax设置中进行了广泛的研究，但它们在随机环境中的概括保证，即对经验数据训练的解决方案如何在看不见的测试数据上执行，但相对却相对均未被倍增。一个基本问题仍然难以捉摸：研究最小学习者的概括是什么？在本文中，我们的目标是首先证明原始风险是研究最小化中的普遍性的普遍指标，在简单的最小问题示例中失败了。此外，由于鞍点不存在，另一个流行的指标，即原始的双重风险，也无法表征非凸度问题的最小值问题的概括行为。因此，我们提出了一个新的指标，以研究最小学习者的概括：原始差距，以规避这些问题。接下来，我们在非convex-concave设置中得出原始差距的概括范围。作为我们分析的副产品，我们还解决了两个空旷的问题：在强大意义上，建立原始风险和原始偶发风险的概括范围，即没有强大的凹面或假设最大化和期望可以互换，而这些假设中的任何一个都可以互换在文献中需要。最后，我们利用这一新指标比较了两种流行算法的概括行为 - 梯度下降（GDA）和梯度下降 - 最大趋势 - 最小值优化。

Many recent perturbation studies have found unintuitive results on what does and does not matter when performing Natural Language Understanding (NLU) tasks in English. Coding properties, such as the order of words, can often be removed through shuffling without impacting downstream performances. Such insight may be used to direct future research into English NLP models. As many improvements in multilingual settings consist of wholesale adaptation of English approaches, it is important to verify whether those studies replicate or not in multilingual settings. In this work, we replicate a study on the importance of local structure, and the relative unimportance of global structure, in a multilingual setting. We find that the phenomenon observed on the English language broadly translates to over 120 languages, with a few caveats.

Providing better language tools for low-resource and endangered languages is imperative for equitable growth. Recent progress with massively multilingual pretrained models has proven surprisingly effective at performing zero-shot transfer to a wide variety of languages. However, this transfer is not universal, with many languages not currently understood by multilingual approaches. It is estimated that only 72 languages possess a "small set of labeled datasets" on which we could test a model's performance, the vast majority of languages not having the resources available to simply evaluate performances on. In this work, we attempt to clarify which languages do and do not currently benefit from such transfer. To that end, we develop a general approach that requires only unlabelled text to detect which languages are not well understood by a cross-lingual model. Our approach is derived from the hypothesis that if a model's understanding is insensitive to perturbations to text in a language, it is likely to have a limited understanding of that language. We construct a cross-lingual sentence similarity task to evaluate our approach empirically on 350, primarily low-resource, languages.

由于监督模型无法学习可以在具有有限标签的域中概括的域名，因此自我监督学习（SSL）已成为计算机视觉中的理想范式。 SSL的最新流行导致了几种模型的开发，这些模型利用了不同的培训策略，架构和数据扩展政策，而没有现有的统一框架来研究或评估其在转移学习中的有效性。我们提出了一个数据驱动的几何策略，可以使用每个局部诱导的特征空间中的局部邻域分析不同的SSL模型。与考虑参数，单个组件或优化领域的数学近似的现有方法不同，我们的工作旨在探索SSL模型所学的表示歧管的几何特性。我们提出的歧管图指标（MGM）提供了有关可用SSL模型之间的几何相似性和差异的见解，它们在特定的增强方面的不变以及它们在转移学习任务方面的表现。我们的关键发现是两个方面：（i）与普遍的看法相反，SSL模型的几何形状与其训练范式（对比度，无对比性和基于群集）无关； （ii）我们可以根据其语义和增强歧管的几何特性来预测特定模型的传输学习能力。

几次学习的元学习算法旨在训练能够仅使用几个示例将新任务概括为新任务的神经网络。早期停滞对于性能至关重要，在对新任务分布达到最佳概括时停止模型训练。元学习的早期机制通常依赖于从训练（源）数据集中绘制的元验证集中的标记示例上测量模型性能。这在几个射击传输学习设置中是有问题的，其中元测试集来自不同的目标数据集（OOD），并且可能会在元验证集中具有较大的分配转移。在这项工作中，我们提出了基于激活的早期停滞（ABE），这是使用基于验证的早期播放进行元学习的替代方法。具体而言，我们分析了每个隐藏层的神经激活期间的演变，在目标任务分布的一项任务中，在一组未标记的支持示例上，因为这构成了从最小值和合理的信息中。目标问题。我们的实验表明，有关激活的简单标签不可知统计提供了一种有效的方法来估计目标概括如何随着时间的推移如何发展。在每个隐藏层，我们从第一阶和二阶矩来表征激活分布，然后沿特征维度进一步汇总，从而在四维空间中产生紧凑而直观的表征。检测何时，在整个训练时间以及在哪个层上，目标激活轨迹与源数据的激活轨迹有所不同，使我们能够在大量的几个射击传输学习设置中执行早期停滞并改善概括，并在不同算法，源和目标数据集。

该底漆是为了提供终身学习不同方面的详细摘要。我们从第2章开始，该第2章提供了终身学习系统的高级概述。在本章中，我们讨论了终身学习中的突出场景（第2.4节），提供8介绍，一个由不同终身学习方法组成的高级组织（第2.5节），列举Desiderata为理想的终身学习系统（第2.6节），讨论如何讨论如何讨论终身学习与其他学习范式有关（第2.7节），描述用于评估终身学习系统的常见指标（第2.8节）。对于那些毕生学习并希望在不关注特定方法或基准的读者中，本章更有用。

大型语言模型（LLM）的最新进展已改变了自然语言处理（NLP）的领域。从GPT-3到Palm，每种新的大型语言模型都在推动自然语言任务的最新表现。除了自然语言的能力外，人们还对理解这种模型（接受大量数据，具有推理能力的培训）也引起了重大兴趣。因此，人们有兴趣为各种推理任务开发基准，并且在此类基准测试中测试LLM的初步结果似乎主要是积极的。但是，目前的基准相对简单，这些基准的性能不能用作支持的证据，很多时候是古怪的，对LLMS的推理能力提出了主张。截至目前，这些基准仅代表了一组非常有限的简单推理任务集，如果我们要衡量此类基于LLM的系统的真实限制，我们需要研究更复杂的推理问题。通过这种动机，我们提出了一个可扩展的评估框架，以测试LLM在人类智能的中心方面的能力，这是关于行动和变化的推理。我们提供的多个测试案例比任何先前建立的推理基准都更重要，并且每个测试案例都评估了有关行动和变化的推理的某些方面。对GPT-3（Davinci）基本版本的初步评估结果，在这些基准测试中显示了Subpar的性能。

近年来，已经引入了越来越多的基于模型的强化学习（RL）方法。鉴于其许多潜在的好处，例如更高的样本效率和快速适应环境变化的潜力，对基于深层模型的RL的兴趣并不奇怪。但是，我们证明，使用最近引入的本地变化适应（LOCA）设置的改进版本，众所周知的基于模型的方法（例如Planet和Dreamerv2）在适应本地环境变化的能力方面表现不佳。结合先前的工作，对其他基于模型的方法Muzero进行了类似的观察，似乎出现了一种趋势，这表明当前基于深层模型的方法具有严重的局限性。我们通过识别损害适应性行为并将其与经常在基于DEEP模型的RL中经常使用的基础技术联系起来的元素，深入研究这种绩效不佳的原因。在线性函数近似的情况下，我们通过证明了线性DyNA的修改版本实现有效适应局部变化，从而验证了这些见解。此外，我们通过实验非线性版本的DYNA来提供详细的见解，以了解构建基于自适应非线性模型方法的挑战。

快速的空中抓握机器人可以导致许多应用程序，这些应用程序利用了快速，动态的拾取和放置对象。传统上用于空中操纵器中的刚性握手需要高精度和特定的物体几何形状才能成功抓握。我们提出了猛禽（Raptor），这是一个四轮摩托车平台，结合了自定义的鳍射线抓地力，以实现具有不同几何形状的物体的更灵活的抓握，利用软材料的特性来增加抓地力和物体之间的接触表面。为了减少通信延迟，我们提出了一种基于快速DDS（数据分配服务）的新的轻型中间件解决方案，作为ROS（机器人操作系统）的替代方案。我们表明，猛禽在现实环境中平均达到了83％的抓地力，用于四种不同的物体几何形状，同时在握把期间以1 m/s的平均速度移动。在高速设置中，与以前的作品相比，Raptor最多支持有效载荷的四倍。我们的结果突出了自动仓库中航空无人机的潜力以及其他在难以到达的地方运行时速度，迅速和鲁棒性至关重要的操作应用。