人类有时选择他们自己可以识别为次优或错误的行动，即使在没有其他信息的情况下也是如此。这怎么可能？我们基于基于价值的RL和基于策略的RL之间的强化学习（RL）的良好折衷折衷的折衷算法的元认知理论。对于认知（Neuro）科学社区，我们的理论回答了为什么信息可以用于错误检测但不适合动作选择的突出问题。对于机器学习界，我们的拟议理论在演员批评者中的演员和评论家之间创造了一种新的互动，并注意到RL和贝叶斯优化之间的新建立。我们称我们提出的代理人元认知演员评论家（Mac）。我们结束了通过实现深层MAC来显示如何在机器中创建元记号，并显示它可以检测到其自己的次优操作而没有外部信息或延迟。

Particle dynamics and multi-agent systems provide accurate dynamical models for studying and forecasting the behavior of complex interacting systems. They often take the form of a high-dimensional system of differential equations parameterized by an interaction kernel that models the underlying attractive or repulsive forces between agents. We consider the problem of constructing a data-based approximation of the interacting forces directly from noisy observations of the paths of the agents in time. The learned interaction kernels are then used to predict the agents behavior over a longer time interval. The approximation developed in this work uses a randomized feature algorithm and a sparse randomized feature approach. Sparsity-promoting regression provides a mechanism for pruning the randomly generated features which was observed to be beneficial when one has limited data, in particular, leading to less overfitting than other approaches. In addition, imposing sparsity reduces the kernel evaluation cost which significantly lowers the simulation cost for forecasting the multi-agent systems. Our method is applied to various examples, including first-order systems with homogeneous and heterogeneous interactions, second order homogeneous systems, and a new sheep swarming system.

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

越来越多的多元过程数据驱动了熟练工人从这些数据分析，解释和构建模型的需求。多元数据分析在很大程度上依赖于线性代数，优化和统计数据，并且鉴于大多数课程在后三个主题中没有强大的覆盖范围，学生可能会具有挑战性。本文介绍了用于教学，学习和理解潜在变量方法的交互式软件 - 潜在变量演示器（LAVADE）。在此软件中，用户可以与其他回归方法（例如绝对收缩和选择运算符（LASSO），Ridge Remission（RR）和其他回归方法（RR）和其他回归方法（RR）和其他回归方法进行交互式比较潜在变量方法，例如部分最小二乘（PLS）和主组件回归（PCR）。弹性网（en）。 Lavade有助于建立有关选择适当方法，超参数调整和模型系数解释的直觉，从而促进对算法差异的概念理解。该软件包含数据生成方法和三个化学过程数据集，可以比较具有不同复杂性级别的数据集的结果。 Lavade作为开源软件发布，以便其他人可以应用并推进用于教学或研究的工具。

The spectra of random feature matrices provide essential information on the conditioning of the linear system used in random feature regression problems and are thus connected to the consistency and generalization of random feature models. Random feature matrices are asymmetric rectangular nonlinear matrices depending on two input variables, the data and the weights, which can make their characterization challenging. We consider two settings for the two input variables, either both are random variables or one is a random variable and the other is well-separated, i.e. there is a minimum distance between points. With conditions on the dimension, the complexity ratio, and the sampling variance, we show that the singular values of these matrices concentrate near their full expectation and near one with high-probability. In particular, since the dimension depends only on the logarithm of the number of random weights or the number of data points, our complexity bounds can be achieved even in moderate dimensions for many practical setting. The theoretical results are verified with numerical experiments.

稀疏的缩小添加剂模型和稀疏随机特征模型作为学习低阶函数的方法分别开发，其中变量之间几乎没有相互作用，但既不提供计算效率。另一方面，$ \ ell_2 $基上的缩小添加剂模型是有效的，但不提供特征选择，因为产生的系数矢量密集。灵感来自迭代幅度修剪技术在寻找神经网络的彩票票时，我们提出了一种新方法 - 通过IMP（虾）稀疏随机特征模型 - 以有效地拟合具有固有的低维结构的高维数据稀疏可变依赖性的形式。我们的方法可以被视为组合过程来构建和找到两个层密度网络的稀疏彩票票。我们通过对阈值基础追踪的泛化误差和产生的界限进行精细分析来解释虾的观察到的益处。从综合性数据和现实世界基准数据集的功能近似实验，我们展示了与最先进的稀疏特征和添加方法（如SRFE-S，SSAM和Salsa）相比获得的虾优于或竞争性测试准确性。同时，虾以低计算复杂度执行特征选择，并且对修剪速率强大，表示所获得的子网结构中的稳健性。通过注意到我们的模型和重量/神经元子网之间的对应关系，我们通过虾深入了解彩票假设。

我们在随机特征矩阵的条件数上提供（高概率）界限。特别是，我们表明，如果复杂性比率$ \ frac {n} $ where $ n $是n $ with n $ wore $ n $是$ m $的数量，如$ \ log ^ {-1}（ n）$或$ \ log（m）$，然后随机功能矩阵很好。该结果在没有正则化的情况下保持并且依赖于在随机特征矩阵的相关组件之间建立各种浓度界限。另外，我们在随机特征矩阵的受限等距常数上获得界限。我们证明了使用随机特征矩阵的回归问题相关的风险表现出双重下降现象，并且这是条件数的双缩小行为的效果。风险范围包括使用最小二乘问题的underParamedAimed设置和使用最小规范插值问题或稀疏回归问题的过次参数化设置。对于最小二乘或稀疏的回归案例，我们表明风险降低为$ M $和$ N $增加，即使在存在有限或随机噪声时也是如此。风险绑定与文献中的最佳缩放匹配，我们的结果中的常量是显式的，并且独立于数据的维度。