设计代码简化尚未提供选择是一个绳索走路。诸如优化器和数据集之类的其他模块使框架对更广泛的受众有用，但增加复杂性很快就会成为一个问题。框架参数可能仅适用于某些模块，而不是其他模块，通常以不清楚的方式相互排斥或依赖于彼此。即便如此，许多框架仅限于一些特定用例。本文介绍了UNINAS的潜在概念，旨在包含各种神经结构搜索方法的框架。由于它们的优化器和网络的数量不同，超参数优化，网络设计，候选操作等等，传统方法无法解决任务。相反，每个模块都定义了自己的超参数和模块要求的本地树结构。配置文件指定使用哪些模块，其使用的参数以及它们反过来使用的其他模块，以及它们的参数树的概念使得能够在复杂配置中组合和重用模块，同时避免上面提到的许多问题。参数树也可以由图形用户界面配置，以便在不撰写单行代码的情况下实现设计和更改实验。 Uninas公开可用于https://github.com/cogsys-tuebingen/uninas

现代神经结构搜索方法对几个学科进行了多次破坏最先进的结果。超级网络，许多这样的方法的中心组件，可以快速估计搜索空间中的任何架构的准确性或损失统计数据。它们包含所有候选架构的网络权重，因此可以通过应用各个操作来近似特定的。但是，这种设计忽略了连续操作之间的潜在依赖关系。我们将超级网络扩展到有条件的权重，这些重量取决于选择的组合并分析它们的效果。NAS - 台凳201和基于NAS - 台型宏的搜索空间的实验显示了架构选择的改进，并且资源开销几乎可以忽略不计，以便顺序网络设计。

Autoencoders are a popular model in many branches of machine learning and lossy data compression. However, their fundamental limits, the performance of gradient methods and the features learnt during optimization remain poorly understood, even in the two-layer setting. In fact, earlier work has considered either linear autoencoders or specific training regimes (leading to vanishing or diverging compression rates). Our paper addresses this gap by focusing on non-linear two-layer autoencoders trained in the challenging proportional regime in which the input dimension scales linearly with the size of the representation. Our results characterize the minimizers of the population risk, and show that such minimizers are achieved by gradient methods; their structure is also unveiled, thus leading to a concise description of the features obtained via training. For the special case of a sign activation function, our analysis establishes the fundamental limits for the lossy compression of Gaussian sources via (shallow) autoencoders. Finally, while the results are proved for Gaussian data, numerical simulations on standard datasets display the universality of the theoretical predictions.

Spurious correlations, or correlations that change across domains where a model can be deployed, present significant challenges to real-world applications of machine learning models. However, such correlations are not always "spurious"; often, they provide valuable prior information for a prediction beyond what can be extracted from the input alone. Here, we present a test-time adaptation method that exploits the spurious correlation phenomenon, in contrast to recent approaches that attempt to eliminate spurious correlations through invariance. We consider situations where the prior distribution $p(y, z)$, which models the marginal dependence between the class label $y$ and the nuisance factors $z$, may change across domains, but the generative model for features $p(\mathbf{x}|y, z)$ is constant. We note that this is an expanded version of the label shift assumption, where the labels now also include the nuisance factors $z$. Based on this observation, we train a classifier to predict $p(y, z|\mathbf{x})$ on the source distribution, and implement a test-time label shift correction that adapts to changes in the marginal distribution $p(y, z)$ using unlabeled samples from the target domain. We call our method "Test-Time Label-Shift Adaptation" or TTLSA. We apply our method to two different image datasets -- the CheXpert chest X-ray dataset and the colored MNIST dataset -- and show that it gives better downstream results than methods that try to train classifiers which are invariant to the changes in prior distribution. Code reproducing experiments is available at https://github.com/nalzok/test-time-label-shift .

本文开发了主要的权衡分析（PTA），这是一种类似于主成分分析（PCA）的分解方法，该方法允许任何游戏表示为碟片游戏的加权总和（连续的R-P-S游戏）。将PTA应用于经验生成的锦标赛图中，将一系列嵌入到代表独立战略权衡的正交2D特征平面中。每个权衡都会产生一种循环竞争模式。像PCA一样，PTA提供了可以截断的近似值的比赛图的最佳低级估计。可以通过计算重要的循环模式的数量来量化环状竞争的复杂性。我们通过应用到一对游戏（Blotto，Pokemon）来说明PTA。所得的2D磁盘游戏表示非常适合可视化，并且很容易解释。在Blotto中，PTA确定了游戏对称性，并指定了与独特的获胜条件相关的战略权衡。对于口袋妖怪，PTA嵌入在嵌入式空间中产生簇，这自然对应于Pokemon类型，Pokemon类型是游戏中产生环状交易的设计。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

大型语言模型已被证明可以使用少量学习来实现各种自然语言任务的出色表现，这大大减少了将模型调整到特定应用程序所需的特定任务培训示例的数量。为了进一步了解量表对少量学习的影响，我们培训了一个5400亿个参数，密集激活的变压器语言模型，我们称之为“途径”语言模型棕榈。我们使用Pathways在6144 TPU V4芯片上训练了Palm，这是一种新的ML系统，可在多个TPU POD上进行高效的训练。我们通过在数百种语言理解和产生基准的基准方面实现最先进的学习结果来证明扩展的持续好处。在这些任务中，Palm 540B实现了突破性的表现，在一系列多步推理任务上表现出色，超过了最新的最新表现，并且在最近发布的Big Benchmark上表现优于平均人类表现。大量的大型基础任务显示出与模型量表的不连续改进，这意味着当我们扩展到最大模型时，性能急剧增加。 Palm在多语言任务和源代码生成方面也具有很强的功能，我们在各种基准测试中证明了这一点。我们还提供了有关偏见和毒性的全面分析，并研究了训练数据记忆的程度，相对于模型量表。最后，我们讨论与大语言模型有关的道德考虑，并讨论潜在的缓解策略。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

研究多层合作研究中的一个关键挑战是不仅需要有效合作的个人代理，而且需要与谁合作。当其他代理人隐藏的情况下，可能是错误的动机和目标时，这在局势中特别关键。社交扣除游戏提供途径来研究个人如何学习如何综合有关其他人的潜在不可靠的信息，并阐明其真正的动机。在这项工作中，我们展示了隐藏的议程，这是一个双队的社交扣除游戏，为在未知团队对齐的情况下学习学习代理的2D环境。环境承认两支球队的丰富战略。在隐藏议程中培训的强化学习代理表明，代理商可以学习各种行为，包括合作和投票，而无需以自然语言沟通。

在本文中，我们研究了多语言句子嵌入的使用，以转移跨管辖区，法律制度（普通和民法），语言和域名的审判决策功能分割的预测模型（即语境）。利用原始环境之外的语言资源的机制在AI和法律中具有显着的潜在利益，因为法律制度，语言或传统之间的差异往往阻碍了更广泛的研究结果。我们使用跨语言可转换的门控复发单元（GRUS）分析使用语言无话句子表示的使用。调查不同背景之间的转移，我们开发了一种审判决策功能分割的注释方案。我们发现模特超出了他们接受培训的背景（例如，在美国的行政决定上培训的模型可以应用于意大利的刑法决定）。此外，我们发现在多种上下文上培训模型增加了鲁棒性并在评估先前看不见的上下文时提高整体性能。最后，我们发现，从所有上下文中汇集训练数据增强了模型的上下文性能。