我们介绍了一系列成对随机梯度估计，用于期望的梯度，与日志衍生物特征有关，但涉及样本之间的成对交互。我们的新估计器的最简单示例被称为基本特技估计器，从A）引入并逼近基于微积分的基本定理，或B）将Reparameterisisisisisation技巧应用于无限扰动下的隐式参数化的整体表示参数。从前透视我们概括到再现内核希尔伯特空间表示，从上面提到的成对交互中产生了位置参数，产生了我们的代表技巧估计器。得到的估计器是无偏见的，并显示用于与日志导数估计器相比提供有用信息的独立组件。我们提供了进一步的新颖理论分析，其进一步表征了新技术所提供的差异。有希望的分析和数值例子证实了新估算器后面的理论和直觉。

这项研究提供了一个新颖的框架，以根据开源数据估算全球城市的公共交通巴士的经济，环境和社会价值。电动巴士是替代柴油巴士以获得环境和社会利益的引人注目的候选人。但是，评估总线电气化价值的最先进模型的适用性受到限制，因为它们需要可能难以购买的总线运营数据的细粒和定制数据。我们的估值工具使用通用过境饲料规范，这是全球运输机构使用的标准数据格式，为制定优先级排序策略提供了高级指导，以使总线机队电气化。我们开发了物理知识的机器学习模型，以评估每种运输途径的能耗，碳排放，健康影响以及总拥有成本。我们通过对大波士顿和米兰大都会地区的公交线路进行案例研究来证明我们的工具的可扩展性。

专为单药加固学习（RL）设计的算法通常无法在两人零和零和游戏中收敛到平衡。相反，在2P0S游戏中近似NASH和量子响应平衡（QRE）的游戏理论算法通常对RL竞争，并且很难扩展。结果，这两种情况的算法通常是分别开发和评估的。在这项工作中，我们表明，单个算法是一种近端正则化的镜像下降的简单扩展，我们称之为磁性镜下降（MMD） - 尽管它们的基本差异都可以在两种情况下产生强大的结果。从理论的角度来看，我们证明了MMD在广泛的游戏中线性收敛到QRE-这是第一阶求解器首次证明线性收敛。此外，我们通过自我播放作为表格NASH均衡求解器应用，我们从经验上表明，MMD在正常形式和广泛的形式游戏中都具有全反馈（这是标准RL算法首次完成），在正常形式和广泛的形式游戏中产生竞争性竞争因此）以及MMD在黑盒反馈设置中经验收敛。此外，对于单人Deep RL，在一小部分Atari和Mujoco游戏中，我们表明MMD可以与PPO的结果竞争。最后，对于多代理Deep RL，我们显示MMD可以在3x3突然的黑暗中胜过NFSP。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

Sparsely-gated Mixture of Expert (MoE) layers have been recently successfully applied for scaling large transformers, especially for language modeling tasks. An intriguing side effect of sparse MoE layers is that they convey inherent interpretability to a model via natural expert specialization. In this work, we apply sparse MoE layers to CNNs for computer vision tasks and analyze the resulting effect on model interpretability. To stabilize MoE training, we present both soft and hard constraint-based approaches. With hard constraints, the weights of certain experts are allowed to become zero, while soft constraints balance the contribution of experts with an additional auxiliary loss. As a result, soft constraints handle expert utilization better and support the expert specialization process, while hard constraints maintain more generalized experts and increase overall model performance. Our findings demonstrate that experts can implicitly focus on individual sub-domains of the input space. For example, experts trained for CIFAR-100 image classification specialize in recognizing different domains such as flowers or animals without previous data clustering. Experiments with RetinaNet and the COCO dataset further indicate that object detection experts can also specialize in detecting objects of distinct sizes.

本文通过学习的基于零件的自相似性解决了无监督的零件感知点云产生的问题。我们的SPA-VAE可为任何给定物体提供一组潜在的典型候选形状，以及每种此类候选形状的一组刚体转换，以在组装的对象中为一个或多个位置。通过这种方式，可以有效地组合在表面上的嘈杂样品，以估计单腿原型。当原始数据中存在基于零件的自相似性时，以这种方式共享数据会赋予许多优势：建模准确性，适当的自相似生成输出，闭塞的精确填充和模型简约。 Spa-vae是使用各种贝叶斯方法的端到端训练的，该方法使用Gumbel-Softmax Trick进行共享零件分配，并提供各种新颖的损失，以提供适当的电感偏见。对塑料的定量和定性分析证明了SPA-VAE的优势。

每年在美国犯下数十个恐怖袭击，往往会导致死亡和其他重大损害。在更好地理解和减轻这些攻击的结束时，我们展示了一组机器学习模型，用于从本地化的新闻数据中学习，以预测恐怖主义攻击是否将在给定的日历日期和给定状态上发生。最佳模型 - 一种随机森林，了解特征空间的新型可变长度移动平均表示 - 在接收器经营特征下实现的地区分数为$> .667美元，这是由恐怖主义影响最多的五个州的四个国家在2015年和2018年之间。我们的主要发现包括将恐怖主义建模为一系列独立事件，而不是作为一个持续的过程，是一种富有成果的方法 - 尤其是当事件稀疏和异常时。此外，我们的结果突出了对位置之间的差异的本地化模型的需求。从机器学习的角度来看，我们发现随机森林模型在我们的多模式，嘈杂和不平衡数据集上表现出几种深刻的模型，从而展示了我们的新颖特征表示方法在这种情况下的功效。我们还表明，其预测是对攻击之间的时间差距和观察到攻击特征的预测相对稳健。最后，我们分析了限制模型性能的因素，包括嘈杂的特征空间和少量可用数据。这些贡献为利用机器学习在美国及以后的恐怖主义努力中提供了重要的基础。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

前列腺癌是美国男人的第二致致命癌症。虽然磁共振成像（MRI）越来越多地用于引导前列腺癌诊断的靶向活组织检查，但其效用仍然受到限制，因为假阳性和假否定的高率以及较低的读者协议。机器学习方法在前列腺MRI上检测和定位癌症可以帮助标准化放射科学诠释。然而，现有的机器学习方法不仅在模型架构中不等，而且还可以在用于模型培训的地面真理标签策略中。在这项研究中，我们比较不同的标记策略，即病理证实放射科标签，整个安装组织病理学图像上的病理学家标签，以及病变水平和像素级数字病理学家标签（先前验证了组织病理学图像上的深层学习算法以预测像素 - 整个安装组织病理学图像上的Gleason模式）。我们分析这些标签对训练有素的机器学习模型的性能的影响。我们的实验表明，用它们培训的（1）放射科标签和模型可能会错过癌症，或低估癌症程度，（2）与他们培训的数字病理学家标签和模型与病理学家标签有高度的一致性，而（3）用数字病理学家培训的模型标签在两种不同疾病分布的两种不同群组中达到最佳性能，而不管使用的模型建筑如何。数字病理学家标签可以减少与人类注释相关的挑战，包括劳动力，时间，和读者间变异性，并且可以通过使可靠的机器学习模型进行培训来检测和定位前列腺癌，帮助弥合前列腺放射学和病理学之间的差距在MRI。

语音神经调节物有可能为患有扰动或休闲症的人提供沟通。最近的进展已经证明了从放置在皮质表面上的电加电网的高质量文本解码和语音合成。在这里，我们研究了较少的侵入性测量模态，即立体定向脑电图（SEEG），其提供来自多个脑区的稀疏抽样，包括皮质区域。为了评估Seeg是否也可用于综合神经录音的高质量音频，我们采用了一种基于现代深度学习方法的经常性编码器 - 解码器框架。我们证明，尽管有限的训练数据，但是可以从这些微创录音来重建高质量的言论。最后，我们利用变分特征丢失来成功识别最具信息丰富的电极触点。