在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

The world currently offers an abundance of data in multiple domains, from which we can learn reinforcement learning (RL) policies without further interaction with the environment. RL agents learning offline from such data is possible but deploying them while learning might be dangerous in domains where safety is critical. Therefore, it is essential to find a way to estimate how a newly-learned agent will perform if deployed in the target environment before actually deploying it and without the risk of overestimating its true performance. To achieve this, we introduce a framework for safe evaluation of offline learning using approximate high-confidence off-policy evaluation (HCOPE) to estimate the performance of offline policies during learning. In our setting, we assume a source of data, which we split into a train-set, to learn an offline policy, and a test-set, to estimate a lower-bound on the offline policy using off-policy evaluation with bootstrapping. A lower-bound estimate tells us how good a newly-learned target policy would perform before it is deployed in the real environment, and therefore allows us to decide when to deploy our learned policy.

The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.

从分布式敏感数据中学习隐私的模型是一个越来越重要的问题，通常在联邦学习环境中提出。最近通过分区的变异推理算法扩展到了非私有联盟学习设置。为了保护隐私，当前的黄金标准称为差异隐私。差异隐私在强大的数学上明确定义的意义上保证了隐私。在本文中，我们介绍了差异化的分区变异推断，这是学习与联合学习环境中贝叶斯后分布的差异近似的第一个通用框架，同时最大程度地减少了通信弹的数量并为数据主体提供差异隐私保证。我们在通用框架中提出了三个替代实现，一个基于单个方面的本地优化，而两个基于扰动全局更新（一种使用联合平均版本，一个将虚拟方添加到协议中），并比较其属性，并比较其属性理论上和经验。我们表明，只要各方都有足够的本地数据，扰动本地优化与简单且复杂的模型效果很好。但是，每个方始终独立保证隐私。相比之下，扰动全局更新与相对简单的模型最有效。鉴于可以访问合适的安全原始词，例如安全聚合或安全的改组，所有各方都可以共同保证隐私。

模型校准衡量预测的概率估计与真实性可能性之间的一致性。正确的模型校准对于高风险应用至关重要。不幸的是，现代深层神经网络的校准不佳，损害了可信度和可靠性。由于组织边界的自然不确定性，医疗图像分割尤其遭受了这种情况。这对他们的损失功能感到愤怒，这有利于多数级别的过度自信。我们用Domino（一种域感知的模型校准方法）解决了这些挑战，该方法利用了类标签之间的语义混淆性和分层相似性。我们的实验表明，在头部图像分割中，我们受多米诺骨牌校准的深神经网络优于非校准模型和最先进的形态学方法。我们的结果表明，与这些方法相比，我们的方法可以始终如一地实现更好的校准，更高的准确性和更快的推理时间，尤其是在稀有类别上。该性能归因于我们的域知觉正规化，以告知语义模型校准。这些发现表明，班级标签之间语义联系在建立深度学习模型的信心中的重要性。该框架有可能提高通用医学图像分割模型的可信度和可靠性。本文的代码可在以下网址获得：https：//github.com/lab-smile/domino。

恶意软件（恶意软件）分类为持续学习（CL）制度提供了独特的挑战，这是由于每天收到的新样本的数量以及恶意软件的发展以利用新漏洞。在典型的一天中，防病毒供应商将获得数十万个独特的软件，包括恶意和良性，并且在恶意软件分类器的一生中，有超过十亿个样品很容易积累。鉴于问题的规模，使用持续学习技术的顺序培训可以在减少培训和存储开销方面提供可观的好处。但是，迄今为止，还没有对CL应用于恶意软件分类任务的探索。在本文中，我们研究了11种应用于三个恶意软件任务的CL技术，涵盖了常见的增量学习方案，包括任务，类和域增量学习（IL）。具体而言，使用两个现实的大规模恶意软件数据集，我们评估了CL方法在二进制恶意软件分类（domain-il）和多类恶意软件家庭分类（Task-IL和类IL）任务上的性能。令我们惊讶的是，在几乎所有情况下，持续的学习方法显着不足以使训练数据的幼稚关节重播 - 在某些情况下，将精度降低了70个百分点以上。与关节重播相比，有选择性重播20％的存储数据的一种简单方法可以实现更好的性能，占训练时间的50％。最后，我们讨论了CL技术表现出乎意料差的潜在原因，希望它激发进一步研究在恶意软件分类域中更有效的技术。

鉴于HEP研究的核心，数据科学（DS）和机器学习（ML）在高能量物理学（HEP）中的作用增长良好和相关。此外，利用物理数据固有的对称性激发了物理信息的ML作为计算机科学研究的充满活力的子场。 HEP研究人员从广泛使用的材料中受益匪浅，可用于教育，培训和劳动力开发。他们还为这些材料做出了贡献，并为DS/ML相关的字段提供软件。物理部门越来越多地在DS，ML和物理学的交集上提供课程，通常使用HEP研究人员开发的课程，并涉及HEP中使用的开放软件和数据。在这份白皮书中，我们探讨了HEP研究与DS/ML教育之间的协同作用，讨论了此交叉路口的机会和挑战，并提出了将是互惠互利的社区活动。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

This work introduces a new multi-task, parameter-efficient language model (LM) tuning method that learns to transfer knowledge across different tasks via a mixture of soft prompts-small prefix embedding vectors pre-trained for different tasks. Our method, called ATTEMPT (ATTEntional Mixtures of Prompt Tuning), obtains source prompts as encodings of large-scale source tasks into a small number of parameters and trains an attention module to interpolate the source prompts and a newly initialized target prompt for every instance in the target task. During training, only the target task prompt and the attention weights, which are shared between tasks in multi-task training, are updated, while the original LM and source prompts are intact. ATTEMPT is highly parameter-efficient (e.g., updates 2,300 times fewer parameters than full fine-tuning) while achieving high task performance using knowledge from high-resource tasks. Moreover, it is modular using pre-trained soft prompts, and can flexibly add or remove source prompts for effective knowledge transfer. Our experimental results across 21 diverse NLP datasets show that ATTEMPT significantly outperforms prompt tuning and outperforms or matches fully fine-tuned or other parameter-efficient tuning approaches that use over ten times more parameters. Finally, ATTEMPT outperforms previous work in few-shot learning settings.

学习协作对于多机构增强学习（MARL）至关重要。以前的作品通过最大化代理行为的相关性来促进协作，该行为的相关性通常以不同形式的相互信息（MI）为特征。但是，我们揭示了次最佳的协作行为，也出现了强烈的相关性，并且简单地最大化MI可以阻碍学习的学习能力。为了解决这个问题，我们提出了一个新颖的MARL框架，称为“渐进式信息协作（PMIC）”，以进行更有效的MI驱动协作。 PMIC使用全球国家和联合行动之间MI测量的新协作标准。基于此标准，PMIC的关键思想是最大程度地提高与优越的协作行为相关的MI，并最大程度地减少与下等方面相关的MI。这两个MI目标通过促进更好的合作，同时避免陷入次级优势，从而扮演互补的角色。与其他算法相比，在各种MARL基准测试的实验表明，PMIC的表现出色。