基准测试对于人工智能（AI）的衡量和转向进步至关重要。但是，最近的研究引起了人们对AI基准测试状态的关注，报告了基准过度拟合，基准测试饱和度以及基准数据集创建的集中化等问题。为了促进监测AI基准测试生态系统的健康状况，我们介绍了创建基准创建和饱和全球动力学的凝结图的方法。我们策划了1688个基准测试的数据，涵盖了计算机视觉和自然语言处理的整个领域，并表明很大一部分基准迅速趋向于近乎饱和，许多基准无法找到广泛的利用，并且基准为不同AI的基准性能增长任务容易出现不可预见的爆发。我们分析与基准流行相关的属性，并得出结论，未来的基准应该强调多功能性，广度和现实世界实用程序。

基准数据集在机器学习研究组织中发挥着核心作用。他们协调共享研究问题的研究人员，并作为共同目标的进展衡量。尽管基准测试在该领域的基准实践存在的基础作用，但已经对基准数据集使用和重用，在机器学习子信中或跨机器中的动态进行了相对较少的关注。在本文中，我们挖掘了这些动态。我们研究数据集使用模式如何在机器学习子信中和2015 - 2012年的时间跨越时间。我们发现在任务社区中较少和更少的数据集中越来越少，从其他任务中获取数据集的重大采用，以及由位于少数精英机构内的研究人员引入的数据集中的集中集中。我们的结果对该领域内的科学评估，AI伦理和股权/访问有影响。

AI中的不同子场倾向于储存一小部分有影响力的基准。这些基准作为一系列涂抹的常见问题的支架运作，这些常见问题经常被录制为朝向灵活和更广泛的AI系统的道路上的基础里程碑。这些基准最先进的性能被广泛理解为表明对这些长期目标的进展。在这个位置纸中，我们探讨了这种基准的限制，以便在其框架中揭示构建有效性问题，作为功能“一般”的进展措施，他们被设置为。

The number of scientific publications continues to rise exponentially, especially in Computer Science (CS). However, current solutions to analyze those publications restrict access behind a paywall, offer no features for visual analysis, limit access to their data, only focus on niches or sub-fields, and/or are not flexible and modular enough to be transferred to other datasets. In this thesis, we conduct a scientometric analysis to uncover the implicit patterns hidden in CS metadata and to determine the state of CS research. Specifically, we investigate trends of the quantity, impact, and topics for authors, venues, document types (conferences vs. journals), and fields of study (compared to, e.g., medicine). To achieve this we introduce the CS-Insights system, an interactive web application to analyze CS publications with various dashboards, filters, and visualizations. The data underlying this system is the DBLP Discovery Dataset (D3), which contains metadata from 5 million CS publications. Both D3 and CS-Insights are open-access, and CS-Insights can be easily adapted to other datasets in the future. The most interesting findings of our scientometric analysis include that i) there has been a stark increase in publications, authors, and venues in the last two decades, ii) many authors only recently joined the field, iii) the most cited authors and venues focus on computer vision and pattern recognition, while the most productive prefer engineering-related topics, iv) the preference of researchers to publish in conferences over journals dwindles, v) on average, journal articles receive twice as many citations compared to conference papers, but the contrast is much smaller for the most cited conferences and journals, and vi) journals also get more citations in all other investigated fields of study, while only CS and engineering publish more in conferences than journals.

比较基准数据集的模型性能是人工智能测量和驱动进展的一个组成部分。模型在基准数据集上的性能通常基于单个或一小组性能指标进行评估。虽然这使得能够快速比较，但如果度量标准不充分覆盖所有性能特征，则可能导致模型性能不充分反映模型性能。它在多大程度上可能影响基准努力。为了解决这个问题，我们根据数据涵盖了3867个机器学习模型性能的基于数据，分析了当前的性能指标景观，从而用代码的开放存储库的“论文”。我们的研究结果表明，目前使用的大多数指标都有可能导致模型绩效反映不足的属性。虽然已经提出了解决有问题属性的替代度量，但目前很少使用它们。此外，我们描述了报告的指标中的歧义，这可能导致难以解释和比较模型表演。

专利数据已用于工程设计研究，因为它包含大量的设计信息。人工智能和数据科学的最新进展呈现了我前所未有的机会，分析和对专利数据感开发设计理论和方法。在此，我们通过他们的贡献来调查专利设计文献，以设计理论，方法，工具和策略，以及不同形式的专利数据和各种方法。我们的评论阐明了对该领域的未来研究方向的光临。

在本文中，我们将科学文章分类为自然语言处理（NLP）和机器学习（ML）的科学文章（i）是否通过引入击败现有模型或的新型技术来扩展当前的最新技术是否（ii）他们是否主要批评现有的最新技术，即，它相对于某些属性（例如，错误的评估，错误的数据集，误导性的任务规范）不足。我们将（i）下的贡献称为具有\ enquote {正姿势}和（ii）下的贡献为具有\ enquote {负姿势}（对相关工作）。我们注释来自NLP和ML的1.5k纸以超过1.5k的论文来培训基于SCIBERT的模型，以自动根据其标题和抽象来预测论文的立场。然后，我们分析了NLP和ML的最后35年$ 35年以上的41k纸上的大规模趋势，发现随着时间的流逝，论文变得更加积极，但是负面论文也变得更加负面，我们观察到更多的负面论文，我们观察到了更多的负面论文。最近几年。在收到的引用方面，负面论文也更具影响力。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

深度学习的成功导致了包括计算机视觉在内的许多计算机科学领域的快速转变和增长。在这项工作中，我们通过从媒体考古学的角度分析研究论文中的数字和表，通过计算机视觉研究论文本身来研究这种增长的影响。我们通过对涵盖计算机视觉，图形和可视化的资深研究人员的访谈以及十年的视觉会议论文的计算分析进行了调查。我们的分析重点是在广告，衡量和传播日益商品化的“贡献”中发挥作用的要素。我们认为，这些元素中的每一个都由计算机视觉的气候塑造和塑造，最终为该商品化做出了贡献。通过这项工作，我们试图激励有关研究论文设计和更广泛的社会技术出版系统的未来讨论。

主张神经符号人工智能（NESY）断言，将深度学习与象征性推理相结合将导致AI更强大，而不是本身。像深度学习一样成功，人们普遍认为，即使我们最好的深度学习系统也不是很擅长抽象推理。而且，由于推理与语言密不可分，因此具有直觉的意义，即自然语言处理（NLP）将成为NESY特别适合的候选人。我们对实施NLP实施NESY的研究进行了结构化审查，目的是回答Nesy是否确实符合其承诺的问题：推理，分布概括，解释性，学习和从小数据的可转让性以及新的推理到新的域。我们研究了知识表示的影响，例如规则和语义网络，语言结构和关系结构，以及隐式或明确的推理是否有助于更高的承诺分数。我们发现，将逻辑编译到神经网络中的系统会导致满足最NESY的目标，而其他因素（例如知识表示或神经体系结构的类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上，特别是与人类级别的推理有关的许多差异，这会影响有关模型架构的决策并推动结论，这些结论在整个研究中并不总是一致的。因此，我们倡导采取更加有条不紊的方法来应用人类推理的理论以及适当的基准的发展，我们希望这可以更好地理解该领域的进步。我们在GitHub上提供数据和代码以进行进一步分析。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

同行评审是一项广泛接受的研究评估机制，在学术出版中发挥关键作用。然而，批评已经长期升级了这种机制，主要是因为它的低效率和主体性。近年来已经看到人工智能（AI）在协助同行评审过程中的应用。尽管如此，随着人类的参与，这种限制仍然是不可避免的。在本文中，我们提出了自动化学术纸质审查（ASPR）的概念，并审查了相关的文献和技术，讨论实现全面的计算机化审查流程的可能性。我们进一步研究了现有技术ASPR的挑战。在审查和讨论的基础上，我们得出结论，ASPR的每个阶段都有相应的研究和技术。这验证了随着相关技术继续发展的长期可以实现ASPR。其实现中的主要困难在于不完美的文献解析和表示，数据不足，数据缺陷，人机互动和有缺陷的深度逻辑推理。在可预见的未来，ASPR和同行评审将在ASPR能够充分承担从人类的审查工作量之前以加强方式共存。

深度学习的最近历史一直是成就之一：从游戏中的人类胜利到图像分类，语音识别，翻译和其他任务的世界领先表现。但是，这一进展带来了对计算能力的渴望。本文分类了这种依赖性的程度，表明各种应用程序的进展非常依赖于计算能力的增加。推断向前的信仰表明，沿当前线的进步正在经济，技术和环境上迅速变得不可持续。因此，在这些应用程序中的持续进展将需要更大的计算方法，这要么必须从变化到深度学习或转移到其他机器学习方法。

源代码对于研究人员重现方法并复制人工智能（AI）论文的结果至关重要。一些组织和研究人员手动收集具有可用源代码的AI论文，以对AI社区做出贡献。但是，手动收集是一项劳动密集型且耗时的任务。为了解决此问题，我们提出了一种方法，可以自动识别具有可用源代码的论文并提取其源代码存储库URL。通过这种方法，我们发现，从2010年到2019年发布的10个最高AI会议的常规论文中有20.5％被确定为具有可用源代码的论文，并且这些源代码存储库中有8.1％不再可访问。我们还创建了XMU NLP Lab ReadMe数据集，这是用于源代码文档研究的标记已读数文件的最大数据集。通过此数据集，我们发现了很多读书文件没有提供的安装说明或使用教程。此外，对AI会议论文的源代码的一般图片进行了大规模的综合统计分析。提出的解决方案还可以超越AI会议论文，以分析来自期刊和会议的其他科学论文，以阐明更多领域。

创新是经济和社会发展的主要驱动力，有关多种创新的信息嵌入了专利和专利申请的半结构化数据中。尽管在专利数据中表达的创新的影响和新颖性很难通过传统手段来衡量，但ML提供了一套有希望的技术来评估新颖性，汇总贡献和嵌入语义。在本文中，我们介绍了Harvard USPTO专利数据集（HUPD），该数据集是2004年至2004年之间提交给美国专利商业办公室（USPTO）的大型，结构化和多用途的英语专利专利申请。 2018年。HUPD拥有超过450万张专利文件，是可比的Coldia的两到三倍。与以前在NLP中提出的专利数据集不同，HUPD包含了专利申请的发明人提交的版本（不是授予专利的最终版本），其中允许我们在第一次使用NLP方法进行申请时研究专利性。它在包含丰富的结构化元数据以及专利申请文本的同时也很新颖：通过提供每个应用程序的元数据及其所有文本字段，数据集使研究人员能够执行一组新的NLP任务，以利用结构性协变量的变异。作为有关HUPD的研究类型的案例研究，我们向NLP社区（即专利决策的二元分类）介绍了一项新任务。我们还显示数据集中提供的结构化元数据使我们能够对此任务进行概念转移的明确研究。最后，我们演示了如何将HUPD用于三个其他任务：专利主题领域的多类分类，语言建模和摘要。

We are currently unable to specify human goals and societal values in a way that reliably directs AI behavior. Law-making and legal interpretation form a computational engine that converts opaque human values into legible directives. "Law Informs Code" is the research agenda capturing complex computational legal processes, and embedding them in AI. Similar to how parties to a legal contract cannot foresee every potential contingency of their future relationship, and legislators cannot predict all the circumstances under which their proposed bills will be applied, we cannot ex ante specify rules that provably direct good AI behavior. Legal theory and practice have developed arrays of tools to address these specification problems. For instance, legal standards allow humans to develop shared understandings and adapt them to novel situations. In contrast to more prosaic uses of the law (e.g., as a deterrent of bad behavior through the threat of sanction), leveraged as an expression of how humans communicate their goals, and what society values, Law Informs Code. We describe how data generated by legal processes (methods of law-making, statutory interpretation, contract drafting, applications of legal standards, legal reasoning, etc.) can facilitate the robust specification of inherently vague human goals. This increases human-AI alignment and the local usefulness of AI. Toward society-AI alignment, we present a framework for understanding law as the applied philosophy of multi-agent alignment. Although law is partly a reflection of historically contingent political power - and thus not a perfect aggregation of citizen preferences - if properly parsed, its distillation offers the most legitimate computational comprehension of societal values available. If law eventually informs powerful AI, engaging in the deliberative political process to improve law takes on even more meaning.

We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% -15% on CIFAR-10 and 11% -14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

计算病理（CPATH）是一种具有关于组织病理研究的新兴领域，通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积，以预测诊断域，预测，治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据，CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中，我们讨论了CPATH限制和相关挑战，使读者能够区分HIPE的希望，并为未来的研究提供指示，以克服这个崭露头角领域的一些主要挑战，以使其发射到两个轨道上。