The number of scientific publications continues to rise exponentially, especially in Computer Science (CS). However, current solutions to analyze those publications restrict access behind a paywall, offer no features for visual analysis, limit access to their data, only focus on niches or sub-fields, and/or are not flexible and modular enough to be transferred to other datasets. In this thesis, we conduct a scientometric analysis to uncover the implicit patterns hidden in CS metadata and to determine the state of CS research. Specifically, we investigate trends of the quantity, impact, and topics for authors, venues, document types (conferences vs. journals), and fields of study (compared to, e.g., medicine). To achieve this we introduce the CS-Insights system, an interactive web application to analyze CS publications with various dashboards, filters, and visualizations. The data underlying this system is the DBLP Discovery Dataset (D3), which contains metadata from 5 million CS publications. Both D3 and CS-Insights are open-access, and CS-Insights can be easily adapted to other datasets in the future. The most interesting findings of our scientometric analysis include that i) there has been a stark increase in publications, authors, and venues in the last two decades, ii) many authors only recently joined the field, iii) the most cited authors and venues focus on computer vision and pattern recognition, while the most productive prefer engineering-related topics, iv) the preference of researchers to publish in conferences over journals dwindles, v) on average, journal articles receive twice as many citations compared to conference papers, but the contrast is much smaller for the most cited conferences and journals, and vi) journals also get more citations in all other investigated fields of study, while only CS and engineering publish more in conferences than journals.

DBLP是计算机科学科学文章的最大开放访问存储库，并提供与出版物，作者和场地相关的元数据。我们从DBLP中检索了超过600万个出版物，并从出版物文本中提取了相关的元数据（例如摘要，作者分支机构，引用），以创建DBLP Discovery Dataset（D3）。 D3可用于确定计算机科学研究的研究活动，生产力，偏见，可及性和影响的趋势。我们提出了针对计算机科学研究量（例如论文，作者，研究活动的数量），感兴趣主题和引文模式的初步分析。我们的发现表明，计算机科学是一个不断增长的研究领域（每年约15％），拥有一个积极的协作研究员社区。与前几十年相比，近年来的论文提供了更多的书目条目，但引用的平均数量仍在下降。调查论文的摘要表明，最近的主题趋势在D3中明显反映。最后，我们列出了D3和提出补充研究问题的进一步应用。 D3数据集，我们的发现和源代码可公开用于研究目的。

深度学习的成功导致了包括计算机视觉在内的许多计算机科学领域的快速转变和增长。在这项工作中，我们通过从媒体考古学的角度分析研究论文中的数字和表，通过计算机视觉研究论文本身来研究这种增长的影响。我们通过对涵盖计算机视觉，图形和可视化的资深研究人员的访谈以及十年的视觉会议论文的计算分析进行了调查。我们的分析重点是在广告，衡量和传播日益商品化的“贡献”中发挥作用的要素。我们认为，这些元素中的每一个都由计算机视觉的气候塑造和塑造，最终为该商品化做出了贡献。通过这项工作，我们试图激励有关研究论文设计和更广泛的社会技术出版系统的未来讨论。

创新是经济和社会发展的主要驱动力，有关多种创新的信息嵌入了专利和专利申请的半结构化数据中。尽管在专利数据中表达的创新的影响和新颖性很难通过传统手段来衡量，但ML提供了一套有希望的技术来评估新颖性，汇总贡献和嵌入语义。在本文中，我们介绍了Harvard USPTO专利数据集（HUPD），该数据集是2004年至2004年之间提交给美国专利商业办公室（USPTO）的大型，结构化和多用途的英语专利专利申请。 2018年。HUPD拥有超过450万张专利文件，是可比的Coldia的两到三倍。与以前在NLP中提出的专利数据集不同，HUPD包含了专利申请的发明人提交的版本（不是授予专利的最终版本），其中允许我们在第一次使用NLP方法进行申请时研究专利性。它在包含丰富的结构化元数据以及专利申请文本的同时也很新颖：通过提供每个应用程序的元数据及其所有文本字段，数据集使研究人员能够执行一组新的NLP任务，以利用结构性协变量的变异。作为有关HUPD的研究类型的案例研究，我们向NLP社区（即专利决策的二元分类）介绍了一项新任务。我们还显示数据集中提供的结构化元数据使我们能够对此任务进行概念转移的明确研究。最后，我们演示了如何将HUPD用于三个其他任务：专利主题领域的多类分类，语言建模和摘要。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

在科学研究中，该方法是解决科学问题和关键研究对象的必不可少手段。随着科学的发展，正在提出，修改和使用许多科学方法。作者在抽象和身体文本中描述了该方法的详细信息，并且反映该方法名称的学术文献中的关键实体称为方法实体。在大量的学术文献中探索各种方法实体有助于学者了解现有方法，为研究任务选择适当的方法并提出新方法。此外，方法实体的演变可以揭示纪律的发展并促进知识发现。因此，本文对方法论和经验作品进行了系统的综述，重点是从全文学术文献中提取方法实体，并努力使用这些提取的方法实体来建立知识服务。首先提出了本综述涉及的关键概念的定义。基于这些定义，我们系统地审查了提取和评估方法实体的方法和指标，重点是每种方法的利弊。我们还调查了如何使用提取的方法实体来构建新应用程序。最后，讨论了现有作品的限制以及潜在的下一步。

在学术界，抄袭肯定不是一个新兴的关注，但它随着互联网的普及和对全球内容来源的易于访问而变得更大的程度，使人类干预不足。尽管如此，由于计算机辅助抄袭检测，抄袭远远远非是一个未被解除的问题，目前是一个有效的研究领域，该研究落在信息检索（IR）和自然语言处理（NLP）领域。许多软件解决方案有助于满足这项任务，本文概述了用于阿拉伯语，法国和英语学术和教育环境的抄袭检测系统。比较在八个系统之间持有，并在检测不同来源的三个混淆水平的特征，可用性，技术方面以及它们的性能之间进行：逐字，释义和跨语言抄袭。在本研究的背景下也进行了对技术形式的抄袭技术形式的关注检查。此外，还提供了对不同作者提出的抄袭类型和分类的调查。

上下文：大数据的有效处理是SQL和NOSQL数据库的一项具有挑战性的任务，在这种数据库中，有效的软件体系结构起着至关重要的作用。 SQL数据库设计用于构建数据和支持垂直可扩展性。相反，水平可伸缩性由NOSQL数据库支持，并且可以有效地处理较大的非结构化数据。可以根据组织的需求选择正确的范式；但是，做出正确的选择通常可能具有挑战性。 SQL和NOSQL数据库遵循不同的体系结构。同样，混合模型之后是NOSQL数据库的每个类别。因此，对于多个云服务提供商（CSP）的云消费者来说，数据移动变得困难。此外，每个云平台IAAS，PAAS，SaaS和DBAAS还监视各种范式。目的：该系统文献综述（SLR）旨在研究与SQL和NOSQL数据库软件体系结构相关的相关文章，并解决各种云平台之间的数据可移植性和互操作性。最新的状态通过观察缩放，性能，可用性，一致性和分片特性，介绍了SQL和NOSQL数据库的许多性能比较研究。根据研究研究，NOSQL数据库设计的结构可以是大数据分析的正确选择，而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据流动相关的方法。开发了基于平台的API，这使用户的数据移动变得困难。因此，在跨多个CSP的数据移动期间发现了数据可移植性和互操作性问题。为了最大程度地减少开发人员的努力和互操作性，要求统一的API使数据移动在各种云平台之间相对易于访问。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.

COVID-19的大流行提出了对多个领域决策者的流行预测的重要性，从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测，但是它具有一些关键的差异，并且仍然是一项非平凡的任务。疾病的传播受到人类行为，病原体动态，天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议，捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作，这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步，并介绍了一个概念框架来导航它们。首先，我们列举了与流行病预测相关的大量流行病学数据集和新的数据流，捕获了各种因素，例如有症状的在线调查，零售和商业，流动性，基因组学数据等。接下来，我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式，以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战，包括预测信息。最后，我们重点介绍了整个预测管道中发现的一些挑战和开放问题。

同行评审是一项广泛接受的研究评估机制，在学术出版中发挥关键作用。然而，批评已经长期升级了这种机制，主要是因为它的低效率和主体性。近年来已经看到人工智能（AI）在协助同行评审过程中的应用。尽管如此，随着人类的参与，这种限制仍然是不可避免的。在本文中，我们提出了自动化学术纸质审查（ASPR）的概念，并审查了相关的文献和技术，讨论实现全面的计算机化审查流程的可能性。我们进一步研究了现有技术ASPR的挑战。在审查和讨论的基础上，我们得出结论，ASPR的每个阶段都有相应的研究和技术。这验证了随着相关技术继续发展的长期可以实现ASPR。其实现中的主要困难在于不完美的文献解析和表示，数据不足，数据缺陷，人机互动和有缺陷的深度逻辑推理。在可预见的未来，ASPR和同行评审将在ASPR能够充分承担从人类的审查工作量之前以加强方式共存。

背景：软件测试领域正在增长和迅速发展。目的：基于分配给出版物的关键字，我们试图确定主要的研究主题，并了解它们的联系和发展方式。方法：我们应用共同字分析将测试研究的拓扑结构映射为一个网络，在该网络中，由作者分配的关键字通过表明出版物中共发生的边缘连接。关键字是根据边缘密度和连接频率聚类的。我们检查了最受欢迎的关键字，将集群汇总到高级研究主题中，检查主题如何连接并检查该领域的变化。结果：测试研究可以分为16个高级主题和18个子主题。创建指导，自动化测试生成，进化和维护以及测试魔术与其他主题具有特别牢固的联系，突出了其多学科性质。新兴关键字与Web和移动应用程序，机器学习，能源消耗，自动化程序修复和测试生成有关，而在Web应用程序，测试隔壁和机器学习之间形成了许多主题之间的新兴联系。随机和基于需求的测试显示潜在下降。结论：我们的观察，建议和地图数据为探索挑战和联系的领域和灵感提供了更深入的了解。

学术数据中的引文信息是进入刊物的重要洞察的重要来源和学术话语。引文分析结果和引用的机器学习的适用性严重取决于此类数据的完整性。现在学术数据的一个特定的缺点是非英语出版物通常不包括在数据集中，或者语言元数据不可用。因此，唯一研究了不同语言（交叉引用）的出版物之间的引文仅对非常有限的程度。在本文中，我们对基于超过100万英文论文的交叉引用分析，跨越三个科学学科，三十年的时间跨度。我们的调查涵盖了引用的语言和学科之间的差异，随着时间的推移，趋势以及交叉引用的使用特征以及影响。在我们的研究结果中，引文的增加率为中文所写的出版物，引用主要针对当地非英语语言，以及交叉和单声道引用之间的引文意图的一致性。为了促进进一步的研究，我们会公开收集的数据和源代码。

使用计算笔记本（例如，Jupyter Notebook），数据科学家根据他们的先前经验和外部知识（如在线示例）合理化他们的探索性数据分析（EDA）。对于缺乏关于数据集或问题的具体了解的新手或数据科学家，有效地获得和理解外部信息对于执行EDA至关重要。本文介绍了eDassistant，一个jupyterlab扩展，支持EDA的原位搜索示例笔记本电脑和有用的API的推荐，由搜索结果的新颖交互式可视化供电。代码搜索和推荐是由最先进的机器学习模型启用的，培训在线收集的EDA笔记本电脑的大型语料库。进行用户学习，以调查埃迪卡斯特和数据科学家的当前实践（即，使用外部搜索引擎）。结果证明了埃迪斯坦特的有效性和有用性，与会者赞赏其对EDA的顺利和环境支持。我们还报告了有关代码推荐工具的几种设计意义。

世界各地的隐私法律和法规的景观是复杂而不断变化的。国家和超国家法律，协议，法令和其他政府发行的规则构成了公司必须遵循的拼凑而成才能在国际上进行运作。为了检查该拼凑而成的状态和演变，我们介绍了1,043条隐私法，法规和准则的政府隐私指示语料库或GPI语料库，涵盖了182个司法管辖区。该语料库可以对法律焦点进行大规模定量和定性检查。我们检查了创建GPI的时间分布，并说明了过去50年中隐私立法的急剧增加，尽管较细粒度的检查表明，增加的速度取决于GPIS所说的个人数据类型。我们的探索还表明，大多数隐私法分别解决了相对较少的个人数据类型，这表明全面的隐私立法仍然很少见。此外，主题建模结果显示了GPI中常见主题的普遍性，例如财务，医疗保健和电信。最后，我们将语料库释放到研究界，以促进进一步的研究。

在科学计量学方面，经常通过共同创作分析科学合作。一个经常被忽视且更难量化的方面是作者来自不同研究主题的专业知识流，这是科学进步的重要组成部分。使用主题流网络（TFN），我们提出了一个图形结构，以分析科学作者及其各自的研究领域之间的研究主题流。基于多画像和主题模型，我们提出的网络结构解释了室内和跨性流。我们的方法需要仅仅构建TFN的出版物语料库（即作者和摘要信息）。由此，通过非阴性基质分解自动发现研究主题。其得出的TFN允许应用社交网络分析技术，例如常见指标和社区检测。最重要的是，它允许在研究主题之间以及微观量表之间，即在某些作者之间进行微观量表，即在研究主题之间以及在微观量表之间进行分析。我们通过将我们的方法应用于两个全面的20 mio。在现场进行了60多年的研究计算机科学和数学研究的出版物。我们的结果提供了证据，表明TFN是合适的，例如，用于分析局部社区，在不同领域中发现重要作者，以及最值得注意的是，对跨性别流的分析，即主题专业知识的转移。除此之外，我们的方法还为未来的研究打开了新的方向，例如研究研究领域之间的影响关系。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

新闻文章修订历史为新闻文章中的叙事和事实演变提供了线索。为了促进对这一进化的分析，我们介绍了新闻修订历史记录的第一个公开可用的数据集。我们的数据集是大规模和多语言的；它包含120万篇文章，其中有460万款来自三个国家 /地区的英语和法语报纸来源，涵盖了15年的报道（2006 - 2021年）。我们定义文章级的编辑操作：加法，删除，编辑和重构，并开发高准确性提取算法以识别这些动作。为了强调许多编辑操作的事实性质，我们进行的分析表明，添加和删除的句子更可能包含更新事件，主要内容和报价，而不是不变的句子。最后，为了探索编辑操作是否可以预测，我们介绍了三个旨在预测版本更新过程中执行的动作的新任务。我们表明，这些任务对于人类专业而言是可能的，但对于大型NLP模型而言，这些任务具有挑战性。我们希望这可以刺激叙事框架的研究，并为追逐突发新闻的记者提供预测工具。

源代码对于研究人员重现方法并复制人工智能（AI）论文的结果至关重要。一些组织和研究人员手动收集具有可用源代码的AI论文，以对AI社区做出贡献。但是，手动收集是一项劳动密集型且耗时的任务。为了解决此问题，我们提出了一种方法，可以自动识别具有可用源代码的论文并提取其源代码存储库URL。通过这种方法，我们发现，从2010年到2019年发布的10个最高AI会议的常规论文中有20.5％被确定为具有可用源代码的论文，并且这些源代码存储库中有8.1％不再可访问。我们还创建了XMU NLP Lab ReadMe数据集，这是用于源代码文档研究的标记已读数文件的最大数据集。通过此数据集，我们发现了很多读书文件没有提供的安装说明或使用教程。此外，对AI会议论文的源代码的一般图片进行了大规模的综合统计分析。提出的解决方案还可以超越AI会议论文，以分析来自期刊和会议的其他科学论文，以阐明更多领域。