在本文中，我们介绍了一个用于音频和语音的协作和现代注释工具：奥迪诺。该工具允许注释器在Audios中定义和描述时间分段。可以使用动态生成的形式轻松标记这些段和转录。管理员可以通过管理仪表板集中控制用户角色和项目分配。仪表板还可以描述标签及其值。可以轻松地以JSON格式导出注释以进行进一步分析。该工具允许通过基于键的API来上载和分配给用户的音频数据及其相应的注释。注释工具中可用的灵活性使注释进行演讲评分，语音活动检测（VAD），扬声器沿和扬声器识别，语音识别，情感识别任务等等。麻省理工学院开源许可证允许它用于学术和商业项目。

由于它们在自然语言处理工具的开发中所扮演的关键作用，因此优质树仓的价值正在稳步增长。这种树仓的创造是劳动密集型且耗时的。尤其是当考虑树库的大小时，支持注释过程的工具至关重要。但是，已经提出了各种注释工具，但是它们通常不适合土耳其语等凝集性语言。 V1是用于注释依赖关系的船，随后被用于创建手动注释的Boun Treebank（UD_TURKISH-BOUN）。在这项工作中，我们根据使用船V1获得的经验报告了依赖性注释工具船V2的设计和实施，这揭示了一些改进的机会。 V2是一种多用户和基于Web的依赖性注释工具，设计为注释用户体验以产生有效的注释。该工具的主要目标是：（1）支持以提高速度创建有效且一致的注释，（2）显着改善注释者的用户体验，（3）支持注释者之间的协作，（4）提供开放 - 通过灵活的应用程序编程接口（API）来源和易于部署的基于Web的注释工具，以使科学界受益。本文讨论了船V2的启发，设计和实施以及示例。

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

数字病理学在医疗领域的人工智能发展中起着至关重要的作用。数字病理平台可以使病态资源数字和网络，并实现视觉数据的永久存储和同步浏览处理，而不限制时间和空间。它已广泛用于各种病理领域。然而，仍然缺乏开放式和通用的数字病理平台，可以帮助医生在数字病理部分的管理和分析中，以及相关患者信息的管理和结构化描述。大多数平台无法集成图像查看，注释和分析以及文本信息管理。为了解决上述问题，我们提出了一个全面而可扩展的平台PIMIP。我们的PIMIP基于数字病理部分的可视化开发了图像注释功能。我们的注释功能支持多用户协作注释和多设备注释，并实现某些注释任务的自动化。在注释任务中，我们邀请了一个专业的病理学家进行了指导。我们介绍了一种用于图像分析的机器学习模块。我们收集的数据包括来自当地医院和临床示例的公共数据。我们的平台更临床，适合临床使用。除了图像数据外，还构建了文本信息的管理和显示。所以我们的平台是全面的。平台框架是以模块化的方式构建的，以支持用户独立添加机器学习模块，这使我们的平台可扩展。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.

简介：对于监督的深度学习（DL）任务，研究人员需要大量注释的数据集。在医学数据科学中，开发DL模型的主要局限性之一是缺乏大量注释的示例。这通常是由于注释所需的时间和专业知识。我们介绍了Lirot.ai，这是一个新颖的平台，用于促进和拥挤的图像细分。方法：lirot.ai由三个组成部分组成； iPados客户端应用程序名为lirot.ai-app，名为lirot.ai-server和python api name lirot.ai-api的后端服务器。 lirot.ai-app是在Swift 5.6中开发的，Lirot.AI-Server是Firebase后端。 lirot.ai-api允许管理数据库。可以根据需要将LIROT.AIP APP安装在尽可能多的iPados设备上，以便注释者可以同时且远程执行其分割。我们将Apple铅笔的兼容性结合在一起，使专家比任何其他基于计算机的替代方案都更快，更准确，更直观。结果：我们证明了Lirot.ai用于创建具有参考血管分段的视网膜眼底数据集的用法。讨论和未来的工作：我们将使用积极的学习策略来继续扩大视网膜眼底数据集，包括更有效的过程来选择要注释的图像并将其分发给注释者。

研究过程自动化 - 对科学仪器，计算机，数据存储和其他资源的可靠，高效和可重复执行的可靠，高效和可重复执行，这是现代科学的基本要素。我们在此处报告Globus研究数据管理平台内的新服务，该服务可以将各种研究过程的规范作为可重复使用的动作集，流量以及在异质研究环境中执行此类流动的集合。为了以广泛的空间范围（例如，从科学仪器到远程数据中心）和时间范围（从几秒钟到几周），这些Globus自动化服务功能：1）云托管以可靠地执行长期持久的流量，尽管零星的失败，但这些Globus自动化服务功能：1） ; 2）声明性符号和可扩展的异步行动提供商API，用于定义和执行涉及任意资源的各种行动和流动规范； 3）授权授权机制，用于安全调用动作。这些服务允许研究人员将广泛的研究任务的管理外包和自动化为可靠，可扩展和安全的云平台。我们向Globus自动化服务提供用例

We present POTATO, the Portable text annotation tool, a free, fully open-sourced annotation system that 1) supports labeling many types of text and multimodal data; 2) offers easy-to-configure features to maximize the productivity of both deployers and annotators (convenient templates for common ML/NLP tasks, active learning, keypress shortcuts, keyword highlights, tooltips); and 3) supports a high degree of customization (editable UI, inserting pre-screening questions, attention and qualification tests). Experiments over two annotation tasks suggest that POTATO improves labeling speed through its specially-designed productivity features, especially for long documents and complex tasks. POTATO is available at https://github.com/davidjurgens/potato and will continue to be updated.

社交媒体有可能提供有关紧急情况和突然事件的及时信息。但是，在每天发布的数百万帖子中找到相关信息可能很困难，并且开发数据分析项目通常需要时间和技术技能。这项研究提出了一种为分析社交媒体的灵活支持的方法，尤其是在紧急情况下。引入了可以采用社交媒体分析的不同用例，并讨论了从大量帖子中检索信息的挑战。重点是分析社交媒体帖子中包含的图像和文本，以及一组自动数据处理工具，用于过滤，分类和使用人类的方法来支持数据分析师的内容。这种支持包括配置自动化工具的反馈和建议，以及众包收集公民的投入。通过讨论Crowd4SDG H2020欧洲项目中开发的三个案例研究来验证结果。

我们提供了一个免费的和开源工具，用于创建基于Web的调查，包括文本注释任务。现有工具提供文本注释或调查功能，但并不是两者。结合两个输入类型对于调查读者对文本的看法特别相关，这也取决于读者的背景，例如年龄，性别和教育。我们的工具主要迎合了图书馆和信息科学，社会科学和人文学科对研究的研究人员的需求，他们将内容分析进行调查，例如媒体偏见，政治交流或假新闻。

该项目旨在使用称为KubeFlow [1]的开源工具（端到端ML堆栈编排工具包）探索在Kubernetes上部署机器学习模型的过程。我们以管道形式创建端到端的机器学习模型，并分析各个点，包括设置，部署模型，性能，限制，限制和功能。我们希望我们的项目几乎像一个研讨会/入门报告一样，可以帮助Vanilla Cloud/Kubernetes用户对KubeFlow的零知识使用KubeFlow来部署ML模型。从不同的云上的设置到通过互联网提供训练有素的模型 - 我们提供详细信息和指标，详细介绍KubeFlow的性能。

接受社会辅助机器人的基本功能之一是其与环境中其他代理商的通信能力。在Robin项目的背景下，调查了通过与机器人的语音互动的情境对话。本文介绍了具有深度神经网络的不同语音识别实验，专注于生产快速（从网络本身的100ms延迟下），而仍然可靠的型号。即使关键所需特性之一是低延迟，最终的深度神经网络模型也能实现识别罗马尼亚语的最新状态，以获得9.91％的字错误率（WER），当与语言模型相结合，从而改善以前的结果同时提供了改进的运行时性能。此外，我们探索了两个模块，用于校正ASR输出（连字符和大写恢复和未知单词校正），针对Robin项目的目标（在封闭的微观世界中对话）。我们根据API设计模块化架构，允许整合引擎（机器人或外部）根据需要将可用模块链接在一起。最后，我们通过将其集成在相关平台中并通过上传文件或录制新的语音来测试所提出的设计。

This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.

We describe the design and use of the Stanford CoreNLP toolkit, an extensible pipeline that provides core natural language analysis. This toolkit is quite widely used, both in the research NLP community and also among commercial and government users of open source NLP technology. We suggest that this follows from a simple, approachable design, straightforward interfaces, the inclusion of robust and good quality analysis components, and not requiring use of a large amount of associated baggage.

This paper describes a prototype software and hardware platform to provide support to field operators during the inspection of surface defects of non-metallic pipes. Inspection is carried out by video filming defects created on the same surface in real-time using a "smart" helmet device and other mobile devices. The work focuses on the detection and recognition of the defects which appears as colored iridescence of reflected light caused by the diffraction effect arising from the presence of internal stresses in the inspected material. The platform allows you to carry out preliminary analysis directly on the device in offline mode, and, if a connection to the network is established, the received data is transmitted to the server for post-processing to extract information about possible defects that were not detected at the previous stage. The paper presents a description of the stages of design, formal description, and implementation details of the platform. It also provides descriptions of the models used to recognize defects and examples of the result of the work.

归因引号的使用是新闻中信息传播的最直接，最少过滤的途径。因此，引用在新闻报道的概念，接收和分析中起着核心作用。由于报价比常规报告提供了更直接的窗口，因此对于记者和研究人员来说，它们是宝贵的资源。尽管大量的研究工作已致力于自动提取新闻的报价及其归因于演讲者的方法，但很少有当代来源的全面归因报价可供公众提供。在这里，我们提出了一个自适应网络界面，用于搜索QuoteBank，这是新闻中的大量报价集合，我们可以在https://quotebank.dlab.tools上提供。

自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。

Small to medium-scale data science experiments often rely on research software developed ad-hoc by individual scientists or small teams. Often there is no time to make the research software fast, reusable, and open access. The consequence is twofold. First, subsequent researchers must spend significant work hours building upon the proposed hypotheses or experimental framework. In the worst case, others cannot reproduce the experiment and reuse the findings for subsequent research. Second, suppose the ad-hoc research software fails during often long-running computationally expensive experiments. In that case, the overall effort to iteratively improve the software and rerun the experiments creates significant time pressure on the researchers. We suggest making caching an integral part of the research software development process, even before the first line of code is written. This article outlines caching recommendations for developing research software in data science projects. Our recommendations provide a perspective to circumvent common problems such as propriety dependence, speed, etc. At the same time, caching contributes to the reproducibility of experiments in the open science workflow. Concerning the four guiding principles, i.e., Findability, Accessibility, Interoperability, and Reusability (FAIR), we foresee that including the proposed recommendation in a research software development will make the data related to that software FAIRer for both machines and humans. We exhibit the usefulness of some of the proposed recommendations on our recently completed research software project in mathematical information retrieval.

Healthcare Ai持有增加患者安全性，增强效率和改善患者结果的潜力，但研究通常受到数据访问，队列策划和分析工具的限制。电子健康记录数据，实时数据和实时高分辨率设备数据的集合和翻译可能是具有挑战性和耗时的。现实世界AI工具的发展需要克服数据采集，稀缺医院资源和数据治疗需求的挑战。这些瓶颈可能导致资源沉重的需求和AI系统的研究和开发延迟。我们提供了一种系统和方法，可加速数据采集，数据集开发和分析和AI模型开发。我们创建了一个依赖于可扩展的微服务后端的交互式平台。该系统可以每小时摄取15,000名患者记录，其中每个记录代表数千个多式数级测量，文本备注和高分辨率数据。统称，这些记录可以接近数据的数据。该系统可以在2-5分钟内进一步执行队列和初步数据集分析。因此，多个用户可以在实时同时协作以迭代数据集和模型。我们预计这种方法将推动现实世界的AI模型开发，并且在长期运行中，有意义地改善医疗保健交付。

本文提出了创造和管理12个主要印度语言的大型并行语言（即将扩展到23种语言）的挑战，作为由信息技术部（DIT），政府部门资助的主要财团项目的一部分。印度，并在印度的10所不同大学中平行运行。为了有效地管理这些巨大的Corpora的创建和传播过程，基于Web的（具有减少的独立版本）的注释工具ILCiann（印度语言语料集团倡议注释工具）已经开发出来。它主要是为POS注释制定的，以及由具有不同竞争力和物理位于相距远的地点的人员的管理器的管理。为了维持在创建Corpora中的一致性和标准，有必要每个人都在这个工具提供的共同平台上。