简介：对于监督的深度学习（DL）任务，研究人员需要大量注释的数据集。在医学数据科学中，开发DL模型的主要局限性之一是缺乏大量注释的示例。这通常是由于注释所需的时间和专业知识。我们介绍了Lirot.ai，这是一个新颖的平台，用于促进和拥挤的图像细分。方法：lirot.ai由三个组成部分组成； iPados客户端应用程序名为lirot.ai-app，名为lirot.ai-server和python api name lirot.ai-api的后端服务器。 lirot.ai-app是在Swift 5.6中开发的，Lirot.AI-Server是Firebase后端。 lirot.ai-api允许管理数据库。可以根据需要将LIROT.AIP APP安装在尽可能多的iPados设备上，以便注释者可以同时且远程执行其分割。我们将Apple铅笔的兼容性结合在一起，使专家比任何其他基于计算机的替代方案都更快，更准确，更直观。结果：我们证明了Lirot.ai用于创建具有参考血管分段的视网膜眼底数据集的用法。讨论和未来的工作：我们将使用积极的学习策略来继续扩大视网膜眼底数据集，包括更有效的过程来选择要注释的图像并将其分发给注释者。

在本文中，我们介绍了一个用于音频和语音的协作和现代注释工具：奥迪诺。该工具允许注释器在Audios中定义和描述时间分段。可以使用动态生成的形式轻松标记这些段和转录。管理员可以通过管理仪表板集中控制用户角色和项目分配。仪表板还可以描述标签及其值。可以轻松地以JSON格式导出注释以进行进一步分析。该工具允许通过基于键的API来上载和分配给用户的音频数据及其相应的注释。注释工具中可用的灵活性使注释进行演讲评分，语音活动检测（VAD），扬声器沿和扬声器识别，语音识别，情感识别任务等等。麻省理工学院开源许可证允许它用于学术和商业项目。

最近在计算机愿景领域的研究强烈侧重于深度学习架构来解决图像处理问题。由于传统的计算机视觉方法由于复杂的关系而昂贵，因此，由于传统的计算机视觉方法昂贵，因此在复杂的图像处理方案中经常被认为是昂贵的。但是，共同批判是需要大的注释数据集来确定强大的参数。通过人体专家注释图像是耗时的，繁重，昂贵。因此，需要支持以简化注释，提高用户效率和注释质量。在本文中，我们提出了一种通用的工作流程来帮助注释过程并讨论抽象水平的方法。因此，我们审查了专注于有前途的样本，图像预处理，预标记，标签检查或注释后处理的可能性。此外，我们通过嵌套在混合触摸屏/笔记本电脑设备中的开发灵活和可扩展的软件原型来提出提案的实施。

We present POTATO, the Portable text annotation tool, a free, fully open-sourced annotation system that 1) supports labeling many types of text and multimodal data; 2) offers easy-to-configure features to maximize the productivity of both deployers and annotators (convenient templates for common ML/NLP tasks, active learning, keypress shortcuts, keyword highlights, tooltips); and 3) supports a high degree of customization (editable UI, inserting pre-screening questions, attention and qualification tests). Experiments over two annotation tasks suggest that POTATO improves labeling speed through its specially-designed productivity features, especially for long documents and complex tasks. POTATO is available at https://github.com/davidjurgens/potato and will continue to be updated.

This paper describes a prototype software and hardware platform to provide support to field operators during the inspection of surface defects of non-metallic pipes. Inspection is carried out by video filming defects created on the same surface in real-time using a "smart" helmet device and other mobile devices. The work focuses on the detection and recognition of the defects which appears as colored iridescence of reflected light caused by the diffraction effect arising from the presence of internal stresses in the inspected material. The platform allows you to carry out preliminary analysis directly on the device in offline mode, and, if a connection to the network is established, the received data is transmitted to the server for post-processing to extract information about possible defects that were not detected at the previous stage. The paper presents a description of the stages of design, formal description, and implementation details of the platform. It also provides descriptions of the models used to recognize defects and examples of the result of the work.

In today's data-driven society, supervised machine learning is rapidly evolving, and the need for labeled data is increasing. However, the process of acquiring labels is often expensive and tedious. For this reason, we developed ALANNO, an open-source annotation system for NLP tasks powered by active learning. We focus on the practical challenges in deploying active learning systems and try to find solutions to make active learning effective in real-world applications. We support the system with a wealth of active learning methods and underlying machine learning models. In addition, we leave open the possibility to add new methods, which makes the platform useful for both high-quality data annotation and research purposes.

自动抄表技术尚未普遍。燃气，电或水积米读数主要由运营商或房主手动完成。在一些国家，操作员将拍照作为阅读证据，以通过与另一个运营商的离线检查和/或在发生冲突或投诉的情况下作为证据来确认阅读。整个过程是耗时，昂贵的，容易出错。自动化可以优化和促进这种劳动密集型和人类错误的过程。随着近期人工智能和计算机视野领域的进步，自动抄表系统比以往任何时候都变得越来越可行。最近在人工智能领域的近期进步，并受研究界的开源开放访问举措的启发，我们介绍了一个名为NRC-Gamma数据集的现实寿命燃气表图像的新型大型基准数据集。在2020年1月20日，在00:05 AM和11:59 PM之间，从Itron 400A隔膜煤气表收集数据。我们使用系统的方法来标记图像，验证标签，并确保注释的质量。数据集包含整个煤气表的28,883个图像以及左侧和右拨号显示器的57,766次裁剪图像。我们希望NRC-Gamma DataSet有助于研究界设计和实施准确，创新，智能，可重复的自动燃气表阅读解决方案。

数字病理学在医疗领域的人工智能发展中起着至关重要的作用。数字病理平台可以使病态资源数字和网络，并实现视觉数据的永久存储和同步浏览处理，而不限制时间和空间。它已广泛用于各种病理领域。然而，仍然缺乏开放式和通用的数字病理平台，可以帮助医生在数字病理部分的管理和分析中，以及相关患者信息的管理和结构化描述。大多数平台无法集成图像查看，注释和分析以及文本信息管理。为了解决上述问题，我们提出了一个全面而可扩展的平台PIMIP。我们的PIMIP基于数字病理部分的可视化开发了图像注释功能。我们的注释功能支持多用户协作注释和多设备注释，并实现某些注释任务的自动化。在注释任务中，我们邀请了一个专业的病理学家进行了指导。我们介绍了一种用于图像分析的机器学习模块。我们收集的数据包括来自当地医院和临床示例的公共数据。我们的平台更临床，适合临床使用。除了图像数据外，还构建了文本信息的管理和显示。所以我们的平台是全面的。平台框架是以模块化的方式构建的，以支持用户独立添加机器学习模块，这使我们的平台可扩展。

高度特异性语义课程和复杂形状的全自动语义分割可能无法满足科学家所需的准确性标准。在这种情况下，能够帮助操作员在维护对复杂任务的人类控制的同时提供人为的AI解决方案是加速图像标记的良好折衷，同时保持高精度水平。Taglab是一个开源AI辅助软件，用于注释大型OrthoImages，可利用不同程度的自动化;它通过辅助工具速度从划痕加速图像注释，创建定制全自动语义分段模型，最后允许快速编辑自动预测。由于OrthoImages分析适用于几个科学学科，因此Taglab已经设计有灵活的标签管道。我们在两种不同的情景，海洋生态和建筑遗产中报告了我们的结果。

我们介绍了遮阳板，一个新的像素注释的新数据集和一个基准套件，用于在以自我为中心的视频中分割手和活动对象。遮阳板注释Epic-kitchens的视频，其中带有当前视频分割数据集中未遇到的新挑战。具体而言，我们需要确保像素级注释作为对象经历变革性相互作用的短期和长期一致性，例如洋葱被剥皮，切成丁和煮熟 - 我们旨在获得果皮，洋葱块，斩波板，刀，锅以及表演手的准确像素级注释。遮阳板引入了一条注释管道，以零件为ai驱动，以进行可伸缩性和质量。总共，我们公开发布257个对象类的272K手册语义面具，990万个插值密集口罩，67K手动关系，涵盖36小时的179个未修剪视频。除了注释外，我们还引入了视频对象细分，互动理解和长期推理方面的三个挑战。有关数据，代码和排行榜：http：//epic-kitchens.github.io/visor

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.

通过整合人类的知识和经验，人在循环旨在以最低成本培训准确的预测模型。人类可以为机器学习应用提供培训数据，并直接完成在基于机器的方法中对管道中计算机中的难以实现的任务。在本文中，我们从数据的角度调查了人类循环的现有工作，并将它们分为三类具有渐进关系：（1）从数据处理中提高模型性能的工作，（2）通过介入模型培训提高模型性能，（3）系统的设计独立于循环的设计。使用上述分类，我们总结了该领域的主要方法;随着他们的技术优势/弱点以及自然语言处理，计算机愿景等的简单分类和讨论。此外，我们提供了一些开放的挑战和机遇。本调查打算为人类循环提供高级别的摘要，并激励有兴趣的读者，以考虑设计有效的循环解决方案的方法。

当今AI应用程序的成功不仅需要模型培训（以模型为中心），还需要数据工程（以数据为中心）。在以数据为中心的AI中，主动学习（AL）起着至关重要的作用，但是当前的AL工具无法有效执行AL任务。为此，本文介绍了一个有效的MLOPS系统，该系统名为Alaas（主动学习-AS-A-Service）。具体而言，ALAAS采用服务器客户架构来支持AL管道并实现阶段级并行性以提高效率。同时，使用缓存和批处理技术进一步加速了AL过程。除效率外，ALAAS还可以借助于配置的设计理念，以确保可访问性。它还将AL过程抽象到多个组件，并为高级用户提供丰富的API，以将系统扩展到新方案。广泛的实验表明，在潜伏期和吞吐量方面，ALAAS优于所有其他基线。进一步的消融研究证明了我们的设计和Alaas易于使用的有效性。我们的代码可在\ url {https://github.com/mlsysops/alaas}中获得。

社交媒体有可能提供有关紧急情况和突然事件的及时信息。但是，在每天发布的数百万帖子中找到相关信息可能很困难，并且开发数据分析项目通常需要时间和技术技能。这项研究提出了一种为分析社交媒体的灵活支持的方法，尤其是在紧急情况下。引入了可以采用社交媒体分析的不同用例，并讨论了从大量帖子中检索信息的挑战。重点是分析社交媒体帖子中包含的图像和文本，以及一组自动数据处理工具，用于过滤，分类和使用人类的方法来支持数据分析师的内容。这种支持包括配置自动化工具的反馈和建议，以及众包收集公民的投入。通过讨论Crowd4SDG H2020欧洲项目中开发的三个案例研究来验证结果。

本文介绍了一种开源平台，可快速发展计算机视觉应用。该平台在机器学习开发过程的中心进行了高效的数据开发，集成了主动学习方法，数据和型号版本控制，并使用项目等概念，以便并行启用多个任务特定数据集的快速迭代。我们通过将开发过程抽象到核心状态和操作中，设计开放式平台，并设计开放API，将第三方工具集成为操作的实现。这种开放式设计降低了ML与现有工具的ML团队的开发成本和采用费用。与此同时，该平台支持录制项目开发历史记录，可以共享成功的项目，以进一步提高类似任务的模型生产效率。该平台是开源的，已经在内部使用，以满足自定义现实世界计算机视觉应用程序的日益增长的需求。

由于它们在自然语言处理工具的开发中所扮演的关键作用，因此优质树仓的价值正在稳步增长。这种树仓的创造是劳动密集型且耗时的。尤其是当考虑树库的大小时，支持注释过程的工具至关重要。但是，已经提出了各种注释工具，但是它们通常不适合土耳其语等凝集性语言。 V1是用于注释依赖关系的船，随后被用于创建手动注释的Boun Treebank（UD_TURKISH-BOUN）。在这项工作中，我们根据使用船V1获得的经验报告了依赖性注释工具船V2的设计和实施，这揭示了一些改进的机会。 V2是一种多用户和基于Web的依赖性注释工具，设计为注释用户体验以产生有效的注释。该工具的主要目标是：（1）支持以提高速度创建有效且一致的注释，（2）显着改善注释者的用户体验，（3）支持注释者之间的协作，（4）提供开放 - 通过灵活的应用程序编程接口（API）来源和易于部署的基于Web的注释工具，以使科学界受益。本文讨论了船V2的启发，设计和实施以及示例。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

注释数据是应用监督机器学习方法的要求，注释的质量对于结果至关重要。尤其是在处理不确定性多种多样的文化遗产藏品时，注释数据仍然是一项手动，艰巨的任务，由域专家执行。我们的项目始于两套已经注释的中世纪手稿图像，但是基于学术和语言差异，这些图像并不完整，并包含冲突的元数据。我们的目的是为组合数据集创建（1）一组统一的描述性标签，以及（2）对高质量的分层分类，可以用作监督机器学习的有价值的输入。为了实现这些目标，我们开发了一个视觉分析系统，以使中世纪主义者能够合并，正规化和扩展用于描述这些数据集的词汇。单词和图像嵌入的视觉接口以及数据集的注释的共发生，同时允许注释多个图像，建议注释标签候选者并支持组成标签的层次分类。我们的系统本身实现了一种半监督的方法，因为它根据中世纪主义者的反馈更新视觉表示，并且一系列用法场景记录了其对目标社区的价值。

人类表演的法律文件中句子的注释是许多基于机器学习的系统支持法律任务的重要先决条件。通常，注释是按顺序完成的，句子句子通常是耗时的，因此昂贵。在本文中，我们介绍了一个概念验证系统，用于横向注释句子。该方法基于观察到含义类似的句子通常在特定类型系统方面具有相同的标签。我们在允许注释器中使用此观察来快速查看和注释在整个文档语料库中使用与给定句子的语义类似的句子。在这里，我们介绍了系统的界面并经验评估方法。实验表明，横向注释有可能使注释过程更快，更加一致。

We describe the design and use of the Stanford CoreNLP toolkit, an extensible pipeline that provides core natural language analysis. This toolkit is quite widely used, both in the research NLP community and also among commercial and government users of open source NLP technology. We suggest that this follows from a simple, approachable design, straightforward interfaces, the inclusion of robust and good quality analysis components, and not requiring use of a large amount of associated baggage.