自动机（自动化机器学习）已在过去几年中广泛开发，以便以模型为中心的方法。对于以数据为中心的方法，改进数据集的进程，例如修复不正确的标签，添加表示边缘案例的示例以及应用数据增强的示例仍然是非常简单的和昂贵的。在这里，我们开发了一个自动数据为中心的工具（Autodc），类似于Automl的目的，旨在加快数据集改进过程。在我们对3个开源图像分类数据集的初步测试中，Autodc估计为减少数据改进任务的手动时间的大约80％，同时通过固定的ML代码提高模型精度10-15％。
translated by 谷歌翻译
在本文中，我们提出了DendroMap，这是一种新颖的方法，用于互动地探索用于机器学习的大规模图像数据集（ML）。 ML从业人员通常通过使用降低降低技术（例如T-SNE）生成图像的网格或将图像的高维表示分为2-D来探索图像数据集。但是，两种方法都没有有效地扩展到大型数据集，因为图像是无效组织的，并且相互作用不足。为了应对这些挑战，我们通过适应Treemaps（一种众所周知的可视化技术）来开发树突。树突图通过从图像的高维表示中提取层次群集结构来有效地组织图像。它使用户能够理解数据集的整体分布，并在多个抽象级别上进行交互放大到特定的兴趣领域。我们使用广泛使用的图像数据集进行深度学习的案例研究表明，用户可以通过检查图像的多样性，确定表现不佳的子组并分析分类错误，从而发现有关数据集和训练模型的见解。我们进行了一项用户研究，该研究通过将其与T-SNE的网状版本进行比较，评估了树突图在分组和搜索任务中的有效性，并发现参与者更喜欢DendroMap。 DendroMap可在https://div-lab.github.io/dendromap/上获得。
translated by 谷歌翻译
文本分类在许多真实世界的情况下可能很有用，为最终用户节省了很多时间。但是，构建自定义分类器通常需要编码技能和ML知识，这对许多潜在用户构成了重大障碍。为了提高此障碍，我们介绍了标签侦探，这是一种免费的开源系统，用于标记和创建文本分类器。该系统对于（a）是一个无代码系统是独一无二的分类器在几个小时内，（c）开发用于开发人员进行配置和扩展。通过开放采购标签侦探，我们希望建立一个用户和开发人员社区，以扩大NLP模型的利用率。
translated by 谷歌翻译
尽管机器学习取得了巨大进步（ML），但数据不平衡的培训仍然在许多现实世界中构成挑战。在解决此问题的一系列不同技术中，采样算法被视为有效的解决方案。但是，问题更为根本，许多作品强调了实例硬度的重要性。这个问题是指管理不安全或可能嘈杂的实例的重要性，这些实例更可能被错误分类并作为分类绩效不佳的根本原因。本文介绍了Hardvis，这是一种视觉分析系统，旨在处理实例硬度，主要在分类场景中。我们提出的系统协助用户在视觉上比较数据类型的不同分布，根据局部特征选择实例类型，这些实例后来将受主动采样方法的影响，并验证来自底漆或过采样技术的建议对ML模型有益。此外，我们允许用户找到和采样轻松且难以对所有课程的培训实例进行分类，而不是统一地采样/过采样。用户可以从不同角度探索数据子集以决定所有这些参数，而HardVis则跟踪其步骤并评估模型在测试集中分别评估模型的预测性能。最终结果是一个均衡的数据集，可增强ML模型的预测能力。通过假设使用情况和用例证明了Hardvis的功效和有效性。最后，我们还研究了系统的有用，基于我们从ML专家那里收到的反馈。
translated by 谷歌翻译
成像，散射和光谱是理解和发现新功能材料的基础。自动化和实验技术的当代创新导致这些测量更快，分辨率更高，从而产生了大量的分析数据。这些创新在用户设施和同步射击光源时特别明显。机器学习（ML）方法经常开发用于实时地处理和解释大型数据集。然而，仍然存在概念障碍，进入设施一般用户社区，通常缺乏ML的专业知识，以及部署ML模型的技术障碍。在此，我们展示了各种原型ML模型，用于在国家同步光源II（NSLS-II）的多个波束线上在飞行分析。我们谨慎地描述这些示例，专注于将模型集成到现有的实验工作流程中，使得读者可以容易地将它们自己的ML技术与具有普通基础设施的NSLS-II或设施的实验中的实验。此处介绍的框架展示了几乎没有努力，多样化的ML型号通过集成到实验编程和数据管理的现有Blueske套件中与反馈回路一起运行。
translated by 谷歌翻译
如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。
translated by 谷歌翻译
通过整合人类的知识和经验，人在循环旨在以最低成本培训准确的预测模型。人类可以为机器学习应用提供培训数据，并直接完成在基于机器的方法中对管道中计算机中的难以实现的任务。在本文中，我们从数据的角度调查了人类循环的现有工作，并将它们分为三类具有渐进关系：（1）从数据处理中提高模型性能的工作，（2）通过介入模型培训提高模型性能，（3）系统的设计独立于循环的设计。使用上述分类，我们总结了该领域的主要方法;随着他们的技术优势/弱点以及自然语言处理，计算机愿景等的简单分类和讨论。此外，我们提供了一些开放的挑战和机遇。本调查打算为人类循环提供高级别的摘要，并激励有兴趣的读者，以考虑设计有效的循环解决方案的方法。
translated by 谷歌翻译
高度特异性语义课程和复杂形状的全自动语义分割可能无法满足科学家所需的准确性标准。在这种情况下，能够帮助操作员在维护对复杂任务的人类控制的同时提供人为的AI解决方案是加速图像标记的良好折衷，同时保持高精度水平。Taglab是一个开源AI辅助软件，用于注释大型OrthoImages，可利用不同程度的自动化;它通过辅助工具速度从划痕加速图像注释，创建定制全自动语义分段模型，最后允许快速编辑自动预测。由于OrthoImages分析适用于几个科学学科，因此Taglab已经设计有灵活的标签管道。我们在两种不同的情景，海洋生态和建筑遗产中报告了我们的结果。
translated by 谷歌翻译
软件2.0是软件工程的根本班次，机器学习成为新软件，由大数据和计算基础设施供电。因此，需要重新考虑软件工程，其中数据成为与代码相提并论的一流公民。一个引人注目的观察是，80-90％的机器学习过程都花在数据准备上。没有良好的数据，即使是最好的机器学习算法也不能表现良好。结果，以数据为中心的AI实践现在成为主流。不幸的是，现实世界中的许多数据集是小，肮脏，偏见，甚至中毒。在本调查中，我们研究了数据收集和数据质量的研究景观，主要用于深度学习应用。数据收集很重要，因为对于最近的深度学习方法，功能工程较小，而且需要大量数据。对于数据质量，我们研究数据验证和数据清洁技术。即使数据无法完全清洁，我们仍然可以应对模型培训期间的不完美数据，其中使用鲁棒模型培训技术。此外，虽然在传统数据管理研究中较少研究偏见和公平性，但这些问题成为现代机器学习应用中的重要主题。因此，我们研究了可以在模型培训之前，期间或之后应用的公平措施和不公平的缓解技术。我们相信数据管理界很好地解决了这些方向上的问题。
translated by 谷歌翻译
机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。
translated by 谷歌翻译
图像分类模型通常会学会根据输入功能与培训数据中输出类之间的无关共发生进行预测类。我们称不需要的相关性为“数据偏见”，视觉特征导致数据偏见为“偏见因素”。在没有人类干预的情况下自动识别和减轻偏见是一个挑战。因此，我们进行了一项设计研究，以找到人类的循环解决方案。首先，我们确定了用三个专家捕获图像分类模型的偏差缓解过程的用户任务。然后，为了支持任务，我们开发了一个名为DASH的视觉分析系统，该系统允许用户在视觉上识别偏见因素，使用最先进的图像到图像到图像转换模型迭代生成合成图像，并监督改善分类精度的模型培训过程。我们对十名参与者的定量评估和定性研究证明了破折号的实用性，并为将来的工作提供了教训。
translated by 谷歌翻译
机器学习（ML）生命周期涉及一系列迭代步骤，从有效的收集和准备数据，包括复杂的特征工程流程，对结果的演示和改进，各种步骤中的各种算法选择。特征工程尤其可以对ML非常有益，导致许多改进，例如提高预测结果，降低计算时间，减少过度噪音，并提高培训期间所采取的决策背后的透明度。尽管如此，虽然存在多个视觉分析工具来监控和控制ML生命周期的不同阶段（特别是与数据和算法相关的阶段），但功能工程支持仍然不足。在本文中，我们提出了FightEnvi，一种专门设计用于协助特征工程过程的视觉分析系统。我们建议的系统可帮助用户选择最重要的功能，将原始功能转换为强大的替代方案，并进行不同的特征生成组合。此外，数据空间切片允许用户探索本地和全局尺度上的功能的影响。 Feationenvi利用多种自动特征选择技术;此外，它目视指导用户有统计证据的关于每个特征的影响（或功能的子集）。最终结果是通过多种验证度量评估的重新设计的重新设计特征。用两种用例和案例研究证明了FeatureenVI的有用性和适用性。我们还向评估我们系统的有效性以及评估我们系统的有效性的观众报告反馈。
translated by 谷歌翻译
天文学家通常已经着手通过从头开始创建自己的表示来解决监督的机器学习问题。我们表明，经过训练的深度学习模型，可以回答每个星系动物园贴花问题问题，即学习星系的有意义的语义表示，这些语义表示对于从未训练过的新任务很有用。我们利用这些表示形式优于最近对研究大型星系样本至关重要的实际任务的方法。第一个任务是识别与查询星系相似的形态的星系。给定一个星系为人类分配了一个免费文本标签（例如“ #diffuse”），我们可以找到与大多数标签匹配该标签的星系。第二个任务是确定特定研究人员最有趣的异常。我们的方法在识别最有趣的100个异常（由Galaxy Zoo 2志愿者判断）方面是100％准确的。第三个任务是调整模型来仅使用少数新标记的星系解决新任务。与从陆地图像（ImageNet）或从头开始训练的模型相比，从我们的表示形式进行微调的模型可以更好地识别环形星系。我们用很少的新标签解决每个任务；一个（用于相似性搜索）或数百个（用于异常检测或微调）。这挑战了长期以来的观点，即深度监督方法需要新的大型标签数据集，以便在天文学中实际使用。为了帮助社区受益于我们验证的模型，我们发布了我们的微调代码Zoobot。没有先前经验的研究人员可以访问Zoobot。
translated by 谷歌翻译
随着机器学习（ML）模型和系统在不同行业的高赌注环境中的增加，保证了部署后的模型的性能变得至关重要。生产中的监测模型是确保其持续性能和可靠性的关键方面。我们展示了Amazon Sagemaker Model Monitor，这是一个完全托管的服务，不断监控亚马逊Sagemaker上托管的机器学习模型的质量。我们的系统实时地自动检测模型中的数据，概念，偏置和特征归因漂移，并提供警报，以便模型所有者可以采取纠正措施，从而保持高质量模型。我们描述了从客户，系统设计和架构获得的关键要求以及用于检测不同类型漂移的方法。此外，我们提供量化评估，然后使用案例，见解和从超过1.5年的生产部署中汲取的经验教训。
translated by 谷歌翻译
如今，渴望数据的深神经网络（DNNS）的创建者搜索互联网训练饲料，使用户几乎无法控制或了解何时将其数据用于模型培训。为了使用户能够抵消不需要的数据使用，我们设计，实施和评估一个实用系统，该系统使用户能够检测其数据是否用于培训DNN模型。我们展示了用户如何创建我们称为同位素的特殊数据点，该数据点在培训期间将“伪造功能”引入DNN中。仅查询访问训练的模型，并且对模型培训过程不了解或对数据标签的控制，用户可以应用统计假设测试来检测模型是否通过对用户的培训进行培训来了解与其同位素相关的虚假特征数据。这有效地将DNNS对记忆和虚假相关性的脆弱性变成了数据出处的工具。我们的结果证实了在多种设置中的功效，检测并区分了数百种具有高精度的同位素。我们进一步表明，我们的系统在公共ML-AS-AS-Service平台和较大的模型（例如ImageNet）上工作，可以使用物理对象代替数字标记，并且通常对几种自适应对策保持坚固。
translated by 谷歌翻译
无监督的异常检测解决了在没有标签可用性的情况下发现数据集内的异常问题的问题;由于数据标记通常很难或获得昂贵，因此近年来这些方法已经看到了巨大的适用性。在这种情况下，隔离森林是一种流行的算法，可以通过称为隔离树的独特树的集合来定义异常分数。这些是使用无规分区过程构建，这些程序非常快捷，廉价培训。但是，我们发现标准算法可以在内存要求，延迟和性能方面提高;这对低资源场景和在超约束微处理器上的Tinyml实现中特别重要。此外，异常检测方法目前没有利用弱势监督：通常在决策支持系统中消耗，用户来自用户的反馈，即使罕见，也可以是目前未探索的有价值的信息来源。除了展示IFOSEST培训限制外，我们在此提出TIWS-IFOREST，一种方法，即通过利用弱监管能够降低隔离森林复杂性并提高检测性能。我们展示了TIWS-IFOREST在真实单词数据集上的有效性，我们在公共存储库中共享代码，以增强可重复性。
translated by 谷歌翻译
2022-01-06
近年来，大型预训练的深神经网络（DNN）彻底改变了计算机视野（CV）的领域。虽然这些DNN已被证明非常适合一般图像识别任务，但行业的应用通常被排除为三个原因：1）大型预先训练的DNN是建立在数百万个参数上的，在许多设备上进行部署，2）用于预培训的底层数据集由一般物体组成，而工业案例通常由非常特定的物体组成，例如太阳晶片的结构，3）可能偏见预先接受的DNN，提高了公司的法律问题。作为一个补救措施，我们研究了我们从头开始训练的简历的神经网络。为此目的，我们使用来自太阳能晶圆制造商的真实案例。我们发现我们的神经网络实现了与预先训练的DNN相似的表演，即使它们包括较少的参数并且不依赖于第三方数据集。
translated by 谷歌翻译
现在，整个研究社区都可以广泛使用机器学习（ML），它促进了这些新兴的数学技术在广泛学科中的新型和引人注目的应用的扩散。在本文中，我们将重点介绍一个特定的案例研究：古人类学领域，该领域旨在根据生物学和文化证据理解人类的演变。正如我们将表明的那样，ML算法的易用性以及在人类学研究界的适当使用方面缺乏专业知识，导致了整个文献中出现的基本错误应用。结果不可靠的结果不仅破坏了将ML合法纳入人类学研究的努力，而且还会对我们的人类进化和行为过去产生潜在的理解。本文的目的是简要介绍古人类学中ML的某些方式；我们还为那些与该领域完全熟悉的人提供了一些基本ML算法的调查，而该领域仍在积极发展。我们讨论了一系列的错误，错误和违反正确的ML方法方案的行为，这些方法经常在人类学文献的积累体内出现令人不安。这些错误包括使用过时的算法和实践；不适当的火车/测试拆分，样本组成和文本解释；以及由于缺乏数据/代码共享以及随后对独立复制的限制而缺乏透明度。我们断言，扩大样本，共享数据和代码，重新评估同行评审的方法，以及最重要的是，开发包括ML专家在内的跨学科团队对于将ML在人类学中纳入ML的未来研究的进步都是必要的。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.
translated by 谷歌翻译
越来越多的工作已经认识到利用机器学习（ML）进步的重要性，以满足提取访问控制属性，策略挖掘，策略验证，访问决策等有效自动化的需求。在这项工作中，我们调查和总结了各种ML解决不同访问控制问题的方法。我们提出了ML模型在访问控制域中应用的新分类学。我们重点介绍当前的局限性和公开挑战，例如缺乏公共现实世界数据集，基于ML的访问控制系统的管理，了解黑盒ML模型的决策等，并列举未来的研究方向。
translated by 谷歌翻译