In this work, we identify elements of effective machine learning datasets in astronomy and present suggestions for their design and creation. Machine learning has become an increasingly important tool for analyzing and understanding the large-scale flood of data in astronomy. To take advantage of these tools, datasets are required for training and testing. However, building machine learning datasets for astronomy can be challenging. Astronomical data is collected from instruments built to explore science questions in a traditional fashion rather than to conduct machine learning. Thus, it is often the case that raw data, or even downstream processed data is not in a form amenable to machine learning. We explore the construction of machine learning datasets and we ask: what elements define effective machine learning datasets? We define effective machine learning datasets in astronomy to be formed with well-defined data points, structure, and metadata. We discuss why these elements are important for astronomical applications and ways to put them in practice. We posit that these qualities not only make the data suitable for machine learning, they also help to foster usable, reusable, and replicable science practices.

Machine Learning for Source Code (ML4Code) is an active research field in which extensive experimentation is needed to discover how to best use source code's richly structured information. With this in mind, we introduce JEMMA, an Extensible Java Dataset for ML4Code Applications, which is a large-scale, diverse, and high-quality dataset targeted at ML4Code. Our goal with JEMMA is to lower the barrier to entry in ML4Code by providing the building blocks to experiment with source code models and tasks. JEMMA comes with a considerable amount of pre-processed information such as metadata, representations (e.g., code tokens, ASTs, graphs), and several properties (e.g., metrics, static analysis results) for 50,000 Java projects from the 50KC dataset, with over 1.2 million classes and over 8 million methods. JEMMA is also extensible allowing users to add new properties and representations to the dataset, and evaluate tasks on them. Thus, JEMMA becomes a workbench that researchers can use to experiment with novel representations and tasks operating on source code. To demonstrate the utility of the dataset, we also report results from two empirical studies on our data, ultimately showing that significant work lies ahead in the design of context-aware source code models that can reason over a broader network of source code entities in a software project, the very task that JEMMA is designed to help with.

传统的数据湖泊通过启用时间旅行，运行SQL查询，使用酸性交易摄入数据以及可视化PBABYTE尺度数据集在云存储中，为分析工作负载提供了关键的数据基础架构。它们使组织能够分解数据孤岛，解锁数据驱动的决策，提高运营效率并降低成本。但是，随着深度学习接管常见的分析工作流程，传统数据湖泊对诸如自然语言处理（NLP），音频处理，计算机视觉和涉及非尾巴数据集的应用程序的有用程度降低。本文介绍了Deep Lake，这是一个开源湖泊，用于在Activeloop开发的深度学习应用程序。 Deep Lake保持了一项关键区别的香草数据湖的好处：它以张量的形式存储复杂数据，例如图像，视频，注释以及表格数据，并将数据迅速流式传输到网络上（a ）张量查询语言，（b）浏览器可视化引擎或（c）不牺牲GPU利用率的深度学习框架。可以从Pytorch，Tensorflow，Jax，与许多MLOPS工具集成在一起的数据集。

数据对于机器学习（ML）模型的开发和评估至关重要。但是，在部署所得模型时，使用有问题或不适当的数据集可能会造成危害。为了通过对数据集进行更故意的反思和创建过程的透明度来鼓励负责任的练习，研究人员和从业人员已开始倡导增加数据文档，并提出了几个数据文档框架。但是，几乎没有研究这些数据文档框架是否满足创建和消费数据集的ML从业者的需求。为了解决这一差距，我们着手了解ML从业人员的数据文档感知，需求，挑战和Desiderata，目的是推导设计要求，以便为将来的数据文档框架提供信息。我们对一家大型国际技术公司的14名ML从业者进行了一系列半结构化访谈。我们让他们回答从数据集的数据表中提取的问题列表（Gebru，2021）。我们的发现表明，目前的数据文档方法在很大程度上是临时的，而且本质上是近视的。参与者表达了对数据文档框架的需求，可以适应其上下文，并将其集成到现有的工具和工作流程中，并尽可能自动化。尽管事实上，数据文档框架通常是从负责人的AI的角度出发的，但参与者并未在他们被要求回答的问题与负责的AI含义之间建立联系。此外，参与者通常会在数据集消费者的需求中优先考虑，并提供了不熟悉其数据集可能需要知道的信息。基于这些发现，我们为将来的数据文档框架得出了七个设计要求。

We identify the task of measuring data to quantitatively characterize the composition of machine learning data and datasets. Similar to an object's height, width, and volume, data measurements quantify different attributes of data along common dimensions that support comparison. Several lines of research have proposed what we refer to as measurements, with differing terminology; we bring some of this work together, particularly in fields of computer vision and language, and build from it to motivate measuring data as a critical component of responsible AI development. Measuring data aids in systematically building and analyzing machine learning (ML) data towards specific goals and gaining better control of what modern ML systems will learn. We conclude with a discussion of the many avenues of future work, the limitations of data measurements, and how to leverage these measurement approaches in research and practice.

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

连续的软件工程在许多领域已变得司空见惯。但是，在调节需要考虑其他问题的密集部门时，通常认为很难采用连续的开发方法，例如DevOps。在本文中，我们提出了一种将拉力请求用作设计控件的方法，并将这种方法应用于认证的医疗系统中的机器学习，这是一种新颖的技术，这是一种新颖的技术，旨在为机器学习系统增加解释性，作为监管审核跟踪。我们以前曾使用过一种工业系统来证明这种方法，以证明如何以连续的方式开发医疗系统。

数据集在机器学习（ML）模型的培训和评估中起着核心作用。但是它们也是许多不希望的模型行为的根本原因，例如有偏见的预测。为了克服这种情况，ML社区提出了一个以数据为中心的文化转变，在该转变中，将数据问题给予他们应有的关注，并且围绕数据集的收集和处理的更多标准实践开始讨论和建立。到目前为止，这些建议主要是自然语言中描述的高级准则，因此，它们很难形式化并适用于特定数据集。从这个意义上讲，受这些建议的启发，我们定义了一种新的特定领域语言（DSL），以精确描述机器学习数据集，以其结构，数据出处和社会关注。我们认为，该DSL将促进任何ML计划，以利用和受益于ML的这种以数据为中心的转移（例如，为新项目选择最合适的数据集或更好地复制其他ML结果）。 DSL被实现为视觉工作室代码插件，并已根据开源许可发布。

人工智能（AI）治理调节行使权威和控制AI的管理。它旨在通过有效利用数据并最大程度地减少与AI相关的成本和风险来利用AI。尽管AI治理和AI伦理等主题在理论，哲学，社会和监管层面上进行了详尽的讨论，但针对公司和公司的AI治理工作有限。这项工作将AI产品视为系统，在该系统中，通过机器学习（ML）模型（培训）数据传递关键功能。我们通过在AI和相关领域（例如ML）合成文献来得出一个概念框架。我们的框架将AI治理分解为数据的治理，（ML）模型和（AI）系统沿着四个维度。它与现有的IT和数据治理框架和实践有关。它可以由从业者和学者都采用。对于从业者来说，主要是研究论文的综合，但从业者的出版物和监管机构的出版物也为实施AI治理提供了宝贵的起点，而对于学者来说，该论文强调了许多AI治理领域，值得更多关注。

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

现在，整个研究社区都可以广泛使用机器学习（ML），它促进了这些新兴的数学技术在广泛学科中的新型和引人注目的应用的扩散。在本文中，我们将重点介绍一个特定的案例研究：古人类学领域，该领域旨在根据生物学和文化证据理解人类的演变。正如我们将表明的那样，ML算法的易用性以及在人类学研究界的适当使用方面缺乏专业知识，导致了整个文献中出现的基本错误应用。结果不可靠的结果不仅破坏了将ML合法纳入人类学研究的努力，而且还会对我们的人类进化和行为过去产生潜在的理解。本文的目的是简要介绍古人类学中ML的某些方式；我们还为那些与该领域完全熟悉的人提供了一些基本ML算法的调查，而该领域仍在积极发展。我们讨论了一系列的错误，错误和违反正确的ML方法方案的行为，这些方法经常在人类学文献的积累体内出现令人不安。这些错误包括使用过时的算法和实践；不适当的火车/测试拆分，样本组成和文本解释；以及由于缺乏数据/代码共享以及随后对独立复制的限制而缺乏透明度。我们断言，扩大样本，共享数据和代码，重新评估同行评审的方法，以及最重要的是，开发包括ML专家在内的跨学科团队对于将ML在人类学中纳入ML的未来研究的进步都是必要的。

机器学习和临床研究社区利用现实世界数据（RWD）的方法，包括电子健康记录中捕获的数据（EHR）截然不同。虽然临床研究人员谨慎使用RWD进行临床研究，但用于医疗团队的ML会消费公共数据集，并以最少的审查来开发新算法。这项研究通过开发和验证ML-DQA来弥合这一差距，ML-DQA是基于RWD最佳实践的数据质量保证框架。 ML-DQA框架适用于两个地理位置的五个ML项目，分别是不同的医疗状况和不同的人群。在这五个项目中，共收集了247,536名患者的RWD，共有2,999项质量检查和24份质量报告。出现了五种可推广的实践：所有项目都使用类似的方法来分组冗余数据元素表示；所有项目都使用自动实用程序来构建诊断和药物数据元素；所有项目都使用了一个共同的基于规则的转换库；所有项目都使用统一的方法将数据质量检查分配给数据元素；所有项目都使用类似的临床裁决方法。包括临床医生，数据科学家和受训者在内的平均有5.8个人参与每个项目实施ML-DQA，每个项目平均进行了23.4个数据元素。这项研究证明了ML-DQA在医疗项目中的重要性作用，并为团队提供了开展这些基本活动的框架。

机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。

在文化遗产部门中，在将机器学习技术应用于数字收藏时，已经做出了越来越多的努力来考虑关键的社会技术视角。尽管文化遗产社区共同开发了一大批工作，详细介绍了在组织层面的图书馆和其他文化遗产机构中的机器学习负责任的运营，但仍有很少专门针对从业人员踏上机器学习项目的实践者。将机器学习应用于文化遗产所涉及的歧管赌注和敏感性强调了制定此类准则的重要性。本文通过在开发利用文化遗产数据的机器学习项目时使用指导性问题和实践来制定详细的清单，从而为这一需求做出了贡献。我将结果清单称为“收集为ML数据”清单，完成后，该清单可以通过项目的可交付成果发布。通过调查现有项目，包括我自己的项目，报纸导航员，我证明了“作为ML数据的收集”清单是合理的，并证明了如何采用和操作该制定的指导问题。

网络科学和技术的快速发展取决于可共享的数据集。当前，没有用于报告和共享网络数据集的标准实践。一些网络数据集提供商仅共享链接，而另一些网络数据集提供商提供了一些上下文或基本统计信息。结果，关键信息可能无意间删除，网络数据集消费者可能会误解或忽略关键方面。使用网络数据集不适当地导致严重的后果（例如，歧视），尤其是当将网络上的机器学习模型部署在高维护域中时。挑战出现，因为网络通常在不同的领域（例如网络科学，物理等）上使用并具有复杂的结构。为了促进网络数据集提供商和消费者之间的通信，我们提出了网络报告。网络报告是一个结构化的描述，总结和上下文化网络数据集。网络报告从先前的工作中扩展了数据集报告（例如，数据集的数据表）的想法，其中包含非i.i.d的网络特定说明。自然，人口统计信息，网络特征等。我们希望网络报告鼓励不同领域的网络研发透明度和问责制。

成像，散射和光谱是理解和发现新功能材料的基础。自动化和实验技术的当代创新导致这些测量更快，分辨率更高，从而产生了大量的分析数据。这些创新在用户设施和同步射击光源时特别明显。机器学习（ML）方法经常开发用于实时地处理和解释大型数据集。然而，仍然存在概念障碍，进入设施一般用户社区，通常缺乏ML的专业知识，以及部署ML模型的技术障碍。在此，我们展示了各种原型ML模型，用于在国家同步光源II（NSLS-II）的多个波束线上在飞行分析。我们谨慎地描述这些示例，专注于将模型集成到现有的实验工作流程中，使得读者可以容易地将它们自己的ML技术与具有普通基础设施的NSLS-II或设施的实验中的实验。此处介绍的框架展示了几乎没有努力，多样化的ML型号通过集成到实验编程和数据管理的现有Blueske套件中与反馈回路一起运行。

本文确定了数据驱动系统中的数据最小化和目的限制的两个核心数据保护原理。虽然当代数据处理实践似乎与这些原则的赔率达到差异，但我们证明系统可以在技术上使用的数据远远少于目前的数据。此观察是我们详细的技术法律分析的起点，揭示了妨碍了妨碍了实现的障碍，并举例说明了在实践中应用数据保护法的意外权衡。我们的分析旨在向辩论提供关于数据保护对欧盟人工智能发展的影响，为数据控制员，监管机构和研究人员提供实际行动点。

机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。

随着研究人员和从业人员将机器学习应用于越来越多的软件工程问题，他们使用的方法变得更加复杂。许多现代方法都以抽象语法树（AST）或其扩展形式使用内部代码结构：基于路径的表示，复杂的图将AST与其他边缘结合在一起。即使可以使用不同的解析器来从代码中提取AST的过程，但选择解析器对最终模型质量的影响仍然没有研究。此外，研究人员经常省略提取特定代码表示的确切细节。在这项工作中，我们在方法名称预测任务中评估了两个模型，即Code2Seq和Treelstm，由八个不同的解析器用于Java语言。为了将数据制备的过程与不同的解析器统一，我们开发了SuperParser，这是基于Pathminer的多语言解析器 - 不合Snostic库。 SuperParser促进了适用于培训和评估ML模型的数据集的端到端创建，这些模型与源代码中的结构信息合作。我们的结果表明，不同解析器建造的树木的结构和内容各不相同。然后，我们分析这种多样性如何影响模型的质量，并表明两种模型最不合适的解析器之间的质量差距非常重要。最后，我们讨论了解析器的其他功能，研究人员和从业人员在选择解析器时应考虑这些特征，以及对模型质量的影响。 SuperParser代码可在https://doi.org/10.5281/zenodo.6366591上公开获得。我们还发布了Java-Norm，即我们用于评估模型的数据集：https：//doi.org/10.5281/zenodo.6366599。

随着各种公开的AI伦理原则的共识，差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构（CSIRO）的研究人员和工程师的实践和经验，他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括：隐私保护和安全，可靠性和安全性，透明度和解释性，公平性，竞争性，责任，人以人为本的价值观和人类，社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后，提供了一系列组织响应，以支持实施高级AI道德原则。