拉力请求是当今协作软件开发和代码审核过程的关键部分。但是，当审阅者或作者不积极参与拉动请求时，拉动请求也可以减慢软件开发过程。在这项工作中，我们设计了一项端到端服务，以提醒作者或审阅者与他们的逾期拉动请求互动，以加速逾期拉动请求。首先，我们根据努力估算和机器学习使用模型来预测给定拉的请求的完成时间。其次，我们使用活动检测来滤除可能逾期的拉请请求，但仍在采取足够的动作。最后，我们使用演员身份证来了解拉动请求的阻止者是谁，并推动适当的演员（作者或审稿人）。轻推的主要新颖性是它成功地减少了拉动请求解决时间，同时确保开发人员认为发送的通知在成千上万的存储库中是有用的。在Microsoft使用的147个存储库的随机试验中，Nudge能够将拉的请求分辨率时间减少60％，而与Nudge未发送通知的逾期拉动请求相比，该请求的8,500次拉。此外，收到推动通知的开发人员将这些通知的73％置于正面。我们观察到在Microsoft的8,000个存储库中扩展Nudge的部署时，我们观察到了类似的结果，在整整一年中，Nudge发送了210,000个通知。这表明了Nudge可以扩展到数千个存储库的能力。最后，我们对选择通知的定性分析指示了未来研究的领域，例如在拉动请求和开发人员的可用性中考虑依赖性。

机器学习（ML）研究出版物通常在GitHub上提供开源实现，使他们的受众可以复制，验证甚至扩展机器学习算法，数据集和元数据。但是，到目前为止，关于此类ML研究存储库的协作活动程度知之甚少，特别是（1）此类存储库从叉子获得贡献的程度，（2）此类贡献的性质（即类型，变化），以及（3）变更的性质，这些变化未归还给叉子，这可能代表了错过的机会。在本文中，我们对1,346毫升研究存储库及其67,369叉进行了验证，无论是定量还是定性（通过Hindle等人的构建代码更改的开创性分类法）。我们发现，尽管ML研究存储库是大量分叉的，但只有9％的叉子对叉子存储库进行了修改。后者的42％发送给家长存储库的更改，其中一半（52％）被父家存储库接受。我们对539个贡献的定性分析和378个本地（仅叉）变化，扩展了Hindle等人的分类法，其中一个与ML（数据）相关的新顶级变更类别和15个新的子类别，包括9个ML--特定的（输入数据，输出数据，程序数据，共享，变更评估，参数调整，性能，预处理，模型培训）。虽然没有由叉子造成的更改主要是涉及域特定于域的定制和本地实验（例如，参数调整），但原点ML存储库确实错过了不可忽视的15.4％文档更改的13.6％的功能更改，而功能更改的13.6％和11.4％的错误修复更改。本文中的发现将对从业者，研究人员，工具匠和教育者有用。

Code review is an integral part of any mature software development process, and identifying the best reviewer for a code change is a well accepted problem within the software engineering community. Selecting a reviewer who lacks expertise and understanding can slow development or result in more defects. To date, most reviewer recommendation systems rely primarily on historical file change and review information; those who changed or reviewed a file in the past are the best positioned to review in the future. We posit that while these approaches are able to identify and suggest qualified reviewers, they may be blind to reviewers who have the needed expertise and have simply never interacted with the changed files before. To address this, we present CORAL, a novel approach to reviewer recommendation that leverages a socio-technical graph built from the rich set of entities (developers, repositories, files, pull requests, work-items, etc.) and their relationships in modern source code management systems. We employ a graph convolutional neural network on this graph and train it on two and a half years of history on 332 repositories. We show that CORAL is able to model the manual history of reviewer selection remarkably well. Further, based on an extensive user study, we demonstrate that this approach identifies relevant and qualified reviewers who traditional reviewer recommenders miss, and that these developers desire to be included in the review process. Finally, we find that "classical" reviewer recommendation systems perform better on smaller (in terms of developers) software projects while CORAL excels on larger projects, suggesting that there is "no one model to rule them all."

Incivility remains a major challenge for online discussion platforms, to such an extent that even conversations between well-intentioned users can often derail into uncivil behavior. Traditionally, platforms have relied on moderators to -- with or without algorithmic assistance -- take corrective actions such as removing comments or banning users. In this work we propose a complementary paradigm that directly empowers users by proactively enhancing their awareness about existing tension in the conversation they are engaging in and actively guides them as they are drafting their replies to avoid further escalation. As a proof of concept for this paradigm, we design an algorithmic tool that provides such proactive information directly to users, and conduct a user study in a popular discussion platform. Through a mixed methods approach combining surveys with a randomized controlled experiment, we uncover qualitative and quantitative insights regarding how the participants utilize and react to this information. Most participants report finding this proactive paradigm valuable, noting that it helps them to identify tension that they may have otherwise missed and prompts them to further reflect on their own replies and to revise them. These effects are corroborated by a comparison of how the participants draft their reply when our tool warns them that their conversation is at risk of derailing into uncivil behavior versus in a control condition where the tool is disabled. These preliminary findings highlight the potential of this user-centered paradigm and point to concrete directions for future implementations.

组织依靠机器学习工程师（MLE）来操作ML，即部署和维护生产中的ML管道。操作ML或MLOP的过程包括（i）数据收集和标记的连续循环，（ii）实验以改善ML性能，（iii）在多阶段部署过程中评估，以及（iv）监视（iv）性能下降。当一起考虑这些责任似乎令人震惊 - 任何人如何进行MLOP，没有解决的挑战，对工具制造商有什么影响？我们对在包括聊天机器人，自动驾驶汽车和金融在内的许多应用程序中工作的18个MLE进行了半结构化的民族志访谈。我们的访谈暴露了三个变量，这些变量控制了生产ML部署的成功：速度，验证和版本。我们总结了成功实验，部署和维持生产绩效的共同实践。最后，我们讨论了受访者的痛点和反图案，对工具设计产生了影响。

研究过程自动化 - 对科学仪器，计算机，数据存储和其他资源的可靠，高效和可重复执行的可靠，高效和可重复执行，这是现代科学的基本要素。我们在此处报告Globus研究数据管理平台内的新服务，该服务可以将各种研究过程的规范作为可重复使用的动作集，流量以及在异质研究环境中执行此类流动的集合。为了以广泛的空间范围（例如，从科学仪器到远程数据中心）和时间范围（从几秒钟到几周），这些Globus自动化服务功能：1）云托管以可靠地执行长期持久的流量，尽管零星的失败，但这些Globus自动化服务功能：1） ; 2）声明性符号和可扩展的异步行动提供商API，用于定义和执行涉及任意资源的各种行动和流动规范； 3）授权授权机制，用于安全调用动作。这些服务允许研究人员将广泛的研究任务的管理外包和自动化为可靠，可扩展和安全的云平台。我们向Globus自动化服务提供用例

预测过程分析已成为组织的基本援助，从而为其流程提供在线运营支持。但是，需要向流程利益相关者提供解释为什么预测给定流程执行以某种方式行事的原因。否则，他们将不太可能相信预测性监测技术，从而采用它。本文提出了一个预测分析框架，该框架还具有基于Shapley值的游戏理论的解释功能。该框架已在IBM Process采矿套件中实施，并为业务用户商业化。该框架已在现实生活事件数据上进行了测试，以评估预测的质量和相应的评估。特别是，已经执行了用户评估，以了解系统提供的解释是否可以使流程利益相关者可理解。

在软件项目中引入机器学习（ML）组件创造了软件工程师与数据科学家和其他专家合作。虽然合作可以始终具有挑战性，但ML介绍了探索性模型开发过程的额外挑战，需要额外的技能和知识，测试ML系统的困难，需要连续演化和监测，以及非传统质量要求，如公平性和解释性。通过采访来自28个组织的45名从业者，我们确定了在建立和将ML系统部署到生产时面临的关键合作挑战。我们报告了生产ML系统的开发中的共同合作点，以获得要求，数据和集成以及相应的团队模式和挑战。我们发现，这些挑战中的大部分挑战围绕通信，文档，工程和流程以及收集建议以解决这些挑战。

连续的软件工程在许多领域已变得司空见惯。但是，在调节需要考虑其他问题的密集部门时，通常认为很难采用连续的开发方法，例如DevOps。在本文中，我们提出了一种将拉力请求用作设计控件的方法，并将这种方法应用于认证的医疗系统中的机器学习，这是一种新颖的技术，这是一种新颖的技术，旨在为机器学习系统增加解释性，作为监管审核跟踪。我们以前曾使用过一种工业系统来证明这种方法，以证明如何以连续的方式开发医疗系统。

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

船上自治技术，如规划和调度，识别科学目标和基于内容的数据摘要，将导致令人兴奋的新空间科学任务。然而，尚未研究具有此类船上自治能力的经营任务的挑战，这是足以在使命概念中考虑的细节水平。这些自主功能需要更改当前的操作流程，实践和工具。我们制定了一个案例研究，以评估使运营商和科学家通过促进地面人员和车载算法之间的共同模型来运营自主航天器所需的变化。我们评估使运营商和科学家能够向航天器传达所需的新的操作工具和工作流程，并能够重建和解释船上和航天器状态的决定。这些工具的模型用于用户学习，了解过程和工具在实现共享理解框架方面的有效性，以及在运营商和科学家有效实现特派团科学目标的能力。

To address the widespread problem of uncivil behavior, many online discussion platforms employ human moderators to take action against objectionable content, such as removing it or placing sanctions on its authors. This reactive paradigm of taking action against already-posted antisocial content is currently the most common form of moderation, and has accordingly underpinned many recent efforts at introducing automation into the moderation process. Comparatively less work has been done to understand other moderation paradigms -- such as proactively discouraging the emergence of antisocial behavior rather than reacting to it -- and the role algorithmic support can play in these paradigms. In this work, we investigate such a proactive framework for moderation in a case study of a collaborative setting: Wikipedia Talk Pages. We employ a mixed methods approach, combining qualitative and design components for a holistic analysis. Through interviews with moderators, we find that despite a lack of technical and social support, moderators already engage in a number of proactive moderation behaviors, such as preemptively intervening in conversations to keep them on track. Further, we explore how automation could assist with this existing proactive moderation workflow by building a prototype tool, presenting it to moderators, and examining how the assistance it provides might fit into their workflow. The resulting feedback uncovers both strengths and drawbacks of the prototype tool and suggests concrete steps towards further developing such assisting technology so it can most effectively support moderators in their existing proactive moderation workflow.

在数字治疗干预的背景下，例如互联网交付的认知行为治疗（ICBT）用于治疗抑郁和焦虑，广泛的研究表明，人类支持者或教练的参与如何协助接受治疗的人，改善用户参与治疗并导致更有效的健康结果而不是不受支持的干预措施。该研究旨在最大限度地提高这一人类支持的影响和结果，研究了通过AI和机器学习领域（ML）领域的最新进展提供的新机遇如何有助于有效地支持ICBT支持者的工作实践。本文报告了采访研究的详细调查结果，与15个ICBT支持者加深了解其现有的工作实践和信息需求，旨在有意义地向抑郁和焦虑治疗的背景下提供有用，可实现的ML申请。分析贡献（1）一组六个主题，总结了ICBT支持者在为其精神卫生客户提供有效，个性化反馈方面的策略和挑战;并回应这些学习，（2）对于ML方法如何帮助支持和解决挑战和信息需求，为每个主题提供具体机会。它依赖于在支持者LED客户审查实践中引入新的机器生成的数据见解的潜在社会，情感和务实含义的思考。

数据对于机器学习（ML）模型的开发和评估至关重要。但是，在部署所得模型时，使用有问题或不适当的数据集可能会造成危害。为了通过对数据集进行更故意的反思和创建过程的透明度来鼓励负责任的练习，研究人员和从业人员已开始倡导增加数据文档，并提出了几个数据文档框架。但是，几乎没有研究这些数据文档框架是否满足创建和消费数据集的ML从业者的需求。为了解决这一差距，我们着手了解ML从业人员的数据文档感知，需求，挑战和Desiderata，目的是推导设计要求，以便为将来的数据文档框架提供信息。我们对一家大型国际技术公司的14名ML从业者进行了一系列半结构化访谈。我们让他们回答从数据集的数据表中提取的问题列表（Gebru，2021）。我们的发现表明，目前的数据文档方法在很大程度上是临时的，而且本质上是近视的。参与者表达了对数据文档框架的需求，可以适应其上下文，并将其集成到现有的工具和工作流程中，并尽可能自动化。尽管事实上，数据文档框架通常是从负责人的AI的角度出发的，但参与者并未在他们被要求回答的问题与负责的AI含义之间建立联系。此外，参与者通常会在数据集消费者的需求中优先考虑，并提供了不熟悉其数据集可能需要知道的信息。基于这些发现，我们为将来的数据文档框架得出了七个设计要求。

机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。

机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。

负责任的AI被广泛认为是我们时代最大的科学挑战之一，也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战，最近已经发布了许多AI伦理原则框架，AI系统应该符合这些框架。但是，没有进一步的最佳实践指导，从业者除了真实性之外没有什么。同样，在算法级别而不是系统级的算法上进行了重大努力，主要集中于数学无关的道德原则（例如隐私和公平）的一部分。然而，道德问题在开发生命周期的任何步骤中都可能发生，从而超过AI算法和模型以外的系统的许多AI，非AI和数据组件。为了从系统的角度操作负责任的AI，在本文中，我们采用了一种面向模式的方法，并根据系统的多媒体文献综述（MLR）的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上，我们专注于AI系统利益相关者可以在实践中采取的模式，以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组：多层次治理模式，可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

随着机器学习（ML）模型和系统在不同行业的高赌注环境中的增加，保证了部署后的模型的性能变得至关重要。生产中的监测模型是确保其持续性能和可靠性的关键方面。我们展示了Amazon Sagemaker Model Monitor，这是一个完全托管的服务，不断监控亚马逊Sagemaker上托管的机器学习模型的质量。我们的系统实时地自动检测模型中的数据，概念，偏置和特征归因漂移，并提供警报，以便模型所有者可以采取纠正措施，从而保持高质量模型。我们描述了从客户，系统设计和架构获得的关键要求以及用于检测不同类型漂移的方法。此外，我们提供量化评估，然后使用案例，见解和从超过1.5年的生产部署中汲取的经验教训。

Healthcare Ai持有增加患者安全性，增强效率和改善患者结果的潜力，但研究通常受到数据访问，队列策划和分析工具的限制。电子健康记录数据，实时数据和实时高分辨率设备数据的集合和翻译可能是具有挑战性和耗时的。现实世界AI工具的发展需要克服数据采集，稀缺医院资源和数据治疗需求的挑战。这些瓶颈可能导致资源沉重的需求和AI系统的研究和开发延迟。我们提供了一种系统和方法，可加速数据采集，数据集开发和分析和AI模型开发。我们创建了一个依赖于可扩展的微服务后端的交互式平台。该系统可以每小时摄取15,000名患者记录，其中每个记录代表数千个多式数级测量，文本备注和高分辨率数据。统称，这些记录可以接近数据的数据。该系统可以在2-5分钟内进一步执行队列和初步数据集分析。因此，多个用户可以在实时同时协作以迭代数据集和模型。我们预计这种方法将推动现实世界的AI模型开发，并且在长期运行中，有意义地改善医疗保健交付。