通过机器学习的人工智能越来越多地用于数字社会。基于机器学习的解决方案带来了巨大的机会,从而创造了“软件2.0”,而且为工程界提供了巨大的挑战。由于数据科学家使用的实验方法在开发机器学习模型时,敏捷是一个重要的特征。在这个主题演讲中,我们讨论了两种当代开发现象,这是机器学习开发的基础,即笔记本界面和MLOPS。首先,我们提出了一种解决方案,可以通过支持对集成开发环境的简单过渡来解决笔记本电脑中工作的一些内在弱点。其次,我们通过在MLOPS语境中引入隐喻障碍和钢筋来提出AI系统的加强工程。基于机器学习的解决方案是动态的本质上,我们认为强化连续工程是质量保证明天可信赖的AI系统。
translated by 谷歌翻译
负责任的AI被广泛认为是我们时代最大的科学挑战之一,也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战,最近已经发布了许多AI伦理原则框架,AI系统应该符合这些框架。但是,没有进一步的最佳实践指导,从业者除了真实性之外没有什么。同样,在算法级别而不是系统级的算法上进行了重大努力,主要集中于数学无关的道德原则(例如隐私和公平)的一部分。然而,道德问题在开发生命周期的任何步骤中都可能发生,从而超过AI算法和模型以外的系统的许多AI,非AI和数据组件。为了从系统的角度操作负责任的AI,在本文中,我们采用了一种面向模式的方法,并根据系统的多媒体文献综述(MLR)的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上,我们专注于AI系统利益相关者可以在实践中采取的模式,以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组:多层次治理模式,可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。
translated by 谷歌翻译
机器学习(ML)系统的开发和部署可以用现代工具轻松执行,但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务,范围蠕变和未对准的目标,模型滥用和失败,以及昂贵的后果。另一方面,工程系统遵循明确定义的流程和测试标准,以简化高质量,可靠的结果的开发。极端是航天器系统,其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验(通过域名通过产品的研究),我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”(MLTRL)框架定义了一个原则的过程,以确保强大,可靠和负责的系统,同时为ML工作流程流线型,包括来自传统软件工程的关键区别。 MLTRL甚至更多,MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里,我们描述了通过生产化和部署在医学诊断,消费者计算机视觉,卫星图像和粒子物理学等领域,以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。
translated by 谷歌翻译
连续的软件工程在许多领域已变得司空见惯。但是,在调节需要考虑其他问题的密集部门时,通常认为很难采用连续的开发方法,例如DevOps。在本文中,我们提出了一种将拉力请求用作设计控件的方法,并将这种方法应用于认证的医疗系统中的机器学习,这是一种新颖的技术,这是一种新颖的技术,旨在为机器学习系统增加解释性,作为监管审核跟踪。我们以前曾使用过一种工业系统来证明这种方法,以证明如何以连续的方式开发医疗系统。
translated by 谷歌翻译
人工智能(AI)治理调节行使权威和控制AI的管理。它旨在通过有效利用数据并最大程度地减少与AI相关的成本和风险来利用AI。尽管AI治理和AI伦理等主题在理论,哲学,社会和监管层面上进行了详尽的讨论,但针对公司和公司的AI治理工作有限。这项工作将AI产品视为系统,在该系统中,通过机器学习(ML)模型(培训)数据传递关键功能。我们通过在AI和相关领域(例如ML)合成文献来得出一个概念框架。我们的框架将AI治理分解为数据的治理,(ML)模型和(AI)系统沿着四个维度。它与现有的IT和数据治理框架和实践有关。它可以由从业者和学者都采用。对于从业者来说,主要是研究论文的综合,但从业者的出版物和监管机构的出版物也为实施AI治理提供了宝贵的起点,而对于学者来说,该论文强调了许多AI治理领域,值得更多关注。
translated by 谷歌翻译
机器学习(ML)研究出版物通常在GitHub上提供开源实现,使他们的受众可以复制,验证甚至扩展机器学习算法,数据集和元数据。但是,到目前为止,关于此类ML研究存储库的协作活动程度知之甚少,特别是(1)此类存储库从叉子获得贡献的程度,(2)此类贡献的性质(即类型,变化),以及(3)变更的性质,这些变化未归还给叉子,这可能代表了错过的机会。在本文中,我们对1,346毫升研究存储库及其67,369叉进行了验证,无论是定量还是定性(通过Hindle等人的构建代码更改的开创性分类法)。我们发现,尽管ML研究存储库是大量分叉的,但只有9%的叉子对叉子存储库进行了修改。后者的42%发送给家长存储库的更改,其中一半(52%)被父家存储库接受。我们对539个贡献的定性分析和378个本地(仅叉)变化,扩展了Hindle等人的分类法,其中一个与ML(数据)相关的新顶级变更类别和15个新的子类别,包括9个ML--特定的(输入数据,输出数据,程序数据,共享,变更评估,参数调整,性能,预处理,模型培训)。虽然没有由叉子造成的更改主要是涉及域特定于域的定制和本地实验(例如,参数调整),但原点ML存储库确实错过了不可忽视的15.4%文档更改的13.6%的功能更改,而功能更改的13.6%和11.4%的错误修复更改。本文中的发现将对从业者,研究人员,工具匠和教育者有用。
translated by 谷歌翻译
无线电接入网络(RAN)技术继续见证巨大的增长,开放式运行越来越最近的势头。在O-RAN规范中,RAN智能控制器(RIC)用作自动化主机。本文介绍了对O-RAN堆栈相关的机器学习(ML)的原则,特别是加强学习(RL)。此外,我们审查无线网络的最先进的研究,并将其投入到RAN框架和O-RAN架构的层次结构上。我们在整个开发生命周期中提供ML / RL模型面临的挑战的分类:从系统规范到生产部署(数据采集,模型设计,测试和管理等)。为了解决挑战,我们将一组现有的MLOPS原理整合,当考虑RL代理时,具有独特的特性。本文讨论了系统的生命周期模型开发,测试和验证管道,称为:RLOPS。我们讨论了RLOP的所有基本部分,包括:模型规范,开发和蒸馏,生产环境服务,运营监控,安全/安全和数据工程平台。根据这些原则,我们提出了最佳实践,以实现自动化和可重复的模型开发过程。
translated by 谷歌翻译
即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中,我们面临各种工程挑战,因为它以有益的方式协调所体现的系统的行为至关重要,确保他们与我们以人为本的社会价值观的兼容性,并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说,引发系统工程将来自嵌入到体现系统的温室,并确保动态联合的可信度,这种情况意识到的情境意识,意图,探索,探险,不断发展,主要是不可预测的,越来越自主的体现系统在不确定,复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战,包括可信赖的体现系统,包括强大而人为的AI,认知架构,不确定性量化,值得信赖的自融化以及持续的分析和保证。
translated by 谷歌翻译
如今,由于最近在人工智能(AI)和机器学习(ML)中的近期突破,因此,智能系统和服务越来越受欢迎。然而,机器学习不仅满足软件工程,不仅具有有希望的潜力,而且还具有一些固有的挑战。尽管最近的一些研究努力,但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外,目前尚不清楚软件工程研究人员应将其努力集中起来,以更好地支持ML应用程序开发人员。在本文中,我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者(以不同的技能,经验和应用领域)获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题,以改善工程过程和基于ML的申请的质量。
translated by 谷歌翻译
机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习(ML)实例化遭受了复杂的整合,缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式,用于将传感器智能嵌入边缘设备上,以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统,并提供一个薄的界面,以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战,以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性,同时使系统构建者更容易将ML集成到其产品中,以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子,以表现出来,并希望这将建立对话使我们朝着传感器2.0迈进。
translated by 谷歌翻译
在软件项目中引入机器学习(ML)组件创造了软件工程师与数据科学家和其他专家合作。虽然合作可以始终具有挑战性,但ML介绍了探索性模型开发过程的额外挑战,需要额外的技能和知识,测试ML系统的困难,需要连续演化和监测,以及非传统质量要求,如公平性和解释性。通过采访来自28个组织的45名从业者,我们确定了在建立和将ML系统部署到生产时面临的关键合作挑战。我们报告了生产ML系统的开发中的共同合作点,以获得要求,数据和集成以及相应的团队模式和挑战。我们发现,这些挑战中的大部分挑战围绕通信,文档,工程和流程以及收集建议以解决这些挑战。
translated by 谷歌翻译
期望与成功采用AI来创新和改善业务之间仍然存在很大的差距。由于深度学习的出现,AI的采用率更为复杂,因为它经常结合大数据和物联网,从而影响数据隐私。现有的框架已经确定需要专注于以人为中心的设计,结合技术和业务/组织的观点。但是,信任仍然是一个关键问题,需要从一开始就设计。拟议的框架从以人为本的设计方法扩展,强调和维持基于该过程的信任。本文提出了负责人工智能(AI)实施的理论框架。拟议的框架强调了敏捷共同创造过程的协同业务技术方法。目的是简化AI的采用过程来通过在整个项目中参与所有利益相关者来创新和改善业务,以便AI技术的设计,开发和部署与人合作而不是孤立。该框架对基于分析文献综述,概念框架设计和从业者的中介专业知识的负责人AI实施提出了新的观点。该框架强调在以人为以人为中心的设计和敏捷发展中建立和维持信任。这种以人为中心的方式与设计原则的隐私相符和启用。该技术和最终用户的创建者正在共同努力,为业务需求和人类特征定制AI解决方案。关于采用AI来协助医院计划的说明性案例研究将证明该拟议框架适用于现实生活中的应用。
translated by 谷歌翻译
关键应用程序中机器学习(ML)组件的集成引入了软件认证和验证的新挑战。正在开发新的安全标准和技术准则,以支持基于ML的系统的安全性,例如ISO 21448 SOTIF用于汽车域名,并保证机器学习用于自主系统(AMLAS)框架。 SOTIF和AMLA提供了高级指导,但对于每个特定情况,必须将细节凿出来。我们启动了一个研究项目,目的是证明开放汽车系统中ML组件的完整安全案例。本文报告说,Smikk的安全保证合作是由行业级别的行业合作的,这是一个基于ML的行人自动紧急制动示威者,在行业级模拟器中运行。我们演示了AMLA在伪装上的应用,以在简约的操作设计域中,即,我们为其基于ML的集成组件共享一个完整的安全案例。最后,我们报告了经验教训,并在开源许可下为研究界重新使用的开源许可提供了傻笑和安全案例。
translated by 谷歌翻译
在过去几年中,自动化机器学习(AUTOML)工具的普及有所增加。机器学习(ML)从业人员使用自动工具来自动化和优化功能工程,模型培训和超参数优化的过程。最近的工作对从业人员使用汽车工具的经验进行了定性研究,并根据其性能和提供的功能比较了不同的汽车工具,但是现有的工作都没有研究在大规模实际项目中使用Automl工具的实践。因此,我们进行了一项实证研究,以了解ML从业者如何在其项目中使用汽车工具。为此,我们在GitHub上托管的大量开源项目存储库中研究了最常用的十大汽车工具及其各自的用法。我们研究的结果表明1)ML从业人员主要使用哪种汽车工具,以及2)使用这些汽车工具的存储库的特征。此外,我们确定了使用Automl工具的目的(例如,模型参数采样,搜索空间管理,模型评估/错误分析,数据/功能转换和数据标记)以及ML管道的阶段(例如功能工程)使用工具。最后,我们报告在同一源代码文件中使用Automl工具的频率。我们希望我们的结果可以帮助ML从业人员了解不同的汽车工具及其使用情况,以便他们可以为其目的选择正确的工具。此外,Automl工具开发人员可以从我们的发现中受益,以深入了解其工具的用法并改善其工具以更好地适合用户的用法和需求。
translated by 谷歌翻译
根据1,870家公司的Rackspace技术的最近调查,总共34%的AI研究和开发项目失败或被遗弃。我们提出了一项新的战略框架,Aistrom,使管理者基于彻底的文献综述,创建一个成功的AI战略。这提供了一种独特而综合的方法,可以通过实施过程中的各种挑战引导经理和牵头开发人员。在Aistrom框架中,我们首先识别顶部N潜在项目(通常为3-5)。对于每个人,彻底分析了七个重点区域。这些领域包括创建一个数据策略,以考虑独特的跨部门机器学习数据要求,安全性和法律要求。然后,Aistrom指导经理思考如何鉴于AI人才稀缺的跨学科人工智能(AI)实施团队。一旦建立了AI团队战略,它需要在组织内,跨部门或作为单独的部门定位。其他考虑因素包括AI作为服务(AIAAS)或外包开发。看着新技术,我们必须考虑偏见,黑匣子模型的合法性等挑战,并保持循环中的人类。接下来,与任何项目一样,我们需要基于价值的关键性能指标(KPI)来跟踪和验证进度。根据公司的风险策略,SWOT分析(优势,劣势,机会和威胁)可以帮助进一步分类入住项目。最后,我们应该确保我们的战略包括持续的雇员的持续教育,以实现采用文化。这种独特综合的框架提供了有价值的,经理和铅开发商的工具。
translated by 谷歌翻译
组织依靠机器学习工程师(MLE)来操作ML,即部署和维护生产中的ML管道。操作ML或MLOP的过程包括(i)数据收集和标记的连续循环,(ii)实验以改善ML性能,(iii)在多阶段部署过程中评估,以及(iv)监视(iv)性能下降。当一起考虑这些责任似乎令人震惊 - 任何人如何进行MLOP,没有解决的挑战,对工具制造商有什么影响?我们对在包括聊天机器人,自动驾驶汽车和金融在内的许多应用程序中工作的18个MLE进行了半结构化的民族志访谈。我们的访谈暴露了三个变量,这些变量控制了生产ML部署的成功:速度,验证和版本。我们总结了成功实验,部署和维持生产绩效的共同实践。最后,我们讨论了受访者的痛点和反图案,对工具设计产生了影响。
translated by 谷歌翻译
在过去的几年中,我们目睹了机器学习(ML)应用的巨大增加。越来越多的程序函数不再用代码编写,而是使用ML算法从大量数据样本中学到的。但是,经常被忽视的是管理最终的ML模型以及将它们带入真实的生产系统的复杂性。在软件工程中,我们花了数十年的时间来开发工具和方法来创建,管理和组装复杂的软件模块。我们介绍了当前技术来管理复杂软件的概述,以及如何应用于ML模型。
translated by 谷歌翻译
虽然AI有利于人类,但如果没有适当发展,它也可能会损害人类。 HCI工作的重点是从与非AI计算系统的传统人类交互转换,以与AI系统交互。我们在HCI视角下开展了高级文献综述,对当前工作的整体分析。我们的审核和分析突出了AI技术引入的新变更以及HCI专业人员在AI系统开发中应用人以人为本的AI(HCAI)方法时,新挑战的新挑战。我们还确定了与AI系统人类互动的七个主要问题,其中HCI专业人员在开发非AI计算系统时没有遇到。为了进一步实现HCAI方法的实施,我们确定了与特定的HCAI驱动的设计目标相关的新的HCI机会,以指导HCI专业人员解决这些新问题。最后,我们对当前HCI方法的评估显示了这些方法支持开发AI系统的局限性。我们提出了可以帮助克服这些局限性的替代方法,并有效帮助HCI专业人员将HCAI方法应用于AI系统的发展。我们还为HCI专业人员提供战略建议,以有效影响利用HCAI方法的AI系统的发展,最终发展HCAI系统。
translated by 谷歌翻译
In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.
translated by 谷歌翻译
数字化和自动化方面的快速进步导致医疗保健的加速增长,从而产生了新型模型,这些模型正在创造新的渠道,以降低成本。 Metaverse是一项在数字空间中的新兴技术,在医疗保健方面具有巨大的潜力,为患者和医生带来了现实的经验。荟萃分析是多种促成技术的汇合,例如人工智能,虚拟现实,增强现实,医疗设备,机器人技术,量子计算等。通过哪些方向可以探索提供优质医疗保健治疗和服务的新方向。这些技术的合并确保了身临其境,亲密和个性化的患者护理。它还提供自适应智能解决方案,以消除医疗保健提供者和接收器之间的障碍。本文对医疗保健的荟萃分析提供了全面的综述,强调了最新技术的状态,即采用医疗保健元元的能力技术,潜在的应用程序和相关项目。还确定了用于医疗保健应用的元元改编的问题,并强调了合理的解决方案作为未来研究方向的一部分。
translated by 谷歌翻译