在这项工作中，我们向阿姆斯特丹大学的人工智能（_MACE-AI）的技术，研究生，保密性和透明度的技术，审查，保密性和透明度的设置，它通过再现性的镜头教导了概念。该课程的焦点是基于从顶级AI会议的现有事实-AI算法的基础项目，并撰写关于他们的经历的报告。在课程的第一次迭代中，我们创建了一个具有来自组项目的代码实现的开源存储库。在第二次迭代中，我们鼓励学生将他们的小组项目提交给机器学习再现性挑战，这导致了我们课程所接受的9个报告。我们反映了我们在两个学年课程教学的经验，其中一年恰逢全球大流行，并通过研究生级AI计划的可重复性提出了教学局面的指导。我们希望这可以成为教师在未来在其大学建立类似课程的有用资源。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

教育技术，以及他们部署的学校教育系统，制定了特定的意识形态，了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果，已经制定了各种方法来评估和减轻AI的有害影响。然而，我们争辩于本文认为，在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统（RE）生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头，以批判性地审查了几个普遍研究的和广泛采用的教育AI类别，并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景，为教育ai提供更公平的未来。

机器学习（ML）技术在教育方面越来越普遍，从预测学生辍学，到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长，迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中，我们阐明了这一复杂的景观绘制，以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育（ML4ED）论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说，技术问题的提出，目标，方法和解释结果与手头的教育问题保持一致。我们发现，在ML生命周期的两个部分中存在跨学科的差距，并且尤其突出：从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期，这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究，以及对ML社会影响的批判性分析。具体而言，它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。

鉴于HEP研究的核心，数据科学（DS）和机器学习（ML）在高能量物理学（HEP）中的作用增长良好和相关。此外，利用物理数据固有的对称性激发了物理信息的ML作为计算机科学研究的充满活力的子场。 HEP研究人员从广泛使用的材料中受益匪浅，可用于教育，培训和劳动力开发。他们还为这些材料做出了贡献，并为DS/ML相关的字段提供软件。物理部门越来越多地在DS，ML和物理学的交集上提供课程，通常使用HEP研究人员开发的课程，并涉及HEP中使用的开放软件和数据。在这份白皮书中，我们探讨了HEP研究与DS/ML教育之间的协同作用，讨论了此交叉路口的机会和挑战，并提出了将是互惠互利的社区活动。

在这一荟萃术中，我们探索了道德人工智能（AI）设计实施的三个不同角度，包括哲学伦理观点，技术观点和通过政治镜头进行框架。我们的定性研究包括一篇文献综述，该综述通过讨论前面发表的对比度上下，自下而上和混合方法的价值和缺点，突出了这些角度的交叉引用。对该框架的小说贡献是政治角度，该角度构成了人工智能中的道德规范，要么由公司和政府决定，并通过政策或法律（来自顶部）强加于人，或者是人民要求的道德（从底部出现） ，以及自上而下，自下而上和混合技术，即AI在道德构造和考虑到其用户中的发展方式以及对世界的预期和意外后果和长期影响。作为自下而上的应用技术方法和AI伦理原则作为一种实际的自上而下方法，重点是强化学习。这项调查包括现实世界中的案例研究，以基于历史事实，当前的世界环境以及随之而来的现实，就AI的伦理和理论未来的思想实验进行了有关AI伦理和理论未来思想实验的哲学辩论。

我们介绍了NLP社区Metasurvey的结果。从2022年5月到2022年6月，该调查引起了关于有争议的问题的意见，包括该领域的行业影响，对AGI和道德规范的关注。我们的结果将具体数字置于几个争议中：例如，受访者几乎完全将有关人工通用智能的重要性的问题分为一半，语言模型是否理解语言以及语言结构的必要性以及解决NLP问题的必要性。此外，调查提出了元问题，要求受访者预测调查响应的分布。这不仅使我们不仅可以深入了解NLP研究人员所拥有的各种信念，还可以揭示社区预测与现实不符的错误社会学信念。我们在各种问题上发现这种不匹配。除其他结果外，社区大大高估了其对基准的实用性的信念，以及扩展解决现实世界中问题的潜力，同时低估了其对语言结构，归纳偏见和跨学科科学重要性的信念。

We are currently unable to specify human goals and societal values in a way that reliably directs AI behavior. Law-making and legal interpretation form a computational engine that converts opaque human values into legible directives. "Law Informs Code" is the research agenda capturing complex computational legal processes, and embedding them in AI. Similar to how parties to a legal contract cannot foresee every potential contingency of their future relationship, and legislators cannot predict all the circumstances under which their proposed bills will be applied, we cannot ex ante specify rules that provably direct good AI behavior. Legal theory and practice have developed arrays of tools to address these specification problems. For instance, legal standards allow humans to develop shared understandings and adapt them to novel situations. In contrast to more prosaic uses of the law (e.g., as a deterrent of bad behavior through the threat of sanction), leveraged as an expression of how humans communicate their goals, and what society values, Law Informs Code. We describe how data generated by legal processes (methods of law-making, statutory interpretation, contract drafting, applications of legal standards, legal reasoning, etc.) can facilitate the robust specification of inherently vague human goals. This increases human-AI alignment and the local usefulness of AI. Toward society-AI alignment, we present a framework for understanding law as the applied philosophy of multi-agent alignment. Although law is partly a reflection of historically contingent political power - and thus not a perfect aggregation of citizen preferences - if properly parsed, its distillation offers the most legitimate computational comprehension of societal values available. If law eventually informs powerful AI, engaging in the deliberative political process to improve law takes on even more meaning.

The introductory programming sequence has been the focus of much research in computing education. The recent advent of several viable and freely-available AI-driven code generation tools present several immediate opportunities and challenges in this domain. In this position paper we argue that the community needs to act quickly in deciding what possible opportunities can and should be leveraged and how, while also working on how to overcome or otherwise mitigate the possible challenges. Assuming that the effectiveness and proliferation of these tools will continue to progress rapidly, without quick, deliberate, and concerted efforts, educators will lose advantage in helping shape what opportunities come to be, and what challenges will endure. With this paper we aim to seed this discussion within the computing education community.

在文化遗产部门中，在将机器学习技术应用于数字收藏时，已经做出了越来越多的努力来考虑关键的社会技术视角。尽管文化遗产社区共同开发了一大批工作，详细介绍了在组织层面的图书馆和其他文化遗产机构中的机器学习负责任的运营，但仍有很少专门针对从业人员踏上机器学习项目的实践者。将机器学习应用于文化遗产所涉及的歧管赌注和敏感性强调了制定此类准则的重要性。本文通过在开发利用文化遗产数据的机器学习项目时使用指导性问题和实践来制定详细的清单，从而为这一需求做出了贡献。我将结果清单称为“收集为ML数据”清单，完成后，该清单可以通过项目的可交付成果发布。通过调查现有项目，包括我自己的项目，报纸导航员，我证明了“作为ML数据的收集”清单是合理的，并证明了如何采用和操作该制定的指导问题。

值得信赖的人工智能（AI）已成为一个重要的话题，因为在AI系统及其创造者中的信任已经丢失。研究人员，公司和政府具有远离技术开发，部署和监督的边缘化群体的长期和痛苦的历史。结果，这些技术对小群体的有用甚至有害。我们争辩说，渴望信任的任何AI开发，部署和监测框架必须纳入女权主义，非剥削参与性设计原则和强大，外部和持续监测和测试。我们还向考虑到透明度，公平性和问责制的可靠性方面的重要性，特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金，支持和赋予Grassroots组织，如AI Queer等基层组织开始，因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此，我们分享了对AI的性别方法，进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论，提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。

在过去五年的工程模块中，在工程模块中试验了依赖基于团队的学习的项目学习的混合教学方法。我们的动机是将学生揭示了现实世界真实的工程问题，并从古典的“银行业务”方法中引导他们，以期通过更深入和更加合作的学习来开发其系统工程技能。我们的第三年模块被称为团队设计和项目技能，并关注320名学生将自己分成队伍，以开发智能电子系统。我们揭示了模块设计细节，并通过在过去五年中分析了学生成绩的教学方法的有效性，以及68名学生完成的调查数据。 64％的受访学生一致认为，该模块有助于扩大电子系统设计的视角。此外，84％认识到该模块在其学位计划中是一个有价值的组成部分。在工程课程中采用这种方法使学生能够将知识集成在包括控制系统，图像处理，嵌入式系统，传感器以及团队工作，决策，故障排除和项目规划的领域。

负责任的AI被广泛认为是我们时代最大的科学挑战之一，也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战，最近已经发布了许多AI伦理原则框架，AI系统应该符合这些框架。但是，没有进一步的最佳实践指导，从业者除了真实性之外没有什么。同样，在算法级别而不是系统级的算法上进行了重大努力，主要集中于数学无关的道德原则（例如隐私和公平）的一部分。然而，道德问题在开发生命周期的任何步骤中都可能发生，从而超过AI算法和模型以外的系统的许多AI，非AI和数据组件。为了从系统的角度操作负责任的AI，在本文中，我们采用了一种面向模式的方法，并根据系统的多媒体文献综述（MLR）的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上，我们专注于AI系统利益相关者可以在实践中采取的模式，以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组：多层次治理模式，可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。

This study evaluated the ability of ChatGPT, a recently developed artificial intelligence (AI) agent, to perform high-level cognitive tasks and produce text that is indistinguishable from human-generated text. This capacity raises concerns about the potential use of ChatGPT as a tool for academic misconduct in online exams. The study found that ChatGPT is capable of exhibiting critical thinking skills and generating highly realistic text with minimal input, making it a potential threat to the integrity of online exams, particularly in tertiary education settings where such exams are becoming more prevalent. Returning to invigilated and oral exams could form part of the solution, while using advanced proctoring techniques and AI-text output detectors may be effective in addressing this issue, they are not likely to be foolproof solutions. Further research is needed to fully understand the implications of large language models like ChatGPT and to devise strategies for combating the risk of cheating using these tools. It is crucial for educators and institutions to be aware of the possibility of ChatGPT being used for cheating and to investigate measures to address it in order to maintain the fairness and validity of online exams for all students.

在进行研究，设计和系统开发时，HCI研究人员一直在将注意力从个人用户转移到社区。但是，我们的领域尚未建立对社区合并研究方法的挑战，利益和承诺的凝聚力，系统的理解。我们对47个计算研究论文进行了系统的综述和主题分析，讨论了与社区的参与性研究，以开发过去二十年来，以开发技术文物和系统。从这篇评论中，我们确定了与项目演变相关的七个主题：从建立社区伙伴关系到维持结果。我们的发现表明，这些项目的特征是几个紧张关系，其中许多与研究人员的力量和位置以及计算研究环境有关，相对于社区伙伴。我们讨论了我们的发现的含义，并提供方法论建议，以指导HCI，并更广泛地计算研究中心社区的实践。

数据对于机器学习（ML）模型的开发和评估至关重要。但是，在部署所得模型时，使用有问题或不适当的数据集可能会造成危害。为了通过对数据集进行更故意的反思和创建过程的透明度来鼓励负责任的练习，研究人员和从业人员已开始倡导增加数据文档，并提出了几个数据文档框架。但是，几乎没有研究这些数据文档框架是否满足创建和消费数据集的ML从业者的需求。为了解决这一差距，我们着手了解ML从业人员的数据文档感知，需求，挑战和Desiderata，目的是推导设计要求，以便为将来的数据文档框架提供信息。我们对一家大型国际技术公司的14名ML从业者进行了一系列半结构化访谈。我们让他们回答从数据集的数据表中提取的问题列表（Gebru，2021）。我们的发现表明，目前的数据文档方法在很大程度上是临时的，而且本质上是近视的。参与者表达了对数据文档框架的需求，可以适应其上下文，并将其集成到现有的工具和工作流程中，并尽可能自动化。尽管事实上，数据文档框架通常是从负责人的AI的角度出发的，但参与者并未在他们被要求回答的问题与负责的AI含义之间建立联系。此外，参与者通常会在数据集消费者的需求中优先考虑，并提供了不熟悉其数据集可能需要知道的信息。基于这些发现，我们为将来的数据文档框架得出了七个设计要求。

为了调节机器学习驱动的系统（ML）系统，当前的审核过程主要集中于检测有害算法偏见。尽管这些策略已被证明具有影响力，但在审计过程中涉及ML驱动系统中伦理的文档中概述的一些价值仍然不足。这种未解决的值主要处理无法轻易量化的上下文因素。在本文中，我们开发了一个基于价值的评估框架，该框架不限于偏见审计，并涵盖了算法系统的重要道德原则。我们的框架提出了值的圆形布置，并具有两个双极尺寸，这些二极管尺寸使共同的动机和潜在的紧张局势明确。为了实现这些高级原则，然后将价值分解为特定的标准及其表现形式。但是，其中一些特定于价值的标准是相互排斥的，需要协商。与仅依靠ML研究人员和从业者的意见的其他一些其他审计框架相反，我们认为有必要包括利益相关者，这些利益相关者表现出各种观点，以系统地谈判和巩固价值和标准紧张局势。为此，我们将利益相关者绘制有不同的见解需求，并为将价值表现传达给他们的量身定制手段。因此，我们通过评估框架为当前的ML审计实践做出了贡献，该实践可视化价值之间的亲密关系和紧张局势，并给出了如何对其进行操作的准则，同时向广泛的利益相关者开放评估和审议过程。

已提出伦理陈述作为提高透明度的机制，促进对公布研究的社会影响的思考。在2020年，通过要求所有文件包括更广泛的影响声明，机器学习（ML）会议神经潜水区破坏了新的地面。在2021年删除了这一要求，支持核对清单方法。因此，2020年陈述提供了从更广泛的影响实验中学习的独特机会：调查这种和类似治理机制的益处和挑战，并熟悉ML研究人员如何考虑自己工作的社会影响。这种学习是必要的，因为神经潮支和其他场地继续质疑并调整他们的政策。要启用此功能，我们已创建包含来自所有Neurips 2020文件的影响语句的数据集以及附加信息，如附属类型，位置和主题区域，以及用于探索的简单可视化工具。我们还提供了对数据集的初始定量分析，涵盖了代表性，参与，共同主题和愿意与福利讨论潜在危害的愿意。我们调查这些如何因地理，附属类型和主题领域而异。借鉴这些调查结果，我们讨论了道德声明要求的潜在利益和负面结果，以及他们可能的原因和相关挑战。这些导致我们从2020年要求中学到的几课：（i）创造正确的激励措施的重要性（ii）需要明确的预期和指导，以及（iii）透明度和建设性审议的重要性。我们鼓励其他研究人员使用我们的数据集来提供额外的分析，以进一步了解研究人员如何应对这一要求的理解，并调查这一要求和相关机制的益处和挑战。

如何将新兴和全面的技术（例如AI）整合到我们社会的结构和运营中是当代政治，科学和公众辩论的问题。它从不同学科中产生了大量的国际学术文献。本文分析了有关人工智能调节（AI）的学术辩论。该系统审查包括在2016年1月1日至2020年12月31日之间发表的73份同行评审期刊文章样本。分析集中于社会风险和危害，监管责任问题以及可能基于风险的政策框架在内和基于原则的方法。主要利益是拟议的监管方法和工具。提出了各种形式的干预措施，例如禁令，批准，标准设定和披露。对所包括论文的评估​​表明该领域的复杂性，这表明其早产和剩余的缺乏清晰度。通过对学术辩论进行结构性分析，我们在经验和概念上均可更好地理解AI和监管的联系以及基本规范性决策。科学建议与拟议的欧洲AI调节的比较说明了调节的特定方法，其优势和缺点。

虽然AI有利于人类，但如果没有适当发展，它也可能会损害人类。 HCI工作的重点是从与非AI计算系统的传统人类交互转换，以与AI系统交互。我们在HCI视角下开展了高级文献综述，对当前工作的整体分析。我们的审核和分析突出了AI技术引入的新变更以及HCI专业人员在AI系统开发中应用人以人为本的AI（HCAI）方法时，新挑战的新挑战。我们还确定了与AI系统人类互动的七个主要问题，其中HCI专业人员在开发非AI计算系统时没有遇到。为了进一步实现HCAI方法的实施，我们确定了与特定的HCAI驱动的设计目标相关的新的HCI机会，以指导HCI专业人员解决这些新问题。最后，我们对当前HCI方法的评估显示了这些方法支持开发AI系统的局限性。我们提出了可以帮助克服这些局限性的替代方法，并有效帮助HCI专业人员将HCAI方法应用于AI系统的发展。我们还为HCI专业人员提供战略建议，以有效影响利用HCAI方法的AI系统的发展，最终发展HCAI系统。