评估人工智能系统的可信赖性需要许多不同学科的知识。这些学科不一定在它们之间共享概念，并且可能使用具有不同含义的单词，甚至使用相同的单词不同。此外，来自不同学科的专家可能不知道其他学科中很容易使用的专业术语。因此，评估过程的核心挑战是确定来自不同学科的专家何时谈论相同的问题，但使用不同的术语。换句话说，问题是将问题描述（又称问题）分组具有相同的语义含义，但使用略有不同的术语进行了描述。在这项工作中，我们展示了我们如何采用自然语言处理的最新进展，即句子嵌入和语义文本相似性，以支持此识别过程，并弥合跨学科专家团队中评估人工智能系统可信赖的跨学科沟通差距。

语言的自动处理在我们的生活中普遍存在，经常在我们的决策中扮演核心角色，例如为我们的消息和邮件选择措辞，翻译我们的读物，甚至与我们进行完整的对话。单词嵌入是现代自然语言处理系统的关键组成部分。它们提供了一种词的表示，从而提高了许多应用程序的性能，从而是含义的表现。单词嵌入似乎可以捕捉到原始文本中单词的含义的外观，但与此同时，它们还提炼了刻板印象和社会偏见，后来传达给最终应用。这样的偏见可能是歧视性的。检测和减轻这些偏见，以防止自动化过程的歧视行为非常重要，因为它们的规模可能比人类更有害。目前，有许多工具和技术可以检测和减轻单词嵌入中的偏见，但是它们为没有技术技能的人的参与带来了许多障碍。碰巧的是，大多数偏见专家，无论是社会科学家还是对偏见有害，没有这样的技能的环境，并且由于技术障碍而无法参与偏见检测过程。我们研究了现有工具中的障碍，并与不同种类的用户探索了它们的可能性和局限性。通过此探索，我们建议开发一种专门旨在降低技术障碍的工具，并提供探索能力，以满足愿意审核这些技术的专家，科学家和一般人的要求。

随着各种公开的AI伦理原则的共识，差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构（CSIRO）的研究人员和工程师的实践和经验，他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括：隐私保护和安全，可靠性和安全性，透明度和解释性，公平性，竞争性，责任，人以人为本的价值观和人类，社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后，提供了一系列组织响应，以支持实施高级AI道德原则。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

机器学习透明度（ML），试图揭示复杂模型的工作机制。透明ML承诺推进人为因素在目标用户中以人为本的人体目标的工程目标。从以人为本的设计视角，透明度不是ML模型的属性，而是一种能力，即算法与用户之间的关系;因此，与用户的迭代原型和评估对于获得提供透明度的充足解决方案至关重要。然而，由于有限的可用性和最终用户，遵循了医疗保健和医学图像分析的人以人为本的设计原则是具有挑战性的。为了调查医学图像分析中透明ML的状态，我们对文献进行了系统审查。我们的评论在医学图像分析应用程序的透明ML的设计和验证方面揭示了多种严重的缺点。我们发现，大多数研究到达迄今为止透明度作为模型本身的属性，类似于任务性能，而不考虑既未开发也不考虑最终用户也不考虑评估。此外，缺乏用户研究以及透明度声明的偶发验证将当代研究透明ML的医学图像分析有可能对用户难以理解的风险，因此临床无关紧要。为了缓解即将到来的研究中的这些缺点，同时承认人以人为中心设计在医疗保健中的挑战，我们介绍了用于医学图像分析中的透明ML系统的系统设计指令。 Intrult指南建议形成的用户研究作为透明模型设计的第一步，以了解用户需求和域要求。在此过程之后，会产生支持设计选择的证据，最终增加了算法提供透明度的可能性。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

使用机器学习算法从未标记的文本中提取知识可能很复杂。文档分类和信息检索是两个应用程序，可以从无监督的学习（例如文本聚类和主题建模）中受益，包括探索性数据分析。但是，无监督的学习范式提出了可重复性问题。初始化可能会导致可变性，具体取决于机器学习算法。此外，关于群集几何形状，扭曲可能会产生误导。在原因中，异常值和异常的存在可能是决定因素。尽管初始化和异常问题与文本群集和主题建模相关，但作者并未找到对它们的深入分析。这项调查提供了这些亚地区的系统文献综述（2011-2022），并提出了共同的术语，因为类似的程序具有不同的术语。作者描述了研究机会，趋势和开放问题。附录总结了与审查的作品直接或间接相关的文本矢量化，分解和聚类算法的理论背景。

在本文中，我们提出了DendroMap，这是一种新颖的方法，用于互动地探索用于机器学习的大规模图像数据集（ML）。 ML从业人员通常通过使用降低降低技术（例如T-SNE）生成图像的网格或将图像的高维表示分为2-D来探索图像数据集。但是，两种方法都没有有效地扩展到大型数据集，因为图像是无效组织的，并且相互作用不足。为了应对这些挑战，我们通过适应Treemaps（一种众所周知的可视化技术）来开发树突。树突图通过从图像的高维表示中提取层次群集结构来有效地组织图像。它使用户能够理解数据集的整体分布，并在多个抽象级别上进行交互放大到特定的兴趣领域。我们使用广泛使用的图像数据集进行深度学习的案例研究表明，用户可以通过检查图像的多样性，确定表现不佳的子组并分析分类错误，从而发现有关数据集和训练模型的见解。我们进行了一项用户研究，该研究通过将其与T-SNE的网状版本进行比较，评估了树突图在分组和搜索任务中的有效性，并发现参与者更喜欢DendroMap。 DendroMap可在https://div-lab.github.io/dendromap/上获得。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

我们提出了Rudsi，这是俄罗斯语言感官诱导（WSI）的新基准。该数据集是使用单词用法图（WUGS）的手动注释和半自动聚类创建的。与俄罗斯的先前WSI数据集不同，Rudsi完全由数据驱动（基于俄罗斯国家语料库的文本），没有对注释者强加的外部词感官。根据图聚类的参数，可以从原始注释中产生不同的导数数据集。我们报告了几种基线WSI方法在Rudsi上获得的性能，并讨论了改善这些分数的可能性。

The dissemination of hateful memes online has adverse effects on social media platforms and the real world. Detecting hateful memes is challenging, one of the reasons being the evolutionary nature of memes; new hateful memes can emerge by fusing hateful connotations with other cultural ideas or symbols. In this paper, we propose a framework that leverages multimodal contrastive learning models, in particular OpenAI's CLIP, to identify targets of hateful content and systematically investigate the evolution of hateful memes. We find that semantic regularities exist in CLIP-generated embeddings that describe semantic relationships within the same modality (images) or across modalities (images and text). Leveraging this property, we study how hateful memes are created by combining visual elements from multiple images or fusing textual information with a hateful image. We demonstrate the capabilities of our framework for analyzing the evolution of hateful memes by focusing on antisemitic memes, particularly the Happy Merchant meme. Using our framework on a dataset extracted from 4chan, we find 3.3K variants of the Happy Merchant meme, with some linked to specific countries, persons, or organizations. We envision that our framework can be used to aid human moderators by flagging new variants of hateful memes so that moderators can manually verify them and mitigate the problem of hateful content online.

当今的冲突变得越来越复杂，流畅和分散，通常涉及许多具有多重且经常发散利益的国家和国际参与者。随着调解员努力使冲突动态有理由，例如冲突政党的范围和政治立场的演变，相关与较少相关的参与者在和平建立和认同之间的区别或身份证明，这一发展构成了冲突调解的重大挑战。关键冲突问题及其相互依存。国际和平努力似乎不足以成功应对这些挑战。尽管技术已经在与冲突相关的领域进行了试验和使用，例如预测冲突或信息收集，但对技术如何促进冲突调解的关注较少。该案例研究有助于有关在冲突调解过程中使用最先进的机器学习技术和技术的新兴研究。本研究使用也门和平谈判中的对话成绩单，通过为他们提供知识管理，提取和冲突分析的工具来有效地支持中介团队。除了说明冲突调解中的机器学习工具的潜力外，本文还强调了跨学科和参与性的共同创造方法对开发上下文敏感和有针对性的工具的重要性，并确保有意义和负责任的实施。

图形神经网络（GNNS）是一类强大的机器学习工具，可以模拟节点关系，用于制定节点或链接的预测。GNN开发人员依靠预测的定量度量来评估GNN，但类似于许多其他神经网络，他们很难了解GNN是否真正学习如预期的图形的特征。我们提出了一种对应于其节点嵌入（AKA潜像）的输入图的方法，稍后用于预测的GNN的公共组件。我们摘要数据和任务，并开发一个名为corgie的交互式多视图界面，以实例化抽象。作为Corgie的关键功能，我们提出了K-Hop图布局，以显示啤酒花和它们的聚类结构中的拓扑邻居。为了评估Corgie的功能和可用性，我们展示了如何在两种使用情况下使用Corgie，并使用五个GNN专家进行案例研究。

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

命名实体识别（ner）是一个重要任务，旨在解决名为命名实体的全民类别，例如人员，地点，组织和时间。尽管在许多用例中使用了常见和可行的用途，但Ner几乎不适用于一般类别次优，例如工程或医学。为了促进特定于域的类型的人，我们提出了一个自动化（命名）实体注释器，以帮助人类注释在给定一组特定于域的文本时为德语文本集团创建特定于域的ner语料库。在我们的评估中，我们发现Anea会自动识别最能代表文本内容的术语，标识一组连贯术语，并将描述性标签分配给这些组，即将文本数据集注释为域（命名）实体。

建筑聊天禁令的最大挑战是培训数据。所需的数据必须逼真，足以训练聊天禁止。我们创建一个工具，用于从Facebook页面的Facebook Messenger获取实际培训数据。在文本预处理步骤之后，新获得的数据集生成FVNC和示例数据集。我们使用返回越南（Phobert）的伯特来提取文本数据的功能。 K-means和DBSCAN聚类算法用于基于Phobert $ _ {Base} $的输出嵌入式群集任务。我们应用V测量分数和轮廓分数来评估聚类算法的性能。我们还展示了Phobert的效率与样本数据集和Wiki DataSet上的特征提取中的其他模型相比。还提出了一种结合聚类评估的GridSearch算法来找到最佳参数。由于群集如此多的对话，我们节省了大量的时间和精力来构建培训Chatbot的数据和故事情节。

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.