许多会议依靠纸质招标作为其审阅者分配程序的关键组成部分。然后在分配审阅者时考虑这些投标，以帮助确保将每个审查员分配给合适的论文。但是，尽管使用投标的好处，但依靠纸质招标可以使恶意审稿人以不道德的目的操纵纸质作业（例如，被分配给朋友的纸张）。已经提出和部署了几种防止这种操作的方法。在本文中，我们列举了某些理想的特性，这些算法应满足解决投标操纵的算法。然后，我们对各种方法以及未来研究的指示提供了高级分析。

CS中的主要出版物场所进行的同行评审会议务必依赖每篇论文的高素质审阅者。由于这些会议的规模越来越大，它们的工作时间表以及最近明显不诚实的行为激增，现在没有其他选择以自动化的方式进行这种匹配。本文研究了一种新颖的审阅者纸匹配方法，该方法最近在第35届AAAI人工智能会议（AAAI 2021）中部署，此后已被包括ICML 2022，AAAAI 2022和IJCAI 2022的其他会议（全部或部分）采用（完全或部分） 。该方法具有三个主要元素：（1）收集和处理输入数据以识别有问题的匹配并生成审阅者纸得分； （2）制定和解决优化问题，以找到良好的审阅者纸匹配； （3）两阶段的审查过程，将审查资源从可能被拒绝的论文转移到更接近决策界的文件。本文还根据对真实数据的大量事后分析进行了对这些创新的评估，包括与AAAI先前（2020年）迭代中使用的匹配算法进行比较 - 并通过其他数值实验对此进行了补充。

战略行为是需要某种形式的同伴评估的各种现实应用程序中的一个基本问题，例如家庭作业的同伴评分，赠款提案审查，科学论文的会议同行评审以及组织中员工的同行评估。由于个人的工作与他们正在评估的提交竞争，因此他们可能会提供不诚实的评估以增加自己提交的相对地位。通常通过对个人进行分区并将其分配以评估来自不同子集的人的工作来解决此问题。尽管此方法可确保防止战略性，但每个提交都可能需要不同类型的专业知识才能有效评估。在本文中，我们专注于寻找评估者的分配，以最大程度地提高分配的评估者的专业知识，但受到战略范围的限制。我们分析了战略型的价格：即，为了获得策略性抗辩性，所需的分配评估者的专业知识的妥协数量。我们建立了几种多项式时间算法，用于策略性分配以及​​任务质量的保证。最后，我们评估了会议同行评审数据集中的方法。

最近关于Littmann的报告[Comment。 ACM'21]概述了学术同行评论中勾结环的存在和致命影响。我们介绍和分析了问题周期的审查，该审查旨在找到审查任务，没有以下勾结戒指：一系列审稿人员每次审查下一个审阅者在序列中撰写的文件（与最后审查员审查一篇论文第一个），从而创建一个审查周期，每个审界者都提供了有利的评论。因此，该循环中的所有文件都有很大的接受机会与各自的科学优点无关。我们观察到，使用标准线性编程方法计算的审核分配通常允许许多短审查周期。在消极方面，我们表明，在各种限制性案件中，无期临时审查是NP - 困难（即，当每个作者有资格审查所有论文时，人们想要防止作者互相审查或他们自己的论文或每篇作者何时审查只有一篇论文，只有有资格审查几篇论文）。在积极的方面，除了其他方面，我们表明，在一些现实的设置中，没有任何审查周期的分配总是存在。这一结果也引发了用于计算（加权）自由审查任务的有效启发式，我们在实践中表现出优良的品质。

在本文中，我们提出了一种方法，用于预测社交媒体对等体之间的信任链接，其中一个是在多识别信任建模的人工智能面积。特别是，我们提出了一种数据驱动的多面信任信任建模，该信任建模包括许多不同的特征以进行全面分析。我们专注于展示类似用户的聚类如何实现关键新功能：支持更个性化的，从而为用户提供更准确的预测。在信任感知项目推荐任务中说明，我们在大yelp数据集的上下文中评估所提出的框架。然后，我们讨论如何提高社交媒体的可信关系的检测可以帮助在最近爆发的社交网络环境中支持在线用户的违法行为和谣言的传播。我们的结论是关于一个特别易受资助的用户基础，老年人的反思，以说明关于用户组的推理价值，期望通过通过数据分析获得的洞察力集成已知偏好的一些未来方向。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

Crowdsourcing, in which human intelligence and productivity is dynamically mobilized to tackle tasks too complex for automation alone to handle, has grown to be an important research topic and inspired new businesses (e.g., Uber, Airbnb). Over the years, crowdsourcing has morphed from providing a platform where workers and tasks can be matched up manually into one which leverages data-driven algorithmic management approaches powered by artificial intelligence (AI) to achieve increasingly sophisticated optimization objectives. In this paper, we provide a survey presenting a unique systematic overview on how AI can empower crowdsourcing - which we refer to as AI-Empowered Crowdsourcing(AIEC). We propose a taxonomy which divides algorithmic crowdsourcing into three major areas: 1) task delegation, 2) motivating workers, and 3) quality control, focusing on the major objectives which need to be accomplished. We discuss the limitations and insights, and curate the challenges of doing research in each of these areas to highlight promising future research directions.

识别变量之间的原因关系是决策过程的关键步骤。虽然因果推断需要随机实验，但研究人员和政策制定者越来越多地利用观测研究由于观察数据的广泛可用性和实验的不可行性而导致的因果假设。匹配方法是对观察数据进行因果推断的最常用技术。然而，由于实验者制造的不同选择，一对一匹配中的对分配过程在推论中产生不确定性。最近，提出了离散优化模型来解决这种不确定性。虽然具有离散优化模型可能的强大推断，但它们产生非线性问题并缺乏可扩展性。在这项工作中，我们提出了贪婪的算法来解决与持续结果的观测数据的强大因果推断测试实例。我们提出了一个独特的框架，可以重新设计非线性二进制优化问题作为可行性问题。通过利用可行性制定的结构，我们开发贪婪方案，以求解稳健的测试问题。在许多情况下，所提出的算法实现全球最佳解决方案。我们在三个现实世界数据集上执行实验，以展示所提出的算法的有效性，并将我们的结果与最先进的求解器进行比较。我们的实验表明，所提出的算法在计算时间方面显着优于精确的方法，同时实现了同样的因果试验结论。两个数值实验和复杂性分析都表明所提出的算法确保在决策过程中利用大数据的力量所需的可扩展性。

我们重新审视了Chierichetti等人首先引入的公平聚类问题，该问题要求每个受保护的属性在每个集群中具有近似平等的表示。即，余额财产。现有的公平聚类解决方案要么是不可扩展的，要么无法在聚类目标和公平之间实现最佳权衡。在本文中，我们提出了一种新的公平概念，我们称之为$ tau $ $ $ - fair公平，严格概括了余额财产，并实现了良好的效率与公平折衷。此外，我们表明，简单的基于贪婪的圆形算法有效地实现了这一权衡。在更一般的多价受保护属性的设置下，我们严格地分析了算法的理论特性。我们的实验结果表明，所提出的解决方案的表现优于所有最新算法，即使对于大量簇，也可以很好地工作。

We consider a semi-supervised $k$-clustering problem where information is available on whether pairs of objects are in the same or in different clusters. This information is either available with certainty or with a limited level of confidence. We introduce the PCCC algorithm, which iteratively assigns objects to clusters while accounting for the information provided on the pairs of objects. Our algorithm can include relationships as hard constraints that are guaranteed to be satisfied or as soft constraints that can be violated subject to a penalty. This flexibility distinguishes our algorithm from the state-of-the-art in which all pairwise constraints are either considered hard, or all are considered soft. Unlike existing algorithms, our algorithm scales to large-scale instances with up to 60,000 objects, 100 clusters, and millions of cannot-link constraints (which are the most challenging constraints to incorporate). We compare the PCCC algorithm with state-of-the-art approaches in an extensive computational study. Even though the PCCC algorithm is more general than the state-of-the-art approaches in its applicability, it outperforms the state-of-the-art approaches on instances with all hard constraints or all soft constraints both in terms of running time and various metrics of solution quality. The source code of the PCCC algorithm is publicly available on GitHub.

In peer review systems, reviewers are often asked to evaluate various features of submissions, such as technical quality or novelty. A score is given to each of the predefined features and based on these the reviewer has to provide an overall quantitative recommendation. However, reviewers differ in how much they value different features. It may be assumed that each reviewer has her own mapping from a set of criteria scores (score vectors) to a recommendation, and that different reviewers have different mappings in mind. Recently, Noothigattu, Shah and Procaccia introduced a novel framework for obtaining an aggregated mapping by means of Empirical Risk Minimization based on $L(p,q)$ loss functions, and studied its axiomatic properties in the sense of social choice theory. We provide a body of new results about this framework. On the one hand we study a trade-off between strategy-proofness and the ability of the method to properly capture agreements of the majority of reviewers. On the other hand, we show that dropping a certain unrealistic assumption makes the previously reported results to be no longer valid. Moreover, in the general case, strategy-proofness fails dramatically in the sense that a reviewer is able to make significant changes to the solution in her favor by arbitrarily small changes to their true beliefs. In particular, no approximate version of strategy-proofness is possible in this general setting since the method is not even continuous w.r.t. the data. Finally we propose a modified aggregation algorithm which is continuous and show that it has good axiomatic properties.

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

我们描述了Fanoos XAI系统的扩展[Bayani等2022]，该系统使系统能够学习适当的措施，以满足用户对描述的要求或多或少抽象。具体而言，分析系统的描述存储在状态中，为了使描述或多或少地抽象，Fanoos从大型库中选择操作员以应用于状态并生成新的描述。先前在Fanoos上进行了主要使用的手写方法，用于操作员选择；当前的工作使Fanoos能够利用经验来学习在特定情况下申请的最佳操作员，平衡探索和剥削，利用专家的见解，并利用当前状态和过去状态之间的相似性。此外，为了引导学习过程（即在课程学习中），我们描述了我们实施的模拟用户；该模拟使Fanoos能够获得一般的见解，从而使合理的行动课程，后来可以通过与真实用户的经验来完善的见解，而不是完全从头开始与人类互动。可以在https：// github/dbay-ani/operator_selection_leartenning_extensions_for_fanoos上找到实施本文中描述的方法的代码。

机器学习目前对世界产生了巨大的影响，越来越多地影响机构实践并影响了社区。因此，至关重要的是，我们质疑该领域的模糊概念是价值中性或普遍有益的，并研究该领域正在发展的特定价值。在本文中，我们首先介绍了一种研究文档中编码的值的方法和注释方案，例如研究论文。采用该方案，我们分析了100个高度引用的机器学习论文，该论文在Premier机器学习会议，ICML和Neurips上发表。我们注释论文的关键特征，这些特征揭示了其价值观：他们选择项目的理由，这些项目的归因于他们提升的项目，对潜在的负面后果的考虑以及机构的隶属关系和资金来源。我们发现，很少有论文证明其项目如何与社会需求联系起来（15 \％），而讨论负潜力（1 \％）的讨论更少。通过逐行的内容分析，我们确定了59个在ML研究中得到提升的值，其中，我们发现论文最常根据绩效，概括，定量证据，效率，基于过去的绩效，定量证据，效率来证明和评估自己的合理性和评估工作和新颖。我们提供了广泛的文本证据，并在这些价值观的定义和操作中确定了关键主题。值得注意的是，我们发现系统的文本证据表明，这些最高价值是通过假设和含义来定义和应用的，通常支持权力的集中化。在本文中，我们发现这些高度引用的论文与科技公司和精英大学之间的关系越来越紧密。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

The reinforcement learning paradigm is a popular way to address problems that have only limited environmental feedback, rather than correctly labeled examples, as is common in other machine learning contexts. While significant progress has been made to improve learning in a single task, the idea of transfer learning has only recently been applied to reinforcement learning tasks. The core idea of transfer is that experience gained in learning to perform one task can help improve learning performance in a related, but different, task. In this article we present a framework that classifies transfer learning methods in terms of their capabilities and goals, and then use it to survey the existing literature, as well as to suggest future directions for transfer learning work.