云数据中心的数字和大小都在成倍增长。这种增加导致网络活动激增，可以更好地避免交通拥堵。最终的挑战是两个方面：（i）设计算法，可以对给定数据中心的复杂流量模式进行定制；但是，与此同时（ii）在低级硬件上运行，具有有效拥塞控制（CC）所需的低潜伏期。在这项工作中，我们提出了一个基于强化学习（RL）的CC解决方案，该解决方案从某些交通情况中学习并成功地将其推广到他人。然后，我们将RL神经网络政策提炼成二进制决策树，以实现与RDMA实时推断所需的$ \ mu $ sec决策延迟。我们在真实网络中部署了NVIDIA NIC的蒸馏政策，并展示了最先进的性能，同时平衡所有测试的指标：带宽，延迟，公平和数据包下降。

在这项工作中，我们旨在解决自动分级问题，在这种情况下，必须将推土机弄平不平衡的区域。此外，我们探索了弥合模拟环境和实际场景之间差距的方法。我们设计了一个现实的物理模拟，也是模仿真实推土机动力学和感官信息的缩放的真实原型环境。我们建立了启发式方法和学习策略，以解决问题。通过广泛的实验，我们表明，尽管启发式方法能够在清洁且无噪音的模拟环境中解决该问题，但在面对现实世界情景时，它们在灾难性的环境中失败。由于启发式方法能够在模拟环境中成功解决任务，因此我们表明它们可以被利用来指导学习代理，该学习代理可以在模拟和缩放原型环境中概括和解决任务。

我们使用加强学习（RL）来处理数据中心中网络拥塞控制的任务。成功的拥堵控制算法可以显着改善延迟和整体网络吞吐量。直到今天，尚无此类基于学习的算法在该领域显示出实际潜力。显然，最近最受欢迎的部署依赖于基于规则的启发式方法，这些启发式方法经过预定的一组基准测试。因此，这些启发式方法并不能很好地概括到新近观察的场景上。相反，我们设计了一种基于RL的算法，目的是将其推广到现实世界数据中心网络的不同配置。我们克服了诸如部分观察性，非平稳性和多目标的挑战。我们进一步提出了一种利用奖励函数的分析结构来近似其导数并提高稳定性的策略梯度算法。我们表明，该方案的表现优于其他流行的RL方法，并概括了训练中未见的场景。我们的实验是在模拟通信网络行为的现实模拟器上进行的，与今天在实际数据中心中部署的流行算法相比，在多个考虑的指标上同时表现出了改进的性能。我们的算法正在生产起来，以取代世界上一些最大的数据中心中的启发式方法。

近年来，应用深入的强化学习（RL）在解决各种领域的具有挑战性的问题方面取得了重大进展。然而，由于算法的不稳定性和方差以及基准环境中的随机性，各种方法的收敛性遭受了不一致的影响。特别是，尽管该代理商的性能平均可能会有所改善，但在训练的后期阶段可能会突然恶化。在这项工作中，我们通过提供有关所获得的历史或参考基准策略的保守更新来研究增强代理学习过程的方法。我们的方法称为珠穆朗玛峰，通过参考策略的信心范围获得了高度改善的信心。通过广泛的经验分析，我们证明了我们方法在绩效和稳定方面的好处，并在连续控制和ATARI基准方面有了显着改善。

Recent work in large language modeling (LLMs) has used fine-tuning to align outputs with the preferences of a prototypical user. This work assumes that human preferences are static and homogeneous across individuals, so that aligning to a a single "generic" user will confer more general alignment. Here, we embrace the heterogeneity of human preferences to consider a different challenge: how might a machine help people with diverse views find agreement? We fine-tune a 70 billion parameter LLM to generate statements that maximize the expected approval for a group of people with potentially diverse opinions. Human participants provide written opinions on thousands of questions touching on moral and political issues (e.g., "should we raise taxes on the rich?"), and rate the LLM's generated candidate consensus statements for agreement and quality. A reward model is then trained to predict individual preferences, enabling it to quantify and rank consensus statements in terms of their appeal to the overall group, defined according to different aggregation (social welfare) functions. The model produces consensus statements that are preferred by human users over those from prompted LLMs (>70%) and significantly outperforms a tight fine-tuned baseline that lacks the final ranking step. Further, our best model's consensus statements are preferred over the best human-generated opinions (>65%). We find that when we silently constructed consensus statements from only a subset of group members, those who were excluded were more likely to dissent, revealing the sensitivity of the consensus to individual contributions. These results highlight the potential to use LLMs to help groups of humans align their values with one another.

在各地文化建造的知识使人类远远超过一个人可以从自己的一生中获集自己的经验。文化知识依次依赖语言：语言是之前几代相信，有价值和实践的最富有的记录，以及这些随着时间的推移如何进化。然而，语言作为文化学习手段的力量和机制并不充分了解，因此，当前的AI系统不会利用语言作为文化知识传输的手段。在这里，我们通过语言迈向逆向工程文化学习的第一步。我们以极简主义风格的视频游戏形式开发了一套复杂的任务，我们部署在迭代学习范式中。人类参与者仅限于只有两次尝试（两个生命）来击败每场比赛，并被允许向未来参与者写一条消息，在播放之前阅读消息。知识逐渐累积，允许后代在游戏中进一步推进并执行更有效的行动。多铸铁学习遵循一个独立的轨迹，对个人学习单独学习，无限数量的生命。通过表达自然语言中的不同类型的知识，连续几代学习者能够成功：环境的动态，有价值的目标，危险的风险和成功策略。我们在这里的视频游戏范式是一种丰富的试验台，用于开发能够获取和传递文化知识的AI系统。

人工推理通常可以理解为两个系统之间的相互作用：直观和关联（“系统1”）和审议和逻辑（“系统2”）。神经序列模型 - 在执行复杂，结构化任务时越来越成功 - 表现出系统1的优点和故障模式：它们是快速和学习数据的模式，但通常不一致和不连贯。在这项工作中，我们通过添加系统2-Inspired逻辑推理，寻求一种轻量级，无培训的手段来改善现有系统1样序列模型。我们探讨了该主题的几种变体，其中通过符号推理模块检查来自神经序列模型的候选几代，可以通过符号推理模块来接受或拒绝几代人。我们的方法使用神经推理来介导神经系统1和逻辑系统2.导致强大的故事生成和接地的指示，表明这种方法可以增加神经基代的一致性和准确性。

抽象和推理语料库（ARC）是一组用于测试代理人灵活解决新颖问题的能力的程序任务。虽然大多数弧任务对于人类来说很容易，但它们对最先进的AI有挑战性。是什么让建筑物智能系统概括到新颖的情况，例如arc困难？我们可以通过研究\ emph {语言}的差异来找到答案：虽然人类在容易地生成和解释了一般语言中，计算机系统被束缚到他们可以精确执行的狭窄域的语言。我们呈现LARC，The \ Texit {语言完整的ARC}：一组人类参与者的一系列自然语言描述，这些人参与者在如何使用单独的语言解决acc任务，其中包含88 \％的成功说明弧任务。我们将收集的指示分析为“自然程序”，发现当他们类似于计算机程序时，它们以两种方式截然不同：首先，它们含有各种基元;其次，他们经常利用直接可执行代码超出交际策略。我们证明这两个区别防止了当前的程序合成技术利用LACC到其全部潜力，并提供有关如何构建下一代程序合成器的具体建议。

Deep learning models can achieve high accuracy when trained on large amounts of labeled data. However, real-world scenarios often involve several challenges: Training data may become available in installments, may originate from multiple different domains, and may not contain labels for training. Certain settings, for instance medical applications, often involve further restrictions that prohibit retention of previously seen data due to privacy regulations. In this work, to address such challenges, we study unsupervised segmentation in continual learning scenarios that involve domain shift. To that end, we introduce GarDA (Generative Appearance Replay for continual Domain Adaptation), a generative-replay based approach that can adapt a segmentation model sequentially to new domains with unlabeled data. In contrast to single-step unsupervised domain adaptation (UDA), continual adaptation to a sequence of domains enables leveraging and consolidation of information from multiple domains. Unlike previous approaches in incremental UDA, our method does not require access to previously seen data, making it applicable in many practical scenarios. We evaluate GarDA on two datasets with different organs and modalities, where it substantially outperforms existing techniques.

The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.