Data heterogeneity across clients in federated learning (FL) settings is a widely acknowledged challenge. In response, personalized federated learning (PFL) emerged as a framework to curate local models for clients' tasks. In PFL, a common strategy is to develop local and global models jointly - the global model (for generalization) informs the local models, and the local models (for personalization) are aggregated to update the global model. A key observation is that if we can improve the generalization ability of local models, then we can improve the generalization of global models, which in turn builds better personalized models. In this work, we consider class imbalance, an overlooked type of data heterogeneity, in the classification setting. We propose FedNH, a novel method that improves the local models' performance for both personalization and generalization by combining the uniformity and semantics of class prototypes. FedNH initially distributes class prototypes uniformly in the latent space and smoothly infuses the class semantics into class prototypes. We show that imposing uniformity helps to combat prototype collapse while infusing class semantics improves local models. Extensive experiments were conducted on popular classification datasets under the cross-device setting. Our results demonstrate the effectiveness and stability of our method over recent works.

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

强大的机器学习是一个越来越重要的主题，专注于开发模型适应各种形式的不完美数据。由于在线技术中推荐制度的普遍性，研究人员进行了几项专注于数据稀疏性和轮廓注射攻击的鲁棒性研究。相反，我们为推荐系统提出了更全面的稳健性观点，包括多维尺寸 - 相对于子群体，转换，分布视差，攻击和数据稀疏性的鲁棒性。虽然有几个库允许用户比较不同的推荐系统模型，但没有软件库，可以在不同场景下对推荐系统模型进行全面的鲁棒性评估。作为我们的主要贡献，我们展示了一个强大的评估工具包，Recsys的强大健身房（Rgrecsys - https://www.github.com/salesforce/rgrecsys），它允许我们快速且统一地评估推荐系统模型的鲁棒性。

培训数据集和生产中遇到的数据之间的分配差距得到了很好的承认。训练数据集通常在固定的时间段内构建，并且通过仔细策划要标记的数据。因此，训练数据集可能不包含在现实世界生产环境中可能遇到的所有可能的数据变化。任务建立实体解析系统 - 一个识别和整合代表同一个人的数据点的模型 - 我们的第一款模型表现出明确的培训 - 生产性能差距。在这种情况下，我们讨论了我们的循环启用，以数据为中心的解决方案，以关闭培训 - 生产性能分歧。我们的结论是用外卖，适用于以数据为中心的学习。

FP8是加速深度学习训练推论以外的16位格式的自然发展。在本文中，我们提出了一个8位浮点（FP8）二进制互换格式，该格式由两个编码组成-E4M3（4位指数和3位Mantissa）和E5M2（5位指数和2位指数和2位Mantissa）。尽管E5M2遵循IEEE 754惯例代表特殊值的惯例，但E4M3的动态范围是通过不代表无限态，只有一个Mantissa Bit-Pattern来扩展NAN。我们证明了FP8格式对各种图像和语言任务的功效，从而有效地匹配了16位培训课程所达到的质量。我们的研究涵盖了主要的现代神经网络体系结构 - CNN，RNN和基于变压器的模型，使所有超参数与16位基线训练课程保持不变。我们的培训实验包括大型，最多175b参数，语言模型。我们还检查了使用16位格式训练的语言模型的FP8训练后定量化，该格式抗拒固定点INT8量化。

肥胖是一种全球流行病，每年至少有280万人死亡。这种复杂的疾病与重大的社会经济负担有关，工作生产率降低，失业和其他健康差异（SDOH）差异有关。目的：这项研究的目的是使用地理空间机器学习方法研究SDOH对美国谢尔比县成年人肥胖症患病率的影响。肥胖症患病率是从公共可用的CDC 500城市数据库中获得的，而SDOH指标是从美国人口普查和USDA提取的。我们使用Getis-ord Gi*统计数据和校准多个模型研究了肥胖症患病率模式的地理分布，以研究SDOH与成人肥胖之间的关联。此外，使用无监督的机器学习来进行分组分析，以研究肥胖症患病率和相关SDOH指标的分布。结果表明，在谢尔比县内经历了成年肥胖症高的社区中，很高的社区。在人口普查区中，家庭收入中位数以及黑人，房屋租房者的百分比，居住在贫困水平以下的人，五十五岁或以上，未婚和未投保的人与成人肥胖症患病率有显着关联。分组分析表明，处境不利的社区之间的肥胖症患病率差异。需要更多的研究来检查地理位置，SDOH和慢性疾病之间的联系。这些发现描述了处于不利地位的社区内肥胖症的患病率明显更高，并且可以利用其他地理空间信息，以提供有价值的见解，以告知健康决策和干预措施，从而减轻肥胖症患病率的危险因素。

模具分析是一种必不可少的数字方法，以及古代经济史的重要工具。然而，手动模具研究过于劳动密集型，可以全面研究罗马帝国等大型币。我们通过提出无监督计算模具分析的模型来解决这个问题，这可以减少大规模模具研究所需的时间投资，在许多情况下从多年到几周内完成了几个数量级。从计算机视觉观点来看，DIE研究提出了一个挑战的无监督的聚类问题，因为它们涉及一个不明显的和大量的高度相似的语义类别的不平衡尺寸。我们通过确定从贝叶斯距离聚类框架中的专门设计的基于高斯进程的关键点特征的硬币面之间的硬币面之间的异常来解决这些问题。通过分析1135罗马银币在64-66 C.E中进行了分析来证明我们的方法的功效。

AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。