Image token removal is an efficient augmentation strategy for reducing the cost of computing image features. However, this efficient augmentation strategy has been found to adversely affect the accuracy of CLIP-based training. We hypothesize that removing a large portion of image tokens may improperly discard the semantic content associated with a given text description, thus constituting an incorrect pairing target in CLIP training. To address this issue, we propose an attentive token removal approach for CLIP training, which retains tokens with a high semantic correlation to the text description. The correlation scores are computed in an online fashion using the EMA version of the visual encoder. Our experiments show that the proposed attentive masking approach performs better than the previous method of random token removal for CLIP training. The approach also makes it efficient to apply multiple augmentation views to the image, as well as introducing instance contrastive learning tasks between these views into the CLIP framework. Compared to other CLIP improvements that combine different pre-training targets such as SLIP and MaskCLIP, our method is not only more effective, but also much more efficient. Specifically, using ViT-B and YFCC-15M dataset, our approach achieves $43.9\%$ top-1 accuracy on ImageNet-1K zero-shot classification, as well as $62.7/42.1$ and $38.0/23.2$ I2T/T2I retrieval accuracy on Flickr30K and MS COCO, which are $+1.1\%$, $+5.5/+0.9$, and $+4.4/+1.3$ higher than the SLIP method, while being $2.30\times$ faster. An efficient version of our approach running $1.16\times$ faster than the plain CLIP model achieves significant gains of $+5.3\%$, $+11.3/+8.0$, and $+9.5/+4.9$ on these benchmarks.

Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

对话场景是语音处理技术最重要，最具挑战性的场景之一，因为对话中的人们以随意的方式相互反应。在对话中检测每个人的语音活动对于下游任务，例如自然语言处理，机器翻译等。人们指的是“何时说话”作为说话者诊断（SD）的检测技术。传统上，诊断错误率（DER）长期以来一直用作SD系统的标准评估度量。但是，der没有给简短的对话短语提供足够的重视，这在语义层面上很重要。此外，在语音社区中，仍然无法使用精心准确的手动测试数据集，适合评估对话性SD技术。在本文中，我们设计和描述了对话式短语扬声器诊断（CSSD）任务，该任务包括培训和测试数据集，评估指标和基线。在数据集方面，尽管先前开源的180小时对话魔术Data-RAMC数据集，但我们还准备了一个20小时的对话演讲测试数据集，并精心验证了CSSD任务的时间戳注释。在度量方面，我们设计了新的对话der（CDER）评估度量，该评估度量计算出语音级别的SD准确性。在基线方面，我们采用了一种常用的方法：变异贝叶斯HMM X-vector系统，作为CSSD任务的基线。我们的评估指标可在https://github.com/speechclub/cder_metric上公开获得。

联合学习（FL）是分散机器学习的新型框架。由于FL的分散特征，它很容易受到训练程序中的对抗攻击的影响，例如，后门攻击。后门攻击旨在将后门注入机器学习模型中，以便该模型会在测试样本上任意使用一些特定的后门触发器。即使已经引入了一系列FL的后门攻击方法，但也有针对它们进行防御的方法。许多捍卫方法都利用了带有后门的模型的异常特征，或带有后门和常规模型的模型之间的差异。为了绕过这些防御，我们需要减少差异和异常特征。我们发现这种异常的来源是，后门攻击将在中毒数据时直接翻转数据标签。但是，当前对FL后门攻击的研究并不主要集中在减少带有后门和常规模型的模型之间的差异。在本文中，我们提出了对抗性知识蒸馏（ADVKD），一种方法将知识蒸馏与FL中的后门攻击结合在一起。通过知识蒸馏，我们可以减少标签翻转导致模型中的异常特征，因此该模型可以绕过防御措施。与当前方法相比，我们表明ADVKD不仅可以达到更高的攻击成功率，而且还可以在其他方法失败时成功绕过防御。为了进一步探索ADVKD的性能，我们测试参数如何影响不同情况下的ADVKD的性能。根据实验结果，我们总结了如何在不同情况下调整参数以获得更好的性能。我们还使用多种方法可视化不同攻击的效果并解释Advkd的有效性。

近年来，基于深度学习的模型在视频超分辨率（VSR）方面取得了显着性能，但是这些模型中的大多数不适用于在线视频应用程序。这些方法仅考虑失真质量，而忽略了在线应用程序的关键要求，例如低延迟和模型较低的复杂性。在本文中，我们专注于在线视频传输，其中需要VSR算法来实时生成高分辨率的视频序列。为了应对此类挑战，我们提出了一种基于一种新的内核知识转移方法，称为卷积核旁路移植物（CKBG）。首先，我们设计了一个轻巧的网络结构，该结构不需要将来的帧作为输入，并节省了缓存这些帧的额外时间成本。然后，我们提出的CKBG方法通过用``核移植物）''绕过原始网络来增强这种轻巧的基础模型，这些网络是包含外部预验证图像SR模型的先验知识的额外卷积内核。在测试阶段，我们通过将其转换为简单的单路结构来进一步加速移植的多支球网络。实验结果表明，我们提出的方法可以处理高达110 fps的在线视频序列，并且模型复杂性非常低和竞争性SR性能。

产品检索在电子商务领域非常重要。本文介绍了我们在eBay Eproduct Visual Search Challenge（FGVC9）中介绍的第一个解决方案，该解决方案是来自视觉模型和视觉模型的大约20个模型的集合。尽管模型合奏很普遍，但我们表明，将视觉模型和视觉模型结合起来带来了特殊的互补性，这是我们优越性的关键因素。具体而言，对于视觉模型，我们使用两阶段的训练管道，该管道首先从训练集中提供的粗制标签中学习，然后进行细粒度的自学训练，从而产生粗到5的度量度量学习方式。对于视觉语言模型，我们将训练图像的文本描述用作微调图像编码器（功能提取器）的监督信号。通过这些设计，我们的解决方案达到了0.7623 Mar@10，在所有竞争对手中排名第一。该代码可在：\ href {https://github.com/wangwenhao0716/v2l} {v $^2 $ l}中获得。

移动对象（DATMO）的检测和跟踪是自动驾驶环境感知的重要组成部分。虽然使用环绕视图摄像机的3D检测器只是蓬勃发展，但越来越多的趋势是使用不同的基于变压器的方法从透视图的2D特征图中学习3D空间中的查询。本文提出了稀疏的R-CNN 3D（SRCN3D），这是一种新颖的两阶段全横向卷积映射管道，用于环绕视图摄像机检测和跟踪。 SRCN3D采用了级联结构，具有固定数量的提案盒和提案潜在功能的双轨更新。预计提案框可以透视视图，以汇总感兴趣的区域（ROI）本地特征。基于此，提案功能通过动态实例交互式头部进行完善，然后生成分类，并应用于原始边界框。与先前的艺术相比，我们的稀疏功能采样模块仅利用本地2D功能来调整每个相应的3D提案盒，从而导致完整的稀疏范式。提案功能和外观特征均在数据关联过程中采用多刺激性3D多对象跟踪方法。 Nuscenes数据集的广泛实验证明了我们提出的SRCN3D检测器和跟踪器的有效性。代码可在https://github.com/synsin0/srcn3d上找到。

在本文中，我们提出了一种名为Matryoshka的新型内部攻击，该攻击采用无关紧要的计划与公开的DNN模型作为覆盖多个秘密模型的载体模型，以记住存储在本地数据中心中的私人ML数据的功能。我们没有将载体模型的参数视为位字符串并应用常规隐志，而是设计了一种新型参数共享方法，该方法利用了载体模型的学习能力来隐藏信息。同时实现Matryoshka：（i）高容量 - Matryoshka几乎没有实用性损失载体模型，可以隐藏一个26倍较大的秘密模型或8个跨越载体模型中不同应用程序域的不同体系结构的秘密模型，这两个模型都不能是使用现有的隐志技术完成； （ii）解码效率 - 一旦下载了已发布的运营商模型，外部颜色可以将隐藏的模型独家解码，只有几个整数秘密和隐藏模型体系结构的知识； （iii）有效性 - 此外，几乎所有恢复的模型的性能都与私人数据独立培训一样； （iv）鲁棒性 - 自然会实施信息冗余，以在出版前对载体上的常见后处理技术实现弹性； （v）秘密性 - 具有不同先验知识水平的模型检查员几乎不能将载体模型与正常模型区分开。

图表上的表示学习（也称为图形嵌入）显示了其对一系列机器学习应用程序（例如分类，预测和建议）的重大影响。但是，现有的工作在很大程度上忽略了现代应用程序中图和边缘的属性（或属性）中包含的丰富信息，例如，属性图表示的节点和边缘。迄今为止，大多数现有的图形嵌入方法要么仅关注具有图形拓扑的普通图，要么仅考虑节点上的属性。我们提出了PGE，这是一个图形表示学习框架，该框架将节点和边缘属性都包含到图形嵌入过程中。 PGE使用节点聚类来分配偏差来区分节点的邻居，并利用多个数据驱动的矩阵来汇总基于偏置策略采样的邻居的属性信息。 PGE采用了流行的邻里聚合归纳模型。我们通过显示PGE如何实现更好的嵌入结果的详细分析，并验证PGE的性能，而不是最新的嵌入方法嵌入方法在基准应用程序上的嵌入方法，例如节点分类和对现实世界中的链接预测数据集。