Early-exiting dynamic neural networks (EDNN), as one type of dynamic neural networks, has been widely studied recently. A typical EDNN has multiple prediction heads at different layers of the network backbone. During inference, the model will exit at either the last prediction head or an intermediate prediction head where the prediction confidence is higher than a predefined threshold. To optimize the model, these prediction heads together with the network backbone are trained on every batch of training data. This brings a train-test mismatch problem that all the prediction heads are optimized on all types of data in training phase while the deeper heads will only see difficult inputs in testing phase. Treating training and testing inputs differently at the two phases will cause the mismatch between training and testing data distributions. To mitigate this problem, we formulate an EDNN as an additive model inspired by gradient boosting, and propose multiple training techniques to optimize the model effectively. We name our method BoostNet. Our experiments show it achieves the state-of-the-art performance on CIFAR100 and ImageNet datasets in both anytime and budgeted-batch prediction modes. Our code is released at https://github.com/SHI-Labs/Boosted-Dynamic-Networks.

The image captioning task is typically realized by an auto-regressive method that decodes the text tokens one by one. We present a diffusion-based captioning model, dubbed the name DDCap, to allow more decoding flexibility. Unlike image generation, where the output is continuous and redundant with a fixed length, texts in image captions are categorical and short with varied lengths. Therefore, naively applying the discrete diffusion model to text decoding does not work well, as shown in our experiments. To address the performance gap, we propose several key techniques including best-first inference, concentrated attention mask, text length prediction, and image-free training. On COCO without additional caption pre-training, it achieves a CIDEr score of 117.8, which is +5.0 higher than the auto-regressive baseline with the same architecture in the controlled setting. It also performs +26.8 higher CIDEr score than the auto-regressive baseline (230.3 v.s.203.5) on a caption infilling task. With 4M vision-language pre-training images and the base-sized model, we reach a CIDEr score of 125.1 on COCO, which is competitive to the best well-developed auto-regressive frameworks. The code is available at https://github.com/buxiangzhiren/DDCap.

尽管在各种应用中取得了突出的性能，但点云识别模型经常遭受自然腐败和对抗性扰动的困扰。在本文中，我们深入研究了点云识别模型的一般鲁棒性，并提出了点云对比对抗训练（PointCat）。 PointCat的主要直觉是鼓励目标识别模型缩小清洁点云和损坏点云之间的决策差距。具体而言，我们利用有监督的对比损失来促进识别模型提取的超晶体特征的对齐和均匀性，并设计一对带有动态原型指南的集中式损失，以避免这些特征与其属于其属于其归属类别群的偏离。为了提供更具挑战性的损坏点云，我们对噪声生成器以及从头开始的识别模型进行了对手训练，而不是将基于梯度的攻击用作内部循环，例如以前的对手训练方法。全面的实验表明，在包括各种损坏的情况下，所提出的PointCat优于基线方法，并显着提高不同点云识别模型的稳健性，包括各向同性点噪声，LIDAR模拟的噪声，随机点掉落和对抗性扰动。

车道检测是自动驾驶中的基本模块之一。在本文中，我们采用了一种仅变压器的方法来进行车道检测，因此，它可以受益于完全视觉变压器的开发，并通过精细的 - 通过精细 - 通过精细 - 通过精细的 - 调整重量在大型数据集上进行全面训练。更重要的是，本文提出了一个名为Priorlane的新颖和一般框架，该框架用于通过引入低成本的局部先验知识来增强完全视觉变压器的分割性能。 PriorLane利用仅编码变压器来融合由预训练的分割模型与先验知识嵌入的功能融合。请注意，知识嵌入对齐（KEA）模块可通过对齐知识嵌入来提高融合性能。我们ZJLAB数据集的广泛实验表明，Prior-Lane以2.82％MIOU优于SOTA LANE检测方法，并且该代码将在以下位置发布：https：// github。 com/vincentqqb/priorlane。

已知深层神经网络（DNN）容易受到后门攻击和对抗攻击的影响。在文献中，这两种攻击通常被视为明显的问题并分别解决，因为它们分别属于训练时间和推理时间攻击。但是，在本文中，我们发现它们之间有一个有趣的联系：对于具有后门种植的模型，我们观察到其对抗性示例具有与触发样品相似的行为，即都激活了同一DNN神经元的子集。这表明将后门种植到模型中会严重影响模型的对抗性例子。基于这一观察结果，我们设计了一种新的对抗性微调（AFT）算法，以防止后门攻击。我们从经验上表明，在5次最先进的后门攻击中，我们的船尾可以有效地擦除后门触发器，而无需在干净的样品上明显的性能降解，并显着优于现有的防御方法。

许多3D表示（例如，点云）是下面连续3D表面的离散样本。该过程不可避免地介绍了底层的3D形状上的采样变化。在学习3D表示中，应忽略应忽略变化，而应捕获基础3D形状的可转换知识。这成为现有代表学习范式的大挑战。本文在点云上自动编码。标准自动编码范例强制编码器捕获这种采样变体，因为解码器必须重建具有采样变化的原始点云。我们介绍了隐式AutoEncoder（IAE），这是一种简单而有效的方法，通过用隐式解码器替换点云解码器来解决这一挑战。隐式解码器输出与相同模型的不同点云采样之间共享的连续表示。在隐式表示下重建可以优先考虑编码器丢弃采样变体，引入更多空间以学习有用的功能。在一个简单的线性AutoEncoder下，理论上理论地证明这一索赔。此外，隐式解码器提供丰富的空间来为不同的任务设计合适的隐式表示。我们展示了IAE对3D对象和3D场景的各种自我监督学习任务的有用性。实验结果表明，IAE在每项任务中始终如一地优于最先进的。

最近的研究表明，深层神经网络容易受到不同类型的攻击，例如对抗性攻击，数据中毒攻击和后门攻击。其中，后门攻击是最狡猾的攻击，几乎可以在深度学习管道的每个阶段发生。因此，后门攻击吸引了学术界和行业的许多兴趣。但是，大多数现有的后门攻击方法对于某些轻松的预处理（例如常见数据转换）都是可见的或脆弱的。为了解决这些限制，我们提出了一种强大而无形的后门攻击，称为“毒药”。具体而言，我们首先利用图像结构作为目标中毒区域，并用毒药（信息）填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义，因此这种触发模式对数据转换本质上是强大的。然后，我们利用深度注射网络将这种触发模式嵌入封面图像中，以达到隐身性。与现有流行的后门攻击方法相比，毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验，我们证明了毒药不仅是不同数据集和网络体系结构的一般性，而且对于不同的攻击场景也很灵活。此外，它对许多最先进的防御技术也具有非常强烈的抵抗力。

了解代理之间的复杂社交互动是轨迹预测的关键挑战。大多数现有方法考虑成对交通代理或在局域之间的相互作用，而相互作用的性质是无限的，涉及同时不确定的代理和非局部区域。此外，它们对不同类别的代理商来说，它们同样对待异质的交通代理，同时忽视人们在IFFerent类别的交通代理中的多种反应模式。为了解决这些问题，我们提出了一个简单但有效的无限邻域交互网络（UNIN），其预测多个类别中异构代理的轨迹。具体地，所提出的无限邻域交互模块同时产生相互作用涉及的所有代理的融合特征，其适用于任何数量的代理和任何范围的交互区域。同时，提出了一个分层图注意模块，以获取类别到类别的交互和代理到代理交互。最后，估计高斯混合模型的参数用于产生未来轨迹。基准数据集的广泛实验结果表明，通过最先进的方法对我们的方法进行了显着改进。

概念图是一种特定类型的知识图表，在语义搜索中发挥着重要作用。现有概念图施工方法通常从正式文本中提取高频繁，粗粒度和时间不变的概念。然而，在实际应用中，有必要以不断发展的方式提取少频繁，细粒度和时变的概念知识并建立分类法。在本文中，我们介绍了在阿里巴巴实施和部署概念图的方法。具体而言，我们提出了一个叫做Alicg的框架，它能够通过对准共识方法，b）用新颖的低资源短语挖掘方法挖掘长尾概念来提取细粒度概念，C）更新图形基于隐式和显式用户行为动态通过概念分布估计方法。我们在阿里巴巴UC浏览器部署了框架。广泛的离线评估以及在线A / B测试证明了我们的方法的功效。

Although weight and activation quantization is an effective approach for Deep Neural Network (DNN) compression and has a lot of potentials to increase inference speed leveraging bit-operations, there is still a noticeable gap in terms of prediction accuracy between the quantized model and the full-precision model. To address this gap, we propose to jointly train a quantized, bit-operation-compatible DNN and its associated quantizers, as opposed to using fixed, handcrafted quantization schemes such as uniform or logarithmic quantization. Our method for learning the quantizers applies to both network weights and activations with arbitrary-bit precision, and our quantizers are easy to train. The comprehensive experiments on CIFAR-10 and ImageNet datasets show that our method works consistently well for various network structures such as AlexNet, VGG-Net, GoogLeNet, ResNet, and DenseNet, surpassing previous quantization methods in terms of accuracy by an appreciable margin. Code available at https://github.com/Microsoft/LQ-Nets