Health sensing for chronic disease management creates immense benefits for social welfare. Existing health sensing studies primarily focus on the prediction of physical chronic diseases. Depression, a widespread complication of chronic diseases, is however understudied. We draw on the medical literature to support depression prediction using motion sensor data. To connect human expertise in the decision-making, safeguard trust for this high-stake prediction, and ensure algorithm transparency, we develop an interpretable deep learning model: Temporal Prototype Network (TempPNet). TempPNet is built upon the emergent prototype learning models. To accommodate the temporal characteristic of sensor data and the progressive property of depression, TempPNet differs from existing prototype learning models in its capability of capturing the temporal progression of depression. Extensive empirical analyses using real-world motion sensor data show that TempPNet outperforms state-of-the-art benchmarks in depression prediction. Moreover, TempPNet interprets its predictions by visualizing the temporal progression of depression and its corresponding symptoms detected from sensor data. We further conduct a user study to demonstrate its superiority over the benchmarks in interpretability. This study offers an algorithmic solution for impactful social good - collaborative care of chronic diseases and depression in health sensing. Methodologically, it contributes to extant literature with a novel interpretable deep learning model for depression prediction from sensor data. Patients, doctors, and caregivers can deploy our model on mobile devices to monitor patients' depression risks in real-time. Our model's interpretability also allows human experts to participate in the decision-making by reviewing the interpretation of prediction outcomes and making informed interventions.

当前的NLP技术已在不同的域中极大地应用。在本文中，我们提出了一个在杂乱无章的场景中机器人抓握的人类框架，调查了掌握过程的语言接口，该框架使用户可以通过自然语言命令进行干预。该框架是在最先进的ras基线基线上构建的，在那里我们使用bert代替场景图表代表场景的文本表示。对模拟和物理机器人的实验表明，所提出的方法在文献中优于基于对象敏捷和场景图的常规方法。此外，我们发现，通过人类干预，绩效可以大大提高。

行业分配根据预定义的行业分类系统（ICS）将公司分配给行业，这对于大量关键业务实践至关重要，从公司的运营和战略决策到政府机构的经济分析。三种专家知识对于有效行业分配至关重要：基于定义的知识（即每个行业的专家定义），基于结构的知识（即ICS中指定的行业之间的结构关系）和基于任务的知识（即，域专家执行的事先公司行业任务）。现有的行业分配方法仅利用基于任务的知识来学习将未分配的公司分类为行业的模型，并忽略基于定义和基于结构的知识。此外，这些方法仅考虑已分配了公司的哪个行业，但忽略了基于分配的知识的时间特异性，即在任务发生时。为了解决现有方法的局限性，我们提出了一种新颖的基于深度学习的方法，该方法不仅无缝整合了三种类型的行业分配知识，而且还考虑了基于分配的知识的特定时间。从方法上讲，我们的方法具有两种创新：动态行业表示和分层分配。前者通过通过我们提出的时间和空间聚集机制整合了三种类型的知识，将行业代表为一系列特定时间的向量。后者将行业和公司的表现作为投入，计算将公司分配给不同行业的可能性，并将公司分配给具有最高概率的行业。

客户寿命价值（LTV）是单个用户可以带给企业的预期总收入。它被广泛用于各种业务方案，以在获取新客户时做出运营决策。由于其复杂且可变的数据分布，建模LTV是一个具有挑战性的问题。现有方法要么直接从后验特征分布中学习，要么利用统计模型，这些模型对先前的分布做出了强有力的假设，这两者都无法捕获这些可变分布。在本文中，我们提出了一套完整的工业级LTV建模解决方案。具体而言，我们引入了一个订单依赖性单调网络（ODMN），该网络对不同时间跨度LTV之间的有序依赖关系进行建模，从而极大地改善了模型性能。我们进一步介绍了基于分裂和混合想法的多分销多专家（MDME）模块，该模块将严重不平衡的分布建模问题转换为一系列相对平衡的亚分布建模问题，因此大大降低了建模的复杂性。此外，引入了新的评估度量互助Gini，以更好地测量基于洛伦兹曲线的估计值和地面真相标签之间的分布差。 ODMN框架已成功部署在Kuaishou的许多业务场景中，并取得了出色的性能。对实际工业数据的广泛实验表明，与包括ZILN和两阶段XGBoost模型在内的最新基线相比，所提出的方法的优越性。

本文研究了控制多机器人系统以自组织方式实现多边形形成的问题。与典型的形成控制策略不同，在该策略中，机器人被转向以满足预定义的控制变量，例如成对距离，相对位置和轴承，本文的最重要思想是通过将控制输入随机输入到一些机器人（说说）（说说） ，组的顶点机器人），其余的遵循的简单原理是向环形图中的两个最近邻居的中点移动，而没有任何外部输入。在我们的问题中，机器人最初分布在飞机上。 Sopalled Vertex机器人负责确定整个编队的几何形状及其整体大小，而其他人则移动，以最大程度地减少两个直接邻居的差异。在第一步中，每个顶点机器人估计其相关链中机器人的数量。用于估计的两种类型的控制输入是使用最新和最后两次瞬间的测量设计设计的。在第二步中，提出了自组织的形成控制法，只有顶点机器人收到外部信息。两种估计策略之间的比较是根据收敛速度和稳健性进行的。在模拟和物理实验中，整个控制框架的有效性得到了进一步验证。

可以通过合成孔径雷达（SAR）图像来缓解云去除任务的挑战，这些图像可以穿透云覆盖。但是，光学图像和SAR图像之间的较大域间隙以及SAR图像的严重斑点噪声可能会导致基于SAR的基于SAR的云去除，从而导致性能退化。在本文中，我们提出了一种新型的基于全局融合的云去除（GLF-CR）算法，以利用SAR图像中嵌入的互补信息。利用SAR信息的力量促进云清除需要两个方面。首先是全球融合，指导所有本地光窗口之间的关系，以维持与其余无云区域一致的回收区域的结构。第二个本地融合，传输嵌入在SAR图像中的互补信息，该信息与多云区域相对应，以生成缺失区域的可靠纹理细节，并使用动态过滤来减轻斑点噪声引起的性能退化。广泛的评估表明，所提出的算法可以产生高质量的无云图像，并且在SEN12MS-CR数据集中的PSNR方面，其增益约为1.7 db，超过最先进的云去除算法。

Graph Neural Networks (GNNs) are powerful tools for graph representation learning. Despite their rapid development, GNNs also face some challenges, such as over-fitting, over-smoothing, and non-robustness. Previous works indicate that these problems can be alleviated by random dropping methods, which integrate augmented data into models by randomly masking parts of the input. However, some open problems of random dropping on GNNs remain to be solved. First, it is challenging to find a universal method that are suitable for all cases considering the divergence of different datasets and models. Second, augmented data introduced to GNNs causes the incomplete coverage of parameters and unstable training process. Third, there is no theoretical analysis on the effectiveness of random dropping methods on GNNs. In this paper, we propose a novel random dropping method called DropMessage, which performs dropping operations directly on the propagated messages during the message-passing process. More importantly, we find that DropMessage provides a unified framework for most existing random dropping methods, based on which we give theoretical analysis of their effectiveness. Furthermore, we elaborate the superiority of DropMessage: it stabilizes the training process by reducing sample variance; it keeps information diversity from the perspective of information theory, enabling it become a theoretical upper bound of other methods. To evaluate our proposed method, we conduct experiments that aims for multiple tasks on five public datasets and two industrial datasets with various backbone models. The experimental results show that DropMessage has the advantages of both effectiveness and generalization, and can significantly alleviate the problems mentioned above.

结构化修剪是一种常用的技术，用于将深神经网络（DNN）部署到资源受限的设备上。但是，现有的修剪方法通常是启发式，任务指定的，并且需要额外的微调过程。为了克服这些限制，我们提出了一个框架，将DNN压缩成纤薄的架构，具有竞争性表现，并且仅通过列车 - 一次（OTO）减少重大拖车。 OTO包含两个键：（i）我们将DNN的参数分区为零不变组，使我们能够修剪零组而不影响输出; （ii）促进零群，我们制定了结构性稀疏优化问题，提出了一种新颖的优化算法，半空间随机投影梯度（HSPG），以解决它，这优于组稀疏性探索的标准近端方法和保持可比的收敛性。为了展示OTO的有效性，我们从划痕上同时培训和压缩全模型，而无需微调推理加速和参数减少，并且在CIFAR10的VGG16实现最先进的结果，为CIFAR10和Squad的BERT为BERT竞争结果在resnet50上为想象成。源代码可在https://github.com/tianyic/only_train_once上获得。

使用X光片级注释（是或否疾病）和细粒病变级注释（病变边界框）开发了两个DL模型，分别为Chexnet和ChexDet。在测试集（n = 2,922）中比较了模型的内部分类性能和病变定位性能，在NIH-Google（n = 4,376）和Padchest（n = 24,536）数据集上比较了外部分类性能，以及外部病变的本地化性能性能在NIH-Chestx-Ray14数据集（n = 880）上进行了比较。还将模型与内部测试集子集的放射学家进行了比较（n = 496）。鉴于足够的训练数据，这两个模型都与放射科医生相当。 CHEXDET对外部分类有了显着改善，例如在NIH-Google上分类（ROC曲线下的ChexDet区域[AUC]：0.67：Chexnet AUC：0.51; P <.001）和PadChest（ChexDet AUC：0.78，Chexnet AUC，Chexnet AUC，Chexnet AUC，Chexnet auc：chexnet auc auc：chexnet auc auc auc：0.78，chexnet auc auc： ：0.55; p <.001）。对于所有数据集的大多数异常，例如在内部集合中检测气胸（Chexdet Jacknife替代自由响应ROC的功绩[JAFROC-FOM]：0.87，0.87，CHEXNET JAFROC-FOM：0.113） ; p <.001）和NIH-Chestx-Ray14（Chexdet Jafroc-fom：0.55，Chexnet Jafroc-fom：0.04; p <.001）。总结，细粒的注释克服了快捷方式学习并启用了DL模型，以识别正确的病变模式，从而改善模型的概括性。

Language model pre-training, such as BERT, has significantly improved the performances of many natural language processing tasks. However, pre-trained language models are usually computationally expensive, so it is difficult to efficiently execute them on resourcerestricted devices. To accelerate inference and reduce model size while maintaining accuracy, we first propose a novel Transformer distillation method that is specially designed for knowledge distillation (KD) of the Transformer-based models. By leveraging this new KD method, the plenty of knowledge encoded in a large "teacher" BERT can be effectively transferred to a small "student" Tiny-BERT. Then, we introduce a new two-stage learning framework for TinyBERT, which performs Transformer distillation at both the pretraining and task-specific learning stages. This framework ensures that TinyBERT can capture the general-domain as well as the task-specific knowledge in BERT. TinyBERT 41 with 4 layers is empirically effective and achieves more than 96.8% the performance of its teacher BERT BASE on GLUE benchmark, while being 7.5x smaller and 9.4x faster on inference. TinyBERT 4 is also significantly better than 4-layer state-of-the-art baselines on BERT distillation, with only ∼28% parameters and ∼31% inference time of them. Moreover, TinyBERT 6 with 6 layers performs on-par with its teacher BERT BASE .