神经网络(深度学习)是人工智能中的现代模型,并且在生存分析中已被利用。尽管以前的作品已经显示出一些改进,但培训出色的深度学习模型需要大量数据,这在实践中可能不存在。为了应对这一挑战,我们开发了一个基于Kullback-Leibler(KL)深度学习程序,以将外部生存预测模型与新收集的活动时间数据整合在一起。时间依赖性的KL歧视信息用于衡量外部数据和内部数据之间的差异。这是考虑使用先前信息来处理深度学习生存分析中的简短数据问题的第一项工作。仿真和实际数据结果表明,与以前的工作相比,所提出的模型可实现更好的性能和更高的鲁棒性。
translated by 谷歌翻译
在本文中,我们提出了一种使用神经网络的生存分析模型,以及可伸缩优化算法。直接应用最大似然估计(MLE)缩短数据的一个关键技术挑战是评估目标函数及其梯度相对于模型参数需要计算积分。为了解决这一挑战,我们认识到,可以将用于审查数据的MEE视为差分方程约束优化问题,这是一种新颖的视角。在此连接之后,我们通过普通微分方程模拟事件时间的分布,并利用有效的颂歌求解器并伴随敏感性分析来数值评估可能性和梯度。使用这种方法,我们能够1)提供广泛的连续时间存活分布,无需强大的结构假设,2)使用神经网络获得强大的特征表示,3)允许在大规模应用中使用模型估计模型随机梯度下降。通过仿真研究和现实世界数据示例,我们展示了所提出的方法与现有的最先进的深度学习生存分析模型相比的有效性。已在HTTPS://github.com/Jiaqima/soden公开提供拟议的SODEN方法。
translated by 谷歌翻译
神经网络校准是深度学习的重要任务,以确保模型预测的信心与真正的正确性可能性之间的一致性。在本文中,我们提出了一种称为Neural夹紧的新的后处理校准方法,该方法通过可学习的通用输入扰动和输出温度扩展参数在预训练的分类器上采用简单的联合输入输出转换。此外,我们提供了理论上的解释,说明为什么神经夹具比温度缩放更好。在CIFAR-100和Imagenet图像识别数据集以及各种深神经网络模型上进行了评估,我们的经验结果表明,神经夹具明显优于最先进的后处理校准方法。
translated by 谷歌翻译
最近,稀疏培训已成为有希望的范式,可在边缘设备上有效地深入学习。当前的研究主要致力于通过进一步增加模型稀疏性来降低培训成本。但是,增加的稀疏性并不总是理想的,因为它不可避免地会在极高的稀疏度下引入严重的准确性降解。本文打算探索其他可能的方向,以有效,有效地降低稀疏培训成本,同时保持准确性。为此,我们研究了两种技术,即层冻结和数据筛分。首先,层冻结方法在密集的模型训练和微调方面取得了成功,但在稀疏训练域中从未采用过。然而,稀疏训练的独特特征可能会阻碍层冻结技术的结合。因此,我们分析了在稀疏培训中使用层冻结技术的可行性和潜力,并发现它有可能节省大量培训成本。其次,我们提出了一种用于数据集有效培训的数据筛分方法,该方法通过确保在整个培训过程中仅使用部分数据集来进一步降低培训成本。我们表明,这两种技术都可以很好地整合到稀疏训练算法中,以形成一个通用框架,我们将其配置为SPFDE。我们的广泛实验表明,SPFDE可以显着降低培训成本,同时从三个维度中保留准确性:重量稀疏性,层冻结和数据集筛分。
translated by 谷歌翻译
解决组合优化(CO)问题的传统求解器通常是由人类专家设计的。最近,人们对利用深度学习,尤其是深度强化学习的兴趣激增,自动为CO学习有效的求解器。由此产生的新范式称为神经组合优化(NCO)。但是,在经验或理论上,NCO的优势和缺点与其他方法的优势尚未得到很好的研究。在这项工作中,我们介绍了NCO求解器和替代求解器的全面比较研究。具体而言,将旅行推销员问题作为测试床问题,我们根据五个方面(即有效性,效率,稳定性,可扩展性和概括能力)评估求解器的性能。我们的结果表明,通常,NCO方法学到的求解器几乎在所有这些方面仍然没有传统求解器。前者的潜在好处将是在有足够的培训实例时,他们在小规模的问题实例上的卓越时间和能源效率。我们希望这项工作将有助于更好地理解NCO的优势和劣势,并提供全面的评估协议,以进一步对NCO进行针对其他方法的基准测试。
translated by 谷歌翻译
现有检测方法通常使用参数化边界框(Bbox)进行建模和检测(水平)对象,并将其他旋转角参数用于旋转对象。我们认为,这种机制在建立有效的旋转检测回归损失方面具有根本的局限性,尤其是对于高精度检测而言,高精度检测(例如0.75)。取而代之的是,我们建议将旋转的对象建模为高斯分布。一个直接的优势是,我们关于两个高斯人之间距离的新回归损失,例如kullback-leibler Divergence(KLD)可以很好地对齐实际检测性能度量标准,这在现有方法中无法很好地解决。此外,两个瓶颈,即边界不连续性和正方形的问题也消失了。我们还提出了一种有效的基于高斯度量的标签分配策略,以进一步提高性能。有趣的是,通过在基于高斯的KLD损失下分析Bbox参数的梯度,我们表明这些参数通过可解释的物理意义进行了动态更新,这有助于解释我们方法的有效性,尤其是对于高精度检测。我们使用量身定制的算法设计将方法从2-D扩展到3-D,以处理标题估计,并在十二个公共数据集(2-D/3-D,空中/文本/脸部图像)上进行了各种基本检测器的实验结果。展示其优越性。
translated by 谷歌翻译
顺序面部图像编辑中存在三个问题:不连续的编辑,不一致的编辑和不可逆转的编辑。不连续的编辑是当前的编辑无法保留先前编辑的属性。不一致的编辑是交换属性编辑订单不能产生相同的结果。不可逆转的编辑意味着在面部图像上操作是不可逆的,尤其是在顺序的面部图像编辑中。在这项工作中,我们提出了三个概念和相应的定义:编辑连续性,一致性和可逆性。然后,我们提出了一个新型模型,以实现编辑连续性,一致性和可逆性的目标。定义了足够的标准以确定模型是否是连续,一致和可逆的。广泛的定性和定量实验结果验证了我们提出的模型,并表明连续,一致和可逆的编辑模型具有更灵活的编辑功能,同时保留面部身份。此外,我们认为我们提出的定义和模型将在多媒体处理中具有广泛而有希望的应用。代码和数据可在https://github.com/mickoluan/ccr上找到。
translated by 谷歌翻译
以任务为导向的通信,主要是使用基于学习的联合源通道编码(JSCC),旨在通过将与任务相关的信息传输到接收方来设计通信有效的边缘推理系统。但是,只有在不引入任何冗余的情况下传输与任务相关的信息可能会导致由于渠道变化引起的学习鲁棒性问题,而JSCC将源数据直接映射到连续的通道输入符号中会对现有数字通信系统提出兼容性问题。在本文中,我们通过首先调查编码表示形式的信息性与接收到的信息失真的鲁棒性之间的固有权衡解决这两个问题,然后提出一种具有任务调制的导向的通信方案,名为Inveete Task-定向的JSCC(DT-JSCC),其中发射器将功能编码为离散表示形式,并使用数字调制方案将其传输到接收器。在DT-JSCC方案中,我们开发了一个可靠的编码框架,称为强大的信息瓶颈(rib),以改善对信道变化的稳健性,并使用变量近似来得出肋骨目标的可拖动变异上限,以克服克服相互信息的计算棘手性。实验结果表明,所提出的DT-JSCC比具有低通信延迟的基线方法更好的推理性能更好,并且由于施加的肋骨框架而表现出对通道变化的鲁棒性。
translated by 谷歌翻译
在过去的几年中,用于计算机视觉的深度学习技术的快速发展极大地促进了医学图像细分的性能(Mediseg)。但是,最近的梅赛格出版物通常集中于主要贡献的演示(例如,网络体系结构,培训策略和损失功能),同时不知不觉地忽略了一些边缘实施细节(也称为“技巧”),导致了潜在的问题,导致了潜在的问题。不公平的实验结果比较。在本文中,我们为不同的模型实施阶段(即,预培训模型,数据预处理,数据增强,模型实施,模型推断和结果后处理)收集了一系列Mediseg技巧,并在实验中探索了有效性这些技巧在一致的基线模型上。与仅关注分割模型的优点和限制分析的纸驱动调查相比,我们的工作提供了大量的可靠实验,并且在技术上更可操作。通过对代表性2D和3D医疗图像数据集的广泛实验结果,我们明确阐明了这些技巧的效果。此外,根据调查的技巧,我们还开源了一个强大的梅德西格存储库,其每个组件都具有插件的优势。我们认为,这项里程碑的工作不仅完成了对最先进的Mediseg方法的全面和互补的调查,而且还提供了解决未来医学图像处理挑战的实用指南,包括但不限于小型数据集学习,课程不平衡学习,多模式学习和领域适应。该代码已在以下网址发布:https://github.com/hust-linyi/mediseg
translated by 谷歌翻译
自动路面遇险分类有助于提高路面维护的效率并降低劳动力和资源的成本。该任务的最近有影响力的分支将路面图像划分为贴片,并从多实体学习的角度解决了这些问题。但是,这些方法忽略了斑块之间的相关性,并且在模型优化和推理中遇到了低效率。同时,Swin Transformer能够以其独特的优势来解决这两个问题。我们构建了Swin Transformer,我们提供了一个名为\ TextBf {p} avement \ textbf {i} mage \ textbf {c} lassification \ textbf {t} ransformer(\ textbf {pict})的视觉变压器。为了更好地利用贴片级别的路面图像的判别信息,提出了\ textit {patch labeling conterg},以利用教师模型在每次迭代期间从图像标签中动态生成贴片的伪标签,并将模型引导到模型上了解补丁的判别特征。 Swin Transformer的广泛分类头可能会稀释特征聚合步骤中遇险斑块的判别特征,这是由于路面图像的遇险面积较小。为了克服这个缺点,我们提出了一个\ textit {Patch Refiner}将补丁聚集到不同的组中,并且仅选择最高的遇险风险组来产生最终图像分类的纤细头部。我们在CQU-BPDD上评估了我们的方法。广泛的结果表明,\ textbf {pict}在检测任务中,p@r中的$+2.4 \%$的大幅度优于第二好的模型,$+3.9 \%\%\%$ f1 $ f1 $ in识别任务和识别任务和1.8倍吞吐量,同时使用相同的计算资源享受7倍的训练速度。我们的代码和模型已在\ href {https://github.com/dearcaat/pict} {https://github.com/dearcaat/pict}上发布。
translated by 谷歌翻译