The crossMoDA challenge aims to automatically segment the vestibular schwannoma (VS) tumor and cochlea regions of unlabeled high-resolution T2 scans by leveraging labeled contrast-enhanced T1 scans. The 2022 edition extends the segmentation task by including multi-institutional scans. In this work, we proposed an unpaired cross-modality segmentation framework using data augmentation and hybrid convolutional networks. Considering heterogeneous distributions and various image sizes for multi-institutional scans, we apply the min-max normalization for scaling the intensities of all scans between -1 and 1, and use the voxel size resampling and center cropping to obtain fixed-size sub-volumes for training. We adopt two data augmentation methods for effectively learning the semantic information and generating realistic target domain scans: generative and online data augmentation. For generative data augmentation, we use CUT and CycleGAN to generate two groups of realistic T2 volumes with different details and appearances for supervised segmentation training. For online data augmentation, we design a random tumor signal reducing method for simulating the heterogeneity of VS tumor signals. Furthermore, we utilize an advanced hybrid convolutional network with multi-dimensional convolutions to adaptively learn sparse inter-slice information and dense intra-slice information for accurate volumetric segmentation of VS tumor and cochlea regions in anisotropic scans. On the crossMoDA2022 validation dataset, our method produces promising results and achieves the mean DSC values of 72.47% and 76.48% and ASSD values of 3.42 mm and 0.53 mm for VS tumor and cochlea regions, respectively.
translated by 谷歌翻译
聚类是无监督学习中无处不在的工具。大多数现有的自我监督表示方法通常基于视觉上的特征聚类样本。尽管这对于基于图像的自我审视非常有效,但它通常会失败,因为视频需要理解运动而不是专注于背景。将光流作为与RGB的互补信息可以减轻此问题。但是,我们观察到,两种观点的幼稚组合并不能带来有意义的收益。在本文中,我们提出了一种结合两种观点的原则方法。具体而言,我们提出了一种新颖的聚类策略,在该策略中,我们将每个视图的初始群集分配作为指导其他视图的最终群集分配。这个想法将对这两种视图强制执行类似的群集结构,并且形成的簇在语义上是抽象的,并且对来自每个单独视图的嘈杂输入。此外,我们提出了一种新颖的正则化策略来解决特征崩溃问题,这在基于聚类的自学学习方法中很常见。我们的广泛评估表明,我们学到的表示对下游任务的有效性,例如视频检索和动作识别。具体来说,我们在UCF上胜过7%,在HMDB上胜过4%,用于视频检索,而在UCF上的最高状态为5%,而HMDB则在HMDB上进行视频分类6%
translated by 谷歌翻译
安全字段中的数据标签通常是嘈杂,有限或偏向于人口子集的。结果,诸如准确性,精度和召回指标之类的普遍评估方法,或从标记数据集中计算的性能曲线的分析对机器学习(ML)模型的现实性能没有足够的信心。这减慢了该领域的机器学习的采用。在当今的行业中,我们依靠域专业知识和冗长的手动评估来建立此信心,然后再运送新的安全应用程序模型。在本文中,我们介绍了Firenze,这是一种使用域专业知识对ML模型的性能进行比较评估的新型框架,并编码为称为标记的可扩展功能。我们表明,在称为感兴趣的区域的样本中计算和组合的标记可以提供对其现实世界表演的强大估计。至关重要的是,我们使用统计假设检验来确保观察到的差异,因此从我们的框架中得出的结论 - 比仅噪声可观察到的更为突出。使用模拟和两个现实世界数据集用于恶意软件和域名声誉检测,我们说明了方法的有效性,局限性和见解。综上所述,我们建议Firenze作为研究人员,领域专家和企业主混合团队的快速,可解释和协作模型开发和评估的资源。
translated by 谷歌翻译
我们真的可以“读眼中的思想”吗?此外,AI可以帮助我们吗?本文通过引入机器学习系统来回答这两个问题,该系统在他们的脸上预测个人的人格特征。通过在观看一系列15个不同类型的短视频的同时跟踪个人面孔的情感响应来跟踪个人面孔的情绪反应。为了校准系统,我们邀请了85人观看了视频,而他们的情绪反应是通过他们的面部表情分析的。与此同时,这些人还采取了四次验证的人格特征和道德价值观调查:修订的新FFI人格库存,海底道德基础测试,施瓦茨个人价值体系以及特定于域特定的风险规模( Dospert)。我们发现,通过对脸部所示的情绪反应,可以通过它们的情绪反应来预测个人的人格特征和道德价值,使用梯度提升的树木的准确性高达86%。我们还发现,不同的视频更好地预测不同的人格特征,换句话说,没有单个视频将为所有人格特征提供准确的预测,但是它是对允许准确预测的不同视频的混合的响应。
translated by 谷歌翻译
联邦学习(FL)是利用属于患者,人,公司或行业的敏感数据的合适解决方案,这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题,并提供促进促进多个边缘设备或组织的模型问题的替代方案,以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法,通过增强图像动态平衡客户端的数据分布,以解决FL的非IID数据问题。介绍的方法非常稳定模型培训,并将模型的测试精度从83.22%提高到89.43%,对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID,非IID和非IID的结果,联合培训表明,该方法可能有助于鼓励组织或研究人员开发更好的系统,以获得与数据隐私的数据的价值不仅适用于医疗保健,而且领域。
translated by 谷歌翻译
用于自我监督的顺序行动对齐的最先进方法依赖于在时间上跨越视频的对应关系的深网络。它们要么学习横跨序列的帧到帧映射,但不利用时间信息,或者在每个视频对之间采用单调对齐,这忽略了动作顺序的变化。因此,这些方法无法处理涉及包含非单调动作序列的背景帧或视频的常见现实情景。在本文中,我们提出了一种方法来对齐野生序列动作,涉及不同的时间变化。为此,我们提出了一种方法来强制在最佳传输矩阵上强制执行时间前导者,该矩阵利用时间一致性,同时允许动作顺序变化。我们的模型占单调和非单调序列,并处理不应对齐的背景框架。我们展示了我们的方法在四个不同的基准数据集中始终如一地始终优于自我监督的顺序行动表示学习的最先进。
translated by 谷歌翻译
具有注释的缺乏大规模的真实数据集使转移学习视频活动的必要性。我们的目标是为少数行动分类开发几次拍摄转移学习的有效方法。我们利用独立培训的本地视觉提示来学习可以从源域传输的表示,该源域只能使用少数示例来从源域传送到不同的目标域。我们使用的视觉提示包括对象 - 对象交互,手掌和地区内的动作,这些地区是手工位置的函数。我们采用了一个基于元学习的框架,以提取部署的视觉提示的独特和域不变组件。这使得能够在使用不同的场景和动作配置捕获的公共数据集中传输动作分类模型。我们呈现了我们转让学习方法的比较结果,并报告了阶级阶级和数据间数据间际传输的最先进的行动分类方法。
translated by 谷歌翻译