Detecting sarcasm and verbal irony from people's subjective statements is crucial to understanding their intended meanings and real sentiments and positions in social scenarios. This paper describes the X-PuDu system that participated in SemEval-2022 Task 6, iSarcasmEval - Intended Sarcasm Detection in English and Arabic, which aims at detecting intended sarcasm in various settings of natural language understanding. Our solution finetunes pre-trained language models, such as ERNIE-M and DeBERTa, under the multilingual settings to recognize the irony from Arabic and English texts. Our system ranked second out of 43, and ninth out of 32 in Task A: one-sentence detection in English and Arabic; fifth out of 22 in Task B: binary multi-label classification in English; first out of 16, and fifth out of 13 in Task C: sentence-pair detection in English and Arabic.
translated by 谷歌翻译
无监督的生成的虚拟人类具有各种外观和动画姿势对于创建3D人体化身和其他AR/VR应用非常重要。现有方法要么仅限于刚性对象建模，要么不生成，因此无法合成高质量的虚拟人类并使它们进行动画化。在这项工作中，我们提出了Avatargen，这是第一种不仅可以具有不同外观的非刚性人类产生的方法，而且还可以完全控制姿势和观点，同时仅需要2D图像进行训练。具体而言，它通过利用粗糙的人体模型作为代理将观察空间扭曲到规范空间下的标准头像，将最近的3D甘斯扩展到了人类的衣服。为了建模非刚性动力学，它引入了一个变形网络，以学习规范空间中的姿势依赖性变形。为了提高生成的人类化身的几何质量，它利用签名距离字段作为几何表示，从而可以从几何学学习上的身体模型中进行更直接的正则化。从这些设计中受益，我们的方法可以生成具有高质量外观和几何形状建模的动画人体化身，从而极大地表现了先前的3D gan。此外，它有能力用于许多应用，例如单视重构造，复活和文本引导的合成。代码和预培训模型将可用。
translated by 谷歌翻译
多模式情感分析和抑郁估计是两个重要的研究主题，旨在使用多模式数据预测人类精神状态。先前的研究重点是制定有效的融合策略，以交换和整合不同模式的与思想有关的信息。一些基于MLP的技术最近在各种计算机视觉任务中取得了巨大的成功。受到这一点的启发，我们探索了本研究中具有混合视角的多模式方法。为此，我们介绍了完全基于MLP的多模式特征处理框架CubeMLP。 CUBEMLP由三个独立的MLP单元组成，每个单元都有两个仿射转换。 CUBEMLP接受所有相关的模态特征作为输入，并在三个轴上混合它们。使用CubeMLP提取特性后，将混合的多模式特征扁平以进行任务预测。我们的实验是在情感分析数据集上进行的：CMU-MOSI和CMU-MOSEI，以及抑郁估计数据集：AVEC2019。结果表明，CUBEMLP可以以低得多的计算成本来实现最先进的性能。
translated by 谷歌翻译
我们为深神经网络引入了两个低位训练后训练量化（PTQ）方法，该方法满足硬件要求，并且不需要长期重新训练。两次量化的能力可以将通过量化和去除化引入的乘法转换为许多有效加速器采用的位移位。但是，两次量表因子的候选值较少，这会导致更多的舍入或剪辑错误。我们提出了一种新型的两个PTQ框架，称为RAPQ，该框架被动态调整了整个网络的两个尺度，而不是静态地确定它们一层。从理论上讲，它可以权衡整个网络的舍入错误和剪辑错误。同时，RAPQ中的重建方法基于每个单元的BN信息。对Imagenet的广泛实验证明了我们提出的方法的出色性能。没有铃铛和哨声，REPQ在RESNET-18和MOBILENETV2上的准确度可以达到65％和48％，分别具有INT2激活INT4的精度。我们是第一个为低位PTQ提出更受限制但对硬件友好型的两次量化方案的人，并证明它可以达到与SOTA PTQ方法几乎相同的准确性。该代码已发布。
translated by 谷歌翻译
随着网络基础设施提高，个人贷款的需求增长，对等十年来，对等体（P2P）贷款平台已迅速增长。在没有传统金融机构的帮助下，这些平台允许用户创建对等贷款关系。评估借款人的信贷至关重要，以减少P2P平台的违约率和良性开发。构建个人信用评分机学习模型可以有效预测用户是否会在P2P平台上偿还贷款。并处理数据异常值和样本不平衡问题可能会影响机器学习模型的最终效果。已经有一些关于平衡采样方法的研究，但是对机器学习模型有效性的异常检测方法及其与平衡采样方法的影响尚未得到充分研究。在本文中，研究了使用不同异常检测方法对常用机器学习模型的不同异常检测方法和平衡采样方法的影响。 44,487贷款俱乐部样品的实验表明，适当的异常检测可以提高机器学习模型的有效性，平衡采样方法仅对几种机器学习模型（如MLP）有良好的影响。
translated by 谷歌翻译
作为众所周知的优化框架，乘法器（ADMM）的交替方向方法在许多分类和回归应用中取得了巨大的成功。最近，它引起了深度学习研究人员的注意，被认为是梯度下降（GD）的潜在替代品。然而，作为新兴领域，一些挑战仍未解决，包括1）缺乏全球收敛保证，2）对解决方案的收敛缓慢，以及3）立方时间复杂于特征尺寸。在本文中，我们提出了一种新颖的优化框架，以通过ADMM（DLADMM）解决一般神经网络训练问题，同时解决这些挑战。具体地，每层中的参数被向后更新，然后向前移动，以便有效地交换每层中的参数信息。当DLADMM应用于特定架构时，通过使用二次近似和回溯技术，通过专用算法设计从立方到二次数据的时间复杂度。最后但并非最不重要的是，我们在温和条件下向第一个趋同的趋同点提供延长的临界点（DLADMM）。七个基准数据集的实验证明了我们提出的DLADMM算法的收敛性，效率和有效性。
translated by 谷歌翻译
DataSet Shift在信用评分场景中很常见，并且培训数据分发与实际需要预测的数据之间的不一致可能导致模型性能不佳。但是，大多数当前研究都没有考虑到这一点，并且当培训模型时，它们直接在不同时间段中混合数据。这带来了大约两个问题。首先，存在数据泄漏的风险，即，使用未来的数据来预测过去。这可能导致离线验证的导致膨胀，但在实际应用中会导致不令人满意的结果。其次，在不同的时间段中，宏观经济环境和风险控制策略可能是不同的，借款人的行为模式也可能发生变化。具有过去数据培训的模型可能不适用于最近的阶段。因此，我们提出了一种基于对抗性验证的方法来缓解信用评分场景中的数据集转变问题。在该方法中，选择具有最接近预测数据的分布的部分训练设置样本用于通过对抗验证进行交叉验证，以确保训练模型对预测样本的泛化性能。另外，通过简单的拼接方法，与测试数据分发不一致的训练数据中的样本也也涉及交叉验证的培训过程，这充分利用了所有数据并进一步提高了模型性能。为了验证所提出的方法的有效性，通过贷款俱乐部提供的数据进行了具有若干其他数据分离方法的比较实验。实验结果表明，数据集转变在信用评分领域的重要性以及所提出的方法的优势。
translated by 谷歌翻译
图表卷积网络（GCN）已成功应用于许多基于图形的应用程序。然而，培训大规模的GCN模型仍然具有挑战性：由于GCN架构的节点依赖性和层依赖性，培训过程中需要大量的计算时间和内存。在本文中，我们提出了一种基于乘法器（ADMM）的交替方向方法的平行和分布式GCN训练算法，同时解决两个挑战。我们首先将GCN层分成独立块以实现层并行性。此外，通过将图形划分为几个密集的社区来降低节点依赖性，使得它们中的每一个可以并行地用代理训练。最后，我们为基于社区的ADMM算法中的所有子问题提供了解决方案。初步结果表明，我们所提出的基于社区的ADMM培训算法可能导致三倍超速，同时与最先进的方法相比，实现了最佳性能。
translated by 谷歌翻译
最近，深入学习在相位展开的边缘投影三维（3D）测量中吸引了越来越多的关注，旨在提高利用强大的卷积神经网络（CNN）模型的性能。在本文中，首次（据我们所知）第一次，我们将变压器介绍进入与CNN不同的相位解映射，并提出专用于通过边缘订单预测展开相位展开的顺序模型。所提出的模型具有混合CNN变压器架构，主要由骨干，编码器和解码器组成，以利用CNN和变压器。具有交叉关注的编码器和解码器是针对边缘订单预测设计的。实验结果表明，与U-NET和DCNN等CNN模型相比，所提出的HFORMER模型以边缘顺序预测实现更好的性能。此外，对HFormer的消融研究是为了验证改进的特征金字塔网络（FPN）和测试策略，并以预测的条纹顺序翻转。我们的工作为基于深度学习的相位展开方法开辟了一种替代的方法，该方法由条纹投影3D测量中的CNN主导。
translated by 谷歌翻译
虽然U-Net在医学图像分割任务中取得了巨大的成功，但它缺乏明确模拟远程依赖性的能力。因此，视觉变压器最近被出现为替代分割结构，以便通过自我关注捕获远程相关性的先天能力（SA）。然而，变压器通常依赖于大规模的预训练并具有高的计算复杂性。此外，SA只能在单个样本内模拟自我亲和力，忽略整个数据集的潜在相关性。为了解决这些问题，我们提出了一种名为混合变压器模块（MTM）的新型变压器模块，用于同时和内部内部学习。 MTM首先通过我们设计精心设计的本地全球高斯加权自我关注（LGG-SA），有效地计算自我亲创。然后，它通过外部注意力（EA）挖掘数据样本之间的连接。通过使用MTM，我们构造一个名为混合变压器U-NET（MT-UNET）的U形模型，以进行准确的医学图像分割。我们在两个不同的公共数据集上测试我们的方法，实验结果表明，该方法达到了更好的性能，对其他最先进的方法进行了更好的性能。代码可在：https://github.com/dootmaan/mt-unet。
translated by 谷歌翻译