电价是影响所有市场参与者决策的关键因素。准确的电价预测非常重要,并且由于各种因素,电价高度挥发性,电价也非常具有挑战性。本文提出了一项综合的长期经常性卷积网络(ILRCN)模型,以预测考虑到市场价格的大多数贡献属性的电力价格。所提出的ILRCN模型将卷积神经网络和长短期记忆(LSTM)算法的功能与所提出的新颖的条件纠错项相结合。组合的ILRCN模型可以识别输入数据内的线性和非线性行为。我们使用鄂尔顿批发市场价格数据以及负载型材,温度和其他因素来说明所提出的模型。使用平均绝对误差和准确性等性能/评估度量来验证所提出的ILRCN电价预测模型的性能。案例研究表明,与支持向量机(SVM)模型,完全连接的神经网络模型,LSTM模型和LRCN模型,所提出的ILRCN模型在电价预测中是准确和有效的电力价格预测。
translated by 谷歌翻译
Transformer models have achieved superior performance in various natural language processing tasks. However, the quadratic computational cost of the attention mechanism limits its practicality for long sequences. There are existing attention variants that improve the computational efficiency, but they have limited ability to effectively compute global information. In parallel to Transformer models, state space models (SSMs) are tailored for long sequences, but they are not flexible enough to capture complicated local information. We propose SPADE, short for $\underline{\textbf{S}}$tate s$\underline{\textbf{P}}$ace $\underline{\textbf{A}}$ugmente$\underline{\textbf{D}}$ Transform$\underline{\textbf{E}}$r. Specifically, we augment a SSM into the bottom layer of SPADE, and we employ efficient local attention methods for the other layers. The SSM augments global information, which complements the lack of long-range dependency issue in local attention methods. Experimental results on the Long Range Arena benchmark and language modeling tasks demonstrate the effectiveness of the proposed method. To further demonstrate the scalability of SPADE, we pre-train large encoder-decoder models and present fine-tuning results on natural language understanding and natural language generation tasks.
translated by 谷歌翻译
Label Shift has been widely believed to be harmful to the generalization performance of machine learning models. Researchers have proposed many approaches to mitigate the impact of the label shift, e.g., balancing the training data. However, these methods often consider the underparametrized regime, where the sample size is much larger than the data dimension. The research under the overparametrized regime is very limited. To bridge this gap, we propose a new asymptotic analysis of the Fisher Linear Discriminant classifier for binary classification with label shift. Specifically, we prove that there exists a phase transition phenomenon: Under certain overparametrized regime, the classifier trained using imbalanced data outperforms the counterpart with reduced balanced data. Moreover, we investigate the impact of regularization to the label shift: The aforementioned phase transition vanishes as the regularization becomes strong.
translated by 谷歌翻译
We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.
translated by 谷歌翻译
我们考虑解决强大的马尔可夫决策过程(MDP)的问题,该过程涉及一组折扣,有限状态,有限的动作空间MDP,具有不确定的过渡核。计划的目的是找到一项强大的政策,以优化针对过渡不确定性的最坏情况值,从而将标准MDP计划作为特殊情况。对于$(\ Mathbf {s},\ Mathbf {a})$ - 矩形不确定性集,我们开发了一种基于策略的一阶方法,即稳健的策略镜像下降(RPMD),并建立$ \ Mathcal {o }(\ log(1/\ epsilon))$和$ \ Mathcal {o}(1/\ epsilon)$迭代复杂性,用于查找$ \ epsilon $ -optimal策略,并带有两个增加的步骤式方案。 RPMD的先前收敛适用于任何Bregman差异,前提是政策空间在以初始政策为中心时通过差异测量的半径限制了半径。此外,当布雷格曼的分歧对应于平方的欧几里得距离时,我们建立了一个$ \ mathcal {o}(\ max \ {1/\ epsilon,1/(\ eta \ eTa \ epsilon^2)\ epsilon^2)\任何常量的步进$ \ eta $。对于Bregman差异的一般类别,如果不确定性集满足相对强的凸度,则还为RPMD建立了类似的复杂性。当仅通过与名义环境的在线互动获得一阶信息时,我们进一步开发了一个名为SRPMD的随机变体。对于Bregman General Divergences,我们建立了一个$ \ MATHCAL {O}(1/\ Epsilon^2)$和$ \ Mathcal {O}(1/\ Epsilon^3)$样品复杂性,具有两个增加的静态方案。对于Euclidean Bregman Divergence,我们建立了一个$ \ MATHCAL {O}(1/\ Epsilon^3)$样本复杂性,并具有恒定的步骤。据我们所知,所有上述结果似乎是应用于强大的MDP问题的基于策略的一阶方法的新事物。
translated by 谷歌翻译
以任务为导向的通信,主要是使用基于学习的联合源通道编码(JSCC),旨在通过将与任务相关的信息传输到接收方来设计通信有效的边缘推理系统。但是,只有在不引入任何冗余的情况下传输与任务相关的信息可能会导致由于渠道变化引起的学习鲁棒性问题,而JSCC将源数据直接映射到连续的通道输入符号中会对现有数字通信系统提出兼容性问题。在本文中,我们通过首先调查编码表示形式的信息性与接收到的信息失真的鲁棒性之间的固有权衡解决这两个问题,然后提出一种具有任务调制的导向的通信方案,名为Inveete Task-定向的JSCC(DT-JSCC),其中发射器将功能编码为离散表示形式,并使用数字调制方案将其传输到接收器。在DT-JSCC方案中,我们开发了一个可靠的编码框架,称为强大的信息瓶颈(rib),以改善对信道变化的稳健性,并使用变量近似来得出肋骨目标的可拖动变异上限,以克服克服相互信息的计算棘手性。实验结果表明,所提出的DT-JSCC比具有低通信延迟的基线方法更好的推理性能更好,并且由于施加的肋骨框架而表现出对通道变化的鲁棒性。
translated by 谷歌翻译
电子商务查询通常简短而模棱两可。因此,查询理解通常使用查询重写来消除用户输入查询。在使用电子商务搜索工具时,用户倾向于在购买之前输入多个搜索,我们称之为上下文。这些历史搜索包含有关用户真正购物意图的上下文见解。因此,对此类上下文信息进行建模对于更好的查询重写模型至关重要。但是,现有的查询重写模型忽略了用户的历史行为,而仅考虑即时搜索查询,这通常是一个简短的字符串,提供有关真实购物意图的有限信息。我们建议一个端到端的上下文感知查询重写模型来弥合此差距,从而考虑了搜索上下文。具体而言,我们的模型使用历史记录搜索查询及其包含的单词构建了会话图。然后,我们采用图形注意机制,该机制对交叉关系进行建模并计算会话的上下文信息。随后,模型通过使用聚合网络将上下文信息与即时搜索查询组合来计算会话表示。然后将会话表示形式解码以生成重写的查询。从经验上讲,我们证明了我们方法对各种指标下最先进的方法的优越性。在从线购物平台的内部数据上,通过介绍上下文信息,我们的模型在MRR(平均值等级)指标下取得了11.6%的改善,并在HIT@16度量指标(命中率指标)下提高了20.1%使用最佳基线方法(基于变压器的模型)。
translated by 谷歌翻译
已经提出了图形神经网络(GNN)预训练方法来增强GNN的能力。具体而言,首先在大规模的未标记图上预先训练GNN,然后在单独的小标记图上进行微调,以用于下游应用程序,例如节点分类。一种流行的预训练方法是掩盖一部分边缘,并接受了GNN的培训以恢复它们。但是,这种生成方法遭受了图不匹配。也就是说,输入到GNN偏离原始图的蒙版图。为了减轻此问题,我们提出了DIP-GNN(图神经网络的歧视性预训练)。具体来说,我们训练一个发电机以恢复蒙版边缘的身份,同时,我们训练一个判别器,以区分生成的边缘与原始图的边缘。在我们的框架中,鉴别器看到的图形更好地匹配原始图,因为生成器可以恢复蒙版边缘的一部分。大规模同质和异质图的广泛实验证明了该框架的有效性。
translated by 谷歌翻译
点过程模型在现实世界应用中非常重要。在某些关键应用程序中,对点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然出现了现有文献中未解决的问题。为了弥合这一明显的差距,我们提出了第一个针对点过程模型的第一个一般差异私人估计程序。具体来说,我们以霍克斯的流程为例,并根据霍克斯流程的离散表示,为事件流数据引入了严格的差异隐私定义。然后,我们提出了两种差异性优化算法,可以有效地估算霍克斯流程模型,并在两个不同的设置下具有所需的隐私和公用事业保证。提供实验以支持我们的理论分析。
translated by 谷歌翻译
多视图聚类已进行了广泛的研究,以利用多源信息来提高聚类性能。通常,大多数现有作品通常通过某些相似性/距离指标(例如欧几里得距离)或学习的表示形式来计算N * n亲和力图,并探索跨视图的成对相关性。但是不幸的是,通常需要二次甚至立方复杂性,这使得在聚集largescale数据集方面遇到了困难。最近,通过选择具有K-均值的视图锚表演或通过对原始观测值进行直接矩阵分解来捕获多个视图中的数据分布。尽管取得了巨大的成功,但很少有人考虑了视图不足问题,因此隐含地认为,每个单独的观点都足以恢复群集结构。此外,无法同时发现潜在积分空间以及来自多个视图的共享群集结构。鉴于这一点,我们为快速多视图聚类(AIMC)提出了一个具有几乎线性复杂性的快速多视图聚类(AIMC)。具体而言,视图生成模型旨在重建来自潜在积分空间的视图观测值,并具有不同的适应性贡献。同时,具有正交性约束和群集分区的质心表示无缝构造以近似潜在的积分空间。开发了一种替代最小化算法来解决优化问题,事实证明,该问题具有线性时间复杂性W.R.T.样本量。与最新方法相比,在几个Realworld数据集上进行的广泛实验证实了所提出的AIMC方法的优越性。
translated by 谷歌翻译