Relation-aware Meta-learning for Market Segment Demand Prediction with Limited Records

1. Motivation

电商平台一个最基本的问题之一是平衡 Market Segment（市场区隔，百度百科显示指将消费者依据不同的需求、特征区分成若干个不同的群体，而形成各个不同的消费群）中的供需关系。本文要介绍的场景是market segment中的需求预测，与所有要介绍元学习模型的论文一样，场景面临的最大问题就是数据不足。

本文的目的就是，对于数据不足的segment，借助于数据充足的segment学习出来的知识（learned knowledge）。

在元学习范式中，可以迁移的知识（transferable knowledge）用来进行MPFN的模型参数初始化。MPFN（multi-pattern fusion network）是多模式融合网络，不展开介绍，是一个与场景密切相关的同时考虑local与global时序模式的模型。

笔者更关注元学习模型，而本文最重要的一点是，论文显示，元学习模型在阿里巴巴上线了。

2. RMLDP, Relation-aware Meta-Learning for Demand Prediction

元学习的目的是：将来自不同task的知识泛化，以适应未见过的task。

rmldp.jpg

元学习要学的模型是 $f$ ，参数是 $\theta_0$ 。

对每个任务来说，以 $\theta_0$ ，

为每个segment采样训练集，

$\theta_i = \theta_0 - \alpha \nabla_{\theta} L(D_i^{tr}; \theta)$

得到每个segment各自的参数 $\theta_i$ ，从测试集里采样一部分数据，来反过来优化 $\theta_0$ ，

$\theta_0 \leftarrow min_{\theta_0} \sum_{i=1}^{|I|} L(D_i^{te};\theta_i)$

对于target segment ${s_t}$ ，相应的参数 $\theta_t$ 通过最优的 $\theta_0^{*}$ 进行适应而来，

$\theta_t = \theta_0^* - \alpha \nabla_{\theta} L(D_t^{tr}; \theta)$

rmldp_algorithm.jpg

3. Experiment

rmldp_result.jpg

优点：
（1）用元学习去学习一个最好的初始化参数，基于这个参数可以对新任务很快微调（小样本）就能学习到一个比较好的参数。

思考：
（1）与MetaEmbedding相比，在计算损失函数的时候，只考虑了meta-test的损失，没有考虑meta-training的损失，当然优化meta-test是主旨。
（2）是不是元学习一定要配一个比较好的采样系统？

4. References

[1] Shi, Jiatu, et al. "Relation-aware Meta-learning for Market Segment Demand Prediction with Limited Records." arXiv preprint arXiv:2008.00181 (2020).

RMLDP, 阿里巴巴元学习上线模型

RMLDP, 阿里巴巴元学习上线模型

1. Motivation

2. RMLDP, Relation-aware Meta-Learning for Demand Prediction

3. Experiment

4. References

推荐阅读更多精彩内容