因果推断推荐系统工具箱 - Bias and Debias in Recommender System: A Survey and Future Directions（七）

文章名称

Bias and Debias in Recommender System: A Survey and Future Directions

核心要点

上一节中，我们介绍了现有方法在训练阶段消除Exposure Bias的关键在于对样本进行权重调节，即如何从未曝光的隐式负反馈中提取置信度较高的负反馈，并按照置信度权重的选择和提取方法分为3种类型，介绍了其中启发式和采样式的方法。这一节介绍基于曝光的模型方法。

方法细节

问题引入

如前所述，人工的选取置信度权重的方法存在着不准确和偏差相对较大的问题，逐渐的我们发现一种思路是利用user-item曝光的概率来代表这种置信程度，曝光概率越高的，没有获得正向的反馈则更可能是值得信任的负反馈。

具体做法

Exposure-based model

这种方法是通过建模user-item的被观测可能性，来确认哪些反馈是可信的，例如[2]，[3]。EXMF[1]引入了一个曝光变量，并且把隐式负反馈建模为如下的过程。

implicit feedback generating process

其中

a_{u, i}

表示user-item是否被观测到，

\delta_0

表示没有观测到user-item曝光，但是user却点击（喜欢）这个item的概率。

\eta_{u, i}

是user-item曝光的先验概率，整个生成过程会保证在

a_{u, i}=0

的时候

x_{u, i}

也很小，即用户没有被曝光某个物品的时候，是不知道这个物品的存在的，所以可能对该物品进行点击的概率很低（但是也要有，为了纠正曝光偏差）。而当

a_{u, i}=1

的时候，某个物品被曝光给了用户，用户可以根据自己的喜好来选择是否点击，这个过程可以被推荐系统模型模拟出来，这里表示未

\hat{r}(\theta)

（再经过伯努利是因为，

\hat{r}(\theta)

是先验概率，而每次是否点击都是这个分不到一个采样）。利用这个生成过程，我们可以利用实际数据

x_{u, i}

（注意数据集里是没有

a_{u, i}

）的出现概率

p(x_{u, i})

，来不断优化

\hat{r}(\theta)

。
. [4], [5]提出EXMF的改进方法，并且把EXMF的loss function改写如下图所示。其中

\gamma_{u, i}

是一个调权参数（可以理解为之前说置信度权重）。而

g(\gamma_{u, i})

是一个关于

\gamma_{u, i}

的函数。分别表示类似EXMF的三种生成过程。其中的

l

函数是类似交叉熵的函数，具体细节参见[4], [5]。

rewrite EXMF loss

g function

l function

其实，基于曝光模型的方法可以理解为如下图所示的因果图。假设观测到了 $x_{u, i}$ 那么 $r$ 和 $a$ 是相关的（表示了曝光偏置）。如果我们没有观测到 $x_{u, i}$ （即要预估它），那么 $x_{u, i}$ 同时受到 $r$ 和 $a$ 的影响，我们需要控制 $a$ ，来保证 $x_{u, i}$ 只受 $r$ 影响。利用后门准则， $p(x_{u, i} | do(a_{u, i} = 1), \theta, \eta)) = p(x_{u, i} | a_{u, i} = 1, \theta, \eta)) = p(x_{u, i} | r(\theta))$ ，表明确实当控制 $a$ ， $x_{u, i}$ 只受 $r$ 影响。

causal graph

但是，如果直接通过最小化rewrite EXMF loss，是用于过拟合的，并且

\gamma

很难在小样本下被高效的确定。所以，[4]引入了网络模型来估计物品信息在社交网络中的传播, [5]则引入基于社区的模型。（这里是个深坑...）

当然还存在一些其他类型的方法用来解决曝光偏差的问题，这些方法中的一些和因果推断比较相关，我们会单独讲解。

心得体会

EXMF

这里数据里只有观测到的反馈结果，即 $x_{u, i}$ ，而没有 $a_{u, i}$ 。所以，我们优化的是边际概率，即 $p(x_{u, i}) = \sum_{a_{u,i} = \{ 0, 1 \} } {p(x_{u, i}|a_{u, i}) }$ 。而我们的目标是得到一个可靠的 $\hat{r}(\theta)$ 。

文章引用

[1] D. Liang, L. Charlin, J. McInerney, and D. M. Blei, “Modeling user exposure in recommendation,” in WWW. ACM, 2016, pp.951–961.
[2] J. Chen, Y. Feng, M. Ester, S. Zhou, C. Chen, and C. Wang, “Modeling users’ exposure with social knowledge influence and consumption influence for recommendation,” in CIKM, 2018, pp. 953–962.
[3] M. Wang, X. Zheng, Y. Yang, and K. Zhang, “Collaborative filtering with social exposure: A modular approach to social recommendation,” in AAAI, 2018.
[4] J. Chen, C. Wang, S. Zhou, Q. Shi, Y. Feng, and C. Chen, “Samwalker: Social recommendation with informative sampling strategy,” in The World Wide Web Conference. ACM, 2019, pp. 228–239.
[5] J. Chen, C. Wang, S. Zhou, Q. Shi, J. Chen, Y. Feng, and C. Chen, “Fast adaptively weighted matrix factorization for recommenda.