以下内容纯属个人见解，欢迎大家交流。
发布于2020 RecSys

1.motivation

1.1问题

合并知识实体以更好地理解文档始终有利于新闻推荐系统。然而现有的文档理解模型要么在不考虑知识实体(如BERT)的情况下表示新闻文章，要么依赖于特定类型的文本编码模型(如DKN)，从而损害了泛化能力和效率。

1.2解决方法

本文提出了一种基于知识图的快速有效的文档表示模型——(Knowledge-Aware Document Representation for News Recommendations,KRED)。KRED首先从知识图的邻域中聚合信息，从而丰富了实体的嵌入性。然后利用上下文嵌入层对不同实体的动态上下文进行标注，如频率、类别和位置。最后，信息精馏层在原始文档表示的指导下聚合实体嵌入，并将文档向量转换为新的文档向量。我们主张在多任务框架下优化模型，使不同的新闻推荐应用能够统一，在不同的任务之间共享有用的信息。

2. 相关知识

首先，新闻文章具有高度的时效性。据[20]透露，大约90%的新闻在两天内就过期了。因此，经典的基于身份的协同过滤方法在这种情况下效果不佳。对新闻内容要有深刻的理解。第二，新闻文章具有准确、简洁、清晰的文字特征。因此，与其他复杂的文本消息(如非结构化的网页或深奥的诗歌)相比，自然语言理解(NLU)模型可以更有效地应用于生成高质量的文档表示来捕获用户兴趣。第三，新闻文章可能包含一些实体，如名人、城市、公司或产品。
在本文中，我们将新闻推荐定义为一系列应用的广义定义，它不仅包括个性化推荐，还包括项目到项目的检索、新闻性预测、新类别预测和本地新闻检测。行业推荐系统通常提供多种推荐服务，如根据个人兴趣进行推荐，或根据物品流行程度/位置/类别进行推荐。这些任务具有一些共同的数据模式，如兴趣相似的用户倾向于阅读主题相似的新闻文章(个性化推荐)，同时相似的用户倾向于阅读相同类别的新闻(类别分类)。这些任务的桥接模型可以丰富数据并有助于规范化模型。我们建议在一个多任务框架中共同训练这些应用程序。

3. 模型介绍

model

3.1 Entity Representation Layer

知识图谱为 $g=\{(h,r,t)|h,r\in \varepsilon,t\in \Re\}$ ，利用TransE学习知识图谱中的实体与关系的嵌入向量。
考虑到实体不仅可以用自身的嵌入表示，还可以用其相邻部分表示，我们利用知识图关注(KGAT)网络的思想来生成实体表示。用 $N_h$ 表示头节点为 $h$ 的三元组集合，则一个向量可以表示为：

3.2 Context Embedding Layer

为了减少计算量，我们避免了以整个原始文档作为模型的输入。一种有效的方法是从文档中提取实体的决定性信息。我们观察到一个实体可能以不同的方式出现在不同的文档中，比如位置和频率。动态语境极大地影响了文章中实体的重要性和关联性。我们设计了三个上下文嵌入特性来编码动态上下文：

3.2.1 Position Encoding

位置是指实体是否在标题或主体中。在许多情况下，新闻标题中的实体比只出现在新闻主体中的实体更重要。我们在实体嵌入中加入一个位置偏差向量 $C^{(1)}_{p_i}$ ，其中 $p_i$ ∈{1,2}表示实体 $i$ 的位置类型。

3.2.2 Frequency Encoding

频率在某种程度上可以说明实体的重要性。因此，我们创建了实体频率的编码矩阵 $C^{(2)}$ 。我们计算每个实体的出现频率 $f_i$ ，将其作为一个离散索引来查找频率编码向量 $C^{(2)}_{f_i}$ ，然后将其添加到实体嵌入向量中。 $f_i$ 的上限被设为20。

3.2.3 Category Encoding

实体属于不同的类别，例如，Donald Trump是一个人，Microsoft是一个公司，RecSys是一个会议。显式地揭示实体的类别有助于模型更容易、更准确地理解内容。因此，我们主要维护一个类别编码矩阵 $C^{(3)}$ 。对于每个类型为 $t_i$ 的实体 $i$ ，我们在其嵌入向量中添加一个类别编码向量 $C^{(3)}_{t_i}$ 。

3.3 Information Distillation Layer

一个实体的最终重要性不仅由它自己的消息决定，还受文章中同时出现的其他实体和文章的主题的影响。例如,假设有两个新闻文章相关城市 $a$ .第一篇文章报道说,一个著名的歌星将在城市音乐会,而第二个新闻报道一个强大的地震发生在城市 $a$ .显然,关键实体在前篇文章是名人,而在后者的位置。我们使用一种注意机制将所有实体的信息合并到一个输出向量中。我们遵循Transformer中的术语(查询、键和值)。
原始文档向量 $v_d$ 用作查询。键和值都是实体表示 $e_{I_h}$ :

然后将实体向量和原始文档向量连接起来，通过一个完全连接的前馈网络:

v_k

是知识感知的文档向量(KDV)。有趣的是，我们没有使用自我注意编码器或多头注意机制，因为通过实验，我们观察到这些组件没有导致一个显著的改善。一个可能的原因是一个新闻文档中实体之间的关系不像NLU中的原始文本那么复杂，所以添加复杂的层是没有用的，而且会带来不必要的计算成本。

3.4 Multi-Task Learning

在行业推荐系统中，除了个性化的项目推荐(又名user2item推荐)之外，还有一些其他重要的任务，如项目到项目推荐(item2item)、新闻流行度预测、新闻类别分类和本地新闻检测2。我们发现，这些任务具有相同的知识模式，它们的数据可以相互补充。因此我们设计了一种多任务学习方法来训练KRED模型，如模型图所示。很容易理解为什么多任务学习方法比使用特定任务数据训练模型更好。以新闻类别分类任务为例。我们的标记数据集的类别分类是有限的大小，我们的文档语料库。但是，用户-项交互数据集要大得多。考虑到相似用户倾向于阅读主题相似的新闻，传递用户-项交互中的协同信号可以极大地提高新闻类别分类的学习。

3.4.1 predictor

我们采用一种广泛使用的注意合并方法来生成用户向量

u_i

。基本上，我们将他/她的历史点击文章的文档向量输入到一个单层的神经网络中，以获得一个注意力分数。然后根据注意力分数对文档向量进行加权，得到用户向量

u_i

。
对于所有其他任务，输入向量只是文档向量

v_j

，因此预测分数为

3.4.2 loss function

训练过程中，一个正样例对5个负样例。

其中，

H

代表用户-新闻点击集。
其他多任务，总的损失函数为：

y_{j,c}=1

，当label为

c

时，否则

y_{j,c}=0

注意，二元分类问题可以看作是多类分类问题的一种特殊情况。为了避免在合并不同任务的损失函数时引入新的超参数，我们采用两阶段的方法进行多任务训练。在第一阶段，我们轮流训练不同的任务每几个小批量。在第二阶段，我们只包含目标任务的数据，以确定特定于任务的模型。
摘要本文考虑了新闻推荐系统中五个重要的任务，即个性化推荐、新闻到新闻推荐、新流行度预测、新闻类别分类和本地新闻检测。在新闻流行度预测任务中，我们根据点击量将新闻文章分成4个大小相等的组，每个组表示一定的流行程度(即普通、流行、超级流行和病毒)。本地新闻检测是一个不平衡的二值分类任务，其正确率在我们的数据集中只有12%。在新闻类别分类任务中，我们在新闻语料库中有15个顶级类别。

KRED: Knowledge-Aware Document Representation for News Recommendations