Background
- Airbnb的搜索query通常是一系列条件，比如价格、roomtype、位置、capacity等（和常规理解的query不太一样）
- listings：airbnb的房源，对应在网页搜索就是网页，电商搜索就是item
- 之前的离线优化指标是NDCG（在线是orders），这个会导致结果缺乏多样性，尤其是对于一些热门的城市，top结果的价格、位置等都很相似。而且这个也是符合预期的，对于深度学习的模型来说，相似的item会有相似的score
Contribution
- 定义了多样性指标，并且在指标中考虑了位置因素的影响 & 连续分布的距离计算方式
- 相关性(pairwise)和多样性(based on distance)结合的loss
- 模型中结合了listwise context和query context
Related Work
MMR：没考虑搜索位置的影响
α-NDCG：强依赖与subtopic relevance
多样性指标
对相关性指标和多样性指标进行了加权求和（权重是人工指定的）：
- 相关性指标：需要按位置衰减（衰减函数是按经验指定的），公式2中的左边这项
- 多样性指标：依赖于两个item之间的距离函数计算，每个item只和前面的item进行组对计算距离，距离函数有多种定义方式（详细见下文）
image.png
image.png
距离计算方法
- 整体距离：每个item由一些特征组成的向量表示，包括价格、位置、人数等，类别类的特征用one-hot，数字类的特征需要归一。距离的计算公式paper中没写，可能就是特征的欧氏距离
image.png
- location：通过挖掘的方式产出一个理想的位置分布（离散概率分布），使用Hellinger距离来计算最终top K结果和理想位置分布之间的距离
- 地理区域聚类：通过KD-Tree（一种适用于位置的聚类方法）对query的历史成交item进行聚类（文中叫bucket），最终的聚类效果是面积小的热门区域和面积大的郊区对应的item数量差不多。
-
Hellinger距离：用来度量两个概率分布之间的相似性，对于离散概率分布来说，image.png
- price：理想分布是正态分布，概率最大的一个bucket是通过简单的神经网络预测expected price Ep；给定Top K结果需要做归一，最小值和最大值通过人工指定的超参来控制，价格最小值 = α * Ep，价格最大值 = β * Ep
image.png
Methodology
- Greedy Ranker：贪心算法，最大化MLR
- Second Stage Location Diversity Ranker：模拟退火。先把根据default score排序的top K作为candidate，然后随机从candidate中选择一个item和其他item做替换，loss下降就接受，loss上升就以一定概率接受，
image.png
- Combined Loss Function：在2的基础上修改loss，原因在于H距离的loss无法反向传播，无法在pair-wise的模型中计算。所以设计了一个替代loss，原理是：如果输入item集合中，某个bucket的item数量超过理想分布，就缩小该bucket的item的打分。文章没写具体公式。
- Contextual Features：4和5的整体思路都是将精排之后的item list整体放入重排中来，因为一个item对于多样性的loss取决于整个list。4的方法是在原本的模型中增加人工的聚合特征，例如price/location/room type等特征的方差和均值
-
Query Context Embedding：把item序列用default score排序后，用LSTM编码，作为query context的一部分。具体后面query context embedding怎么应用到下游模型，文中没写。
image.png
Experiment
image.png
image.png
Online实验效果说明
- Greedy Ranker：持平/略负，分析是过于多样性
- Second Stage Location Diversity Ranker: 正向，尤其是对于新用户，orders+1%，中国的用户+3.6%（之前的策略更倾向于城中心的，现在这个也有其他位置的item）
- Contextual Features: 持平，推测人工高级特征没有用
- Combined Loss Function: 持平，出现了一些极端价格，新用户orders降低比较多，推测是对于价格敏感的用户体验有伤害
- Query Context Embedding: 正向，online NDCG +1.2%, orders +0.44%, 新用户orders +0.61%。分析了不同价格档位的位置变动情况
image.png
