排序---- 以使整个列表效用最大化的方式对列表进行排序的过程---- 适用于许多领域,从搜索引擎和推荐系统到机器翻译、对话系统甚至计算生物学。 在类似这样的应用程序(以及其他许多应用程序)中,研究人员经常使用一套被称为排序算法的监督式学习技术。 在许多情况下,这些排序算法技术被应用于大型数据集ーー在这些场景中,TensorFlow 的TF-ranking是一个候选算法。
2018年google的提出了TF-Ranking,这是一个可扩展的基于 tensorflow 的用于排序的库。 正如在其论文中所描述的[1],TF-Ranking 提供了一个统一的框架,其中包括一套最先进的学习排序算法,并支持成对或列表损失函数、多项评分、排序度量优化和无偏学习排序。
Tf-ranking 速度很快并且易于使用,可以创建高质量的排序模型。 统一的框架使机器学习的研究人员、实践者和爱好者能够在一个库中评估和选择一系列不同的排序模型。 此外,这个开源库不仅提供了合理的默认模型,还可以让用户能够开发自己的定制模型,且提供了灵活的 API,用户可以在其中定义和插入自己定制的损失函数、评分函数和指标。具体的优势有:
支持现有算法和评估方法
排序学习算法的目标是最小化一个实例列表上定义的损失函数,并对任何给定应用程序的新的数据优化列表排序。 Tf-ranking 支持一系列有关pointwise,pairwise和列表损失函数,这确保了使用 TF-Ranking 库的研究人员能够复制和扩展以前发布的模型,并且从业人员能够为其应用做出最有效的选择。 此外,TF-Ranking 可以通过嵌入和扩展到数亿个训练实例来处理稀疏特性(比如原始文本)。 因此,任何对构建真实世界的数据密集型排序系统(如网络搜索或新闻推荐)感兴趣的人都可以使用 TF-Ranking 作为一种健壮的、可扩展的解决方案。
实验评估是任何机器学习或信息检索研究的重要组成部分。 为了确保与前期工作的兼容性,TF-Ranking支持许多常用的排序指标,此外还可以在 TensorBoard (一个开源的 TensorFlow 可视化指示板)上轻松实现在训练时可视化这些指标。
多项打分
Tf-ranking 支持一种新颖的评分机制,其中多个项目(例如,网页)可以联合打分,这是传统评分范式的延伸,其中单个项目是独立评分。 多项评分的一个挑战是难以推断哪些项目必须被分组并按小组进行评分。 然后,每个项目的分数被累计,并用于排序。 为了使这些复杂性对用户透明,TF-Ranking 提供了一个 List-In-List-Out (LILO) API,用于在导出的 TF 模型中包装所有这些逻辑。
排序指标优化
排序算法中一个重要的挑战是排序指标的直接优化(如 NDCG 和 MRR)。 这些度量标准虽然能够比标准的分类度量标准(如曲线下面积(AUC))更好地度量排名系统的性能,但不幸的是它们要么是不连续的,要么是平坦的。 因此,这些指标的标准 / 随机梯度下降优化是有问题的。
TF-Ranking提出了一种新的方法-LambdaLoss,它为排序度量优化提供了一个原则性的概率框架。 在这个框架中,度量驱动的损失函数可以通过期望最大化过程来设计和优化。 Tf-ranking 库集成了直接度量优化方面的最新进展,并提供了 lambda 的实现。
Tf-ranking 实现了 TensorFlow Estimator 接口,通过封装训练、评估、预测和导出服务,大大简化了机器学习编程。 Tf-ranking 与丰富的 TensorFlow 生态系统完美结合。 用户可以使用 Tensorboard 可视化 NDCG 和 MRR 等排名指标(如上图所示),以及使用这些指标选择最佳模型检测点。 一旦模型准备就绪,就很容易使用 TensorFlow Serving 将其部署到生产环境中。想动手的小伙伴可以在 GitHub 上找到源码,目前该项目已经有超过1K赞[2]。
参考
1.^https://arxiv.org/abs/1812.00073
2.^https://github.com/tensorflow/ranking
来源:https://zhuanlan.zhihu.com/p/66910766