数据集对比
各数据集token数
QA不同方法以及实验结果
KAPING
GPT-3 and KAPING
KAPING：从KG中获取相关信息放到输入中，再通过LLMs进行检索。挑战：从KG中获取到的三元组太多，并且不一定都与问题相关。
对照组：
- 无知识（No Knowledge）：原生LM，不用KG
- 随机知识（Random Knowledge）：随机K个三元组
- 流行知识（Popular Knowledge）：基于KG中出现频率最高的关系，从与问题实体相关的所有三元组中选择K个最流行的三元组来进行知识增强。
-
生成知识（Generated Knowledge）：首先基于提示从LLM本身中提取知识，然后利用这些知识来增强模型对特定任务的理解或生成能力。
KAPING主要实验结果
ToG2.0
ToG2.0框架通过结合知识图谱和基于上下文的检索，克服了纯语义检索和纯知识图谱增强框架的局限性。
ToG2.0部分实验结果
RAG-KG
传统对历史记录的处理分为两步：
- 作为纯文本被划分成小块，转换为向量表示
- 使用检索算法找到最相关的文本块提供给大模型
局限性：
1.不考虑数据的内部结构，影响检索的准确性
2.因分割导致文本逻辑断裂，导致生成的结果不准确
节点分类
LLM-GNN
- 传统GNN节点分类：随机选择一组节点训练GNN
- 传统基于图主动学习的节点分类：从节点池V中选择一组节点，在这些带有标签的图上训练
当前方法的局限：需要获取真实标签
LLM-GNN基本工作流程：
- 难度识别：评估节点的难度，优先选择那些标注起来较为简单的节点，从而提高标注效率和准确性。
- 置信度计算/标注：在节点上生成标注并且打分反映标签质量。
- 过滤（可选）：过滤掉低置信度的标注
- 训练GNN模型并预测
实验结果
LLM-GNN部分实验结果
图中表示采用多种选择策略，其中“W”表示采用加权交叉熵损失，“DA”表示采用难度感知，“PS”表示采用后过滤
