QA论文泛读笔记

@[toc]

使用WebQSP结果较好:ChatKBQA、GoG
使用多跳推理数据集HotpotQA等:KGP-T5,LongRAG,GNN-Ret,为长文本/多跳类任务

1 KnowPAT(ACL2024Findings)

<a name="标题名称"></a>

1.1 解决的问题

将大模型应用于特定知识领域的问答任务,并新增一种对齐目标——人类偏好对齐。

1.2 方法

  • 知识检索:通过无监督的问题-知识相似度计算得到Top K个相关知识,无需人工标注的数据。
  • 生成两个偏好集合:风格偏好(SPS)和知识偏好(KPS)。风格偏好集合通过不同的LLM生成,知识偏好集合通过将相似度不同的知识分成三组生成。
  • 微调和偏好对齐


    pipeline

1.3 实验和数据集

数据集:私有数据集和公开数据集,公开数据集是RJUA-QA(专业知识数据集)


实验结果


有无代码:有
算力:未知

2 ChatKBQA(Findings of ACL 2024)

2.1 解决的问题

三大挑战:KBQA领域检索效率低,检索错误影响语义解析,KBQA方法的复杂性。
ChatKBQA是一种基于微调LLM的“先生成后检索”KBQA框架。

2.2 方法

pipeline

2.3 实验和数据集

数据集:KBQA数据集WebQSP和CWQ
代码:https://github.com/LHRLAB/ChatKBQA

实验结果

算力:a single NVIDIA A40 GPU (48GB)

3 KGP-T5(AAAI2024)

3.1 解决的问题

需要深入理解文档内容和结构之间逻辑关联的多文档问答任务。KGP知识图谱提示方法能够提示LLM进行MD-QA时构建正确的上下文,利用图谱增强了LLM。KGP包括一个图谱构建模块和一个图谱遍历模块。

3.2 方法


3.3实验及数据集

数据集:HotpotQA,IIRC,2WikiMQA,MuSiQue

MD-QA实验结果

代码:https://github.com/YuWVandy/KG-LLM-MDQA
算力:未知,但文中有写IRCoT requires running on A100-80G GPU, which is not affordable on our side,推测比这个需要的小(...)

4 Code-Style In-Context Learning for Knowledge-Based Question Answering

4.1 解决的问题

LLM在预训练期间对逻辑形式的接触很少,导致在生成逻辑形式时具有很高的格式错误率。

4.2 方法


4.3 实验及数据集

这篇有点特殊参考意义好像不大,不贴实验结果了。
数据集: GrailQA, WebQSP, GraphQ
代码:https://github.com/Arthurizijar/KB-Coder

5 GoG(EMNLP2024)

5.1 解决的问题

知识图谱往往无法覆盖回答问题所需的所有知识,GoG是一种针对不完整知识图谱问答(IKGQA)新任务的一种无需训练的方法,通过结合LLMs的推理能力和知识图谱的结构信息,来生成新的事实三元组并回答问题。

5.2 方法

5.3 实验和数据集


数据集:CWQ,WebQSP
代码:https://github.com/YaooXu/GoG
算力:未知

6 Interactive-KBQA(ACL2024)

6.1 解决的问题

在低资源场景下充分利用LLMs将问题转化为逻辑形式仍然是一个重大挑战,InteractiveKBQA通过直接与知识库(KBs)交互来生成逻辑形式。

6.2 方法

6.3 实验和数据集

数据集:WebQSP、CWQ、KQA Pro和MetaQA



代码:https://github.com/JimXiongGM/Interactive-KBQA
算力: four NVIDIA A100 80GB GPUs

7 LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering(EMNLP 2024 Main)

7.1 解决的问题

长文本问答的“中间迷失”问题,增强RAG对复杂长文本知识(即全局信息和事实细节)的理解。

7.2 方法

7.3 实验和数据集

数据集:HotpotQA,2WikiMQA,MusiQue



有无代码:有
算力:8xA100 GPUs (80G each)

8 GNN-Ret

9.1 解决的问题

现有的检索方法通常将参考文档分割成段落,并将它们作为独立单元进行处理,识别这种关联性是一个挑战。本文通过图神经网络来挖掘这种关联性,并用循环图神经网络来处理多跳推理。

8.2 方法

8.3 实验和数据集

数据集:MuSiQue,IIRC,2WikiMQA



有无代码:有
算力:未知

9 Q-KGR(findings of EMNLP2024)

9.1 解决的问题

检索到的子图往往有噪声,Q-KGR消除输入的噪声路径,还引入了Knowformer,用于将重评分后的知识图谱注入到大型语言模型中,以增强大模型事实推理的能力。

9.2 方法

9.3 实验和数据集

数据集:OBQA,Riddle,ARC,PIQA
有无代码:有
算力:A100-80G GPUs.(没具体写几张)

10 KS-LLM

10.1 解决的问题

知识密集型任务中的幻觉问题,本文首先根据输入问题生成三元组,然后从证据文档中选择与这些三元组最相似的证据句子,从证据文档中识别出有价值的信息。

10.2 方法

10.3实验和数据集

数据集: TriviaQA, WebQ, and NQ(知识密集型数据集,问题+证据文档)
有无代码:无
算力:未知

11 EFSum

11.1 解决的问题

面向证据,通过蒸馏和偏好对齐优化LLM作为事实摘要器,提高了LLM在零样本问答任务上的性能。

11.2 方法

11.3 实验和数据集

数据集:WebQSP,Mintaka



有无代码:有
算力:未知

12 G-Retriever

12.1 解决的问题

创新出一种图问答方法,而不是整合LLM与GNN,并允许处理远超LLM上下文窗口大小的文本图。

12.2 方法

12.3 实验与数据集

数据集:ExplaGraphs,SceneGraphs,WebQSP


算力: 2 NVIDIA A100-80G GPUs
有无代码:有

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354