一、结论写在前面
论文提出了一种技术方案--System 2 Attention(S2A)，可以让LLM决定输入上下文的重要部分，来生成好的响应。实现这点的方法是：首先诱导LLM重新生成只包含相关部分的输入上下文，然后关注重新生成的上下文以引出最终响应。
论文在实验中证明，S2A可以成功重写会降低最终答案质量的上下文，因此论文的方法可以同时提高事实性并减少其响应中的阿谀奉承。
未来的研究仍有许多空间。在论文的实验中，采用了零样本提示来实现S2A。其他方法可以通过考虑微调、强化学习或替代提示技术(alternative prompting techniques)来进一步优化论文的方法。成功的S2A还可以压缩回标准LLM生成，例如：通过使用原始提示作为输入和最终改进的S2A响应作为目标进行微调。
二、论文的简单介绍
2.1 背景
大型语言模型(LLM)非常强大，但它们仍容易出现简单的错误，这似乎显示出弱的推理能力。例如，不相关的上下文或输入提示中固有的偏好或意见，都可能使它们产生错误判断，在后一种情况下，展现了一种称为阿谀奉承的问题，即模型与输入一致同意。
虽然有方法试图通过添加更多的监督训练数据或强化学习策略来缓解这些问题，但论文认为这是Transformer本身的构建方式，特别是其注意力机制中存在固有问题。也就是说，软注意力倾向于分配上下文大部分的概率，包括不相关部分，部分由于其训练方式，部分由于位置编码机制也倾向于在不应该的情况下将上下文视为词袋。
2.2 论文的方法
因此，论文研究了一种截然不同的注意力机制：通过使用LLM作为自然语言推理器(reasoner )来执行注意力。
具体来说，利用LLM能够遵循指令的能力，并提示它们生成它们应该注意的上下文，以确保它只包含不会偏离其推理的相关材料。论文将这个过程称为System 2 Attention(S2A)，因为论文将底层的transformer及其注意力机制视为类似于人类system 1推理的自动操作（system 1 reasoning in humans）。在人类中，当我们需要有意识地关注一个任务时，尤其是人类system 1可能出错的情况下，系统2才会分配努力的精神活动(allocating effortful mental activity)来接管。因此，S2A方法的目标与这个子系统类似，因为论文的目标是通过推理引擎(LLM)额外有意识的努力来缓解上述Transformer软注意力的失败。
图1：示例，显示上下文中偶然的关联如何对LLM的响应产生不利影响。关于Saratoga(左)或Sunnyvale(右)的不相关事实改变了各种LLM对Sam Liccardo出生地问题的答案
图3：GSM-IC任务中的一个示例,其中一个令人分心的句子(“Max比Mary多1000本书”)使得LLaMA-2-70B-chat(左)出现错误。(S2A)重新生成它决定关注的上下文部分，成功地移除了令人分心的句子(右)，然后正确地回答
图4：来自SycophancyEval修改后的TriviaQA的一个示例，其中事实查询中添加的意见使LLaMA-2-70B-chat错误回答(左)。S2A(右)重新生成它决定关注的上下文部分，移除了可能对最终响应产生不利影响的意见,然后正确地回答
2.3 论文的贡献
通过实验证明，与标准的基于注意力的LLM相比，S2A可以产生更加事实性和更少意见化或阿谀奉承的生成。特别是在包含干扰意见的问题的修改后的TriviQA数据集上，与LLaMA-2-70B-chat相比，S2A将事实性从62.8%提高到80.3%，在包含干扰输入情感的论点的长文生成上，它增加了57.4%的客观性，并且对插入的意见基本上没有影响。
最后，在包含主题不相关句子的GSM-IC数学文字问题上，S2A将准确率从51.7%提高到61.3%。
论文标题：System 2 Attention (is something you might need too)
