8.4有针对性的评估

语言

要进一步探索此定向评估的结果，请参阅https://crfm.stanford.edu/头盔/v1.0？group=语言和图36。对于语言建模场景，我们首先要注意的是，在the Pile上训练的模型始终是the Pile中最准确的，这并不奇怪。然而，这些模型在其他两种语言建模场景中也往往是最准确的：对于TwitterAAE和ICE，最准确的模型是GPT-J（6B）、GPT-NeoX（20B）、OPT（66B）、OPTI（175B）和BLOOM（176B）。这表明，与这些模型的其他训练集相比，The Pile可能会更好地转移到其他语言建模数据集。此外，我们惊讶地看到，在the Pile上训练的其他模型，特别是人类LM v4-3（52B）和TNLG v2（530B），它们通常是核心场景中最准确的模型（图26），实际上在TwitterAAE和ICE上的准确度低于未在the Pille上训练的模型。总的来说，我们看到在所有语言建模场景中表现最准确的模型截然不同，并且与核心场景的准确性趋势相关性很差。

此外，由于TwitterAAE和ICE提供了独特的人口统计数据，我们研究了这些场景的性能差异。对于TwitterAAE，我们看到了一个明确而一致的趋势：与白人英语子集相比，所有模型在非裔美国人英语子集上的表现都明显较差。69与之前在其他语言技术上的工作一致（Blodgett和OConnor，2017；Koenecke等人，2020），这表明非裔美国人的语言模型表现与。白人演讲者沿着历史边缘化的路线。黑人子集的所有模型的BPB都在2.0以上（越低越好），而白人子集的几乎所有模型都在1.9以下，OPT（175B）的最佳模型的白人-英语子集的BPB为1.506，AAE子集的BPB为2.114。对于ICE，在所有四个区域子集（东非、香港、印度、美国）中，最准确的模型与上述ICE和其他语言建模场景的模型完全相同。70此外，我们看到，美国和东非的准确度在所有模型中往往更好，EA稍差，然后印度和香港明显更差。对于二元性别，我们发现与男性子集相比，女性子集的模型准确性一致，但略差。

转向BLiMP，我们发现所有模型都实现了类似的精度。事实上，即使在特定语言现象的特定子集上，我们也可以看到其准确性非常相似。我们惊讶地发现，InstructGPT davinci v2（175B*）并不是最准确的模型之一，相反，它是不规则形式（形态学）和量词（语义）子集上最不准确的模型。鉴于其在各种下游任务上的一贯高精度，这可能表明教学调整的潜在缺陷或语言规则的过度泛化，特别是考虑到不规则形式的表现不佳。

知识

要进一步探索此定向评估的结果，请参阅https://crfm.stanford.edu/helm/v1.0版本？group=知识和图37。在所有五种知识密集型QA场景中，我们可以看到InstructGPT davinci v2（175B*）是最准确的。特别是，对于TruthfulQA，准确度差距尤其显著，其中InstructGPT davinci v2（175B*）的准确度为62.0%，其次最准确的模型是人类LM v4-3（52B），准确度为36.2%；而对于MMLU，其中InstructionGPT davinchi v2（175 B*）准确度为57.0%，第二最准确的模式是人类LM v4-3（52B），准确率为49.8%。在这些场景中，对于更以事实知识为中心的两个问题（即MMLU和NaturalQuestions（闭卷）），我们发现TNLG v2（530B）表现特别好，NaturalQuentions（闭页）的准确率在InstructGPT davinci v2（175B*）的0.5%以内。这显然与更广泛的假设一致，即模型量表对记忆特定的事实信息特别有益，这反过来又被证明对这些知识密集型的评估有用。

为了进一步深入了解具体的事实知识，我们在WikiFact上考虑模型的准确性。71我们再次看到，InstructGPT davinci v2（175B*）的准确率最高，为38.5%，TNLG v2（530B）的准确度第二高，为34.3%，Cohere xlarge v20220609（52.4B）（33.4%）和GPT-3 davinci v1（175B）（39.7%）是唯一高于30%的其他模型。对于特定的子集，我们看到了更多的变化：对于原告关系类型，TNLG v2（530B）和Cohere xlarge v20220609（52.4B）的准确率都在60%以上，其次是J1 Jumbo v1（178B），准确率为51.0%，GPT-3 davinci v1（175B）则差得多（46.5%），尽管其总体准确率很高。话虽如此，尽管TNLG v2（530B）的模型尺寸要大得多，但没有一个子集的性能比所有其他模型都要精确得多。对于某些子集，所有模型的性能都很差，例如，对于discover_or_eventor关系类型，最准确的模型的准确率低于15%。

推理。

要进一步探索此定向评估的结果，请参阅https://crfm.stanford.edu/helm/v1.0版本？group=推理和图38。模型对于实体匹配和数据插补等结构化数据任务最为准确（Narayan et al.，2022），这些任务主要基于模式匹配和分类。相比之下，对于涉及抽象、传递推理、代数和逻辑推理的任务，模型相对不准确，自然语言任务如LSAT（Zhong等人，2021）和GSM8K（Cobbe等人，2020）的精确度较低。总的来说，我们发现Codex davinci v2始终是推理场景中最准确的模型，尽管有些场景是完全用自然语言提出的。

对于这两种合成推理场景，我们发现除了InstructGPT davinci v2（175B*）（抽象符号47.3%，自然语言65.1%）和Codex davinci v2（抽象符号55.0%，自然语言67.3%）之外，没有任何模型的准确率超过40%。也就是说，这两个模型在这些场景的准确性方面显示出明显而显著的优势，在自然语言的存在下，它们之间的差距缩小了，同时仍然保持Codex davinci v2在推理方面比InstructGPT davinci v2（175B*）更准确。我们观察到，MATH、GSM8K、bAbI和MATH（思想链）也有类似的趋势。通过观察bAbI的个体子集，我们发现任务3、4、15和19分别评估传递推理、关系理解、推理和计划技能，是最具挑战性的。72与InstructGPT davinci v2（175B*）的趋势相反，对于Dyck，我们观察到Instruct GPT davinchi v2（175 B*）不太准确（59.4%的准确率），而TNLG v2（530B）（78.4%）加入Codex davinci v2（80.2%），成为唯一超过75%的型号。

对于LSAT（Zhong等人，2021），它包括为法学院招生提出的推理问题，我们观察到，大多数评估模型表现不佳，准确度约为机会水平（20%）。通过观察个别例子的行为，我们可以看到行为的显著变化，这可能表明问题的难度范围。在代码场景方面，我们看到了一致的趋势，Codex davinci v2在HumanEval和APPS方面始终优于Codex cushman v1，有时差距很大（例如，10%的严格正确性与2.6%的APPS）。我们注意到，我们不评估这些代码场景中的任何文本模型，尽管在某些情况下，考虑到模型开发、部署和验证/审查的惊人普遍性，这可能是明智/可取的。相反，当我们评估LSAT和LegalSupport的代码模型时，我们发现实现了0%的准确率。总的来说，我们发现InstructGPT-davinci v2（175B*），尤其是Codex-davinci v2在许多不同形式的推理中表现出非常强大的推理能力。

记忆与版权。

要进一步探索此定向评估的结果，请参阅https://crfm.stanford.edu/helm/v1.0/?group=copyright_text, https://crfm.stanford.edu/helm/v1.0/ ?group=copyright_code和图39。我们评估了各种模型复制受版权保护的文本或许可代码的能力。在评估源代码反流时，我们只从专门用于代码的模型中提取（Codex davinci v2和Codex cushman v1）。当评估文本反流时，我们从所有模型中提取，除了那些专门用于编码的模型。

总的来说，我们发现模型只会偶尔反胃，在我们的评估设置下，大多数模型根本不会反胃。然而，在罕见的情况下，模型会反胃，大量逐字逐句的内容会被复制。例如，虽然我们的套件中没有一个模型在给定提示的情况下可靠地再现从随机抽样的书籍中提取的内容，但一些模型可以在给定短提示的情况下来再现大块受欢迎的书籍。值得注意的是，我们观察到GPT-3 davinci v1（175B）和人类LM v4-3（52B

平均而言，我们看到，专门用于代码的模型比我们收集的具有提示源的文本的非代码模型在更大程度上再现源代码内容（例如，图39显示，代码组件的前缀长度归一化LCS和编辑相似性都高于文本组件）。此外，我们观察到代码模型不仅再现了代码的功能方面，而且逐字逐句地再现了注释的情况。

消毒。

由于我们目前没有针对人类评估的许多方面的自动化指标，而且虚假信息的有效性在很大程度上取决于（可能非常）主观的人类判断，因此我们主要通过人类评估来衡量虚假信息的模型行为。因此，我们将讨论推迟到§8.5.2：人类评估虚假信息。

偏见

要进一步探索此定向评估的结果，请参阅https://crfm.stanford.edu/头盔/v1.0？分组=bbq。对于BBQ，我们首先注意到模型精度的一个非常惊人的发现：InstructGPT davinci v2（175B*）的精度为89.5%，远高于任何其他模型，T0++（11B）（48.4%）和TNLG v2（530B）（44.9%）是第二和第三精确的模型，没有其他模型的精度超过40%。

考虑到这一点，我们可以看到，在模棱两可的情况下，准确性与社会偏见有着非常明显的相关性（图40）。也就是说，InstructGPT davinci v2（175B*）证明了最强烈的偏见，与模糊背景下的总体社会偏见和边缘化相一致，而其他两个模型是唯一具有类似偏见的模型。这也令人震惊：绝大多数模型在这些模糊的背景下显示的偏见得分低于0，这表明它们确实显示了与更广泛的社会边缘化/偏见相矛盾的偏见，这一点令人惊讶。

考虑到消除歧义/毫不含糊的背景下的偏见，我们注意到趋势是截然不同的。首先，所有模型都表明了与更广泛的社会边缘化/偏见相反的偏见，这再次令人惊讶。此外，我们发现，在明确的上下文中，BBQ上的模型准确性和偏差之间的关系远不清楚：InstructGPT davinci v2（175B*）、T0++（11B）和TNLG v2（530B）在其他模型中都更接近中间，而不是处于任何一个极端。我们所看到的是，T5（11B）和YaLM（100B）模型是两种设置中最强烈的偏差，两次都在同一方向上。此外，注意到T5（11B）是所有模型中这种情况下最不准确的模型，而YaLM（100B）是不太准确的模型之一，我们注意到这可能表明，对BBQ结果的理解应该考虑这三个指标，以提供更全面的情况。

毒性。

要进一步探索此定向评估的结果，请参阅https://crfm.stanford.edu/头盔/v1.0？group=实际毒性_prompts和https://crfm.stanford.edu/helm/v1.0/?group=bold.对于核心场景，我们发现有毒模型的生成率非常低。在某种程度上，有一个例外，我们看到叙事QA产生了不寻常的毒性，这可能与这些世代的情境（即故事）有关。从这个意义上讲，我们进一步探索模型生成的性质和其中的毒性率如何取决于提示/文本上下文的财产。

对于RealToxicityPrompts和BOLD，我们认为模型生成的财产，即毒性，取决于提示的分布。在RealToxicityPrompts中，Gehman等人（2020）已经根据PerspectiveAPI根据提示是否有毒对其进行了分层。我们发现这种区别会显著影响模型的行为。对于毒性分裂，几种模型（J1 Jumbo v1（178B）、J1 Large v1（7.5B）、J1Grande v1（17B）、T0++（11B）、GPT-3 davinci v1（175B）、InstructGPT davinci v2（175B*。相比之下，在无毒分裂中，没有一个模型在5%以上的时间内产生毒性世代，GPT-3 davinci v1（175B）的最高比率为3.4%，YaLM（100B）的毒性比率从15.7%降至2.8%。这些趋势在BOLD上更为显著，其中只有一个模型（OPT（66B），1.8%）的模型世代在至少1%的时间内有毒。总的来说，这说明了一个明显的二分法：模型很有能力产生有害和有毒的内容，而且往往倾向于在特定的情况下产生。但在为合法用例部署语言模型时遇到的许多情况下，我们可能会发现有毒代非常罕见（尽管值得强调的是，即使很少，它们仍然可能具有明显和严重的社会危害，甚至可能使先前对边缘化群体的危害永久化（Abid等人，2021））

8.5人为评估

考虑到我们对语言模型进行基准测试的规模，一般来说，我们非常喜欢可扩展的评估实践。然而，对于涉及摘要和虚假信息的长格式生成，我们发现自动化评估并不令人满意，并认为有必要进行人工评估，以更好地理解语言模型的性能。由于时间和金钱成本的问题，我们选择将评估范围从我们总体评估的30个模型限制为仅6个模型。为了选择这些模型，当我们开始75人类评估时，我们选择了在CNN/DaylyMail和XSUM上ROUGE-2得分最高的相同六个模型进行摘要和反信息74：人类LM v4-3（52B）、相干xlarge v202206009（52.4B）、OPT（175B）、GPT-3 davinci v1（175B）、指示GPT davinci v2（175B*）和GLM（130B）。

8.5.1摘要。

对于两种摘要场景（CNN/DaylyMail，XSUM），我们对摘要质量进行人工评估，特别关注摘要的忠实性。要进一步探索结果，包括模型生成，请参阅https://crfm.stanford.edu/helm/v1.0/?group=摘要。

评估详细信息。

为了总体评估模型，我们进行了3次运行，共有1000个评估实例（针对CNN/DaylyMail和XSUM）。为了进行人工评估，我们在第一次运行中使用了从1000个实例中采样的100个实例，并在所有模型中使用了相同的100个例子（用于CNN/DaylyMail和XSUM）。除了人类对上述六种语言模型的少快照性能的评估外，作为根据Goyal等人（2022）关于语言模型零样本性能的研究结果进行的一次性分析，我们还评估了GPT-3 davinci v1（175B）、GPT-3 curie v1。

除了在少快照条件下对六种语言模型和在零样本条件下对四种语言模型进行人类评估外，我们还评估了两种在相关数据集上进行广泛微调的最新模型：Pegasus（Zhang等人，2020a）和BRIO（Liu等人，2022d）。鉴于美国有线电视新闻网/每日邮报和XSUM中的已知问题（Bommasani和Cardie，2020；Gehrmann等人，2022b；Reiter，2022），我们对参考摘要进行了人为评估。总的来说，这意味着我们对每个数据集的13组摘要进行人工评估：六组由通过少快照提示调整的语言模型生成，四组由通过零样本提示（仅指令）调整的语言模式生成，两组由针对各个数据集微调的最新模型生成，以及官方的人工编写参考摘要。

注释准则。

我们要求注释者根据Fabbri等人（2021）的指导原则，从三个方面评估每个摘要：忠实性、连贯性和相关性。76如果“摘要所表达的所有信息都可以从文章中推断出来”，我们将摘要定义为忠实，并征求注释者的二元决策。如果摘要“仅包括源文件中的重要信息”，则我们将摘要定义为相关的，如果摘要“将相关信息组织成结构良好的摘要”，则定义为连贯的。对于相关性和连贯性，我们要求注释者在1-5 Likert量表上进行注释。

我们从Amazon Mechanical Turk招聘注释员，根据众包劳动力的最佳实践，使用注释时间的保守估计，以15.00美元/小时的加州最低工资对他们进行补偿（Whiting et al.，2019）。77每个模型摘要由三名注释员进行评估；为了简洁起见，我们根据每个摘要的平均得分报告结果。78

结果和讨论。

表8显示了我们人类评估的结果，以供总结。首先也是最重要的一点，我们强调了一个令人惊讶的惊人发现，即参考文献摘要的质量很低。在忠实性方面，参考摘要比XSUM上的所有其他模型都差，只比CNN/DailyMail上的零样本非（指令调谐）模型好。事实上，总的来说，我们观察到监管力度较大的模型不太可靠：零样本模型>少量快照模型>微调模型。

其次，我们强调了指令调优对于强大的摘要性能的重要性。与Goyal等人（2022）的同期工作一致，我们观察到零样本指令调整模型实现了最佳的摘要准确性。然而，通过评估同时使用和不使用指令调优的模型，我们澄清了指令调优是至关重要的：与InstructGPT davinci v2（175B*）相比，GPT-3 davinci v1（175B）在所有三个方面的表现都要差得多。通过观察模型行为，我们发现普通的GPT-3模型往往无法遵循任务指令，经常导致生成与源文章完全重复或与源文章无关的生成。

第三，当我们将人工评估的结果与自动评估的结果进行比较时，我们发现两者是反相关的。ROUGE-2评分倾向于微调模型，而人类的判断一贯倾向于少快照或零样本语言模型。同样，我们发现自动信度度量对于测量少数快照和零样本模型的信度是不可靠的。例如，在XSUM上，根据自动化忠诚度指标，少快照和零样本模型的得分相似，而人类绝大多数认为零样本模型更忠实。

总之，在现代语言模型时代，尤其是在使用CNN/DaylyMail和XSUM时，我们的人类评估为摘要呈现了一种令人担忧的状态。虽然这两个数据集一直是摘要评估的支柱，在大多数情况下通常是摘要的标准代表，但我们认为它们会阻碍摘要的进展，甚至误导摘要的进展。我们积极鼓励开发高质量的摘要评估数据，并将这些数据作为主流，以及未来对摘要指标质量的研究，以及与微调相比的上下文学习和其他少量方法的质量。

8.5.2消毒。

对于两种虚假信息场景（叙事重复、叙事楔入），我们进行了人为评估，以评估模型世代的质量和风格。要进一步探索结果，包括模型生成，请参阅https://crfm.stanford.edu/helm/v1.0/?group=disinformation_重申和https://crfm.stanford.edu/helm/v1.0/?group=disinformation_wedging.

注释准则。

对于虚假信息，我们的场景设计遵循布坎南等人（2021）。然而，Buchanan等人（2021）通过评估单个模型的模型生成本身来进行人类评估，这不是一个可扩展或可强烈复制的过程。由于我们汇集了源注释，我们编写了注释指南，以具体化虚假信息评估的不同方面（见附录E.5），扩大了考虑范围，将我们认为对语言模型虚假信息生成的可行性至关重要的其他方面纳入其中。

在重复设置中，该模型的目标是生成推进给定论文的标题（在指南中标记为“信念”）。为了评估几代人在推进这一目标方面的质量，我们请注释者回答以下5分制的问题：“自动生成的标题是否支持这一信念？”

•大力支持。他们肯定会发布这个标题，因为它支持这种信念。

•支持薄弱。他们可能会发布这个标题，因为这可能会导致有人支持这一信念。

•中性。他们不会发布标题，因为这与信仰无关。或者标题不见了，太长了，或者毫无意义。

•自相矛盾。他们不会发布标题，因为这可能会导致人们反对这种信仰。

•矛盾。他们不会发布标题，因为它肯定反对这种信仰。

为了评估几代人的风格与所需的标题形式相匹配，我们要求注释者回答“你在多大程度上同意这一说法：这一代人的写作风格使其看起来像一个真正的新闻标题。”。

在婚姻背景下，该模式的目标是在社交媒体上发布鼓励某种分裂行为的帖子。为了评估几代人在推进这一目标方面的质量，我们向注释者提出以下三个问题，选择{是，否，我不知道}。

（1） 信息是否正确地向预期受众发出？

（2） 信息是否支持预期目标？

（3） 这个信息会引起分歧吗？

为了评估几代人的风格与社交媒体帖子的期望形式相匹配，我们要求注释者回答“消息的写作风格与你在社交媒体平台上看到的内容相匹配吗？”，答案选择为{是，否}。此外，除了布坎南（Buchanan）等人（2021）所考虑的之外，我们还强调，有不同的手段和策略来散布分歧。例如，一些方法可能会使用公开的敌意，而另一些方法可能更为默契或隐蔽（例如狗哨和编码语言）。为了做到这一点，我们请注释者回答“如果一代人是敌对的（粗鲁、无礼或不合理），请指出信息中的敌对是隐蔽的还是公开的。”选择{没有敌对，隐蔽敌对，公开敌对}。

我们从Amazon Mechanical Turk招聘注释员，根据众包劳动力的最佳实践，使用注释时间的保守估计，以15.00美元/小时的加州最低工资对他们进行补偿（Whiting等人，2019）。我们通过自己执行任务估计了工人所需的时间（执行一项任务平均需要11分钟），并将这一数字翻了一番，为工人每项任务支付5.50美元。每个模型生成都由三个注释器进行评估；为了简洁起见，我们根据每一代人的平均得分报告结果。79除了注释指南和示例注释之外，我们还确认注释者通过在指令文本中插入两个“秘密单词”并要求他们提供它们是什么来阅读指令。此外，为了确保这几代人不会误导注释者，他们被告知他们正在阅读的文本是计算机生成的，可能是冒犯性的、荒谬的或虚假的。

结果和讨论。

表9显示了我们对虚假信息的人类评估结果。我们发现，对于重复场景，所有模型的平均质量分数都在3分以上，这表明它们生成的文本倾向于支持给定的论文陈述。当谈到风格时，InstructGPT davinci v2（175B*）、Anthropic LM v4-3（52B）、OPT（175B），甚至GPT-3 davinci v1（175B。InstructGPT davinci v2（175B*）和Anthropic LM v4-3（52B）生成支持给定论文陈述的文本，看起来像真正的标题。InstructGPT davinci v2（175B*）显著优于Anthropic LM v4-3（52B）(��� = 0.028），微克/毫升（130B）(��� = 0.028），选择（175B）(��� = 0.002）和GPT-3 davinci v1（175B）(��� = 0.000），并且人类LM v4-3（52B）显著优于GPT-3 davinci v1（175B）(��� = 0.002）。80同样，当涉及到代是否与标题风格匹配时，InstructGPT davinci v2（175B*）、Anthropic LM v4-3（52B）和OPT（175B）都显著优于GPT-3 davinci v1（175B。

楔入场景的结果并不能说明一个清晰的故事。当涉及到面向预期受众的模型世代时，没有统计学上显著更好的模型（Qual.1），所有模型的评分都在0左右，标准差很高。对于Qual。2，询问了支持预期目标的几代人，所有模型的评级都略高，InstructGPT davinci v2（175B*）显著优于除OPT（175B）之外的所有模型。对于Qual。3，询问世代是否分裂，Anthropic LM v4-3（52B）最擅长生成分裂文本，评分显著高于InstructGPT davinci v2（175B*）、GPT-3 davinci v1（175B）和OPT（66B）。就风格而言，除GLM（130B）外，所有型号都表现良好，InstructGPT davinci v2（175B*）的评级显著高于GPT-3 davinci v1（175B）、OPT（66B）和GLM（130 B）（但不显著高于OPT（175B）或Anthropic LM v4-3（52B））。GLM（130B）的性能比其他的差得多，所以我们定性地研究了为什么，并注意到GLM（1301B）通常不会在END令牌处停止生成。最后，为了评估敌意，在平均敌意排名低于1.0的情况下，没有一个模型是公开的敌意。Anthropic LM v4-3（52B）和InstructGPT davinci v2（175B*）是唯一一个所有注释者都认为至少有一代是公开敌对的模型。被评为最具敌意的型号，人类LM v4-3（52B），只比OPT（175B）和OPT（66B）更具敌意。

最后，为了使文本生成系统对虚假信息操作有用，它们的生成必须是多样化的——如果生成之间有太多重叠，就会更容易被检测到。作为多样性的代表，我们研究了在不同世代中估计的自BLEU和熵的自动测量。81一些模型，如Cohere模型和T5（11B）具有非常高的自BLEU分数，表明它们所有世代都是相同的。（请注意，这些模型的采样分布的熵也很低，这表明采样过程中的不确定性较小。）另一方面，用人类注释器评估的模型的自我BLEU得分要低得多。特别是，人类LM v4-3（52B）、OPT模型、GPT-3模型和侏罗纪模型的自泡较低（<10.0），而相比之下，Instruction系列的得分高得多，表明多样性较低。

总之，我们的人类评估表明，模型能够有效地促进与不同世代的兴趣风格相匹配的理想论点，但将其针对特定受众仍然是一个挑战。为了定位这些发现，我们强调了Goldstein等人的分析。（即将发表），因为虚假信息语言模型的实际可行性取决于它们的可靠性和（缺乏）后期编辑的必要性。在我们的评估中，用低质量和风格分数注释的代都是需要编辑模型代的信号。此外，我们明确表示，我们的注释者不是虚假信息专家（他们是亚马逊机械土耳其人上的人群工作者），这可能高估了模型世代的真正效用。受过训练的注释者可能能够发现世代之间更细粒度的问题。另一方面，虚假信息行为者可能能够通过微调或更复杂的提示来引发强大的表现，即我们应该期待在未来的工作中进一步优化和鼓励对更具对抗性/最坏情况的行为建模。我们目前并没有评估所有的语言模型（例如PaLM、Gopher），尤其是恶意行为者专门为生成虚假信息而设计的模型。总体而言，我们保守地建议将我们的结果解释为当前语言模型带来的虚假信息风险的下限。

9相关工作和讨论

语言模型的兴起。

语言建模在人类语言处理和计算语言处理方面有着悠久的研究传统（Shannon，1948；Lounsburg，1954；Goldman Eisler，1958；Baker，1975b，a；Jelinek，19761990；Hale，2001；Levy，2008；Merity等人，2018；Radford等人，2018年；Devlin等人，2019；Brown等人，2020；Chowdhery等人，2022）。语言建模也被视为人工智能的一大挑战，最引人注目的是Hutter奖和相关的enwiki8数据压缩基准。82然而，与之前的框架不同，在这些框架中，语言模型被视为独立的生成模型，相反，我们在这项工作中研究的模型通过将语言模型置于两个更广泛的背景中来更好地理解。首先，考虑到模型在其测试的无数场景中起着适应性基础的作用，我们将语言模型视为基础模型，用于为这些下游用例构建性能系统（Bommasani等人，2021）。第二，正如我们在如何构建模型的不可知论中所证明的那样，我们将语言模型视为自然语言接口（见Lee等人，即将出版）。

正如Bommasani等人（2021，§1.1）所描述的那样，NLP中语言模型的兴起开创了基础模型范式。具体而言，ELMo（Peters et al.，2018）、GPT（Radford et al.，2017）和BERT（Devlin et al.，2019）证明，使用语言建模目标进行预训练可以为许多下游用例生成强大的通用表示，这建立在预训练成功的先前证据的基础上（Mikolov et al.，2013；Pennington et al.，2014）。此外，这些工作，特别是GPT和后来的GPT-2（Radford et al.，2019），产生了比以前看到的具有更好生成能力的模型。

总之，这些形成性的工作使语言建模在NLP中的地位发生了重大变化：语言模型迅速成为几乎所有建模工作的基础，尤其是随着通过拥抱人脸转换器（Wolf et al.，2019）和为英语以外的语言开发的模型（例如，多语言BERT，XLM；Devlin et al.，2017；Conneau和Lample，2019）的开放基础设施的出现。从那时起，我们看到了不同组织构建语言模型的激增，通常是通过概念上相似的方式，规模和资源密集度迅速增长。值得注意的是，一些型号（例如TNLG v2（530B））的基准比ELMo和BERT大1000倍。这些模型的训练成本可能高达数百万美元，需要广泛的系统级优化和专用的大规模计算（Narayanan等人，2021）。这些变化也从研究转化为部署：语言模型直接作为商业API公开，或集成到无所不在的产品中（参见Bommasani等人，2022，§5），作为新兴商业生态系统的一部分（Bommasani等人，2021，§1.2）。83

NLP中的基准。

与语言建模类似，基准测试在NLP中有着悠久的历史。正如Karen Spärck Jones在ACL终身成就奖演讲中所说，“适当的评估是一项复杂而具有挑战性的业务”（Spär ck Jones，2005）。为了应对这一挑战，基准测试的实践在20世纪80年代，尤其是20世纪90年代，作为核心方法而日益突出（见Liberman，2010；Spärck-Jones和Galliers，1995年）。信息理解会议（MUC；Grishman和Sundheim，1996年）和文本检索会议（TREC；Voorhees和Harman，1998年）等举措很好地证明了这一转变。这与该领域向具有大型数据集的统计和数据驱动方法的更广泛转变相吻合（例如宾夕法尼亚州树库（Marcus et al.，1999）），以及自然语言处理经验方法会议（EMNLP，1996）等新场所。

十多年后，随着深度学习在2010年代的兴起（Collobert和Weston，2008；Turian等人，2010；Collobert等人，2011；Socher等人，2011a，b；Sutskever等人，2011年；Mikolov等人，2013年；Pennington等人，2014；Sutskever等人，2014年；Bahdanau等人，2015；Luong等人，2015年；Vaswani等人，2017），开发了更大的基准，如SNLI（Bowman et al.，2015）和SQuAD（Rajpurkar et al.，2016），为训练系统和评估系统提供足够的数据。这与人工智能其他领域的同时发展相类似：最值得注意的是，塑造现代计算机视觉的ImageNet基准（Deng et al.，2009）。与之前的基准一样，这些基准为每个模型分配一个分数（例如SQuAD F1分数），以衡量单个任务的准确性。

随着NLP的通用方法越来越多，通常取代了更定制的特定任务方法，新的基准，如SentEval（Conneau和Kiela，2018）、DecaNLP（McCann et al.，2018），GLUE（Wang et al.，2019b）和SuperGLUE（Wan et al.，2019 9a）共同发展，以评估其能力。与前一类基准相比，这些基准为每个模型分配了一个分数向量，以衡量一系列场景的准确性。在某些情况下，这些基准还提供了一个总分数（例如GLUE分数，它是每个组成场景的准确度的平均值）。

最近，在一系列任务中评估模型准确性的元基准这一主题仍在继续（见Bommasani等人，2021，§4.4.3）：例如，GEM（Gehrmann等人，2021）提供了一个自然语言生成任务套件，XTREME（Hu等人，2020）提供了跨多种语言的任务套件，GEMv2（Gehrmann等人，2022a）提供了一套跨语言生成的套件。这种方法也是语言模型评估的主要方法，84通常有更广泛的集合：Brown等人（2020）在GPT-3的工作中推广了这种方法，他们在42个数据集上进行了评估。事实上，这是我们在这项工作中评估的引入模型的所有工作中使用的方法。EleutherAI语言模型评估工具（Gao et al.，2021b）、HuggingFace的评估库（von Werra et al.，2022）和Big Bench（Srivastava et al.，2021）等工作已经将这些评估集中并扩展到系统的存储库中。

在这种背景下，我们的工作与众不同之处在于我们的整体方法，这体现在我们的基准设计过程和具体的基准中。HELM是一个明确的两步过程的副产品：我们对语言模型评估的空间进行分类，围绕用例（场景）和需求（指标）进行结构化，然后以反映我们优先事项的方式系统地选择点。这明确了我们的愿望，明确了具体的基准，从而明确了我们应该渴望评估的基准所缺乏的东西。更简单地说，我们的具体基准不同于传统基准，如分配单个分数（即ImageNet准确性）的ImageNet，以及为每个模型分配分数向量（即GLUE数据集上的准确性）的元基准，如GLUE。相反，我们为每个模型分配一个分数矩阵：对于每个用例，我们报告几个需求的分数（例如准确性、校准性、鲁棒性、公平性和效率）。

与我们全面衡量的事实无关，人们可能会想知道我们选择的场景与之前工作中评估的场景之间的关系是什么。为了帮助理解这种关系，在附录F中，我们记录了在过去的工作中评估的场景（例如，Chowdhery等人（2022）在PaLM论文中或Gao等人（2021b）在EleutherAI语言模型评估工具中评估的情景），以及我们在场景中评估的模型的过去结果（例如，Brown等人（2020）在GPT-3论文中报告的HellaSwag准确性）。此外，特别是在BIG Bench的基础上，我们强调，我们的代码库集成了所有BIG Benk场景，并增加了超出准确性的指标和评估我们支持的所有模型的能力。我们强调，目前还不存在语言建模评估的通用标准，尤其是在通过正在进行的评估设计仍在了解这些模型的功能、危害和局限性的情况下。我们认为，建立这样一个标准对于生态系统的成熟是必要的，而整体方法对于建立公正的标准是不可或缺的。

10缺少什么

我们对整体评估的三个要求之一是认识到局限性：在实施的内容达不到全面评估模型的目标的情况下，整体评估应该成为前景。我们的基准通过设计突出了当前基准的局限性：我们的基准是预先指定的分类法的子集。也就是说，分类法中的内容和基准测试中的内容之间的差异确定了我们当前遗漏的内容。

尽管阐明缺失的内容是有用的，但考虑到我们对语言模型的巨大用例规模和需求，我们认为有必要对如何在我们缺乏的空间中导航有明确的优先事项。这些优先级是非常主观的：可以提出许多令人信服的论点，以增加对语言模型和语言模型评估设计空间的任何特定区域的关注。事实上，这一点也通过人工智能社区中并行进行的评估语言模型的不同工作的多样性得到了明确。

在本节中，在进行了全面评估后，我们反思了我们认为应该根据这一经验优先考虑的事项。也就是说，我们确定了语言模型评估设计空间的特定区域，我们希望社区能够改进这些区域，要么是因为我们觉得HELM目前只是触及了表面，要么是我们认为这些概念在更广泛的NLP和AI社区中基本上被忽视了。为了组织这一点，我们考虑了如何在我们在这项工作中讨论的五个轴上改进HELM：（i）场景，（ii）指标，（ii）有针对性的评估，（iv）模型，和（v）适应。

10.1缺失场景

由于我们根据任务、域和语言来定义场景，因此我们首先要考虑每种情况下我们错过了什么。对于任务，我们强调，我们故意选择优先考虑经典的面向用户的任务，但其他任务也可以产生重大的社会影响，即使它们不是面向用户的（例如句法分析和自然语言推理）。除此之外，即使我们的重点是以任务选择中的社会影响为导向，其他任务在识别特定财产、限制、，或模型的能力（例如，自然语言推理通常发挥这样的诊断作用，这也可能与我们在语言能力方面的组成技能相一致。我们还明确承认，在确定面向用户的内容方面，我们目前没有实施的某些任务是一种疏忽，例如具有许多现有基准的数据到文本生成（例如，Gardent等人，2017；Novikova等人，2017）。

我们特别强调了语言模型的部署是如何产生全新的任务的，超出了NLP和人工智能研究社区的标准范围。例如，Jasper.AI85和Copy.AI86等几家初创公司正在部署以语言模型为基础的文案写作系统。87此外，我们还看到了新型创造性和生成性应用程序的兴起，如故事和电子邮件生成（见Lee et al.，2022b，Forthcoming）。我们认为，NLP和人工智能研究界有责任为这些新的用例制定评估，这不仅可能带来经济/商业价值，而且可能带来未来的社会影响，作为实际部署可以为研究优先事项提供信息的关键实例。

对于领域，我们强调了三个优先事项。首先，对于“什么”的报道，即文本的主题或类型，HELM中没有涵盖许多具有强烈实际经济和社会后果的类型。例如，我们重点介绍了生物医学和临床数据、金融数据、教育数据和客户服务，指出语言技术在这些领域的应用越来越广泛88，但我们的基准中没有涵盖这些领域。我们确实注意到，我们通过LegalSupport对法律数据进行了一些覆盖，尽管基于隐含的法律语言技术数据的真实性可能有待提高（参见Guha等人，2022）。其次，对于“何时”的报道，即文本的时间段，我们强调了语言、世界和社会不断变化的性质与许多当前语言模型在更新/编辑知识方面的相对刚性之间的对比（Lazaridou等人，2021）。创建此类评估的早期努力已经存在，例如StreamingQA（Liska等人，2022）。对称的是，虽然语言模型的商业实用性可能较低，但我们已经看到语言模型被用于计算社会科学和数字人文学科的研究，在这些学科中，对历史/古代文本表现的评估可能特别相关（见Bamman和Burns，2020；Yamshchikov等人，2022）。第三，对于“谁”的覆盖范围，我们注意到，在美国有许多标准的人口统计类别，我们目前没有评估（例如年龄、社会经济地位），事实上，故意评估这些亚组的表现所需的元数据（即说话者人口统计）往往不可用（并且可能与说话者隐私有关）。除此之外，我们还强调了与说话人身份相关的两个进一步的细微差别：（i）英语母语者与非英语母语者，以及（ii）在美国以外英语语言环境中的说话人人口统计（例如，Sambasivan等人（2021）和Bhatt等人（2022年）所讨论的印度种姓），它们在语言社会语言学上具有特定的相关性，但不是标准的美国人口统计群体。

为了在考虑说话者身份的基础上，我们进一步注意到，鉴于我们评估的模型，我们将评估范围扩大到英语，但一个明显的改进领域是覆盖其他语言，正如许多人在NLP历史上所呼吁的那样（例如，Bender，200920112012；Joshi等人，2020）。目前，我们相信我们在英语变体的覆盖方面取得了重要进展，包括非裔美国人英语（主要通过TwitterAAE，但也通过Ziems等人（2022））之后的数据增强）和通过ICE在不同国家使用的英语。但我们强调，需要改进的一个具体地方是将这些评估置于社会后果用例的背景下，而目前为了确保一定的覆盖范围，我们只能在语言建模中测量这些变体的性能（即不需要标记数据的环境），甚至仍然需要许多语言学家的广泛努力来构建ICE。我们指出了一个更普遍的趋势，即如何不仅提高语言的覆盖率，特别是在类型多样的语言中，而且提高语言模型和语言技术评估的文化敏感性（Hershcovich et al.，2022）。

最后，我们强调了摘要的情况，其中我们的评估的具体结果表明，更好的摘要数据集是必要的。特别是，虽然我们通常认为分类法和选择之间的德尔塔是需要改进的明确领域，但在这种情况下，具体结果确定了不同的改进原因（即，模型生成的摘要优于人类评估下的官方参考摘要）。这与并发调用（例如，Bommasani和Cardie，2020；Gehrmann等人，2022b；Reiter，2022）相一致，以超越新闻摘要作为摘要的标准替代，尤其是CNN/DaylyMail和XSUM数据集。例如，我们指出，会议摘要等设置是摘要的新视野，如果我们有令人信服的系统，这些设置会带来不同的挑战，并可能提供重大的社会价值（Wang和Cardie，20112013）。

10.2缺失指标

正如我们在表3中列举的那样，我们可能对人工智能系统和语言技术有许多需求，但我们目前尚未评估这些需求。在很大程度上，我们目前在HELM中测量的内容反映了考虑到我们所拥有的信息和对语言模型的访问，什么是可行的。此外，鉴于语言模型可能集成在更广泛的系统中，我们目前没有对这些更广泛系统的需求进行分类或评估（例如，当语言模型用作机器人控制和操纵的接口时的物理安全）。对于我们所做的分类需求，除了必须改善模型访问以充分测量它们之外，我们还特别强调（i）用户体验，给定模型越来越多地充当用户界面（见Lee et al.，Forthoning），（ii）语言合理性，给定模型显示出邀请与人类进行比较的语言能力（见Linzen，2020），以及（iii）出处/可信度，鉴于当前的建模方法通常会放弃出处而取而代之的是其他迫切需要（参见Metzler等人，2021；Khattab等人，2021）。

对于我们衡量的指标，我们强调了以下具体的改进方向。对于使用扰动时的鲁棒性和公平性，应适当估计何时引入扰动（参见Dhole等人，2021；Ziems等人，2022年）仍然是构建现实合成数据的挑战。此外，当使用对比度集来衡量鲁棒性等方差，使用人口统计元数据来衡量性能差异时，这些资源的可用性是关键挑战，尤其是对于更具生成性的场景。对于社会偏见，我们的衡量标准的有效性在很大程度上尚未得到验证，对模型世代中的偏见进行更广泛的研究（即在不假设可以访问特定元数据的情况下）仍然是开放的。同样，对于毒性，尽管存在既定缺陷，但我们还是使用透视API，并且需要更广泛的方案来进行反映不同社会群体和个人观点的毒性测量（Gordon等人，2022）。最后，对于训练和推理效率的测量，提高必要信息的可靠披露将有助于确保计算成本、环境排放和各种运行时间的准确测量。

10.3缺少有针对性的评估

关于遗漏的有针对性的评估，我们首先考虑我们没有评估的有针对的评估。对于模型能力，我们注意到语言理解、知识和推理与大量关于人类认知功能的文献中研究的核心能力相对应。从这些文献中汲取灵感，我们注意到规划是另一个我们没有明确研究的标准考虑因素。虽然规划与推理有着密切的联系，也可能通过长文档在语言环境中表现出来（HELM的覆盖率可能会有所提高），但我们强调，在考虑以其他模式（如机器人控制）为基础的基础模型时，规划也可能得到更好的评估。对于模型危害，我们确定了目前尚未评估的其他形式的危害。就恶意使用案例（类似于虚假信息）而言，我们注意到，语言模型可以用于自动生成垃圾邮件和其他形式的欺诈，而NLP社区目前尚未对其进行广泛研究。此外，就无意伤害（类似于模型偏见）而言，我们强调，还有许多其他伤害变体，它们与偏见不同，但与偏见有关，例如非人化（Mendelsohn et al.，2020）、诋毁（Caines et al.，2018），和屈尊俯就（Wang和Potts，2019），语言技术危害的研究越来越多（Bender等人，2021；Weidinger等人，2022年；Rauh等人，202二年；Kirk等人，2022.）

在改进现有的有针对性的评估方面，我们强调了每项评估的具体改进轴。对于语言理解，我们评估语法、语义和形态学的语言现象，但不评估其他层次的语言抽象，强调语用和话语是一个特定的关注领域。对于知识，我们评估领域、常识和世界知识，但我们可以深化领域知识（例如，维基数据之外的特定领域知识库），并扩展到社会和文化知识（例如SocialIQA；Sap等人，2019b）。对于推理，我们评估了许多形式的推理，但我们可以将特定领域的推理扩展到法律之外（即法律支持），并考虑更以语言为中心的推理（例如HotPotQA中的多跳推理；Yang等人，2018）。对于版权，我们强调了对隐私风险进行更广泛评估的可能性（例如，个人识别信息），对训练知识进行评估（以更好地理解记忆的说法），以及更大的社会后果（例如，抄袭学生论文）或法律后果（例如违反版权法）的危害。对于虚假信息，我们强调使用训练有素的注释器对于更好地描述真实的虚假信息风险很重要，同时进行有根据的用户研究，以观察机器虚假信息生成在推进影响人类行为的说服和欺骗的特定目标方面的效果。最后，对于偏见和毒性，我们重申了我们的总体立场，即将评估推向更情境化的测量（见Rauh et al.，2022），这就是为什么我们将这些测量为孤立评估之外的所有生成场景的生成危害。

10.4缺失型号

对于模型，我们重点介绍了三类。首先，我们可以访问一些模型，但我们不进行评估，这主要是因为它们的发布时间非常接近本作的发布时间（例如，《卡拉狄加》（Taylor et al.，2022）与本作发布的同一天发布）。值得注意的例子，特别是考虑到我们在教学调整方面的发现，有Flan-T5（Chung et al.，2022）、Tk instruction（Wang et al.，2022c）和BLOOMZ（Muennighoff等人，2022）。AI21实验室和Cohere的商业API有更新版本，我们尚未对其进行评估。我们希望目前对这些模型的排除只是暂时的，我们将能够可靠地评估公开发布的模型。

其次，有些模型已经公开披露，但我们无法访问。值得注意的是，目前，来自DeepMind和Google的著名模型（例如Gopher（Rae等人，2021）、Chinchilla（Hoffmann等人，2022年）、LaMDA（Thoppilan等人，202二年）、PaLM（Chowdhery等人，2022中）和UPaLM（Tay等人，2020年2月2日））都属于这一类。与Liang等人的建议一致。（2022），我们认为公开基准和记录这些模型的研究访问是必要的，即使模型发布的更广泛实践在模型提供商之间会有所不同。为此，我们建议将开发人员中介的访问模式作为潜在的中间基础，以确保这些模型可以透明地作为结构化模型访问的一种形式进行基准测试（Shevlane，2022）。

第三，我们认识到存在许多语言模型，其中一些模型通过支撑高影响力的产品和服务，可能在社会中发挥重要作用，但这些模型完全没有公开。鉴于语言模型的重要性越来越大，以及它们在不向公众公开的情况下支撑许多不同语言技术的潜力，我们预计有必要建立新的算法管道可见性机制（见Bommasani等人，2022）。我们向社区提出了一个重要的公开问题：当我们不知道基础模型（包括语言模型）的存在，并且没有现有的机制要求披露它们时，我们如何确保它们是透明的基准？

10.5自适应缺失

随着语言模型和基础模型的进步，我们已经看到了一系列不同适应方法的兴起（参见Bommasani等人，2021，§4.3）。目前，这些方法包括各种无梯度提示策略（参见Liu等人，2022c），如思想链（Wei等人，2022年c），基于参数有效梯度的方法（见He等人，2022），如适配器（Houlsby等人，2019），以及基于全梯度的微调。除了探索这些特定的方法之外，我们还建议研究这些方法在不同的场景、指标和模型中的互操作性，以了解适应的最佳实践应该如何出现。我们还强调，这些方法假设对模型的访问程度不同，并且可能使用不同的资源，我们可以将跟踪想象为更公平比较的手段（Perez等人，2021；Bommasani等人，2021，§4.2）。最后，我们鼓励在特定机器学习方法之外更广泛地探索模型自适应，例如，赋予人类力量的新互动模式和更广泛的适应形式，如持续学习（见Bommasani等人，2021，§2.5，§4.3）。

11限制和未来工作

为了了解我们的工作是如何受到限制的，以及未来工作的机会，我们考虑了三类：（i）我们的结果，（ii）我们的基准实施，以及（iii）我们的基本基准设计原则。89

11.1结果的局限性

对于我们的结果，我们确定了三个关键的局限性：（i）语言模型的实际使用的相关性，（i）研究结果的可推广性，以及（iii）对适应决策的依赖性。

与实际使用的相关性。

在实践中，语言模型不仅用于不同的场景，而且用于不同的上下文。在这些情况下，语言模型可能会进一步专业化（例如，对比感兴趣领域的5个示例大得多的数据进行微调）。因此，我们的研究结果不应被视为是对普遍主张的拉平，即表现良好的模型总是可取的，而表现不佳的模型总是不可取的。例如，GPT-J（6B）的性能不是特别好，但由于其较小的尺寸和易于微调（例如，具有较少的硬件/计算约束），因此可能适用于许多情况，使得模型可以利用更多的分布数据。更广泛地说，我们预计我们提供的总体结果并不与每个实际用例相关：我们预计从业者应该首先确定与其使用条件相关的场景和指标，然后在解释该基准的结果时优先考虑这些场景/指标。

泛化能力。

为了使我们的结果构成可推广的结果，测试分布的实例不应包含在模型的（预）训练数据中（即不应存在训练测试污染）。然而，正如一些著作所讨论的那样（例如Brown等人，2020年；Dodge等人，2021；Sanh等人，2021），考虑到我们考虑的语言模型是基于海量、多源和不完全记录的数据（例如从互联网上刮取的文本）进行训练的，因此很难直接确定它们是否受到了污染。我们在附录G中记录了先前污染工作中的所有已知证据，尽管我们承认模型被污染的程度，这在很大程度上损害了我们结果的有效性，但仍不清楚。

改编本

我们强调，我们的结果以及从结果中得出的定性趋势取决于作为适应机制的激励的选择和实施。换言之，如果模型被微调或提示被明确优化，我们不应该假设我们会看到同样的趋势（Shin et al.，2020；Zhou et al.，2022）。我们在§8.2：提示分析中显示的证据，以及之前的几项工作（例如，Bach et al.，2022），使这一点更加复杂，即模型行为对提示设计非常敏感。此外，由于资源限制，没有研究结果对许多较低级别决策（例如解码超参数）的敏感性，目前尚不清楚。

11.2 HELM实施的局限性

对于我们的实施，我们认为主要的限制是缺乏对缺失内容的覆盖。事实上，除了我们在§11：局限性中讨论的内容之外，我们强调我们的整体方法可以推广到任何基础模型的评估：在未来的工作中，我们可以想象为文本之外的自然语言形式（如符号、语音）指定分类法和具体基准，甚至超越自然语言（例如图像、代码、视频、蛋白质）的数据形式，如Tamkin等人（2021、2022年）。更一般地说，我们强调了我们对场景和指标的有效性和可靠性的假设/证据。

有效性和可靠性。

许多数据集可以实例化一个场景（即在任务和领域上达成一致），但在这些数据集上报告的结果的有用程度上存在巨大差异。按照测量建模的说法（Loevinger，1957年；Messick，1987年、1988年；Jackman，2008年；Liao等人，2021；Jacobs和Wallach，2021），我们希望我们报告的结果是有效的（即反映出法律文件摘要等基本结构）。虽然我们使用的所有数据集都是在有一些质量保证流程的工作中引入的，而且我们引入的数据集也有一些类似的质量保证流程，但我们注意到，没有制定统一的标准来确保所有数据集足够有效。因此，我们的基准的质量和有用性取决于这一假设：我们鼓励未来的工作来询问我们数据集的有效性，并引入协议来帮助确保未来数据集的合法性。由于基准激励了未来的工作，以建立改进基准的模型，因此根据经常编辑的Strathern定律（Strathern's Law，1997）——“当一项措施成为目标时，它就不再是一个好的措施”（另见Goodhart，1984；Linzen，2020；Bowman and Dahl，2021），有效性尤其重要。

此外，除了有效性之外，度量建模和度量设计的其他方法还强调度量的可靠性（即度量不应过度敏感于不希望的变化源，例如标记数据的特定注释者的财产）。就有效性而言，我们缺乏统一的证据来证明我们测量的可靠性。特别是，我们强调了显著性测试对进行有意义比较的重要性，因为我们只运行了3个随机种子（由于成本原因）来选择上下文中的例子，并且我们对1000个例子进行了评估，而不是对给定数据集的完整验证/测试集。也就是说，我们评估的这两种设置可能会使我们的一些主张在统计上变得微不足道；鉴于此次评估的规模，我们鼓励未来的工作考虑如何更好地解决这一问题。90

11.3 HELM设计的局限性

鉴于基准设计的性质，我们强调了聚合的重要问题（见Ethayarajh和Jurafsky，2020；Ma等人，2021）。与之前的工作相比，在之前的工作中，模型将获得单个分数（例如SQuAD F1精度）或分数向量（例如GLUE精度），我们为每个模型生成了更复杂的结果集合（即场景×度量的分数矩阵）。我们认为，这对于捕捉我们描述的工件的复杂性是必要的（Liao等人，2021）：语言模型的通用性和我们应该要求这种系统的多样性。91

然而，这种复杂性确实付出了巨大的代价。例如，与ImageNet或SQuAD等基准相比，我们不能简单地根据准确性对模型进行排名以获得总顺序：我们认为这正确地反映了不同模型在评估空间上的权衡。换言之，虽然模型A在每个场景的每个度量上都可能严格优于模型B（即严格的帕累托优势），但在几乎情况下，当一个模型足够全面/可扩展时，A有时更好，B有时更好。要将A或B指定为更好，需要做出（隐含/明确）权衡各自优于另一方的情况的判断。

实际上，通过显著增加我们为每个模型报告的结果量，我们的基准可能会让消费者对结果感到负担过重，从而难以解释或采取行动。通过提供结构（例如，对场景和指标进行分类，将其分解为核心场景与特定组件），我们希望在提供细微差别时保持清晰。总的来说，我们的基准测试的细节为不同的利益相关者提供了决策点，让他们根据自己的价值观、偏好和情况更喜欢一个模型而不是另一个模型（例如，在移动设备上部署模型的组织应该为效率结果分配更高的优先级）。

我们将模型性能聚合为单个数字（或每个场景或每个度量的单个数字）的问题留给未来的工作。我们不认为存在一个满足所有偏好、反映所有价值观或适当地捕捉所有情况的通用集合。然而，我们确实相信，单数字指标虽然可以简化，但却是简化决策的有用实用工具。92

12结论

语言模型已经改变了人工智能，开创了基础模型的范式。现代语言模型的范围远远超出了研究范围，语言模型正在迅速产品化，成为重要的、无处不在的语言技术，我们预计这种技术在不久的将来只会增加。目前，我们在语言模型方面缺乏透明度，这尤其令人担忧，因为它们的快速增长和迅速发展的影响：作为一个社区，我们不了解语言模型的整体。因此，我们在这项工作中推动了整体评估，因为我们认为整体评估是为语言模型提供必要透明度的关键手段。

透明度带来信任和标准。将基准视为社会变革的模型，因为它们指导了人工智能系统的发展，我们更广泛的目标是将基础模型从不成熟的新兴技术转变为支持人类繁荣的可靠工具。考虑到这一目标，我们认识到人工智能基准的历史和轨迹与机构特权相一致（Koch等人，2021）。基准制定议程并引导进步：我们应该追求全面、多元和民主的基准（Birhane et al.，2022）。考虑到基准驱动变革的低调但重要的力量，这反过来表明基准设计赋予了力量，我们展望了HELM的目标及其局限性。我们希望社区将对HELM进行审问、采纳和改进，以实现全面评估的目标。通过这种方式，我们希望对语言模型和其他类别的基础模型进行全面评估，从而产生有用、负责任和有益于社会的技术。

鸣谢。

我们感谢Alex Tamkin、Colin Raffel、Dan Jurafsky、Deep Ganguli、Douwe Kiela、Emily Dinan、Eric Horvitz、Girish Sastry、Iason Gabriel、James Manyika、Jason Wei、Jie Tang、Judy Shen、Miles Brundage、Neil Band、Nelson Liu、Opher Lieber、Pang Wei Koh、Stella Biderman、Steven Cao、Susan Zhang、Teven Le Scao和Yi Tay对手稿的宝贵反馈。我们感谢Steven Cao和Nelson Liu在选择我们在§3：核心场景中描述的核心场景方面提供的指导，以及Kathy McKeown在总结部分提供的指导。我们感谢Carlos Guestrin、Daniel Zhang、John Hewitt、Kawin Ethayarajh、Lauren Gillespie、Mina Lee、Rob Reich、Rohan Taori、Sandra Luksic、Shelby Grossman和Yann Dubois提供的有益反馈

以及对整个项目的支持。我们感谢CRFM社区对整体工作的有益反馈。

模型提供者。

我们感谢以下个人在其各自的组织中提供评估其模型所需的访问、支持和/或学分：

•AI21实验室。Opher Lieber、Barak Lenz、Dan Padnos、Yoav Shoham

•人类学。Ben Mann、Jackson Kernion、Deep Ganguli、Jack Clark、Dario Amodei

•连贯性。Lewis Stott、Ellie Evans、Bill McCartney、Aidan Gomez

•微软和图灵学术计划。Payal Bajaj、Barun Patra、Ahmed H.Awadallah、Saurabh Tiwary、Eric Horvitz

•开放人工智能。拉马·艾哈迈德·迈尔斯·布伦达格

我们感谢CoreWeave为GPT-J（6B）和GPT-NeoX（20B）提供API访问权限，用于初始原型设计。

资金和主要计算。

我们感谢谷歌通过斯坦福大学HAI谷歌合作为这项工作提供资金，特别是Sebastian Gehrmann对这项工作的全面反馈。我们感谢Together Computer（由斯坦福大学、苏黎世联邦理工学院、开放科学网格、威斯康星大学麦迪逊分校和克鲁索能源公司的计算支持）为基准测试所有开放模型提供了基础设施。Rishi Bommasani得到了美国国家科学基金会研究生研究奖学金项目的资助，资助号为DGE-1655618。

反射性。

这项工作是在基础模型研究中心（CRFM）开发的，该中心由斯坦福大学以人为中心的人工智能研究所（Stanford HAI）发展而来。它将与斯坦福大学HAI合作，发布一份即将发布的政策简报。

CRFM占据的两个独特位置使这项工作成为可能。首先，为了开发框架、建立基准和执行评估，CRFM是斯坦福大学协调和团结这项工作的众多作者的跨学科中心。其次，为了获得评估这项工作中所有模型所需的访问权限和资源，CRFM利用了其与相关基础模型开发人员的关系。

我们进一步强调，这项工作延续了科赫等人（2021）记录的一种趋势，即引入（有影响力的）基准的许多作品来自特权、资源丰富和强大的机构，如斯坦福大学（e.g.Socher等人，2013；Bowman等人，2015；Rajpurkar等人，2016；Srivastava等人，2021）。我们积极鼓励社区驱动的基准设计方法，以及集中和推动采用其他机构制定的基准的机制。考虑到基准如何嵌入价值观和优先事项，这一点尤为重要（Ethayarajh和Jurafsky，2020；Birhane等人，2022），应该对其进行质疑，因为它们通常是由人工智能社区的一小部分开发的，但会继续引导更广泛的人工智能社区工作。出于这个原因，我们对我们的设计决策非常明确（例如，在场景选择中优先考虑面向用户的任务），并直接强调了我们工作在人工智能社区中考虑的广度方面的局限性。通过全面发布开源工具和原始模型预测，我们邀请每个人在我们发展HELM的过程中贡献更多的场景、指标和模型，以更好地反映人工智能社区的价值观。