这篇文章是由Simon Willison在2024年12月31日发表的，标题为“Things we learned about LLMs in 2024”，原文链接：https://simonwillison.net/2024/Dec/31/llms-in-2024/ ；即“2024年我们对大型语言模型（LLMs）的了解”。文章回顾了过去一年中大型语言模型领域的重要进展、主题和关键时刻。以下是文章的主要内容总结：
-
GPT-4壁垒被打破：
- 多家组织推出了超越GPT-4的模型，共有70个模型在Chatbot Arena排行榜上超过了GPT-4。
-
模型运行在个人设备上：
- 一些GPT-4级别的模型现在可以在个人笔记本电脑上运行。
-
LLM价格下跌：
- 由于竞争和效率提高，运行顶级托管LLM的成本大幅下降。
-
多模态视觉变得普遍：
- 多模态模型已经可以处理图像、音频和视频。
-
语音和实时摄像头模式：
- 语音和实时视频功能开始变得像科幻小说中的场景。
-
基于提示的应用生成：
- 基于提示的应用生成已经成为一种商品。
-
对最佳模型的普遍访问：
- 对最佳模型的普遍访问只持续了几个月。
-
“代理”尚未实现：
- 尽管讨论热烈，但LLMs作为代理的实际应用尚未实现。
-
评估（Evals）的重要性：
- 编写良好的自动化评估对于构建有用的LLM应用至关重要。
-
苹果智能和MLX库：
- 苹果的智能功能令人失望，但MLX库表现出色。
-
推理扩展“推理”模型的兴起：
- 出现了新的LLM架构，它们通过在推理时扩展计算来解决更难的问题。
-
环境影响：
- LLM的环境影响有所改善，但也出现了更糟糕的情况。
-
“slop”的一年：
- “slop”（不需要且未经审核的AI生成内容）成为了一个专业术语。
-
合成训练数据的有效性：
- 合成训练数据在训练LLMs方面表现出色。
-
LLMs变得更难以使用：
- LLMs作为工具变得更加复杂，需要更多的理解和经验来有效使用。
-
知识的不均匀分布：
- 对LLMs的了解在人群中分布极不均匀。
-
LLMs需要更好的批评：
- LLMs应该受到批评，但也需要指导人们如何负责任地使用它们。
文章还提到了作者在2024年发布的所有与LLMs相关的博客文章列表。
这篇文章提供了对2024年LLMs领域发展的全面回顾，强调了技术进步、成本下降、多模态能力的提升以及环境影响等关键点。同时，它也指出了LLMs使用中的挑战和批评的重要性。
