OpenAI 研究员 Jason Wei：

「回顾过去五年中我在 AI 领域的最大技术教训：

2020 年：你可以将任何语言任务视为序列预测，并通过预训练+微调来学习它
2021 年：扩展到 GPT-3 规模使得能够通过指令执行任意任务
2022 年：扩展到 GPT-3.5/PaLM 的规模解锁了通过“思维链”进行推理的能力
2023 年：大语言模型（LLMs）本身可以成为大量用户使用的产品
2024 年：要推动能力超越 GPT-4，需要扩大测试阶段的计算规模
2025 年：？？？可能类似于“智能体起作用”

我感觉每一点都对我投入精力的方向带来了重大转变。我非常好奇其他人每年学习清单中的内容，这些清单如何改变了他们对该领域的看法，以及与我的清单有何不同。

回头来看，这些事情事后显而易见，但在事前却难以预料。我确实比别人慢了一些才学到其中的一些内容，也花了一些时间才真正理解。例如，有些人在 2020 年甚至更早时可能就已经深刻理解了 GPT-3 的教训，或者很早就认识到了在 2024 年之前扩大测试阶段计算规模的重要性。」

链接：http://t.cn/A6uxHrvp