在传统的“机器学习”（Machine Learning）领域，有一系列的理论和观点来帮助我们理解不同模型的行为。那么，在“大语言模型”（Large Language Models）大行其道的今天，我们是不是也能够找到一批理解这些模型的规范呢？

在AAAI 2025大会上，Chi Han（http://t.cn/A6BnZ2yN）和Heng Ji（http://t.cn/A6BnZ2yp）做了一个叫“The Quest for A Science of Language Models”的短课程（http://t.cn/A6BnZ2y0）。从名字就可以知道，他们打算把LLMs当做科学对象，用科学的手段来研究这些模型的特质。把LLMs当做科学研究的范畴，而不是纯粹的工程结果，这可以说是LLMs方向今后能够大规模发展的重要压舱石。

这个短课程归纳了这么几个方面的特性：

1. LLMs在文本方面的“行为学”（Ethology），包括：
* 作者们认为LLMs已经在“句法”（Syntax）上能够很有力得表达。
* LLMs能够存储知识信息，但很能说有清晰和有效的存储。
* LLMs能够做一些基本的推理，但完整的推理能力（甚至是简单的否定）都还是往往欠缺。
2. LLMs不同组件的“机能”（Physiology），包括：
* Attention机制的研究，关于这个机制如何能够起作用。
* Word Embedding的研究。这里面有一个很出彩的工作，研究Word Embedding对于不同的语言色彩（例如正向表达或者负面表达）的关系。
3. LLMs的”物理“特性，包括：
* Scaling Law的表达。如何能够理解更大模型、更多数据、不同的模型架构和结果的关系。
* 以及LLMs不能干什么：这里有一系列关于”幻觉“（Halluciation）的判定，诸如LLMs一定会产生”幻觉“的理论。

总之，虽然这个用”科学方法“研究大语言模型的方向看上去是非常学术和理论的一件事情，但整个短课程却很实用。建议对LLMs有兴趣的读者快速浏览。