和离开 Meta 的杨立昆大神一起创业的谢赛宁，在最近一次访谈中的一个说法挺有道理，目前 LLM 在训练阶段堆海量人类文本数据的方式，其实是违背了《苦涩的教训》中的尽量少用人类先验知识的原则的。期待他们的“世界模型”真能从和环境的交互中独立自主地学习和真正在抽象概念层面理解和推理。

AlphaGo 的 AlphaZero 版本就是这种思路，不看任何人类棋谱，只根据基本的下棋规则，通过自我搏弈来学习进化。现在头部 AI 实验室都在卷 transformer，确实还是需要有人去探索其他路径和其他可能性。