#伺候好AI的专业#为什么大模型仅仅凭借预测下一个词就能涌现智能？
压缩即智能：要将整个互联网的文本数据压缩进参数量远小于数据本身的模型中，并准确猜出每一个“下一个词”，模型绝不能仅靠死记硬背或浅层的统计共现。它必须去理解数据背后隐藏的所有规律、常识和逻辑。

被迫演化出理解力：为了把词猜准，模型需要掌握汽车常识、因果关系、长期记忆甚至人情世故。因为“不理解就无法压缩”，在极致的目标驱动下，模型自发演化出了“理解能力”，学会了生成这些数据的世界模型。

规模定律与“相变”：当算力、数据和参数量突破某个临界阈值时，模型内部会发生类似物理学中“水沸腾”的相变。它会从低算力阶段的“死记硬背模式”切换到“推理模式”，抛弃浅层套路，将解决问题的算法内化为自身能力，从而涌现出逻辑推理、代码生成等高级认知能力。 http://t.cn/AXaiG0ql