Meta 昨晚的重磅论文，提出了 LCM 大概念模型#AI创造营#

现在 LLM 模型基本都基于 Token 操作，但是人类思考的时候都是基于句子或者概念的。

tokenization 会导致 LLM 能回答博士级别的数学问题但无法回答 9.9 和 9.11 哪个大。

LCM 将"下一个词元预测"改变为"下一个概念预测"。一个"概念"被视为一个句子，代表一个抽象的想法或行为。

他们用来测试的 7B LCM 模型在多语言零样本泛化性能方面表现出色，超过了同等规模的现有LLMs。

论文地址：ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/