#Token的中文名应该叫什么# 看到这个话题还挺有意思的，ChatGPT的时候很多知道了这个概念，小龙虾火了之后几乎大家都对token有了认知，Token 指的其实是「大语言模型处理文字时使用的最小计数单位」。

中文最小单位是“一个字”，英文是“一个单词”，而针对AI领域，就是“token”，它可能是一个单词，也可能是一个单词中的一部分。

具体的分词方式不是按照“人类觉得一句话怎么分”来拆，而是按照“模型最容易识别和处理的统计片段”来拆。

那具体怎么翻译呢？我还真没找到最恰当的，有人提“模元”，有人用“词元”，我觉得目前还是直接叫 token 就挺好[笑cry]
#How I AI#