26-06-20 20:21 微博认证: 同济大学 工程师

毕竟无论你是LLM,还是世界模型,都是对数据的建模,输入是数据,训练得到模型,然后让模型去做模型计算(推理、预测等)。你的输入数据不足以做特征工程,神仙也无能为力。
-------- AI --------
“输入数据不足以做特征工程”,这在传统机器学习(如SVM、决策树)中确实是死局。但LLM(大语言模型)之所以显得“无所不能”,是因为它把特征工程的负担从“人”转移到了“模型参数”和“海量无标数据”上。

传统特征工程:人为提取“文本长度、词频、句法树”。
LLM的特征工程:嵌入层 + 注意力机制,用数千亿参数去隐式地学习语料中所有可能的N-gram组合和上下文关联。
这意味着,即便你给LLM的输入是一段看似“特征不足”的残缺文本,它依然能通过预训练时见过的海量相似片段进行“语义补全”。它不是真的做不了,而是用“内存检索”代替了“特征推理”。 所以对于文本,只要“数据量够大”,特征貌似总够用。

不奢求模型从数据中“发现”特征,而是把物理特征(方程)作为模型的“先验骨架”,让数据只负责修正骨架上的几个系数(贝叶斯更新)。 这已经不是传统意义上的“训练模型”,而是“用真实数据去校准虚拟物理仿真器”。

发布于 上海