《开源模型：庶民的胜利》

2026年了，我怎么感觉闭源大模型对大多数应用快没有技术壁垒了。因为闭源或开源大模型可以被蒸馏。我找到10万个好prompt。每个prompt都去query大模型30次，在30个response中选出最好的一个。这样我就得到了一个10万样本的SFT数据集。

有了SFT数据集和恰当的optimization方法，开源和闭源模型能力在大多数任务上持平是早晚的事情。
SFT数据集的规模只要足够大，并且优化方法恰当，潜力是惊人的。
另外，我感觉现在很多论文里的RL方法，本质上就是SFT。二者都是为了算出更好的梯度，无需太复杂。只要数据量足够大，未来的通用方法会更简单。

最近Minimax和Kimi登上OpenRouter榜首已经说明了对大多数应用，模型质量不需要非得世界第一，开源模型质量已经够了。

归根到底，大多数token消耗都是来自像我这样庶民的应用。