蒸馏操作早就不是什么秘密。只是这一次千问搞了把大的,动用了几万个账号,一下子把anthropic给抽得有点破防了。
蒸馏算不算知识剽窃?针对这个问题的思考过程肯定很有意思。因为在没有AI之间互相学习互相蒸馏之前,人类之间的学习或者说蒸馏是什么样的?那不就是师生之间一个问出好的问题另一个给出好的答案或引导,如此往复一段时间,学生就出师了。而AI间的蒸馏过程,何尝不是这种学习过程的极致压缩。
其实无论中美,除了少数那一两个模型,大部分AI都在玩蒸馏的。因为从AI的投入产出比上讲,蒸馏是效率导向的必然选择。尤其是对后进者来说,想追平先进者的差距,要么花同样的几个亿美元一次的训练费和大几个月的时间老老实实一轮一轮的去训练,要么花几百万美元词元使用费和一个多月就能达到和对面几乎一样的水平,你会选哪个?答案就在问题里了。
那这样下去,会不会所有的模型都去搞蒸馏,然后一群臭棋篓子互相刷题越刷越臭?这倒也不必担心。首先对面的anthropic和openai应该还不至于,因为对面现在被逼到必须在AI上与我们拉开差距的境地,如果没有AI领域1-2年的领先优势,那么对面关于AI的美丽故事泡沫就无法维持,别说七姐妹,就是纳斯达克100也得脸着地。而本岸这边,至少Deepseek的路线是不蒸馏的,因为需要在上下游自有的生态上建立一套完全自主的模型。所以其实不但美国的顶级模型在被蒸馏,中国的顶级自创模型也是被对面蒸馏的对象。
最后就是对面最顶尖模型宣布不开放了,会不会影响这边的进度?会不会影响进度不知道,但是如果不开放的话,那么业界对模型的评价也就变成各说各话了。今天模型A说自己最厉害,明天模型B说自己比模型A强100倍。怎么证明?无法证明。
说到底,大国间AI的竞争,跟以往所有尖端科技的竞争一样,你还真别管模型是怎么来的,关键是谁能持续的高效演进螺旋上升。我国从无到有搞定两弹一星,这事本身就是民族视角的一切正义和道德的至高点,你管我是算盘打出来的人肉搓出来的还是钱师傅脑子里带回来的。玩到现在,业界传闻只有我们有能炸响的氢弹了,谁给评评理?什么文字语言道理能比拥有炸响氢弹的能力更有道理?
所以与其指责对手竞争手段不正当,不如琢磨下对手下一步要干什么,自己有没有应对的招法。
发布于 浙江
