梁斌penny
26-08-12 16:36 微博认证:知名互联网博主 2025微博年度新知博主

我隐隐感觉,现在模型往大了做,是一个类似美国当年星球大战计划一样的东西,逼迫各家搞军备竞赛,而且蒸馏一个10T参数的大模型,比蒸馏一个1T参数大模型的难度提高10倍不止,以后越搞越大,根本蒸不了,想贴上去都贴不上去。。

除此之外,这种超大参数的模型,就是赌我们这边算力跟不上,太坏了。我们这边也不甘示弱,不跟也是不行的,我这边已经汇总了好多小道消息,不管从数据层面,还是算力层面都要大干一场,比如据说美国数据公司开始大规模卖数据给中国公司,让中国大模型跟住,其背后的东西真实十分值得思考,我也不好太过展开。

这也许是最后的决战,也有可能只是刚刚开始。

发布于 江苏