英伟达AI项目的资深研究科学家Jim Fan,对这个新的缩放定律有个评论。他说,o1 印证了萨顿当年在《苦涩的教训》这篇文章里说的:只有两个技术可以在计算上无限地缩放,那就是「学习」和「搜索」。
学习学的是知识,搜索搜的是办法。
为什么学习和搜索是可缩放的呢?
学习,不管是深度学习神经网络、Transformer,还是强化学习,都是可积累的:见过的素材和局面越多,能力就越强。学过数学不耽误再学物理和生物,那些知识之间不会互相抵消,越多越好。
搜索,从计算的角度来说在空间上尽可能多地考虑一些可能性,在深度上对每个可能性做尽量详尽的场景模拟,合起来就是系统2思维。只要题目足够复杂,你想的时间越长,就会越接近最好的答案。
学习是积累已知,搜索是寻找未知;学习是平日功夫,搜索是事上发挥。这两件事儿都是可缩放的,投入越多收获就越大,而且都需要亲身参与而不能委托他人。
很多人把自己苟在了不可缩放的低上限项目之中。智商就是个不可缩放的天赋值。奥数,就是个低上限项目。人设,也是不可缩放的。范围窄、套路固定的工作都是不可缩放的。极度专业化的技能虽然需要学习和试错才能练成,但是练成之后如果没有更高的成长空间,缩放性也很低。按理说“网红”是个非常可缩放的职业,因为你的粉丝越多就越有可能带来更多的粉丝。但如果没有算力的支持,不能结合对新潮流的学习和新打法的搜索,往往都是昙花一现。
——精英日课6
发布于 美国
