OPENAI搞出了自己的专用芯片,Jalapeño墨西哥辣椒,和谷歌TPU一样,主要服务于自己的模型推理。
模型厂搞芯片的一个优势,就是根据自家模型的使用特点,设计专用的芯片,强化该强化的功能,裁剪没必要的冗余功能,以此提高芯片效率,降低使用成本。
这个芯片从开干,到首次流片,只用了9个月,而以前需要18-24个月,因为用了AI的辅助设计,将芯片设计流片的周期大大缩减了,算是AI提高生产力的一个例子。
未来模型大厂的竞争,不仅要模型厉害,还要比拼硬件。因为模型的推理成本实在太高,根据自己的使用特点设计ASIC专用化的芯片,能有效降低使用成本。而成本在竞争中,也越来越重要。
所以,字节也在搞自己的推理芯片。
发布于 四川
