曹俊IHEP
26-02-24 12:03 微博认证:中国科学院高能物理研究所 研究员曹俊 科学科普博主

Taalas直接将Llama 3.1 8B大模型的权重刻录到芯片上,推理速度可达16960 TPS,约为英伟达B200的48倍。通过30芯片的配置实现了DeepSeek-R1的推理运行,速度可达12000 TPS。Taalas开发了一个平台,可将任何AI模型转化为定制芯片。接受一个全新的模型后,只需要2个月就能实现定制硬件,运行速度比通用GPU快1个数量级,且成本、功耗更低。(wccftech.com,环球科学)

发布于 北京