大模型推理与CUDA无关

#人工智涨ultra的行业观察#

现代大模型推理，本来就不依赖CUDA……

所以什么昇腾绕开CUDA是扯几把蛋的哈……

推理就那几个算子，靠的是工程师的水平……

高性能算子也要结合硬件架构，和是不是CUDA没有关系……

英伟达的推理框架也不是CUDA，是TRT……

网上吹成啥了……

发布于广东