这篇文章介绍了如何在@OrangePi_香橙派这种类似树莓派的机器上运行GPU 加速的LLM，跑Llama2-7b速度可以到 2.5 tok/sec ，或者1.5tok/sec 来跑 Llama-2 13b http://t.cn/A60d8wBI

这篇文章介绍了如何在@OrangePi_香橙派这种类似树莓派的机器上运行GPU 加速的LLM，跑Llama2-7b速度可以到 2.5 tok/sec ，或者1.5tok/sec 来跑 Llama-2 13b
http://t.cn/A60d8wBI

发布于山东