github.com/Wenyueh/MinivLLM
也是一个对 vLLM（目前最流行的开源 LLM 推理引擎之一）的核心机制进行简单的复现和学习的项目。它保留了 vLLM 的核心思想，但代码库更加精简，便于开发者理解和学习。
之前介绍过类似的项目 nano-vllm http://t.cn/AX4HHTvK ，这个项目就是在nano-vllm的基础上做的，升级提供了Self-contained 的 Paged Attention 和 Flash Attention 实现。