技术博客 预填充与解码：LLM推理优化
地址：outcomeschool.com/blog/prefill-vs-decode-llm-inference-optimization
在本篇博客中，我们将探讨LLM推理的两个阶段——预填充与解码，并说明理解这两个阶段如何帮助我们优化LLM的推理速度。我们还将了解预填充和解码阶段的工作原理、KV缓存如何连接它们、两者的区别及如何根据使用场景选择对应阶段，以及如何针对每个阶段进行优化以提升LLM的运行效率。

我们将涵盖以下内容：

- 什么是LLM推理
- 两个阶段：预填充与解码
- 用通俗语言解释预填充
- 用通俗语言解释解码
- 两个阶段与KV缓存流程示意图
- KV缓存作为连接两个阶段的桥梁
- 逐步解析多个解码步骤
- 预填充与解码对比表格
- 为何这种划分至关重要：计算密集型与内存密集型
- 关键指标：TTFT、TPOT、吞吐量与端到端延迟
- 映射到各阶段的优化技术
- 总结