大模型推理为什么需要大量显存？KV Cache占用怎么算

大模型推理占显存分两块：模型权重（固定）和KV Cache（随并发和上下文增长）。KV Cache是并发高时显存爆掉的主因。本文给出KV Cache计算公式和推理显存规划方法。