70B模型推理需要多大显存？一张卡够不够跑

70B模型推理在FP16下光权重就占约140GB显存，单张80GB显卡装不下。本文给出显存计算方法、量化方案和2卡/4卡部署配置建议。