直接给答案：微调7B模型，LoRA方案一张24G显存的卡（如4090）就能跑；13B LoRA建议32G以上；70B LoRA需要两张80G卡或单张80G卡跑QLoRA。全参微调的需求要再翻几倍，7B全参最少也要约60GB显存。下面把三种方式的账算清楚。

文章9配图.png

一、核心答案

模型规模LoRA微调QLoRA（4bit）全参微调
7B约16～24GB，1张24G卡约8～12GB，消费级显卡可跑约60～80GB，1张80G或2张40G
13B约24～32GB，建议32G以上约14～18GB约120～160GB，2张80G
70B约160～180GB，2张80G卡约45～60GB，1张80G卡约560～700GB，8张80G起步
注：以上为理论计算值，实际显存还会受序列长度、batch size、梯度累积等设置影响。

二、为什么微调比推理吃显存

推理只要放权重；训练还要额外放三样东西：

  • 梯度：每个参数的反向传播梯度，大小和权重相当（FP16下再占一份权重显存）。
  • 优化器状态：Adam优化器每个参数要存一阶、二阶动量，FP32下约是权重的6～12倍开销。
  • 激活值：前向过程保存的中间结果，序列越长占得越多。

LoRA的做法是不动原权重，只训练注入的一小部分低秩参数（通常不到1%），所以梯度和优化器状态几乎可以忽略，这也是LoRA能大幅省显存的原因。

三、具体怎么算、怎么选

全参微调显存的经验估算：

显存 ≈ 权重（FP16）× 1 + 梯度 × 1 + 优化器状态（Adam，FP32）× 约4 + 激活值。
7B模型：14GB权重 + 14GB梯度 + 约28GB优化器 ≈ 56GB，加激活值后约60～80GB。

选卡建议：

  • 学生、个人开发者：7B QLoRA，一张24G卡甚至16G卡都行，主打低成本上手。
  • 中小企业微调7B～13B：1～2张24G或1张48G（如A6000）卡，跑LoRA足够。
  • 企业微调70B：2张80G卡起步（H100/A100），或用QLoRA在单张80G卡上完成。

四、不同场景怎么选

场景A：电商/客服垂直领域微调7B～13B模型——LoRA + 1张4090或A6000即可，成本低、迭代快，改数据重跑成本也低。

场景B：企业级70B模型行业微调——2张H100或A100跑LoRA，重视稳定性选裸金属整机，避免共享云GPU的资源波动。

场景C：从零训练/深度改造——直接按全参微调配8卡H100集群，这时候别用消费级卡凑数。

微调任务对显存和算力连续性要求高，可以在 JYGPU 选择4090、H100等云GPU或裸金属整机，按小时或按月开通即可开始训练。

五、常见问题

1. 24G显存能微调7B模型吗？

能。7B LoRA约16～24GB，24G卡可以跑，但batch和序列长度要控制；跑QLoRA更宽裕。

2. 微调13B模型需要多大显存？

LoRA约24～32GB，建议32G以上显卡；QLoRA约14～18GB；全参微调要120GB以上。

3. LoRA和QLoRA的区别是什么？

LoRA冻结原权重、只训练低秩参数，省显存；QLoRA在此基础上把原权重量化为4bit加载，进一步省显存，代价是精度略降。

4. 微调比推理贵很多吗？

同模型下微调显存需求是推理的2～4倍，卡数要求更高，因此成本明显更高。可以先LoRA验证效果再决定是否上全参。

六、相关阅读

数据来源与说明

  • 显存估算为理论计算值，基于FP16权重+梯度+Adam优化器+激活值的通用公式。
  • LoRA/QLoRA参数开销为行业通用经验值。