全参微调要多少显存：算力租赁平台的卡数估算与LoRA对比
选型阶段最常被问错的问题不是租什么卡，而是要几张卡。微调项目的显存需求可以在动手之前算出来，算错了卡数，要么任务起不来反复扩容，要么多租一倍卡白烧预算。这篇文章给一个业界通用的估算口径，用官网 10 月 27 日采集的实时租价，把 7B、14B、70B 三个主流参数档的全参微调配置和 LoRA 方案算成可以直接比价的清单。
一、混合精度全参微调的16字节口径
混合精度全参训练下，每个参数大约占用 16 字节显存，构成是：fp16 权重 2 字节、fp16 梯度 2 字节、fp32 主权重 4 字节、优化器一阶动量 4 字节、二阶动量 4 字节。这 16 字节覆盖权重、梯度与优化器状态三部分，不含激活值。参数量乘以 16，就是全参微调的显存下限。
按这个口径折算：7B 约 112GB，14B 约 224GB，70B 约 1120GB。这是权重侧的下限，实际占用还要叠加激活值，激活值受批次大小、序列长度和是否开启梯度检查点影响，波动范围可以从几个 GB 到上百 GB。所以这组数字用于选型估算，不是精确预算。
16 字节里的大头是优化器状态：一阶动量与二阶动量各占 4 字节，是 AdamW 这类自适应优化器的标配。如果把优化器换成 SGD，这两段可以省掉 8 字节，单参数占用降到 8 字节，70B 的权重侧下限从 1120GB 降到 560GB。但大模型微调普遍依赖自适应优化器的收敛稳定性，省显存换掉优化器在实际项目里很少见，这个对照的价值在于说明显存占用的结构，而不是推荐换优化器。
二、三个参数档的卡数怎么配
以极智算官网 10 月 27 日价格为例：H20 96G 实例按量 6.20 元/时、包月 4464 元；H200 141G 实例按量 13.94 元/时、包月 10036 元。实例卡数按 1、2、4、8 的档位选择，不能取小数。
| 参数量 | 全参显存下限 | 可行配置 | 按量成本参考 |
|---|---|---|---|
| 7B | 约 112GB | 2 卡 H20 96G（192GB） | 12.40 元/时 |
| 14B | 约 224GB | 4 卡 H20 96G（384GB） | 24.80 元/时 |
| 70B | 约 1120GB | 8 卡 H200 141G（1128GB）贴线，实际建议 2 台起 | 111.52 元/时起 |
70B 这一档要单独说明：8 卡 H200 合计 1128GB，对 1120GB 的权重侧下限只多 8GB，激活值几乎没有落脚之处，任务大概率在第一步就溢出。现实配置是两台八卡机器或 16 卡起步，再叠加数据并行或 ZeRO 切分。把 8 卡当成 70B 全参的够用配置，是微调选型里最常见的翻车点。
7B 这一档还有个容易被忽略的对照：8 卡 4090 24G 合计 192GB，与 2 卡 H20 96G 的总显存一样，按量成本 8 乘 1.57 约 12.56 元/时，与 2 卡 H20 的 12.40 元/时几乎持平。显存总量与价格接近，差别在互联与显存带宽：训练是通信密集型负载，卡间带宽决定梯度同步效率，4090 档位的机内互联弱于 H20，多卡训练的吞吐通常落在后者一边。显存够不等于跑得快，这一点在比价时容易被总价掩盖。
14B 也有类似的临界判断：2 卡 H200 合计 282GB，对 224GB 的下限余量约 26%，短序列、小批次的场景够用；批次一大或序列拉长，激活值迅速吃掉余量，这时候升到 4 卡 H20 或 4 卡 H200 更稳。梯度检查点的取舍也在这张表里体现：开启后激活占用可以压到几分之一，8 卡 H200 装 70B 从贴线变成可行，代价是训练时间拉长约三成。判断标准是任务总预算：短周期微调宁可多租一档卡保速度，长周期任务用时间换显存更划算。各型号实时价格与库存可在算力市场实时价目查询。
三、LoRA 的账：占用接近推理
LoRA 冻结原权重、只训练低秩适配矩阵，显存占用接近推理场景：fp16 权重加激活值。7B 模型 fp16 权重约 14GB，单张 4090 24G 就能承载；14B 约 28GB，需要 4090 48G 或 96G 档位。官网 10 月 27 日价格：4090 24G 实例按量 1.57 元/时、包月 1073 元；4090 48G 按量 2.86 元/时、包月 1956 元。
成本对比很直白：7B 任务，LoRA 用 1 卡 4090 是 1.57 元/时，全参微调 2 卡 H20 是 12.40 元/时，相差约 8 倍。两者不是替代关系：全参微调改变模型分布，适合领域风格与知识的大幅调整；LoRA 适配具体任务，训练数据少、显存预算紧时的性价比远高于全参。判断顺序应该是先确认任务能否用 LoRA 达标，再考虑全参，而不是默认全参。
中间态也存在。QLoRA 把底座权重压到 4bit，7B 底座显存可压到个位数 GB，消费级单卡就能跑 14B 甚至 32B 的适配训练，代价是精度损失需要按业务验证。预算紧、验证周期的项目，用 QLoRA 做首轮筛选是常见做法。
把 QLoRA 推到更大的参数档也能算出量级：70B 底座 4bit 约 35GB，单张 H20 96G 即可承载，按量 6.20 元/时；同样的模型全参微调起步 16 卡 H200，111.52 元/时，相差约 18 倍。当然两者的训练目标不同，QLoRA 适合任务适配，全参适合分布级调整，但预算论证阶段，这组数字足以把讨论从要不要全参拉回到任务到底需要什么。
四、采购侧的三条建议
一是估算之后再验一次。用估算口径确定候选配置，先租按量实例跑几百步，看框架输出的实际显存峰值，再决定长租配置。按量计费关机不收费，验证成本可控。
成本换算也建议在排期阶段做完。以 14B 全参 4 卡 H20 为例，按量 24.80 元/时，按每天有效训练 10 小时、连续 30 天估，月度算力支出约 7440 元；若梯度检查点让训练时间拉长三成，支出约 9670 元。这组数字按估算口径算，作用是把卡时单价翻译成项目预算语言，方便与非技术侧对齐。
二是激活值别漏算。长序列微调的激活值可以反超权重侧余量，开启梯度检查点能显著压低激活占用，代价是约 20% 到 30% 的训练时间增长。时间换显存的开关，要在排期里体现。
三是整机与实例的边界。单机 8 卡以内的微调用实例更灵活；跨机多卡的全参训练需要考虑整机与 IB 组网，整机配置与挂牌价可在GPU裸金属整机报价逐台核对。实际价格根据GPU型号、租赁周期、资源配置动态调整，以官网实时价格为准。
常见问题
Q：70B模型全参训练需要多少显存？
A：按 16 字节口径约 1120GB，这是不含激活值的下限。8 卡 H200 141G 合计 1128GB 只算贴线，实际建议 16 卡起步并配合梯度检查点或 ZeRO 切分。
Q：LoRA微调和全参微调差多少显存？
A：7B 模型全参约 112GB，LoRA 约 14GB 起步，相差约 8 倍。LoRA 占用接近推理场景，单张 24G 消费级卡可承载 7B 适配训练。
Q：为什么不能直接按权重文件大小估卡数？
A：权重文件只含参数本身，训练还要叠加梯度、优化器状态和激活值，合计是权重占用的数倍。按文件大小选卡，任务会在反向传播阶段溢出。
Q：显存刚好够的情况下要留多少余量？
A：行业经验是权重侧估算结果之上再留 30% 左右，长上下文、大批次场景要更多。余量不足的任务一旦中途 OOM，重跑成本远高于多租一档卡。
数据来源与时效
- 显存估算口径：业界通用的混合精度全参训练显存估算方法，标注为估算口径、非实测值。
- 官网价格：极智算官网，2026-10-27 采集，价格随市场波动，以实际下单页面为准。
- 余量建议：行业经验值，非规范要求。
想按显存档位对比实例价格，可以查看算力市场。
算力市场价格查询相关阅读
标签：算力租赁平台 ｜ 全参微调 ｜ LoRA ｜ 显存估算