训练GPU租赁怎么配？按模型规模算卡数、显存与成本
最常见的错误是先去问价格，再回头改配置。正确顺序反过来：模型规模决定显存，显存决定卡数，卡数决定互联需求，最后才是钱。
一、核心答案：各级模型的配置对照
| 模型规模 | 训练方式 | 显存需求（理论） | 建议配置 |
|---|---|---|---|
| 0.5B 到 3B | 全参数微调 | 约 8 到 48GB | 单卡 4090 或 2 卡 |
| 7B | LoRA / QLoRA | 约 20 到 40GB | 单卡 4090（量化）或 2 卡 |
| 7B | 全参数微调 | 约 112GB 以上 | 8 卡 4090 配 ZeRO，或 2 张 80GB 卡 |
| 13B 到 14B | LoRA | 约 40 到 80GB | 2 到 4 张 4090，或 1 张 80GB 卡 |
| 13B 到 14B | 全参数微调 | 约 220GB 以上 | 4 张以上 80GB 卡 |
| 30B | LoRA | 约 90 到 180GB | 4 到 8 张 80GB 卡 |
| 70B | LoRA / 全参数 | 约 200GB 到 1.4TB | 8 卡以上专业卡集群 + IB 互联 |
注：以上为理论计算值与行业经验区间，实际显存占用受框架、并行策略、batch size、序列长度、是否开启梯度检查点影响，偏差可能超过 30%。
二、显存被谁吃掉了
混合精度训练下，每个参数大约占 16 到 20 字节：
| 组成 | 每参数字节 | 说明 |
|---|---|---|
| FP16 权重 | 2 | 前向计算用的参数副本 |
| 梯度 | 2 | 反向传播产生的梯度 |
| Adam 优化器状态 | 8 | 一阶与二阶动量，各 4 字节 |
| FP32 主权重 | 4 | 参数更新时使用的高精度副本 |
| 激活值 | 视情况 | 与 batch size、序列长度成正比，梯度检查点可显著降低 |
注：上述构成与字节数为理论计算值，实际实现因框架与优化策略不同存在差异。
把这四项加起来，7B 模型全参数微调约需 112GB 显存，13B 约 220GB。这就是为什么单张 4090（24GB）跑不了 7B 全参数微调，而不是"显卡不够强"。
三、卡数、互联与成本：完整测算示例
显存需求约 20 到 40GB → 选 8 卡 4090 整机（192GB 总显存，留足余量）
JYGPU 官网价格：¥9900/月，折后 ¥7920/月
预计训练 10 天：若按整机月租，实际只用 10 天，可考虑按天租或与平台协商周期
总成本量级：几千元
示例二：7B 模型全参数微调
显存需求约 112GB 以上 → 8 卡 4090 + ZeRO 分片，或 2 张 80GB 卡
8 卡 4090 整机方案：¥7920/月，训练周期约 2 到 3 周
要点：ZeRO 分片会增加通信量，NVLink 与 IB 网卡是必需品
注：以上为理论计算值与价格参照，价格引自 JYGPU 官网 https://www.jygpu.com 公开页面（2026-09-20 查询），具体价格以官网当前实际报价为准。
互联为什么决定扩展效率
单机内 8 卡靠 NVLink，跨机靠 IB 或 RoCE。多机训练的扩展效率随机器数量下降，原因就是通信时间占比上升。行业经验是：8 卡以内单机 NVLink 方案效率较好；跨机训练时，IB 带宽至少 200G 起步，有条件上 400G 或 800G。
注：扩展效率为行业经验值，实际结果受模型结构、并行策略与网络拓扑影响。
四、不同规模项目的配置建议
中小规模项目（单机可解决）
优先 8 卡整机。单机 NVLink 通信开销低，调试简单，成本可控。JYGPU 官网 8 卡 4090 整机折后 ¥7920/月是个合理起点。
大规模项目（多机集群）
重点谈三件事：IB 网络带宽与拓扑、故障恢复机制、断点续训方案。训练跑到一半掉线，恢复成本可能比租金高。
预算敏感型项目
用 LoRA 替代全参数微调，用梯度检查点降显存，用混合精度提吞吐。这三个手段能把显存需求压到原来的三到五分之一，比加卡便宜得多。
周期性训练任务
按天或按周租，训完释放。不要为了"随时能用"签长期月租，闲置的机器也是钱。
常见问题
训练 GPU 租赁需要多少张卡？
看模型和训练方式。7B 做 LoRA 用单卡到 2 卡；7B 全参数微调要 8 卡（24GB）或 2 张 80GB；70B 级别需要 8 卡以上专业卡并配 IB 互联。
LoRA 和全参数微调该怎么选？
数据量小、追求快速上线选 LoRA 或 QLoRA，显存需求能降到三分之一以下；需要改变模型底层能力、数据量足够时选全参数微调。多数企业的落地场景，LoRA 已经够用。
训练显存不够有哪些降显存手段？
按效果排序：换成参数高效微调 → 开启梯度检查点 → 减小 batch size 并累积梯度 → 用 ZeRO 分片 → 上量化训练。前两个改动最小，建议先试。
多机训练扩展效率一般是多少？
没有统一数字，取决于模型、网络和并行策略。做法是先跑 1 机基准，再跑 2 机对比吞吐，算出实际扩展效率，再决定要不要继续扩。低于 70% 就要检查网络瓶颈。
训练任务中断了怎么办？
两个准备要做：一是定期保存 checkpoint 到独立存储（不要只存在训练节点上）；二是选支持断点续训的框架配置。租用前还要确认平台的故障响应时限。
相关阅读
数据来源与说明
- JYGPU 官网 https://www.jygpu.com 公开页面配置与价格（2026-09-20 查询），具体价格以官网当前实际报价为准。
- 训练显存构成与字节数、扩展效率为理论计算值与行业经验值，实际结果受框架、并行策略、batch size 与网络条件影响。