checkpoint要多大存储：算力租赁平台训练任务的数据盘怎么配
训练任务上机前，显存算完卡数、带宽算完组网，还有一笔常被漏掉的账：checkpoint 存在哪、多大、写多快。长周期训练中断难免，断点续训能不能接上，完全取决于这笔账在开跑前算没算。这篇文章把 checkpoint 的体积、写入耗时与恢复时间拆成三段，用官网 10 月 28 日采集的配置与价格，把数据盘配置变成一个可以下判断的清单。
一、checkpoint 体积：比权重文件大得多
训练 checkpoint 不等于权重文件。全参训练的完整断点包含 fp16 权重、fp16 梯度、fp32 主权重与优化器两份动量，按混合精度全参口径合计约每参数 16 字节，与显存的权重侧占用同口径。折算下来：7B 约 112GB，14B 约 224GB，70B 约 1120GB。这是估算口径、非实测值，LoRA 与冻结层训练的断点会小很多，但全参微调与大模型预训练基本按这个量级准备。
还要乘一个滚动系数。断点续训通常保留最近两到三份 checkpoint 以防最新一份损坏，按保留两份算，70B 任务的 checkpoint 存储需求约 2240GB。如果训练流程还带评估产物与日志，再加一成余量。规划存储时按滚动副本算，是这类任务最常被漏算的一步。
二、官网配置对照：谁装得下
| 形态 | 本机数据盘 | 可容纳checkpoint | 价格参考（10-28） |
|---|---|---|---|
| 高端实例（H20/H100/H200等） | 50G | 需依赖共享存储 | H20 6.20 元/时 |
| 4090 48G 实例 | 500G | 7B 全参两份可放 | 2.86 元/时 |
| 4090 24G 整机 | 3.84T×2 SSD | 14B 两份或 7B 多份 | 9200 元/月 |
| A800 80G 整机 | 3.84T×4 NVMe | 70B 两份（2240G）可放 | 39200 元/月 |
| B300 288G 整机 | 3.84T×8 NVMe | 30.72T，多副本宽裕 | 392000 元/月 |
这组对照解释了官网配置单里一个反直觉现象：贵的卡本机盘反而小，便宜的消费级整机盘反而大。高端实例定位集群训练，数据集与 checkpoint 走共享存储，本机盘只放系统与临时文件；消费级整机面向单机任务，数据就地存放。租高端实例跑长周期训练前，先问清共享存储的容量、带宽与计费方式，这是数据盘账里真正的变量。各形态实时价格可在算力市场实时价目查询。
共享存储还有两类隐性项要核。一是并发带宽：多个训练任务同时落盘时，标称带宽被分摊，70B 断点六分钟的写入估算是独占口径，多任务并行要按峰值叠加重算；二是quota粒度：按项目还是按实例分配、超限后是拒绝写入还是自动降速，训练任务对存储的敏感点恰好是写入被拒的那一刻，超限策略比容量数字更值得问清。
介质差异也值得核。整机配置单里数据盘标注 NVMe 或 SSD：NVMe 走 PCIe 直连，随机读快一档；SSD 多为 SATA/SAS 路径。checkpoint 写入是顺序大块写，两类介质差距可控，但恢复时按层加载权重与优化器状态，随机读占比上升，NVMe 的恢复体验明显更好。同型号两种介质的现成样本：H100 80G 整机在宁夏一区是 7.6T×2 SSD、月付 88480 元，吉林一区是 1T×4 NVMe、月付 90400 元。整机配置可在GPU裸金属整机报价逐台核对。
三、写入与恢复的时间账
保存 checkpoint 不是免费的。以 70B 任务为例，单份 1120GB，写入 3.84T×4 NVMe 阵列按约 3GB/s 的行业经验带宽估，落盘约 6 分钟；如果走共享存储且带宽只有 1GB/s，就要约 19 分钟。保存期间训练流水线通常要暂停或降速，保存间隔越密，I/O 开销占比越高。
恢复时间按读取路径算：同一块 NVMe 本机盘上恢复 1120GB 约 6 分钟量级；跨网络从共享存储拉取，按 10GbE 约 1.25GB/s 估需要约 15 分钟，叠加优化器状态校验与数据加载，真实恢复普遍以数十分钟计。行业经验是恢复时间控制在保存间隔的同量级，否则恢复本身成为新的停机成本。
保存间隔的定法由此而来：间隔越短，中断损失越小、I/O 开销越大。常用的折中是固定时间或固定步数保存一份、滚动保留两到三份，具体数值行业经验在每 30 至 60 分钟一档，实际要按任务总时长与中断概率调。一次 8 卡 H20 长任务（按量 6.20×8 约 49.6 元/时）中断两小时再重跑，直接损失约百元量级，但训练排期损失往往远大于租金，这正是值得为 checkpoint 多花钱的原因。
四、配置数据盘的四条建议
一是先算体积再选形态。按 16 字节口径乘参数量、乘滚动副本数，得出的数字决定是实例加共享存储还是整机大容量盘，不要反着来。二是分清本机盘与共享存储的分工：本机盘放热数据与断点，共享存储放数据集与归档，两层带宽分开核。
三是把恢复演练做进排期。正式长跑前用真实 checkpoint 走一次完整恢复，记录从发起到恢复训练的实际分钟数，这个数字要写进应急预案。四是退租前清点存储承诺。任务结束后的 checkpoint 与数据归档去哪、保留多久，要在租约里写清，避免机器释放时发现断点随盘清零。
两个常见误判也值得记录。其一是拿权重文件大小估 checkpoint：fp16 权重只占断点的四分之一，梯度、主权重与优化器动量才是大头，按文件大小配盘的任务会在首次保存时报盘满；其二是混淆训练断点与推理权重：推理侧只需要权重本体，7B 约 14GB 即可服务，两者的存储规划差出一个数量级，混着算会同时高估推理、低估训练。
长周期任务的完整清单可以浓缩成三个数字：checkpoint 单份体积、保存一次的分钟数、恢复一次的分钟数。这三个数字在开跑前都能算出来或实测出来，算清楚了，中断就只是排期问题而不是事故。实际价格根据GPU型号、租赁周期、资源配置动态调整，以官网实时价格为准。
最后补一笔组网账。checkpoint 不只在本机盘与共享存储之间流转：多机训练的断点通常由主节点聚合落盘，跨机拉取走的是机间网络，IB 组网机型（如 H200 141G 带 IB 400G×8）的断点聚合比以太网机型快一个量级。选型时把组网形态与数据盘一起核，迁移与恢复的账才算完整。
常见问题
Q：大模型checkpoint要多大存储空间？
A：全参训练按每参数 16 字节估，7B 约 112GB、14B 约 224GB、70B 约 1120GB，滚动保留两份则翻倍。此为估算口径，不含激活与日志，规划时再加一成余量。
Q：断点续训checkpoint保存间隔怎么定？
A：行业经验在每 30 至 60 分钟一份的档位，按任务总时长与中断概率调整。间隔短损失小但 I/O 开销大，70B 单份 1120GB 的落盘本身就要数分钟起。
Q：为什么高端实例的数据盘反而只有50G？
A：高端实例定位集群训练，数据集与 checkpoint 走共享存储，本机盘只承载系统与临时文件。这不是配置缩水，是定位差异，租用前要核的是共享存储配额与带宽。
Q：NVMe和SSD数据盘对训练差别大吗？
A：写入侧差距可控，恢复侧 NVMe 明显更好，断点加载的随机读占比高。长周期任务优先选 NVMe 数据盘，官网 H100 整机两种介质是现成对照。
数据来源与时效
- checkpoint 体积口径：业界通用的混合精度全参训练显存与存储估算方法，标注为估算口径、非实测值。
- 写入与恢复带宽、保存间隔：行业经验值，非规范要求。
- 官网配置与价格：极智算官网，2026-10-28 采集，价格随市场波动，以实际下单页面为准。
想按数据盘容量筛选训练档位，可以查看算力市场。
算力市场价格查询相关阅读
标签：算力租赁平台 ｜ checkpoint ｜ 断点续训 ｜ 数据盘配置