算力租赁平台长跑稳定性：Xid 报错、ECC 与训练中断的排查路径
短任务跑得通不代表机器没问题。训练任务从几小时拉长到几天，显存错误、链路抖动、温度墙都会陆续出现，而它们出现的时间点往往在深夜。真正决定一个算力方案能不能用的，不是峰值算力，是连续七十二小时不中断的概率。这件事在报价单里看不到，只能自己测、自己留证据。
一、中断的账面成本
算一笔账。八卡 H200 141G 在陕西一区的年付折合月单价是151920元每台，折日均5064元。一个计划72小时的训练任务，在第60小时因单卡报错中断，沉没的租金是2.5天共12660元。任务仍需完成，重跑三天再花15192元。一次中断的直接成本27852元，还不算团队两天的排期损失。
如果这个任务原本有 checkpoint，重跑只需要从最近的存档点续起，损失能压到几小时。所以第一道防线不是换机器，是缩短存档间隔。工程上的经验做法是把存档间隔控制在半小时到两小时之间，具体取值看单次存档耗时占迭代时间的比例，存档太频繁会挤占训练时间。
第二道防线是提前筛掉有问题的卡。单卡故障在集群里不是均匀分布的，往往集中在少数几台机器上。开机器先跑一轮诊断，把有问题的卡在做正式任务前就暴露出来，比在训练中途发现要划算得多。
二、Xid 报错要分级处理
Xid 是 NVIDIA 驱动在内核日志里留下的错误编号，通过 dmesg 或系统日志可以看到。它不是应用层报错，而是驱动从硬件侧读到的状态。同一个 Xid 在不同代际显卡上的触发条件略有差异，具体定义应以 NVIDIA 官方 Xid 文档为准，这里只讲处置分级。
| Xid 编号 | 常见含义 | 处置建议 |
|---|---|---|
| 13 / 31 | 引擎异常、显存页错误 | 先排查应用与驱动版本，可复现则记录上报 |
| 43 | GPU 停止响应 | 立即隔离该卡，导出日志，不再投入任务 |
| 48 / 63 | 双比特 ECC、页退役事件 | 48 立即停机；63 记录并观察是否重复 |
| 62 | 内部控制器挂起 | 断电重启后复测，重复出现即换机 |
| 74 | NVLink 链路错误 | 查链路状态，单条失效会拖慢整机通信 |
| 79 | GPU 掉总线，系统已无该卡 | 必须换机，重装驱动无效 |
分级的关键在两类。Xid 79 与 Xid 48 属于硬件侧不可恢复，继续跑没有意义，越早停机损失越小。Xid 13、Xid 31 这类既可能是硬件也可能是应用触发，要先排除自己的代码与驱动组合，否则容易把责任判反。
在容器实例上，Xid 出现在宿主机日志里，租户侧通常只能看到 GPU 突然不可用。这时要在工单里提供三样东西：出错时间点、当时运行的框架与版本、任务最后的显存与利用率曲线。缺了这三样，供应商只能给通用回复，排查会拖很久。
三、ECC 开不开，要看显存类型
ECC 的作用是纠正显存里的单比特错误，并检出双比特错误。训练场景里它的价值很高：一次未被检出的比特翻转可能悄悄污染权重，让损失曲线出现无法解释的跳变，而你不会收到任何报错。这类静默错误比直接崩溃更难查。
代价分两种。数据中心卡用的 HBM 在设计上带 ECC，容量开销很小，基本可以按标称显存使用。消费级卡用的 GDDR 显存，开启 ECC 后可用显存会减少一部分，具体比例以 nvidia-smi 显示的可用总量为准，不要按标称值做显存规划。所以在 4090 这类卡上跑大模型时，显存账要按开启 ECC 后的数字算。
单比特错误会不会累积成问题，取决于是否被记录。nvidia-smi -q 里的 ECC 错误计数分易失与累计两类，前者反映本次开机以来的情况，后者是卡的生命周期总量。租用时要看的是易失计数：如果一台机器短期内单比特计数持续增长，说明这颗显存颗粒已经有隐患，即使当前没报错也建议换机。
四、从现象到处置的固定路径
一是记录现象。中断时的任务状态、显存占用、GPU 利用率、温度、功耗、时钟，以及内核日志里的 Xid 编号。这些数据在事后复现时几乎无法重建，必须在现场取。
二是判断是硬件还是负载。把同一个任务放到另一台机器上跑同样的步数，如果另一台正常，问题在机器；如果两台都报同样的错，问题在代码、驱动或数据。这一步决定后续所有动作，做错方向会浪费大量时间。
三是查降频原因。nvidia-smi -q -d PERFORMANCE 会列出当前的降频理由，常见的有功耗墙、温度墙与硬件保护。长时间跑在功耗墙附近是正常的，跑在温度墙附近则说明散热条件不足，同一台机器在夏天会比冬天更早触发。
四是隔离。确认有问题的卡先从调度池里摘掉，用 nvidia-smi 的设备屏蔽或容器运行时的卡指定，让后续任务不再落到它上面。裸金属场景下这只能靠自己的调度脚本做，容器实例则由平台侧处理，要确认平台是否真的把卡摘了，而不是简单重启后重新放回池子。
五、租期内的责任要提前划清
稳定性问题在租用模式下会多出一层争议：是硬件故障还是使用不当。常见分歧集中在三处。一是是否超频或改过 BIOS，二是是否因显存不足触发过频繁的重试，三是故障卡是否在报修后被重新投入调度。
采购时可以要求供应商提供三项承诺：故障卡隔离后不再回归同一租户的资源池；单卡硬件故障的更换时限；以及因硬件故障导致任务中断时的计费处理方式。第三项最容易被忽略，但在长任务场景里价值很高。计费口径按卡时还是按台月、故障时长如何扣减，都应该在合同里写死。
自己这一侧也要留证据。每次开通跑一遍诊断并保存输出，长任务开启 checkpoint 与日志落盘，中断时按固定模板记录。这三件事加起来不超过半小时，但决定了后续谈判时有没有依据。各档位实时余量与挂牌价见算力市场价格查询，实际价格根据GPU型号、租赁周期、资源配置动态调整，以官网实时价格为准。
常见问题
Q1：训练中断一定是显卡坏了吗？
不是。显存溢出、数据管道读到损坏样本、NCCL 超时都会让任务中断。区别在于有没有 Xid 记录：有 Xid 通常指向硬件或驱动，没有 Xid 而任务退出，多半是应用侧问题。
Q2：ECC 会明显降低性能吗？
数据中心卡上的 ECC 开销很小，通常不在性能决策的考虑范围。消费级卡开 ECC 后显存容量减少，对性能影响有限，对显存容量规划影响更大。做显存估算时按开启后的可用值算。
Q3：怎么提前发现隐患卡？
三条：跑一轮诊断工具，连续加压实测而非跑一次基准；看易失区 ECC 计数是否在增长；长任务前做一次二十四小时以上的稳定性试跑。三条都过再投正式任务。
Q4：容器实例出问题，我能自己查日志吗？
宿主机日志一般看不到。能提供的是容器内的应用日志与 nvidia-smi 输出，加上出错前后的监控曲线。提交工单时把时间点精确到分钟，能显著缩短定位时间。
数据来源与时效
H200 141G 八卡整机价格取自极智算官网 GPU 裸金属页面，采集日期 2026年10月26日。Xid 编号与含义参照 NVIDIA 官方 Xid 文档的公开说明，具体定义以官方文档与机型代际为准。ECC 容量与错误计数以 nvidia-smi 实际输出为准。文中成本算例为估算口径，不含存储、网络与人力。
按机型核对配置与在架余量
查看算力市场相关阅读
标签
算力租赁平台 Xid报错 ECC显存校验 训练中断 GPU稳定性