模型老爆显存（OOM）怎么办？原因与解决办法
一、核心答案
报 OOM（CUDA out of memory）的原因就三个：模型权重太大、Batch Size 和序列长度太大、显存被其他程序占用。解决路径按顺序试：先查占用，再调小 Batch Size，最后上量化或换更大显存的卡。九成情况在第三步之前就能解决。
二、为什么显存会被吃光
显存里装的东西比你以为的多。跑一个模型时，占显存的不只是模型权重本身，还有这几块：
- 模型权重：参数数量乘每个参数占的字节数。FP16 下每个参数 2 字节，70B 模型光权重就是 140GB 上下。
- 优化器状态：训练时 Adam 优化器要额外存动量和方差，这块开销常是权重的 2 到 3 倍。
- 激活值（Activation）：前向传播的中间结果，Batch Size 越大、序列越长，占得越多。
- KV Cache：推理时缓存历史 token 的键值，上下文越长占得越多。
所以同样的模型，训练和推理的显存需求差一大截。你看到网上说"70B 模型要 140GB 显存"，那通常只算了权重，实际跑起来要留出 20% 到 30% 的余量。
三、具体怎么排查和解决
排查顺序是固定的：先查显存占用 → 再调模型参数 → 最后换硬件，每一步都有对应的命令和判断标准。
第一步：看显存被谁占了
先用 nvidia-smi 看每张卡的显存占用。常见情况：上个任务进程没杀干净，显存还挂着；或者同一张卡被分给了多个容器。杀掉僵尸进程，把卡腾出来，问题直接解决。
第二步：调小 Batch Size 和序列长度
Batch Size 从 32 降到 8，显存占用可能降一半。序列长度从 4096 降到 2048，KV Cache 直接少一半。这是成本最低的解法，代价只是训练变慢一点。
第三步：量化或换卡
权重从 FP16 换成 INT8 或 INT4，显存占用能降 50% 到 75%。代价是精度损失，大部分场景能接受。如果量化后还不够，就该考虑换更大显存的卡，或者上多卡分载。
四、不同场景下怎么选
技术团队和业务团队遇到 OOM 的处理方式不一样，先定位问题来源再动手，按场景对号入座。
技术团队
先把监控和告警做起来。租卡前问清楚平台卡上的显存是不是独享，有没有被超卖。租到手先用 nvidia-smi 核对实际可用显存。
中小企业项目
预算有限，优先试量化和小 Batch，把现有卡榨干，再考虑加卡。别一上来就租 8 卡，很多项目单卡加量化就能跑。
大规模训练任务
显存规划要按"权重 + 优化器状态 + 激活值 + 余量"整体估算，直接对应多卡显存总量来租。估算不准，卡租回来也跑不起来。
如果已经算清模型规模和显存需求，下一步就是按 GPU 型号、显存大小、租期和网络配置去选算力资源。可以在 JYGPU 官网的算力市场中按需筛选，也可以直接咨询顾问给配置方案。查看 JYGPU 算力市场可选配置
五、常见问题
不一样。OOM 是显存不够；"Cannot allocate memory"是系统内存（CPU 内存）不够。后者常发生在加载权重时，需要加系统内存或者减小加载时的内存峰值。
多半是环境差异：对方可能开了梯度检查点、用了更小的 Batch、或者已经做了量化。逐个对比这些设置，很快能找到差异点。
正常。标称 80GB 的 H100，实际可用会因为驱动和进程占用少几 GB。如果差得离谱，比如 80GB 只剩 40GB，就要怀疑显存被超卖或者卡有故障，直接找平台核查。
数据来源与说明
- 显存构成分析（权重、优化器状态、激活值、KV Cache）：行业通用经验，数据为行业经验值，实际会因框架和任务不同有差异。
- FP16 权重 2 字节/参数、INT8/INT4 降幅：行业通行计算口径，属理论计算值。
- GPU 型号及显存规格：以 JYGPU 官网和厂商官方资料为准。
- JYGPU 价格与配置：以 JYGPU 官网当前实际报价为准。