算力租赁平台H20实例配置单拆解:21核125G内存300G盘够不够
买 GPU 实例最容易被忽略的是卡以外的部分。H20 141G 这档实例,页面给的配置是 21 核 CPU、125G 内存、60G 系统盘、300G 数据盘,外加 1000Mb 共享带宽。
这组数字放在 141G 显存旁边,比例关系值得算一遍。内存只有显存的 0.89 倍,CPU 核数从接口前一天的 10 核调到 21 核,数据盘给到 300G,是平台同代卡里最大的之一。
配置够不够,取决于跑什么。下面按 CPU、内存、存储、带宽四项拆开核算,每一项都给可复算的算例,最后给配置吃紧时的三条调整路径。
一、配置单原样摆出来
H20 141G 在四川一区,节点 node-n0167。GPU 显存 141GB,CPU 21 核 Xeon Platinum 8468V,内存 125G,系统盘 60G,数据盘 300G,网络 1000Mb 共享带宽。
同为 H20 的 96G 版在成都一区,配置是 24 核 Intel 8468、128G 内存、系统盘 50G、数据盘 50G。两档对比,141G 版 CPU 少 3 核、内存少 3G,但数据盘多 250G。
把进口档也放进来:H100 80G 是 24 核、128G 内存、50G 数据盘;H200 141G 是 24 核、125G 内存、50G 数据盘。四档的内存配置几乎一致,差别集中在显存与数据盘。
| 档位 | 显存 | CPU | 内存 | 系统盘 | 数据盘 | 月价 |
|---|---|---|---|---|---|---|
| H20 141G | 141G | 21 核 | 125G | 60G | 300G | 8611 元 |
| H20 96G | 96G | 24 核 | 128G | 50G | 50G | 4464 元 |
| H100 80G | 80G | 24 核 | 128G | 50G | 50G | 9345 元 |
| H200 141G | 141G | 24 核 | 125G | 50G | 50G | 10036 元 |
月价是页面挂牌价,H20 141G 为 92 折后的数,其余三档为未打折的标价,口径不完全一致,做横向比较时要留意。配置差异才是这张表真正要读的部分。
二、21核能给多少并发
推理服务的 CPU 负载集中在三处:请求解析与分词、数据预处理、结果拼装与日志。GPU 是主算力,CPU 是喂数据的手。
按行业经验估,一个常规文本请求的预处理开销约 0.3 到 0.5 核的瞬时占用,21 核理论上能同时支撑 40 到 70 个请求的预处理阶段。这个数字必须标注是工程经验,不是规范要求,实际取决于分词实现、序列长度与框架。vLLM 这类框架把调度做在 GPU 侧,CPU 压力会小很多。
真正吃 CPU 的是多模态。图片解码、视频抽帧、音频重采样都跑在 CPU 上,多路并发时 21 核很容易打满。做视频理解的团队,宁可多花一点预算选 CPU 核数更高的整机,也不要在实例上硬扛。
内存与显存的比例还影响批处理。125G 内存对 141G 显存是 0.89 比 1,意味着把显存吃满时,主机侧只剩不到一个显存的余量做中转。做大批量离线推理、需要同时在内存里组装请求时,这个比例会成为隐形上限。
另一个容易踩的点是 tokenizer 的线程数。默认配置常常把线程开满,21 核全被分词吃掉,GPU 反而等数据。上线前把 tokenizer 线程限制在两到四核,把余量留给调度,比加卡更有效。
三、125G内存与300G数据盘怎么配
内存的作用是把权重从磁盘搬到显存。用 mmap 方式加载时,峰值内存占用接近权重体积,125G 内存装不下 70B 模型 FP16 权重(约 140G),需要分片加载或直接从磁盘流式读取。
把三个常见权重的体积列出来,对照就清楚了。7B FP16 约 14G,32B FP16 约 64G,70B FP16 约 140G,70B FP8 约 70G。内存 125G 能一次装下前三者,第四项要分片。
300G 数据盘是这一档相对 96G 版的实质差异。50G 盘要跑 32B 以上模型,只能把权重放在对象存储或共享存储,启动时在线拉取,第一次冷启动的时间会被网络放大。
盘的类型也要看。实例页面没有标注 NVMe 还是 SSD,训练数据加载吃随机读,如果数据集大且碎片多,建议先做一次小规模 IO 测试,再决定是否把数据放本地盘。
四、1000Mb带宽搬权重要多久
1000Mb 是共享带宽的标称值,理论下行 125MB 每秒,实际受同节点其他实例占用影响,工程上按三到五折估更稳妥。
按满速算,70B FP16 权重 140G 需要约 1120 秒,也就是 18.7 分钟;按五折算约 37 分钟;按三折算接近 1 小时。32B FP16 的 64G 在满速下约 8.7 分钟。
这笔时间成本只在首次拉取时发生。把权重固化进私有镜像或者放到同区域的对象存储,后续启动可以跳到分钟级。反过来,每开一次新实例都从公网重拉,累计浪费的时间比省下的存储费更贵。
系统盘 60G 这项容易被忽略。深度学习基础镜像动辄 20G 到 30G,装两三个不同版本的框架镜像就能把系统盘占满,容器启动会直接失败。把镜像分层做小、把大依赖放数据盘,是上线前值得花半天做的整理。
对外服务还要算上行。1000Mb 共享带宽是双向共用的,推理返回的 token 流量不大,但如果业务要传图片或视频回调,上行会先紧张。带宽需求超过这个量级的场景,应该直接看整机的独享带宽档位。
五、配置吃紧时的三条调整路径
路径一是换规格。平台提供 1、2、4、8 卡四档,显存不够时加卡比换大内存更直接,因为显存才是大模型推理的硬约束。8 卡 141G 合计 1128G 显存,绝大多数开源模型都装得下。
路径二是换形态。实例的 CPU 与内存是按卡配比的,整机可以按需选配。H20 141G 八卡整机给到 2 颗 Intel 8563C、52 逻辑核与 2048G 内存,内存是实例的 16 倍,适合数据预处理重的负载。
路径三是调软件。开启分块预填充能显著降低长上下文请求的显存碎片;把 prompt cache 卸载到内存能缓解显存压力,代价是首 token 延迟增加;限制 tokenizer 线程能避免 CPU 抢占。
三条路径的顺序建议是先调软件、再换规格、最后换形态。软件调整零成本,换规格按卡数线性加价,换形态涉及交付周期。
补一个配比视角。21 核对 141G 显存,是每 G 显存配 0.149 个核;96G 版 24 核对 96G 显存,是每 G 配 0.25 个核。核数密度反而低于 96G 版,说明这档不是按卡数堆 CPU,而是把预算放在显存上。做纯 GPU 推理时这个配比合理,做 CPU 侧重的数据工程时要另想办法。
当日各档位的配置与余量,H20 实例配置与余卡在算力市场页面可以逐项核对。
常见问题
Q:H20 实例配置单怎么看?
A:先看显存定模型上限,再看内存与显存的比例定加载方式,然后看数据盘能否放下权重,最后看带宽决定首次拉取耗时。四项里任何一项成为瓶颈,其他项再高也发挥不出来。
Q:21 核能给多少并发?
A:按行业经验,常规文本请求每个占用 0.3 到 0.5 核预处理开销,21 核大致对应 40 到 70 个并发请求的预处理能力。该数字为工程估算,非实测,实际受框架、序列长度与分词实现影响。
Q:125G 内存跑 70B 模型够吗?
A:FP8 权重约 70G,够用且有余量;FP16 权重约 140G,超过内存容量,需要分片加载或流式读取。显存侧 141G 装 FP16 权重同样吃紧,70B 级建议优先用 FP8。
Q:300G 数据盘能放几个模型?
A:按 FP16 体积算,7B 约 14G、32B 约 64G、70B 约 140G。300G 可以放一个 70B 加一个 70B FP8 版本,或放四个 32B 模型。具体以实际权重文件大小为准。
核对实例配置与当日价格
进入算力市场相关阅读:
标签:算力租赁平台|H20实例配置单|21核并发|H20 141G配置|GPU实例内存