买 GPU 实例最容易被忽略的是卡以外的部分。H20 141G 这档实例,页面给的配置是 21 核 CPU、125G 内存、60G 系统盘、300G 数据盘,外加 1000Mb 共享带宽。

这组数字放在 141G 显存旁边,比例关系值得算一遍。内存只有显存的 0.89 倍,CPU 核数从接口前一天的 10 核调到 21 核,数据盘给到 300G,是平台同代卡里最大的之一。

配置够不够,取决于跑什么。下面按 CPU、内存、存储、带宽四项拆开核算,每一项都给可复算的算例,最后给配置吃紧时的三条调整路径。

一、配置单原样摆出来

H20 141G 在四川一区,节点 node-n0167。GPU 显存 141GB,CPU 21 核 Xeon Platinum 8468V,内存 125G,系统盘 60G,数据盘 300G,网络 1000Mb 共享带宽。

同为 H20 的 96G 版在成都一区,配置是 24 核 Intel 8468、128G 内存、系统盘 50G、数据盘 50G。两档对比,141G 版 CPU 少 3 核、内存少 3G,但数据盘多 250G。

把进口档也放进来:H100 80G 是 24 核、128G 内存、50G 数据盘;H200 141G 是 24 核、125G 内存、50G 数据盘。四档的内存配置几乎一致,差别集中在显存与数据盘。

档位显存CPU内存系统盘数据盘月价
H20 141G141G21 核125G60G300G8611 元
H20 96G96G24 核128G50G50G4464 元
H100 80G80G24 核128G50G50G9345 元
H200 141G141G24 核125G50G50G10036 元

月价是页面挂牌价,H20 141G 为 92 折后的数,其余三档为未打折的标价,口径不完全一致,做横向比较时要留意。配置差异才是这张表真正要读的部分。678.png

配置单四件套:CPU、内存、存储与GPU的配比关系

二、21核能给多少并发

推理服务的 CPU 负载集中在三处:请求解析与分词、数据预处理、结果拼装与日志。GPU 是主算力,CPU 是喂数据的手。

按行业经验估,一个常规文本请求的预处理开销约 0.3 到 0.5 核的瞬时占用,21 核理论上能同时支撑 40 到 70 个请求的预处理阶段。这个数字必须标注是工程经验,不是规范要求,实际取决于分词实现、序列长度与框架。vLLM 这类框架把调度做在 GPU 侧,CPU 压力会小很多。

真正吃 CPU 的是多模态。图片解码、视频抽帧、音频重采样都跑在 CPU 上,多路并发时 21 核很容易打满。做视频理解的团队,宁可多花一点预算选 CPU 核数更高的整机,也不要在实例上硬扛。

内存与显存的比例还影响批处理。125G 内存对 141G 显存是 0.89 比 1,意味着把显存吃满时,主机侧只剩不到一个显存的余量做中转。做大批量离线推理、需要同时在内存里组装请求时,这个比例会成为隐形上限。

另一个容易踩的点是 tokenizer 的线程数。默认配置常常把线程开满,21 核全被分词吃掉,GPU 反而等数据。上线前把 tokenizer 线程限制在两到四核,把余量留给调度,比加卡更有效。

三、125G内存与300G数据盘怎么配

内存的作用是把权重从磁盘搬到显存。用 mmap 方式加载时,峰值内存占用接近权重体积,125G 内存装不下 70B 模型 FP16 权重(约 140G),需要分片加载或直接从磁盘流式读取。

把三个常见权重的体积列出来,对照就清楚了。7B FP16 约 14G,32B FP16 约 64G,70B FP16 约 140G,70B FP8 约 70G。内存 125G 能一次装下前三者,第四项要分片。

数据盘容量账:300G 可放 70B FP16 权重(140G)加一份 70B FP8 权重(70G),剩 90G 放数据集与日志;50G 盘连 32B FP16(64G)都装不下,必须先裁模型再落盘。

300G 数据盘是这一档相对 96G 版的实质差异。50G 盘要跑 32B 以上模型,只能把权重放在对象存储或共享存储,启动时在线拉取,第一次冷启动的时间会被网络放大。

盘的类型也要看。实例页面没有标注 NVMe 还是 SSD,训练数据加载吃随机读,如果数据集大且碎片多,建议先做一次小规模 IO 测试,再决定是否把数据放本地盘。677.png

开通实例时按镜像、卡数与计费方式三步配置

四、1000Mb带宽搬权重要多久

1000Mb 是共享带宽的标称值,理论下行 125MB 每秒,实际受同节点其他实例占用影响,工程上按三到五折估更稳妥。

按满速算,70B FP16 权重 140G 需要约 1120 秒,也就是 18.7 分钟;按五折算约 37 分钟;按三折算接近 1 小时。32B FP16 的 64G 在满速下约 8.7 分钟。

这笔时间成本只在首次拉取时发生。把权重固化进私有镜像或者放到同区域的对象存储,后续启动可以跳到分钟级。反过来,每开一次新实例都从公网重拉,累计浪费的时间比省下的存储费更贵。

系统盘 60G 这项容易被忽略。深度学习基础镜像动辄 20G 到 30G,装两三个不同版本的框架镜像就能把系统盘占满,容器启动会直接失败。把镜像分层做小、把大依赖放数据盘,是上线前值得花半天做的整理。

对外服务还要算上行。1000Mb 共享带宽是双向共用的,推理返回的 token 流量不大,但如果业务要传图片或视频回调,上行会先紧张。带宽需求超过这个量级的场景,应该直接看整机的独享带宽档位。

五、配置吃紧时的三条调整路径

路径一是换规格。平台提供 1、2、4、8 卡四档,显存不够时加卡比换大内存更直接,因为显存才是大模型推理的硬约束。8 卡 141G 合计 1128G 显存,绝大多数开源模型都装得下。

路径二是换形态。实例的 CPU 与内存是按卡配比的,整机可以按需选配。H20 141G 八卡整机给到 2 颗 Intel 8563C、52 逻辑核与 2048G 内存,内存是实例的 16 倍,适合数据预处理重的负载。

路径三是调软件。开启分块预填充能显著降低长上下文请求的显存碎片;把 prompt cache 卸载到内存能缓解显存压力,代价是首 token 延迟增加;限制 tokenizer 线程能避免 CPU 抢占。

三条路径的顺序建议是先调软件、再换规格、最后换形态。软件调整零成本,换规格按卡数线性加价,换形态涉及交付周期。

补一个配比视角。21 核对 141G 显存,是每 G 显存配 0.149 个核;96G 版 24 核对 96G 显存,是每 G 配 0.25 个核。核数密度反而低于 96G 版,说明这档不是按卡数堆 CPU,而是把预算放在显存上。做纯 GPU 推理时这个配比合理,做 CPU 侧重的数据工程时要另想办法。

当日各档位的配置与余量,H20 实例配置与余卡在算力市场页面可以逐项核对。

常见问题

Q:H20 实例配置单怎么看?

A:先看显存定模型上限,再看内存与显存的比例定加载方式,然后看数据盘能否放下权重,最后看带宽决定首次拉取耗时。四项里任何一项成为瓶颈,其他项再高也发挥不出来。

Q:21 核能给多少并发?

A:按行业经验,常规文本请求每个占用 0.3 到 0.5 核预处理开销,21 核大致对应 40 到 70 个并发请求的预处理能力。该数字为工程估算,非实测,实际受框架、序列长度与分词实现影响。

Q:125G 内存跑 70B 模型够吗?

A:FP8 权重约 70G,够用且有余量;FP16 权重约 140G,超过内存容量,需要分片加载或流式读取。显存侧 141G 装 FP16 权重同样吃紧,70B 级建议优先用 FP8。

Q:300G 数据盘能放几个模型?

A:按 FP16 体积算,7B 约 14G、32B 约 64G、70B 约 140G。300G 可以放一个 70B 加一个 70B FP8 版本,或放四个 32B 模型。具体以实际权重文件大小为准。

数据来源与时效:四档实例的配置、价格与余卡取自极智算官网算力市场页面与行情接口 2026-11-11 抓取;权重体积按参数量乘每参数字节数估算(FP16 为 2 字节、FP8 为 1 字节),属通用估算口径,非实测值;带宽折损与 CPU 并发系数为工程经验估值,文中已标注。价格随市场波动,以实际下单页面为准。

核对实例配置与当日价格

进入算力市场

相关阅读:

标签:算力租赁平台|H20实例配置单|21核并发|H20 141G配置|GPU实例内存