推理实例CPU核数怎么选：澜起Q3预增背后，算力租赁平台配比在变化
10月20日晚，澜起科技发布三季报预告：第三季度营收约20.79亿元、同比增长约46.0%，归母净利润12亿至13亿元、同比增长153.6%至174.7%。增长的支点不是GPU，而是DDR5内存接口芯片。公司把原因写得很直白：AI推理及Agent应用发展带动服务器CPU需求，DDR5第三、四、五代RCD芯片出货占比进一步提升。
这份财报是行业负载迁移的一个财务证据：算力需求正在从训练端向推理端与智能体迁移，而推理负载里CPU和内存的角色比训练场景重得多。对租卡的人来说，这意味着选实例时只盯显存不够了，CPU核数与内存配比正在成为新的性价比变量。
一、推理负载为什么吃CPU
训练任务的算力曲线几乎全在GPU上，CPU只负责喂数据。推理不一样，一个请求从进来到返回，中间要过五道CPU密集的工序：tokenize分词、请求调度、多路召回、前后处理、输出拼接。单看每一道都不重，乘上每秒几十上百的并发请求数，CPU时间就成了解析能力的隐形上限。
智能体应用把这个模式放大了。一次Agent调用背后往往是多轮模型请求加外部工具调用，调度逻辑、上下文拼接、结果校验全跑在CPU侧。澜起财报里「AI推理及Agent应用带动服务器CPU需求」这句话，翻译到机柜里就是：CPU的插槽与内存通道在扩容。
落到租赁场景，判断依据很具体：如果部署的是批量离线推理，GPU利用率是主要瓶颈，CPU够用就行；如果是在线服务，并发请求的tokenizer与调度会先撞CPU天花板，表现为GPU利用率忽高忽低、请求排队延迟抖动。出现后一种症状时，加核比加卡便宜得多。
每GB显存对应核数 = 实例CPU核数 ÷ 显存容量，衡量CPU资源相对加速卡的充裕度。
内存显存比 = 实例内存总量 ÷ 显存总量，衡量数据在CPU侧的缓存空间。
两个指标没有统一最优值，但同型号实例之间可以直接比大小，差异大的要查原因。
二、官网实例的配比对照
把极智算官网10月21日在架的容器实例按两个指标排一遍，差异一目了然。价格均为按量计费口径，月付价供参考。
| 机型 | 按量价 | CPU/内存 | 每GB显存核数 | 内存显存比 |
|---|---|---|---|---|
| 3090 24G | ¥1.45/时 | 16核/64G | 0.67 | 2.67 |
| 4090 24G | ¥1.57/时 | 15核/60G | 0.63 | 2.50 |
| 4090 48G | ¥2.86/时 | 15核/96G | 0.31 | 2.00 |
| 910B 64G | ¥3.58/时 | 21核/200G | 0.33 | 3.13 |
| H20 96G | ¥6.20/时 | 24核/128G | 0.25 | 1.33 |
| A800 80G | ¥7.15/时 | 12核/64G | 0.15 | 0.80 |
| H100 80G | ¥12.98/时 | 24核/128G | 0.30 | 1.60 |
| H200 141G | ¥13.94/时 | 24核/125G | 0.17 | 0.89 |
表里有两个反直觉的位置。一是A800 80G，每GB显存只有0.15核、内存显存比0.8，在八个机型里排末位。如果拿它跑高并发的在线推理，CPU很可能先于GPU饱和。二是910B 64G，每GB显存0.33核、内存显存比3.13，CPU与内存资源在表里最宽裕，跑tokenizer密集的Agent负载反而是表内的优选项。
消费级卡另一个规律也值得留意：3090与4090 24G的每GB显存核数在0.6以上，明显高过高端卡。这不是配置倾斜，而是定位差异：单机推理场景数据就地处理，CPU与内存配得足；高端卡面向集群训练，数据走共享存储，本地CPU按需精简。选型时按自己的负载形态对号入座，比按卡价排序更有效。需要核对在架节点，可以查算力市场实时报价。
三、内存带宽怎么影响推理租卡
内存带宽对推理的影响走两条路。一条是模型加载：启动实例时权重从存储加载到显存，中间要经过CPU与内存，内存通道数少、频率低的节点，冷启动时间会明显拉长。以70B模型fp16权重约140GB计，同样的实例在不同内存配置的节点上，首次加载可能差出几分钟。
另一条是KV Cache的溢出处理。显存不够时部分框架会把KV Cache换出到内存，交换带宽直接决定长上下文请求的延迟。内存显存比低的机型（如表中A800的0.8、H200的0.89）在这种场景下会比较吃紧，长上下文并发上不去时先查这里。
由此得到一个实用的核对顺序：在线推理先看每GB显存核数与内存显存比，再看GPU显存；离线批量推理反过来，显存利用率优先，CPU与内存达标即可。两个场景用同一套排序，会在A800这类机型上做出相反的选择。
四、裸金属推理整机的配比参考
推理规模上到整机级别，配比的分化更大。官网在架整机里，A800 80G八卡在四川三区配512G×8内存，合计4096GB，内存显存比高达6.4；同区域H800 80G八卡配32G×16合计512GB，比值只有0.8。同样8张80G的卡，内存差了八倍，月付价分别是39200元与81199元。
这两个数字不能直接比性价比，因为H800的单卡算力与显存带宽远强于A800，价差主要在加速卡本身。但对推理场景，A800的内存配置让它在高并发、长上下文、多路召回的服务里更从容，CPU侧的tokenizer与调度不会成为瓶颈。价格为2026年10月21日官网采集值，随市场波动。
910B三个区域的整机配比也能说明同一问题：湖北一区256核/1024GB、华为专区384核/2048GB、四川一区192核/1024GB，月付18800、21200、21760元。华为专区比湖北一区贵18%，换来的是多128核CPU与一倍内存。跑推理服务时，这笔溢价花得值不值，取决于并发压力。需要逐台核对整机配置，可以看裸金属整机机型明细。
五、常见问题
看负载形态。批量离线推理CPU压力小，每GB显存配0.15核以上基本够用；在线服务建议每GB显存0.3核起步，Agent类多轮调用负载再加码。判断依据是实测：GPU利用率忽高忽低、请求延迟抖动，说明CPU侧排队，该加核了。
两个场景明显。一是冷启动：70B模型fp16权重约140GB，加载要过内存到显存，低带宽节点会慢几分钟。二是KV Cache溢出：显存不足时换出到内存，交换带宽决定长上下文延迟。内存显存比低于1的机型跑这类负载要谨慎。
看两个指标：A800 80G实例每GB显存0.15核、内存显存比0.8；910B 64G是0.33核、3.13。纯看CPU与内存充裕度，910B更宽裕，tokenizer密集与Agent负载更适合。但A800的CUDA生态迁移成本低，存量代码零改造。按团队栈与并发压力综合定，别只比卡价。
按并发规模定。日活几千、并发十路以内的服务，容器实例按量计费足够，关机不收费；并发上百、需要独占带宽与定制组网的在线服务，选八卡整机长租更稳。整机内存配比的差异比实例大，签约前逐台核对配置明细，可在实时在架机型清单查看。
数据来源与时效
澜起科技Q3业绩预告数据与归因表述：10月20日晚公告，证券时报（和讯网转载）。
实例与整机配置、价格：极智算（jygpu.com）官网算力市场与裸金属页面，2026年10月21日采集。价格随市场波动，以下单页面显示为准。
模型权重大小按参数量乘以每参数字节数估算（fp16为2字节），为估算口径，非实测值。
本文数据用于行业分析，不构成采购建议。
说明推理并发量、上下文长度与部署形态，可以按CPU与内存配比筛选合适的实例与整机，避免只按卡价选型。
查看算力市场实时报价