一周61.17万亿Token:推理需求把算力租赁平台推向新战场
中国信通院副院长敖立在9月21日的北京互联网大会上披露了一组数据:9月7日至13日,中国AI大模型周调用量达到61.17万亿Token,环比增长7.8%,接近全球调用量的一半。这个数字背后是一次需求结构的切换:大模型的重心正从训练转向推理,而推理和训练对算力的要求完全不同。对正在规划算力预算的企业来说,推理算力租赁正在成为一个独立的采购品类。
这篇拆两件事:推理需求到底大到什么程度,以及在算力租赁平台上租推理算力,成本应该怎么算。

一、推理需求的三组佐证
第一组是调用量本身。61.17万亿Token是单周数据,且环比还在涨。华为在全联接大会期间给出的口径更宏观:中国每日推理Token已增长到每日500万亿左右,到2030年将达百万万亿级。两个口径统计范围不同,但方向一致:推理已经接过了训练手中的算力需求接力棒。
第二组是供给侧的服务数量。截至2026年6月,全国完成备案的生成式人工智能服务达988款,较2024年末增加686款。近千个在服务的模型,每一个背后都是持续运转的推理集群。
第三组来自金融侧,最能说明行业对推理业务的定性变化。9月22日,中国信通院启动可信词元互联中心试验验证,首批11家企业入列,直指Token调用链路难溯源、计量难核验、费用不准等行业痛点。9月23日《中国经营报》报道,“词元贷”批量落地:北京经开区“亦企Token贷”首批业务由6家银行提供近20亿元授信,单户最高3000万元,核心授信指标就是词元产出消耗量。更早的7月,全国首单Token算力工厂科创债券在无锡落地,发行规模6亿元,票面利率低至2.03%。银行愿意拿Token消耗量做授信依据,等于承认了一件事:推理调用量是一家AI企业可核验的经营指标。
二、推理算力租赁的真实价格:显存和带宽决定单价
推理任务对显存的敏感度高于训练:模型权重常驻显存,加上KV缓存随并发增长,显存容量不够,并发就上不去。以下为极智算官网2026年9月24日采集的适合推理场景的在售价格:
| 型号 | 显存 | 按量单价 | 包月价 | 推理适配点 |
|---|---|---|---|---|
| 4090 24G | 24G | ¥1.57/时 | ¥1073起(98折) | 7B-13B模型部署,性价比首选 |
| 4090 48G | 48G | ¥2.86/时 | ¥1956(98折) | 更大并发或量化后的大模型 |
| 910B 64G | 64G | ¥3.58/时(83折¥2.97) | ¥2577 / 折后¥2139 | 国产化项目,大显存单卡 |
| H20 96G | 96G | ¥6.20/时 | ¥4464 | 大显存推理,带宽优化型 |
| H200 141G | 141G | ¥13.94/时 | ¥10036 | 70B级模型全精度部署 |
选型逻辑可以简单化:模型多大,决定显存下限;并发多少,决定显存余量。7B级模型单张4090就能稳定服务,¥1.57/时折合每月¥1073起;模型到70B级,权重本身就超过140G(FP16精度),要么上H200 141G单卡,要么多卡切分。跨档次选卡之前,建议先在低价档实测吞吐,算力市场的实时库存可以直接按型号筛选。

三、Token调用成本怎么估:给企业技术人员一个测算框架
采购侧最常被问的问题是“跑我的业务一个月多少钱”。给出一个可操作的测算框架,分四步:
第一步,估算日均Token产出。用日均请求量乘以平均每次请求的输入输出Token数,得到日Token总量。第二步,实测单卡吞吐。同一张卡跑不同模型、不同量化方案,吞吐差距很大,必须实测,取“Token/秒”这个数。第三步,算卡数。日Token总量除以(单卡日有效秒数×实测吞吐),向上取整得到所需卡数。第四步,对价。卡数乘以单价,按量计费拿时价乘预计运行时长,包月直接对月租。
举例:某企业日均3亿Token的推理负载,用4090实测吞吐后若单卡可承载日均1亿Token,需要3张卡常驻,¥1.57/时×24×30×3约¥3400/月;若换910B 83折节点,¥2.97/时×24×30×3约¥6400/月,但单卡64G显存通常能撑更高并发,卡数可能减一,实际成本要按实测吞吐重算。这个例子的意义不在具体数字,而在方法:先用实测吞吐定卡数,再对价格表,不要直接按参数表拍脑袋。
四、给采购决策者的三个提醒
第一,推理业务是长跑,优先谈包月。按量计费适合测试期与流量波动大的场景,7×24的稳定负载下,包月价普遍比按量跑满便宜两成上下(4090包月¥1073对按量跑满约¥1130)。
第二,留存调用与结算数据。可信词元互联中心和词元贷的动向说明,Token消耗量正在变成可核验的资产凭证。无论未来申报补贴还是申请授信,规范的结算记录都是前置条件。
第三,显存带宽和容量的优先级高于峰值算力。推理场景下,一张大显存、高带宽的卡往往比堆卡数更省预算,这也是H20、H200这类大显存型号在推理市场走强的原因。
常见问题
相关阅读:推理卡实时报价与库存 | 大显存裸金属整机 | 极智算GPU云平台