推理并发怎么估？算力租赁平台的GPU实例扩容测算方法

多轮对话与技能调用让 Token 消耗出现百倍级增长，推理负载的形状变了，按老方法估算的并发能力往往不够用。本文给出首字延迟、单 Token 延迟与吞吐三者的取舍关系，说明并发承载能力的五步估算方法并