长上下文爆显存:并发乘上下文,这笔账多数人算漏
部署长上下文服务的团队常见一种翻车:模型权重装进去了,显存看着还有一大块,并发一上、上下文一拉长,服务就报显存不足。问题出在一处被反复算漏的账:KV缓存的总量等于并发数乘以单路上下文占用量,两个变量相
2026年11月18日 15:05部署长上下文服务的团队常见一种翻车:模型权重装进去了,显存看着还有一大块,并发一上、上下文一拉长,服务就报显存不足。问题出在一处被反复算漏的账:KV缓存的总量等于并发数乘以单路上下文占用量,两个变量相
2026年11月18日 15:05