单卡还是多卡？算力租赁平台的 GPU 卡数选择与并行效率边界

模型显存需求决定要不要多卡。以FP16为例，7B模型推理权重约14GB、70B约140GB；混合精度训练显存约为参数量的16到20倍。本文对比容器实例1至4卡与裸金属8卡整机的折合单卡成本，梳理数据并