大模型训练为什么绕不开多卡并行？集群配置怎么看

单张卡装不下模型，是很多团队第一次接触多卡训练的原因。但多卡不是把卡堆一起就行，数据并行、张量并行、流水线并行各有分工。本文讲清楚原理，再给你一套 8 卡服务器选配的要点。