大模型训练为什么绕不开多卡并行？集群配置怎么看
一、核心答案
多卡训练靠数据并行、模型并行、流水线并行三种方式降低单卡压力。数据并行最好上手，模型并行适合超大模型，具体用哪种看模型大小和卡数。
二、为什么单卡不行
回看显存账：70B 模型全参数训练，权重 140GB，梯度 140GB，优化器状态 280GB，加激活值，总需求 500GB 以上。而单卡显存上限目前是 80GB 级别。差距就摆在这，不是"用一张大卡"能解决的。
算力也一样。即便模型能塞进单卡，训练一个大模型动辄几周，单卡的时间成本让项目失去意义。并行是刚需，不是炫技。
三、三种并行方式分别解决什么
三种并行解决不同瓶颈：数据并行管数据吞吐，模型并行管显存，流水线并行管计算。
数据并行（Data Parallel）
每张卡复制一份完整模型，各自吃不同的数据批次，梯度汇总更新。适合模型单卡放得下的场景，提升吞吐。缺点是模型放不下时没用。
张量并行（Tensor Parallel）
把一层网络的权重切成几份，分到不同卡上，层内并行。解决"单层放不下"的问题，是单机 8 卡常见的切法。卡间通信量大，对 NVLink 带宽要求高。
流水线并行（Pipeline Parallel）
把网络按层切成几段，每张卡负责一段，数据像流水线一样流过。解决"整个模型放不下"的问题，常用于跨机。缺点是流水线有气泡，利用率要优化。
四、具体怎么选配置
配置方案按卡数和模型规模定：8 卡内优先数据并行，跨机再加流水线并行。
单机 8 卡
8 卡是当前性价比和部署复杂度最均衡的配置。关键看三点：
- 卡间互联：8 卡是否全互联（NVLink/PCIe 拓扑），训练要选全互联机型。
- 显存总量：8×80GB = 640GB，是 70B 全参数训练的下限档。
- 功耗散热：8 卡满载功率高，要确认机房供电和散热达标。
多机扩展
模型超过单机承载，要上多机。这时候机间网络（IB 或高速以太网）成为瓶颈，组网配置直接影响训练效率。租算力时直接选平台配好的多机集群方案，比自己折腾省心。
LoRA 等轻量训练
只训一部分参数，显存需求小一个数量级，2~4 张卡通常够。别一上来就按全参数配置租 8 卡。
多卡训练的配置和组网都比较专业，如果团队不想自己折腾底层，可以直接选平台配好的 8 卡或多机集群方案。JYGPU 提供多种集群配置，按任务规模选即可。查看 JYGPU 集群算力方案
五、常见问题
不等于。多卡并行有效率问题，卡间通信会拖后腿，实际加速比通常打七到九折。互联越好、并行切分越合理，越接近线性扩展。
单机内先选卡和互联拓扑；跨机时网络优先级最高。通信带宽不够，卡再多也是浪费。租裸金属算力时，这个点一定要问清楚。
不需要。模型单卡放得下，数据并行才划算。别为了"显得专业"租一堆卡，用不上就是浪费。
数据来源与说明
- 三种并行方式（DP/TP/PP）的原理与分工：NVIDIA 及 PyTorch 官方技术文档。
- 70B 全参数训练 500GB 以上显存需求：基于权重、梯度、优化器状态的行业经验估算值。
- 8 卡加速比七到九折：行业经验值，受任务和拓扑影响。
- GPU 型号与 80GB 显存规格：以 JYGPU 官网及厂商官方资料为准。