70B模型预训练一次多少钱？训练成本怎么算

70B模型从零预训练一次的成本通常是数百万元级别：以2万亿token计算，约需8×10的23次方FLOPs，用1000张H100大约跑16天，租金成本约500万元。本文给出完整估算公式。