4090算力出租适合训练还是推理?24GB显存能跑多大模型
4090 有 24GB 显存,租它到底能干什么?结论是:推理和 LoRA 微调都能跑,7B 模型全参数微调单卡装不下,需要多卡或换 80GB 卡,预训练则不建议。本文给出显存占用的计算方法、各规模模型
2026年09月20日 16:414090 有 24GB 显存,租它到底能干什么?结论是:推理和 LoRA 微调都能跑,7B 模型全参数微调单卡装不下,需要多卡或换 80GB 卡,预训练则不建议。本文给出显存占用的计算方法、各规模模型
2026年09月20日 16:41