我们花了两个星期，在极智算平台上对四款主流GPU做了系统的性能测试。覆盖LLM微调、文生图推理、语音识别三个典型场景，每个场景跑3轮取中位数。这篇报告不回避任何型号的弱点——包括我们自己主推的昇腾910B。

测试环境与方法

所有测试在极智算GPU云服务器（容器实例）上完成，每款GPU使用统一的基础环境：Ubuntu 22.04、Python 3.10、PyTorch 2.1.0。NVIDIA GPU使用CUDA 12.1，昇腾910B使用CANN 7.0 + torch_npu 2.1.0。

测试GPU显存FP16算力显存带宽测试实例
NVIDIA RTX 409024GB GDDR6X330 TFLOPS1.0 TB/s单卡容器实例
NVIDIA H2096GB HBM3148 TFLOPS4.0 TB/s单卡容器实例
NVIDIA A100 40GB40GB HBM2e312 TFLOPS1.6 TB/s单卡容器实例 (第三方云)
华为昇腾910B64GB HBM2e320 TFLOPS1.2 TB/s单卡容器实例
测试说明：A100 40GB的测试数据来自某第三方云平台（极智算暂未上线A100产品），仅供参考。其余三款均在极智算平台完成测试。每个测试重复3次，取中位数作为报告值。测试时间：2026年7月10日-14日。

场景一：LLaMA-2 7B LoRA微调

测试配置：LLaMA-2 7B、LoRA rank=16、alpaca数据集(52K条)、batch_size=4、gradient_accumulation=4、3 epochs。

训练吞吐量（tokens/second）

2,847
4090
2,128
A100
1,836
昇腾910B
1,412
H20
GPU吞吐量(tok/s)总训练时间显存峰值相对4090
40902,8472h 11min18.2GB100%
A100 40GB2,1282h 55min17.8GB74.8%
昇腾910B1,8363h 23min20.4GB64.5%
H201,4124h 25min16.1GB49.6%

4090在这个场景中领先，主要是因为330 TFLOPS的高算力加上较小的模型规模让算力成为主要瓶颈而非显存带宽。昇腾910B达到4090的64.5%性能，差距主要来自软件栈的优化程度——PyTorch在CUDA上的算子融合比NPU上更成熟。

H20的148 TFLOPS在这个计算密集型场景中拖了后腿。但它96GB的显存意味着可以跑更大batch size或者直接上13B模型的全量微调——4090的24GB做不到。

关键发现：在7B级别的LoRA微调中，FP16算力是首要性能指标。4090的330 TFLOPS远超其他型号，解释了这个结果。如果换成13B全量微调（需要超过24GB显存），4090会因为OOM直接出局，排名会完全重写。

场景二：Stable Diffusion XL 文生图推理

测试配置：SDXL 1.0、1024×1024分辨率、50步DDIM采样、batch_size=1、连续生成100张取平均。

GPU单张生成时间吞吐量(图/分钟)显存占用相对最快
40902.8秒21.416.8GB100%
A100 40GB3.5秒17.115.2GB79.9%
昇腾910B4.2秒14.318.0GB66.8%
H205.6秒10.715.6GB50.0%

文生图是纯推理场景，4090再次领先。昇腾910B的4.2秒/张在实际生产中也够用——一个日均万张图片生成量的服务，用3-4张910B并行就能满足。

这个场景下H20的表现值得注意：显存带宽高达4.0TB/s（4090的4倍），但在SDXL推理中没有转化为性能优势——1024×1024的单张推理计算量不足以让显存带宽成为瓶颈。

场景三：Whisper Large-v3 语音识别

测试配置：Whisper Large-v3、输入为30分钟中文会议录音（16kHz采样率）、连续转写10次取平均。

GPU单次转写时间实时率(RTF)显存占用相对最快
A100 40GB18.2秒0.0106.8GB100%
409019.8秒0.0117.2GB91.9%
昇腾910B20.6秒0.0117.6GB88.3%
H2019.1秒0.0116.5GB95.3%

语音识别场景中四款GPU的差距不到15%——Whisper Large-v3的推理计算量不大，所有GPU的显存带宽都远超需求。这种情况下，选哪款GPU几乎不影响性能，成本成为主要决策因素。4090的¥1.96/时在这个场景中具有绝对的成本优势。

关键发现：RTF（实时率）全部在0.01左右，意味着处理30分钟的音频只需要不到20秒。对于实时语音识别服务，任何一款GPU都可以轻松满足需求。在这个场景下，GPU服务器性能对比的结论是：选最便宜的。

综合成本效率对比

性能只是一个维度。加上价格，算每元成本能买到的性能，结论会变：

GPU时租价格LLaMA LoRA tok/s/元SDXL 图/元Whisper 分钟/元
4090¥1.961,45210.99.1
昇腾910B¥3.585134.04.4
H20¥6.202281.72.5
A100 40GB¥8.50 (均价)2502.01.9

4090在成本效率上全面领先——前提是24GB显存够用。昇腾910B的成本效率约为4090的35%-48%，但64GB显存可以覆盖4090无法处理的任务。这就是GPU服务器性能对比的核心矛盾：纯性能数据和成本效率数据指向不同的方向。

昇腾910B vs A100：国产替代的可行性分析

这是我们在客户咨询中被问到最多的问题。基于测试数据，直接给出分场景结论：

场景昇腾910B vs A100迁移成本是否建议替代
LLaMA-7B LoRA微调86.3% 性能低 (改设备指定即可)✅ 推荐
LLaMA-13B LoRA微调约80% 性能 (估算)低-中✅ 推荐 (64GB优势)
SDXL 推理83.3% 性能低✅ 推荐
Whisper 推理88.3% 性能低✅ 推荐
自定义CUDA算子密集型取决于算子覆盖率高⚠️ 需评估
NVIDIA专属库 (cuDNN/NCCL)不可直接运行很高❌ 不推荐

整体来看，昇腾910B vs A100的性能差距在15%-20%之间，价格优势约为50%（¥3.58 vs ¥8.50/时）。对于没有重度CUDA自定义算子依赖的项目，昇腾910B是性价比更高的选择。加上国产化合规的政策红利，在政府和国企项目中几乎没有悬念。

不同场景的GPU推荐矩阵

你的任务首选GPU次选理由
小模型微调 (< 7B, LoRA)4090昇腾910B成本效率最高，24GB显存足够
中等模型微调 (7-13B)昇腾910BH2064GB显存+均衡性能+低价格
大模型全量微调 (13B+)H20 ×8 裸金属昇腾910B ×896GB显存支持大batch
推理服务 (7B模型)4090昇腾910B24GB够用，成本最低
推理服务 (13B+模型)昇腾910BH2064GB显存，成本合理
国产化合规项目昇腾910B—唯一符合国产化要求的选择
预算极度敏感4090—¥1.96/时，每元产出最高

测试的局限性

这些测试数据需要在以下限制条件下理解：

  1. 单卡测试：所有测试均在单卡环境下完成。多卡场景下，互联带宽（NVLink vs HCCS）和通信库效率（NCCL vs HCCL）会产生额外差异，排名可能会变化。
  2. 软件版本：测试使用2026年7月的最新稳定版本。昇腾软件栈的更新速度很快，每季度一个大版本，性能通常会持续提升。
  3. 模型选择：三个测试场景覆盖了LLM、图像生成和语音识别，但未覆盖推荐系统、图神经网络、科学计算等其他AI工作负载。
  4. 没有覆盖FP8/INT8量化：H100/H20的FP8 Transformer Engine在某些场景下有显著性能优势，但本测试未启用（为保持公平比较，所有GPU均使用FP16）。

总结

这次GPU服务器性能对比测试的核心结论：

  • 纯性能：4090 > A100 ≈ 昇腾910B > H20（在7B以下模型的计算密集型任务中）
  • 成本效率：4090 >> 昇腾910B > H20 ≈ A100
  • 显存容量：H20 (96GB) > 昇腾910B (64GB) > A100 (40GB) > 4090 (24GB)
  • 国产化：只有昇腾910B满足要求

选哪款GPU，取决于你的任务对这三个维度的权重分配。没有万能的最优解，只有最适合你当前任务的配置。

数据说明：所有测试数据基于极智算平台2026年7月实测。A100数据来自第三方平台，价格为市场均价。不同平台的硬件配置、网络环境和软件版本可能导致结果差异。建议在最终决策前，使用自己的模型和数据集在目标平台上做一次PoC验证。