经 CUTLASS 的 FP8 E4M3

真实的 GEMM 内核,而非发射率循环。实测 1.0029×,是「FP8 从未被限速」最清晰的一条证据。

e4m3/f32 · GFLOP/s · 从未被限速

1行实测
0行有变化
1.00×最高增益

这个模式是怎么测的

CUTLASS 4.8.1 profiler, one cutlass_tensorop_s16832gemm_e4m3_128x128_64x3_tn_align16 kernel, 4096³, 10 warmups, 20 profiling iterations, device reference required

与规格峰值的距离

  • GeForce RTX 4070 Ti SUPER:实测 59495 GFLOP/s,规格峰值为 176400 GFLOP/s,达到 33.7%。

330.3 TFLOP/s (Ada whitepaper, RTX 4090, 128 SMs, 2.52 GHz, FP8 dense) × 66/128 SMs × 2.61/2.52 GHz = ~176.4 TFLOP/s

该模式下所有实测显卡

模式原厂解锁后增益显卡
e4m3/f3259325.80 GFLOP/s59495.00 GFLOP/s1.00×GeForce RTX 4070 Ti SUPER · 66 SMs

同一张卡、同一驱动、同一二进制,唯一变量是是否解锁。

覆盖范围

表中只出现有同卡实测的显卡。未出现在表里的卡表示这条路径尚未测过,不等于测失败。

其他已实测模式