FP16 と FP32 アキュムレータ

多くの推論カーネルが使う形状です。Ada ではこの経路が SM speed-select ヒューズで制限されるため、アンロックで倍になります。

f16/f32 · TF/s · ヒューズで制限

2行
2変化あり
2.00×最大ゲイン

このモードの測定方法

Register-resident mma.m16n16k16 issue rate, 8 independent accumulator chains per warp, best of three timed runs

仕様ピークとの距離

  • GeForce RTX 4090:実測 330.8 TFLOP/s、仕様ピーク 330.3 TFLOP/s に対して 100.2% です。
  • GeForce RTX 4070 Ti SUPER:実測 188.97 TFLOP/s、仕様ピーク 190.6 TFLOP/s に対して 99.1% です。

330.3 TFLOP/s (Ada whitepaper, RTX 4090, 128 SMs, 2.52 GHz, FP16 dense) = 1024 FLOP/cycle/SM

1024 FLOP/cycle/SM (330.3 TFLOP/s ÷ 128 SMs ÷ 2.52 GHz) × 66 SMs × 2.82 GHz = 190.6 TFLOP/s

このモードで実測された全カード

モード純正アンロック後ゲインカード
f16/f32165.60 TFLOP/s330.80 TFLOP/s2.00×GeForce RTX 4090 · 128 SMs
f16/f3294.96 TFLOP/s188.97 TFLOP/s1.99×GeForce RTX 4070 Ti SUPER · 66 SMs

同一カード、同一ドライバー、同一バイナリ。唯一の変数はアンロックの有無です。

対象範囲

表には同一カードでの実測があるものだけを載せています。載っていないカードは未測定であり、失敗したという意味ではありません。

実測済みの他のモード