GPUUnlock

BF16 と FP32 アキュムレータ

レート制限の仕組みは FP16/FP32 と同じで、BF16 は指数部が広くなります。学習や多くの推論スタックがこの形状を好みます。

bf16/f32 · TF/s · ヒューズで制限

1行
1変化あり
2.00×最大ゲイン

このモードの測定方法

Register-resident mma.m16n16k16 issue rate, 8 independent accumulator chains per warp, best of three timed runs

仕様ピークとの距離

  • GeForce RTX 4090：実測 330.3 TFLOP/s、仕様ピーク 330.3 TFLOP/s に対して 100.0% です。

330.3 TFLOP/s (Ada whitepaper, RTX 4090, 128 SMs, 2.52 GHz, FP16 dense) = 1024 FLOP/cycle/SM; measured BF16/FP32 is 189.6–189.7 TF/s vs 189.8–189.9 for FP16, i.e. the same rate (docs/ada-2705-report.md)

このモードで実測された全カード

モード純正アンロック後ゲインカード
bf16/f32165.50 TFLOP/s330.30 TFLOP/s2.00×GeForce RTX 4090 · 128 SMs

同一カード、同一ドライバー、同一バイナリ。唯一の変数はアンロックの有無です。

対象範囲

表には同一カードでの実測があるものだけを載せています。載っていないカードは未測定であり、失敗したという意味ではありません。

実測済みの他のモード