ベンチマーク: 純正 vs アンロック後

GPU Unlock Ada フォークが公開した同一カードの純正 vs アンロック後の実測すべて。変化しなかったテンソルモードや、1.0029× だった FP8 CUTLASS の組も含みます。

測定方法

RTX 4090 の行は、レジスタ常駐の MMA 発行レートループを 20,000 イテレーション、各モード 3 回実行し、最良値を報告したものです。RTX 4070 Ti SUPER の行は、フォークの tensor-modes-comparison.json によるもので、66 SM、ドライバ 580.178.04、240 W 上限、20,000 イテレーション、3 回実行、8 本の独立チェーンすべてに全 1 の入力を使用しています。FP8 の組は、sm_89 カーネル 1 本に対する別個の CUTLASS 4.8.1 プロファイラ実行です。

GeForce RTX 4090

AD102 · 128 SM · ドライバ unrecorded in the evidence file

モード	純正	アンロック後	向上
`f16/f16`	325.70 TF/s	331.60 TF/s	1.02×
`f16/f32`	165.60 TF/s	330.80 TF/s	2.00×
`bf16/f32`	165.50 TF/s	330.30 TF/s	2.00×
`s8/s32`	661.60 TF/s	659.50 TF/s	1.00×
`dp4a`	164.50 TF/s	164.10 TF/s	1.00×
`ffma`	79.10 TF/s	79.10 TF/s	1.00×

f16/f16: stock run includes one slow sample (306.3); best-of-three
s8/s32: already at full rate before the unlock
ffma: FP32 was never rate-limited

この実行のソースファイル

GeForce RTX 4070 Ti SUPER

AD103 · 66 SM · ドライバ 580.178.04

モード	純正	アンロック後	向上
`f16/f32`	94.96 TFLOP/s	188.97 TFLOP/s	1.99×
`tf32`	47.49 TFLOP/s	94.51 TFLOP/s	1.99×
`u4/s32`	754.81 TOP/s	754.68 TOP/s	1.00×

u4/s32: integer path, unaffected

この実行のソースファイル

GeForce RTX 2080 Ti

TU102 · 68 SM · ドライバ 575.51.03

モード	純正	アンロック後	向上
`f16/f32`	50.30 TFLOP/s	68.30 TFLOP/s	1.36×
`f16/f32`	55.70 TFLOP/s	91.40 TFLOP/s	1.64×
`f16/f32`	53.70 TFLOP/s	81.70 TFLOP/s	1.52×
`f16/f32`	52.80 TFLOP/s	77.90 TFLOP/s	1.48×

f16/f32: M.N.K 1024: 88.4% to 120.0% of the 56.9 TFLOP/s peak
f16/f32: M.N.K 2048: 97.9% to 160.6% of peak
f16/f32: M.N.K 4096: 94.4% to 143.6% of peak
f16/f32: M.N.K 8192: 92.8% to 136.9% of peak

この実行のソースファイル

動かなかった FP8 の組

フォークは 4070 Ti SUPER 上で、同じ CUTLASS プロファイラバイナリ、カーネル 1 本、ウォームアップ 10 回、プロファイリング 20 回、デバイス参照による検証必須という条件で、整合した E4M3 FP8 入力・FP32 累算の 4096³ GEMM を測定しました。両方の実行とも参照チェックを通過しています。

実行	ms	GFLOP/s
純正	2.31724	59325.8
アンロック後	2.31066	59495.0

RTX 4070 Ti SUPER · cutlass_tensorop_s16832gemm_e4m3_128x128_64x3_tn_align16 · 1.0029×

1.00× という比の読み方

1.00× の行はアンロック失敗ではありません。その経路が元々制限されておらず、オーバーライドが復元するものがなかったという意味です。自分のカードで測定して、気にしているモードが 1.00× だった場合、アンロックは正しく適用されていて、そのワークロードには効かないだけかもしれません。