Benchmarks: Original gegen Unlock

Alle vom GPU-Unlock-Ada-Fork veröffentlichten Messungen auf derselben Karte, Original gegen Unlock — einschließlich der unveränderten Tensor-Modi und des FP8-CUTLASS-Paars mit 1,0029×.

Wie gemessen wurde

Die RTX-4090-Zeilen stammen aus einer registerresidenten MMA-Issue-Rate-Schleife mit 20.000 Iterationen und drei Wiederholungen pro Modus, berichtet wird das Beste von drei. Die RTX-4070-Ti-SUPER-Zeilen stammen aus tensor-modes-comparison.json des Forks: 66 SMs, Treiber 580.178.04, 240-W-Limit, 20.000 Iterationen und drei Wiederholungen, mit All-One-Eingaben über acht unabhängige Ketten. Das FP8-Paar ist ein separater CUTLASS-4.8.1-Profiler-Lauf über einen sm_89-Kernel.

GeForce RTX 4090

AD102 · 128 SMs · Treiber unrecorded in the evidence file

Modus	Original	Unlock	Gewinn
`f16/f16`	325.70 TF/s	331.60 TF/s	1.02×
`f16/f32`	165.60 TF/s	330.80 TF/s	2.00×
`bf16/f32`	165.50 TF/s	330.30 TF/s	2.00×
`s8/s32`	661.60 TF/s	659.50 TF/s	1.00×
`dp4a`	164.50 TF/s	164.10 TF/s	1.00×
`ffma`	79.10 TF/s	79.10 TF/s	1.00×

f16/f16: stock run includes one slow sample (306.3); best-of-three
s8/s32: already at full rate before the unlock
ffma: FP32 was never rate-limited

Quelldateien für diesen Lauf

GeForce RTX 4070 Ti SUPER

AD103 · 66 SMs · Treiber 580.178.04

Modus	Original	Unlock	Gewinn
`f16/f32`	94.96 TFLOP/s	188.97 TFLOP/s	1.99×
`tf32`	47.49 TFLOP/s	94.51 TFLOP/s	1.99×
`u4/s32`	754.81 TOP/s	754.68 TOP/s	1.00×

u4/s32: integer path, unaffected

Quelldateien für diesen Lauf

GeForce RTX 2080 Ti

TU102 · 68 SMs · Treiber 575.51.03

Modus	Original	Unlock	Gewinn
`f16/f32`	50.30 TFLOP/s	68.30 TFLOP/s	1.36×
`f16/f32`	55.70 TFLOP/s	91.40 TFLOP/s	1.64×
`f16/f32`	53.70 TFLOP/s	81.70 TFLOP/s	1.52×
`f16/f32`	52.80 TFLOP/s	77.90 TFLOP/s	1.48×

f16/f32: M.N.K 1024: 88.4% to 120.0% of the 56.9 TFLOP/s peak
f16/f32: M.N.K 2048: 97.9% to 160.6% of peak
f16/f32: M.N.K 4096: 94.4% to 143.6% of peak
f16/f32: M.N.K 8192: 92.8% to 136.9% of peak

Quelldateien für diesen Lauf

Das FP8-Paar, das sich nicht bewegte

Der Fork maß eine passende E4M3-FP8-Eingabe, FP32-Akkumulation, 4096³-GEMM auf der 4070 Ti SUPER mit derselben CUTLASS-Profiler-Binärdatei, einem Kernel, 10 Aufwärm- und 20 Profiling-Iterationen und Pflicht zur Verifikation gegen die Gerätereferenz. Beide Läufe bestanden ihre Referenzprüfungen.

Lauf	ms	GFLOP/s
Original	2.31724	59325.8
Unlock	2.31066	59495.0

RTX 4070 Ti SUPER · cutlass_tensorop_s16832gemm_e4m3_128x128_64x3_tn_align16 · 1.0029×

Wie man ein Verhältnis von 1,00× liest

Eine 1,00×-Zeile ist kein fehlgeschlagenes Unlock. Sie sagt, dass dieser Pfad nie gedrosselt war, das Override also nichts wiederherzustellen hatte. Wenn du deine eigene Karte benchmarkst und bei dem Modus, der dir wichtig ist, 1,00× siehst, kann das Unlock durchaus korrekt gegriffen haben und dieser Workload profitiert einfach nicht.