cuBLAS GEMM としての FP16/FP32

上記の発行レート行とは別の測定です。Turing 上の実 cuBLAS GEMM を 4 つの M.N.K サイズで測ったもので、1.36–1.64× を Ada の発行レート数値と平均してはいけません。

f16/f32 · TFLOP/s · ヒューズで制限

4行
4変化あり
1.64×最大ゲイン

このモードの測定方法

cuBLAS GEMM, M.N.K 1024/2048/4096/8192, as tabulated in the nlzy/turing-unlock README

仕様ピークとの距離

  • GeForce RTX 2080 Ti:実測 68.3 TFLOP/s、仕様ピーク 56.9 TFLOP/s に対して 120.0% です。
  • GeForce RTX 2080 Ti:実測 91.4 TFLOP/s、仕様ピーク 56.9 TFLOP/s に対して 160.6% です。
  • GeForce RTX 2080 Ti:実測 81.7 TFLOP/s、仕様ピーク 56.9 TFLOP/s に対して 143.6% です。
  • GeForce RTX 2080 Ti:実測 77.9 TFLOP/s、仕様ピーク 56.9 TFLOP/s に対して 136.9% です。

68 SMs × 512 FLOP/cycle/SM × 1.635 GHz = 56.92 TFLOP/s (Turing FP16→FP32 tensor rate)

このモードで実測された全カード

モード純正アンロック後ゲインカード
f16/f3250.30 TFLOP/s68.30 TFLOP/s1.36×GeForce RTX 2080 Ti · 68 SMs
f16/f3255.70 TFLOP/s91.40 TFLOP/s1.64×GeForce RTX 2080 Ti · 68 SMs
f16/f3253.70 TFLOP/s81.70 TFLOP/s1.52×GeForce RTX 2080 Ti · 68 SMs
f16/f3252.80 TFLOP/s77.90 TFLOP/s1.48×GeForce RTX 2080 Ti · 68 SMs

同一カード、同一ドライバー、同一バイナリ。唯一の変数はアンロックの有無です。

対象範囲

表には同一カードでの実測があるものだけを載せています。載っていないカードは未測定であり、失敗したという意味ではありません。

実測済みの他のモード