INT8 配 INT32 累加器

量化推理。从不受该熔丝限速,所以这一行是 1.00×,而这正是正确结果。

s8/s32 · TF/s · 从未被限速

1行实测
0行有变化
1.00×最高增益

这个模式是怎么测的

Register-resident mma.m16n16k16 issue rate, 8 independent accumulator chains per warp, best of three timed runs

该模式下所有实测显卡

模式原厂解锁后增益显卡
s8/s32661.60 TOP/s659.50 TOP/s1.00×GeForce RTX 4090 · 128 SMs

同一张卡、同一驱动、同一二进制,唯一变量是是否解锁。

覆盖范围

表中只出现有同卡实测的显卡。未出现在表里的卡表示这条路径尚未测过,不等于测失败。

其他已实测模式