第267章 我是有利益冲突的 (6/9)

现在这个数字远远超过了30%。

75%8%88%——

最后差不多稳定在了95%的位置。

压测脚本在没有检测到回灌压力之前，还在加大并发。

现在实时的吞吐量数字已经达到了二十五万词元/秒。

忽然，薛兆恒知道，同样的测试，上一次跑的时候卡在两万就上不去了。

在算力晶片上，真正能衡量软体水平的是一个关键指标，叫模型算力利用率（Model

FLOPUilizion，MFU）。但是这个指标没有直接显示在面板上，因为要计算它需要使用晶片算力的极限值。

如果理论上晶片能跑1000FLOP，你的模型实际只用到了200FLOP，那MFU就是20%。

跑21B模型，每生成一个词元需要221B，即大概42GFLOP。

二十五万词元每秒对应25000042GFLOP=10500FL0P。

L100的理论算力是600FLOP，32卡集群就是32600=19200FLOP。

10500/19200= 54.7%

54.7%？

薛兆恒心算完之后，总觉得自己算错了位数。

他在电脑上打开计算器，又重新算了一遍。

真的是54.7%。

要知道，英伟达最先进的200显卡，MFU的极限水平也只在60%左右。

与此同时，薛兆恒这个时候心跳快得就像他二十多年前和老婆结婚的那个晚上。

他一直以为L100的思路不对，矽明走到今天的这个地步，是因为晶片设计失败了。