第一百八十九章 汤圆的用法 (4/7)

江松然把注意力放在眼前的屏幕上，这才注意到仓库里还有别的文件夹。

SDPA、LayerNorm、RMSNorm、Softmax、GELU、SiLU、Rotary Embedding、FshAttention、AdamW、All-Reduce。

一共十个文件夹，每一个对应一个算子的完整实现。

江松然的手指不自觉地点向触控板，但又停住了——这不是他的电脑。

“您可以自己看。”韩路一重复了一遍刚才的话。

江松然这才开始翻看。

江松然先点开了SDPA的文件夹，和论文里的实现对了一下，确认是同一套代码。

然后他开始翻别的算子。

看了两个之后，他皱起了眉。

“这些跑过benchmark吗？”

“每个算子都有对应的性能测试，”韩路一说，“和N卡cuDNN的基准线对比，最低的80%，最高的91%。README里有完整数据。”

江松然点开了一个README，扫了一下数据表格。确实不是个玩具项目，是认真做过对照的。

“多卡通信验证了吗？”

“4卡和8卡都跑过。All-Reduce是自己写的。”

江松然又看了一下提交记录。最早的提交在上个月，最新的在今天早晨。

十个算子，一个月。

不，还不到一个月。

江松然震惊地擡起头来，看向韩路一。

随即他又否定了自己。

不，不可能，可能是他们把别的地方的成果迁移过来，时间戳不对。