第一百八十八章 汤圆参谋长 (5/6)

背景写得简洁，没注水。

实现那一节贴了具体的优化方法和代码片段，不是泛泛而谈。

评估那一节有完整的对照、不同上下文长度下的吞吐曲线、还把每一项优化的贡献单独拆出来量化。这些是做评估的人最容易偷懒的几个地方，他都没偷懒。

最让江松然多看了两遍的，还是局限性那一节。

作者自己写道：“本工作只完成了单算子（SDPA），没涉及LayerNorm、Softmax、各类Optimizer等数十个其他算子；没涉及多卡通信库；也没涉及训练场景下的反向传播与混合精度，不构成一套可用的训练栈。”

非常诚实，不像是来刷脸的。

他又翻上去，看了一下团队，Source Intelligence AI。

是个没听过的公司。

江松然往后靠在折叠椅上，把眼睛揉了揉。

国内竟然还真有人在做这种事。

这种吃力不讨好的事。

做出来发不了顶会，打不响知名度，也融不到资金，做的时候也没人知道你在做什么、做的有多难。

紧接着，最关键是，因为其他的配套都没有，单做一个出来也是真没什么用。

这种活儿他熟，谷歌TPU团队的前两年就是这么熬出来的。

只不过谷歌当年有几百个工程师。

8张卡，一个算子。

江松然在心里量了一下，从这里到“能跑一个能用的训练系统”中间还差什么。

剩下的几十上百个算子，多卡通信库，分布式训练框架，编译器，容错和检查点。

与此同时，每一项，都是三五十人的工程团队、两到三年的活儿。

他在矽谷那家公司就做这套东西，做了五年。