第一百九十五章 闻过味了 (3/7)

这么做当然是必要的，没有所有的必须的点，是不可能连成线的。

但是系统训练不只需要点，想要连线的时候不出错，那现在就得开始连了。

赵文渊算是见识到江松然的厉害了，入职的第一天上午，连项目进度都没看全，就把现在这个路线最大的隐患指了出来。

赵文渊转过椅子面对江松然，说道：“江博士，你觉得我们现在应该怎么办？”

江松然整理了一下思路，回答道：“第一阶段的目标如果只是跑推理的话，没必要追求N卡80%的效率，用不满，优先把必要的算子做完跑通，我刚才看了一下，除了十个已经标绿的，还有二十三个已经过了 60%的线。”

忽然，江松然说到这，低头看了一下屏幕，自己纠正自己道：“二十四个，加起来是三十四个。”

江松然坐回椅子，把椅子往屏幕前挪了挪，开始在表格里圈算子。

“反向、优化器更新、梯度同步，这几类先排后，三月初的推理用不到，等四月调训练的时候再回来做。”

赵文渊点了点头，这几类在表里占了不少，确实都是训练才用得到的，先放一放完全合理。

“再看推理路径。”江松然把光标移到表格的前半段，“矩阵乘、LayerNorm、softmax、激活，这几类已经标绿了。注意力相关的算子在哪儿？”

赵文渊往下翻了翻，指了一项：“标准Attention，61%。Fsh-Attention那一版还没排上。”

“Fsh不用，先用标准的，能跑就行。”江松然说，“KV-cache的读写呢？”

“这里，64%。”

“够了。”江松然往后靠了靠，“再加一个采样，一个 RMSNorm。这两个简单，融合不融合都行，先有了再说，我数一下啊。”

他在表里点了点，停在最后。

“差两个。”

赵文渊愣了一下。

他原本打算的是把所有的算子都做到 80%，卡住的地方直接呼叫随身老爷爷韩路一，按现在的速度可能要做到二月底了，到时候再做端到端。

但是现在被江松然这么一拆——

只差两个了。