第一百八十四章 处理过了，干净 (4/6)

韩路一的声音传过来。

赵文渊闻声擡起头，看到韩路一正走过来。

“韩总，你可来了，你快坐。”赵文渊明显激动起来，“这两个算子我卡了半天了，你快看看吧。”

这是两人最近新形成的工作模式。

赵文渊带着手下的人用编程智能体做国产显卡的适配工作。

忽然，每个人都分到一个算子，先设计一个通过基准，一般来说能达到N卡的百分之八十就算达标，然后用智能体一轮一轮的试。虽然成功率不高，但是效率比手写已经大大提高了，试的多了也有一些迁移工作的效果不错。

碰上那些特别重要、特别难的，再汇报给赵文渊。

这种情况一般赵文渊也做不了什么，他就等着韩路一来。

韩路一坐下之后认认真真的从上到下看一遍，然后就开始写，劈里啪啦的输入一串提示词，各种关键参数和逻辑都写在里面，然后回车，等五分钟。

这个难点就攻克了。

经历了最初的震惊、迷茫、怀疑世界之后，赵文渊已经适应了这种模式。

可能这个世界就是有天才吧。

有难题，找韩总。

我直接把韩总当我的随身老爷爷用不就完了吗？管他怎么做到的呢。

像现在，卡了全组两天的两个算子迁移，韩路一坐下十分钟，解决了。

第一个是RoPE。

这个东西说白了，是让模型知道一段文本里每个词所在的位置。短文本里问题不明显，可一旦上下文拉长到十六K，显卡那边的三角函数近似误差就开始增多的厉害。之前测试的时候，前八K还算正常，到了后面，生成结果就会出现莫名其妙的错位。

赵文渊他们试了两天，一直在精度和性能之间来回拉扯。精度压下去，速度掉得厉害；速度提上来，误差又爆。

与此同时，韩路一坐下之后，只看了一遍日志，就让智能体把sin/cos查表的粒度重新切了一档，又把缓存策略改成按block复用。

五分钟后，十六K长上下文测试通过，性能损耗从原来的百分之四十七降到了百分之十八。