第四百一十一章 不愧是姜总 (2/6)

江松然仔细思考了一下韩路一的话。

动态调度确实是他们探索的另一个方向，但直接让汤圆来参与，可能并不成熟，因为a现在的一个问题就是速度慢，并发量上不去，但是随着汤圆模型的调用量越来越大，这个调度判断可能是每秒几万甚至几十万次。

“韩总，调度逻辑比较复杂，直接交给模型来做的话，可能并发上不去。”江松然回答道。

韩路一一边看着屏幕上的实时数据一边说道：“我对算力的基础设施不是专家，如果我说错了，你可以纠正我，现在的问题是任务的复杂程度不好提前判断，对吧？那如果不把调度权交给汤圆，只是让它做任务复杂度的判断呢？”

对啊！

忽然，江松然之前钻了牛角尖，觉写死规则的调度层性能好，但是不够智能；完全把调度层交给汤圆来做，性能又不好。

但是如果不是直接让汤圆做调度逻辑呢？

如果把判断任务难度作为调用链的起点呢？

江松然思路打开，新的想法突然都涌现出来。

“韩总，之前我们没考虑过这个方向，但是现在您提了之后，我觉值试一试。”江松然说道，“直接让汤圆做调度，确实不太现实，但我们完全可以在第一个任务中让汤圆对总任务流程的复杂程度做一个预测，之后在调用链中的每一步都带着这个判断给调用层。”

韩路一点点头，有方向就好。

“这样的话，任务分级，算力也分级，现有算力的调动效率还可以再提高——”江松然说到一半儿停住了。

“提高多少？”韩路一问道。

江松然苦笑了一下：“这个我手头现在没有数据，等我们测试完了再给您汇报。”

“好，算力的事情交给你，有了阶段性的进展和我汇报。”韩路一说道。

然后他起身走了出去。

看了看表，该下班了。

……

海城司衡律师事务所。

坐在办公区的各位律师和实习律师们已经有人开始收拾东西准备回家了。