第265章 开启时代的演讲 (2/4)
没想到就是这个简短的发布会,把源智推到了一个前所未有的高度。
从汤圆的发布到现在还不到一个星期,韩路一已经被这件事情搞得忙不过来了。
热度爆炸,投资人追着问额度,政府递来的橄榄枝,进京给相关领导汇报国产化适配的计划,水木的合作,战新基金的主动投资。
这些都是好事,但是它们发生的太多、太快了。
韩路一正在重新适应这个节奏,并且在其中找到一个关键点,让他掌握主动权。
这个关键点,就是矽明。
国产化适配现在基本上还是一个从无到有的阶段。这个过程中,各个国产厂商都在探索自己的道路,有的快有的慢,但是还没有人能跑通。
江松然当时推荐了矽明的L100,其中一个原因就是因为它的软体底子差,源智如果从头做起,反而没有包袱。
现在源智的五百张L100组建的集群已经可以高效运行汤圆—0.9的推理,稳稳地接住了御风的流量。
这个进度已经走在了国产厂商的最前列。
源智下一个要攻克的难点就是在国产集群里做训练。
虽然都是大模型生态的一部分,但是训练的难度可以说要在推理的十倍以上。
紧接着,推理,就是“使用模型”,把训练好的权重加载进来,输入一个问题,输出一个答案,只要显卡内存够大,一张卡也能跑,只是响应的慢一点。有了集群,就能更快的响应,支撑更多的用户和请求,但是这是量变不是质变。
而训练是“制造模型”,一张卡的算力和内存是绝对不够的,想要让模型能够梯度降低最终收敛,至少需要几千张卡的集群,这就是能和不能的区别。
更关键的是时间和钱。
汤圆—0.9用的鼎盛的算力,两个多月,一个亿的额度快用完了,这还是用的生态链成熟的英伟达集群。
如果换到国产集群,保守估计时间要三倍以上。
用非N卡做训练是所有晶片公司都想攻克的难关,但是至今只有谷歌一家成功了。
源智要做下一家。
而沿着L100的路走下去是最快的。更何况,软体硬体不分家,等到训练体系被源智建立起来以后,矽明的下一代晶片需要和软体更深度的配合,这在设计之初就要考虑到。
章节报错
请简要描述您遇到的问题(如:内容缺失、章节错乱、文字乱码等)