第一百九十六章 生日快乐 (2/3)
这可是视哥认证的金色传说!
江松然可能赚了,但韩路一绝对不亏。
既然江松然提起了,韩路一就直接问道:“江博士,我们现在要做的是尽快拥有自己的推理栈和训练栈,我一期计划的是五百张卡,这个采购量在国产卡里不算大,哪家都拿的出来,但是具体从哪买,买来能做到什么程度,我还想听听你的意见。”
这个数字韩路一在医院的时候就已经和江松然透露过了,江松然也早就做好了准备——他知道入职之后韩路一是一定会问的,他不打无准备之仗。
“韩总,我回去看过了,现在市面上最先进的国产卡能做到 400 TFLOPS,如果只是推理的话,五百张支撑十万日活绰绰有余。”江松然说,“基于标注数据的后训练,虽然勉强,但也能做。但是要做预训练,是远远不够的。”
忽然,TFLOPS(TeraFLOPS,Trillion Floating-point Operations Per Second)是衡量计算机算力的单位,中文是“每秒一万亿次浮点运算”。因为 GPU的强项就是进行浮点数学运算,如果把每个 GPU都比作一辆跑车的话,TFLOPS就是它仪表盘上的最高时速。
用 N卡体系来举例的话,游戏玩家的梦中情卡 RTX 5090在 AI实际用的精度下大概能做到 200 TFLOPS,而专业用于 AI训练的英伟达 B200型号显卡,能达到单卡 2250 TFLOPS的恐怖算力。
韩路一点了点头,这和他设想的没有出入。
“而且,韩总,我不知道咱们团队里有没有人有过显卡集群管理的实操经验。但是,非 CUDA生态显卡集群的管理难度和 CUDA生态是完全不一样的,五百张国产卡,全国能把训练栈跑通的不超过三家。”
说完,江松然露出略微骄傲的神色:“有我在,我有信心源智科技是其中一家。”
韩路一对此倒是不怀疑,毕竟他招江松然进来,就是要他干这个的。
他接着问道:“那从哪家采购最好,你有什么建议吗?”
江松然微微沉吟了一下,没有马上回答。
这个问题其实有点儿敏感。江松然当过管理者,当然知道对于任何一家公司来说,采购都是敏感话题,更何况 AI用显卡的单卡价格都在十万以上,五百张就是五千万的采购,金额可不小。
如果是为了安全,他最好是给出一家国产头部大厂的推荐,大厂内控严厉,给他回扣的风险小,韩路一也更不会怀疑他。
但是江松然在做过调查之后,确实发现了一个更好的选择,只是说出来未必对他本人是一件好事。
他没有犹豫太久,还是咬了咬牙,说出了更冒险的版本:“有一家,叫矽明半导体( Sili-Lumin),总部在鹏城,也是个创业公司,去年刚开始量产第一款产品,叫L100,算力 600 TFLOPS,片间互联带宽 600 GB/s,对标的是英伟达的 H100。硬件的料很足,而且还有一个对我们来说是优点的缺点——他们的软件做的很差,完全没有训练的落地配套,买家全是在做推理。”
“所以矽明对咱们来说格外合适,五千多万的单子,对他们来说是救命稻草,而且他们的销路不好,有现货。”江松然把自己的思考都说了出来,“再加上他们的软件弱,硬件强,按硬件单价算性价比就特别高。而我们根本不用他们的配套软件,相当于采购的钱全花在硬件上了。”
这话说完,江松然也心里打鼓。
他明确表示了这是他提前调查过的厂家,韩路一会不会怀疑他吃了回扣?
章节报错
请简要描述您遇到的问题(如:内容缺失、章节错乱、文字乱码等)