第216章 做完了就行,不会发布的 (4/5)
「原因呢?」韩路一问,「是大年初一修了那次数据问题之后,曲线更稳了?」
「那是一部分。」赵文渊点头,「主要的原因是您前面写的那套清洗规则的收益比预期高,原始数据的质量显著高于业内的标准。无效数据少了以后,同样的训练步数,实际有效学习效率高很多。」
韩路一点了点头,视哥出品,让人放心。
赵文渊说着,拿出手机,调出一张曲线图。
「这是修正前后的对比,之前我担心最后阶段会震荡,所以留了比较大的冗余。但现在看,没有必要,可以直接上退火数据。」
韩路一看着曲线,没有立刻说话。
赵文渊继续说道:「退火结束以后,我们可以先做一轮基础能力评测,代码、数学、
中文理解、长上下文,还有通用知识,都跑一遍,只要底座能力过线,就可以进入后训练,到时候标注数据才开始发力。」
「不要只看公开榜单。」韩路一说,「评测集要分开两层,一层是对外可比较的基础能力,另一层是我们自己的产品前置任务。」
他说着把身子往前倾了倾:「和一般的研究机构不一样,我们做汤圆不是为了发论文,御风、开物,我们已经有了真实的应用场景,这是我们的优势。一定要确保汤圆有这方面的潜力。」
赵文渊一愣,确实,他没考虑到和产品结合的这个方面。
他以前在研究院的时候,做研究就是做研究,不用考虑和产品结合的能力,觉得基础能力到位了,自然能找到用途。
就像是先造锤子,再找钉子。
可是源智现在的情况不一样,源码科技这边两个应用层的产品都已经打开了市场,汤圆做出来,根本不用考虑哪些场景可以用到。
场景御风和开物都给准备好了。
赵文渊点了点头,在手机上快速的记了备忘录,说道:「好的,韩总,我一开工就安排团队做咱们自己的测评集。」
安排完了工作,韩路一在心里默默计算了一下时间,五天退火,那就是二月十五日。
比训练开始时预计的二月二十号提前了几天。
这样为iu海外版后台的迁移又争取出几天时间来。
江松然那边也要抓紧了,能不能用国产卡集群跑通训练,也是这个计划的重要一环。
章节报错
请简要描述您遇到的问题(如:内容缺失、章节错乱、文字乱码等)