第216章 做完了就行，不会发布的 (3/5)

「什么叫退火？」张彪问道。

「退火就是—」赵文渊想了想，「nneling。

「7

张彪的头上写满了问号，你这个解释和没解释有什么区别？

韩路一在旁边没忍住笑了一声，开口解释道：「退火本来是冶金里面的术语，因为形象，所以模型训练的时候也借鉴了过来。」

忽然，张彪想了想，说：「就是铁匠打铁，往水里「嗤」的那一下？」

赵文渊忍不住纠正道：「你说的那个是Quencing，中文叫淬火，要的是急速冷却。

退火不一样，是慢慢冷却。」

韩路一说：「不用纠结这个，就是一个比喻，差不多就是那个意思。」

然后韩路一从张彪手里拿过笔记本和原子笔，在上面边画边说道：「咱们说过，模型训练分为预训练和后训练。但是在预训练的最后阶段，还有一个特殊的阶段，就是退火。」

说到这，韩路一已经在本子上画出了一个简单的示意图，用笔在其中一个地方点了一下。

「在这里，前面喂的数据已经足够多，足够杂了，但是都是些背景知识，想要让模型的基础能力提升，在这个阶段要单独给很多高质量的语料，例如经过筛选的代码库、文学出版物之类的。」

紧接着，韩路一画完，觉得解释的仿佛还不够通俗易懂，于是又加了一句：「如果说一开始的阶段是从小学到高二上课学知识，现在就是高三复习刷真题，不是什么都学了，而是只学最经典、最有代表性的题。」

然后他把笔记本转回给张彪。

张彪接过笔记本，对韩路一举的例子并没有什么感同身受他没刷过真题。

但是他感觉自己这一回听两个高材生讨论，已经不像以前那么一头雾水了。

「这个阶段一般来说耗时比较短。」韩路一说完，转向赵文渊，「你预计还需要多久？」

赵文渊伸出一只手：「最慢最慢，五天就够了。」

然后他把手收回去，端起拿铁喝了一口。

「退火数据是我和团队之前就准备好的，三千万条高质量的代码片段，一批精选的各领域书籍和学术论文。」