第215章 张总，那您太辛苦了吧 (2/6)

这是必要的，原始管线再强，也不可能覆盖所有新场景，随着训练数据来源扩大，团队自然会进行工程化。

但是扩大之后的规则集对新场景的覆盖程度比韩路一一开始设计的管线是要低很多的。

这种差异导致训练精度在某个进度的时候会突然发生大的偏离。

现在的关键是找到扩展规则集在哪个部分出了纰漏。

韩路一一边滑动样本一边在心里过了一遍管线结构。

忽然，屏幕另一头，赵文渊还在敲键盘，时不时停下来盯着输出皱眉。

这对普通人来说是很难的，因为数据量太大了，而所谓的数据的好与坏、干净与杂乱，都是人为定义的主观判断标准。

现在赵文渊唯一能看到的症状就是Lo值突然剧烈波动，但是在他不熟悉的巨大规则集和更巨大的原始语料里找出问题，不啻于大海捞针。

唯一的办法就是现写脚本帮助诊断，这也是赵文渊正在做的事情。

但是对赵文渊来说难的事情，对韩路一来说却未必难。

或者说，对视界来说不难。

视界，开。

一瞬间，熟悉的颜色浮了上来。

大部分样本是淡蓝色的正常文本。

少量灰色，这些是重复文本，没被剔除，但是问题不大。

几段橙红色的低质量内容已经被规则标记出来，本来不应该进入训练主数据。

但很快，韩路一的目光停在了其中一片奇怪的颜色上。

暗紫色。

这不是之前出现过的颜色。

他微微一怔。