第四百零三章 不够 (6/7)

“我们这样做的根本原因，是因为我们知道统计规律高的结果并不一定是最好的，所以我们通过人为操作概率的方式，让结果出现更多的变量。”

马小飞一脸“我听懂了”的表情，说道：“大海老师，我以前也在各种界面上看到过这个温度的选项，一直不明白是干什么的，你这一说我就明白了。所以，温度越低，模型就越冷静，输出也就越固定；温度越高，模型就越激情，输出也就越随机。”

“我总结的没错吧？”

刘大海面露犹豫。

总结的是没错，但是激情什么的，这用词对吗？

“那除了温度之外，模型里还有什么常用的参数呢？”

“还是两个和温度经常出现的参数，一个是Tp K，一个是Tp P。”刘大海说道，“咱们先说Tp K吧。”

“你知道，现在的大模型是很大的，几万亿个参数，一个输入的对应输出可能有几万个可能性，如果我们把他们都算一遍，又慢又浪费资源，为了避免浪费，我们就选择只把前K个放到候选池里，其他的就不放了。”

马小飞点了点头。

这个倒是简单明白。

“那Tp P呢？”

刘大海也许是好久没给人讲课了，也越谈越兴起。

“这个P在这里是概率的意思，Pbablty。咱们先说它解决什么问题，你比如说，我输入一句‘中国的首都是’，你说答案是什么？”

“是京城啊。”马小飞秒答。

“对，这属于事实性答案，是不允许错的，但是在模型里还是有别的选项有很小的概率的，比如‘金陵’，比如‘长安’，在预料里也存在，按照我们刚才的说法，这些选项也可能被输出。”

刘大海说道：“可是我们不想让他被输出，我们只想要最确定的那些答案，所以我们可以设定一个P=0.95，这样只要我们收集到的选项概率超过了0.95，就不会继续收集了。刚才的答案里，‘京城’的原始概率可能高达0.99，答案集里自然不会再出现其他的选项了。”

这个对马小飞来说就有点儿烧脑了。

不过他还是尝试总结了一下。

不懂不是坏事，不懂就要问。

毕竟他能听懂，观众才能听懂嘛。