第三百零一章 用AI重做一遍 (5/8)

章闻铎几乎没有停顿。

“一个系统如果能从有限观测里构建环境状态的内部表示，并且能利用这个表示预测未来观测、评估动作后果、支持规划和反事实推理，就可以称为世界模型。”

赵文渊点点头，接着问：“世界模型和一个很强的nt-tkn pct（下一个词元的预测器）有什么区别？”

“区别不在输出形式，在内部表示的约束。”章闻铎推了推眼镜，“nt-tkn pct只需要学到文本分布里的条件概率，哪怕它在很多任务上表现像理解了世界，也可能只是学到了足够复杂的共现结构。”

“想要成为世界模型，必须满足三个条件。”章闻铎伸出三根手指，“一，状态压缩，不同的表述在同一个世界状态下的内部映射要一致；二，状态更新，新观测会引起内部变量按照可复用的规则更新；三，因果性，对于事件的预测不是纯粹基于相关性的，而是能给出相应的因果关系。”

赵文渊边听边点头。

这个章博士对世界模型的理解还挺深刻的。他说的这些，没有哪个官方的学术定论，但却都描述了世界模型的主流方向。

第一点是说，同一件事不管你怎么表述，本质是一样的，那就应该表示为同样的内部状态，比如说“一只猫在桌上”和“桌上有一只猫”，不能因为说法不一样，就在内部作为两种表示。

第二点则是说，世界变化的时候，内部表示要更新，而这种更新要遵循规律。这种变动本身避免了每次瞬时状态都要从头进行大量运算，而是可以用上一状态和变化量来计算下一状态。

第三点是学界现在最热门的课题之一，相关性不代表因果性，夏天冰淇淋的销售增加，淹死的小孩也变多了，但是并不是吃冰淇淋导致小孩被淹死。这是纯语言模型最容易出错的地方。

赵文渊继续提问：“那你怎么验证一个语言模型有没有内部状态？你拿不到权重，只能黑盒调用。”

章闻铎嘴角挂起微笑。

紧接着，这就是他博士论文的课题，现在还没发表，但是在面试里牛刀小试完全没问题。

“黑盒很难验证‘有内部状态’，最多只能排除低级解释。”章闻铎说，“我会设计状态追踪任务。定义一个隐藏状态，把同一个状态用不同叙述方式包装——叙事文本、表格、聊天记录、甚至带噪声的口述，都可以。如果模型真的有稳定的内部表示，在不同包装下对同一问题的回答应该一致。”

“一致就够了吗？”

“不够。还要加干扰项，再做反事实。问它如果第三步没有发生，最后状态是什么。只有在反事实任务上也稳定，才说明它有某种状态迁移能力。”

赵文渊点了点头，章闻铎在世界模型的检测这块研究的挺深。

“我们假设你已经有了很好的状态探针，需要一个状态追踪框架。如果要作为持续评测指标跑进训练循环里，你怎么保证评测信号本身不成为训练目标的一部分？”

赵文渊接着问道。

这在机器学习里是个永恒的难题。